KR102285625B1 - 비접촉식 물건속성 인식장치 및 방법 - Google Patents

비접촉식 물건속성 인식장치 및 방법 Download PDF

Info

Publication number
KR102285625B1
KR102285625B1 KR1020180148577A KR20180148577A KR102285625B1 KR 102285625 B1 KR102285625 B1 KR 102285625B1 KR 1020180148577 A KR1020180148577 A KR 1020180148577A KR 20180148577 A KR20180148577 A KR 20180148577A KR 102285625 B1 KR102285625 B1 KR 102285625B1
Authority
KR
South Korea
Prior art keywords
label
attribute
weight
unit
estimating
Prior art date
Application number
KR1020180148577A
Other languages
English (en)
Other versions
KR20200062770A (ko
Inventor
김영욱
전세웅
김동엽
신동인
정병진
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020180148577A priority Critical patent/KR102285625B1/ko
Priority to PCT/KR2018/014950 priority patent/WO2020111327A1/ko
Publication of KR20200062770A publication Critical patent/KR20200062770A/ko
Application granted granted Critical
Publication of KR102285625B1 publication Critical patent/KR102285625B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • G06K9/6201

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 직접 물건을 들어보지 않고도 물건의 속성을 추론하여 필요한 작동을 수행하도록 할 수 있는 비접촉식 물건속성 인식장치 및 방법에 관한 것이다. 이를 위하여, 본 발명은 물건을 촬영하는 영상촬영부; 상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 레이블생성부; 상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 속성을 추정하는 속성추정부를 포함하여 구성되는 비접촉식 물건속성 인식장치를 제공한다.
따라서, 본 발명에 의하면, 물건을 영상으로 인식하여 파악하고, 파악된 물건의 속성을 추론하여 추론된 속성에 대응하는 로봇의 행동을 적절하게 제어할 수 있다.

Description

비접촉식 물건속성 인식장치 및 방법{Non-contact type recognition apparatus and method of object's attibutes}
본 발명은 비접촉식 물건속성 인식장치 및 방법에 관한 것이며, 구체적으로 직접 물건을 들어보지 않고도 물건의 속성을 추론하여 필요한 작동을 수행하도록 할 수 있는 비접촉식 물건속성 인식장치 및 방법에 관한 것이다.
사람을 대신하여 일을 시키기 위한 장치, 즉 로봇에 대한 연구 및 개발은 끊임없이 계속되어 오고 있다. 이러한 로봇은 카메라 센서 등을 이용하여 전방을 인식하고, 각종 모터 등을 이용하여 스스로의 움직임을 제어하게 된다.
최근에는 인공지능의 발달로 인하여 사물에 대한 인식 및 분류를 스스로 학습하게 하는 방법들이 많이 연구되고 있다.
등록특허 제10-1803471호(컨볼류션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법)에 의하면, 입력영상을 입력하는 영상입력부, 영상입력부로부터 받은 입력영상을 패턴화된 다수의 패턴영상으로 생성하는 패턴화모듈, 영상입력부로부터 받은 입력영상과 패턴화모듈로부터 수신받은 패턴영상을 학습시키는 컨볼류션 신경망(CNN)을 기반으로 하는 CNN학습부, CNN학습부로부터 학습정보와 영상입력부로부터 받은 입력영상을 전달받는 CNN실행부, CNN실행부로부터 영상정보를 받아 영상정보의 객체를 종류별로 분류하는 최종분류부를 포함한 딥러닝시스템이 기재되어 있다. 이러한 시스템을 이용하여 수신된 영상을 기초로 하여 사물을 분별하도록 학습시킬 수 있다.
하지만, 이러한 시스템은 단지 사물을 분별할 수 있는 기능만 제공할 뿐 로봇으로 하여금 사물과 관련하여 앞으로 진행될 행동에 대한 추론까지 하는 것은 불가능하여 실제 상용화를 목표로 하는 로봇에 적용시키기에는 한계가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 물건의 종류를 분류하여 파악하고, 나아가 파악된 물건의 속성을 추론하여 추론된 속성에 따라 로봇의 행동을 적절하게 제어하기 위한 것이다.
상기한 목적을 달성하기 위하여, 본 발명은 물건을 촬영하는 영상촬영부; 상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 레이블생성부; 상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 속성을 추정하는 속성추정부를 포함하여 구성되는 비접촉식 물건속성 인식장치를 제공한다.
상기 비접촉식 물건속성 인식장치는 상기 레이블에 대응하는 속성이 저장된 속성데이터베이스를 포함하며, 상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정한 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 부피를 계산하는 단계, 상기 속성데이터베이스로부터 상기 레이블의 무게속성을 검출하고 상기 계산된 부피를 이용하여 상기 물건의 무게를 추정하는 단계를 수행하는 것이 바람직하다.
상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정하지 않은 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 색상차이를 검출하는 단계, 상기 색상차이로부터 내용물의 부피를 추정하는 단계; 상기 추정된 부피로부터 상기 물건의 무게를 추정하는 단계를 수행할 수 있다.
이때, 상기 비접촉식 물건속성 인식장치는 상기 레이블에 대응하는 속성이 저장된 속성데이터베이스를 포함하며, 상기 속성추정부는 상기 속성데이터베이스를 검색하여 상기 추정된 부피에 대응하는 무게를 산출하는 것이 바람직하다.
본 발명에 의하면, 또한, 물건을 촬영하는 영상촬영부; 물건을 잡아 이동시키기 위한 이동수행부; 상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 레이블생성부; 상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 무게을 추정하는 속성추정부; 상기 이동수행부를 제어하기 위한 제어부를 포함하여 구성되고, 상기 제어부는 상기 속성추정부에서 추정된 무게에 따라 상기 이동수행부의 제어방법을 변경시키는 물건이동장치를 제공한다.
상기 이동수행부는 물건을 잡는 복수 개의 홀딩수단을 구비하며, 상기 물건이동장치는 상기 속성추정부에서 추정된 무게에 따라 상기 홀딩수단을 변경하는 것이 바람직하다.
그리고, 본 발명에 의하면, 영상촬영부에 의해 물건을 촬영하는 단계; 레이블생성부에 의해 상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 단계; 속성추정부에 의해 상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 속성을 추정하는 단계를 수행하는 비접촉식 물건속성 인식방법을 제공한다.
상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정한 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 부피를 계산하는 단계, 상기 레이블에 대응하는 속성이 저장된 속성데이터베이스로부터 상기 레이블의 무게속성을 검출하고 상기 계산된 부피를 이용하여 상기 물건의 무게를 추정하는 단계를 수행하는 것이 바람직하다.
상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정하지 않은 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 색상차이를 검출하는 단계, 상기 색상차이로부터 내용물의 부피를 추정하는 단계; 상기 추정된 부피로부터 상기 물건의 무게를 추정하는 단계를 수행할 수 있다.
상기 속성추정부는 상기 레이블에 대응하는 속성이 저장된속성데이터베이스를 검색하여 상기 추정된 부피에 대응하는 무게를 산출하는 것이 바람직하다.
본 발명에 의하면, 물건을 영상으로 인식하여 파악하고, 파악된 물건의 속성을 추론하여 추론된 속성에 대응하는 로봇의 행동을 적절하게 제어할 수 있다.
따라서, 실제 물건을 잡거나 들어야할 필요가 있을 때 처음 인식된 물건이라도 시행착오를 겪지 않아도 자원낭비없이 로봇으로 하여금 적절하게 행동할 수 있도록 하여 준다.
도 1은 본 발명에 의한 비접촉식 물건속성 인식장치의 구성을 나타내는 구성도;
도 2는 도 1에서 레이블생성부의 구성을 나타내는 구성도;
도 3은 본 발명에 의한 영상촬영부에서 촬영한 물건 영상을 나타내는 예시도;
도 4는 도 1에서 속성데이터베이스의 예를 나타내는 예시도;
도 5 내지 도 7은 도 1에서 속성추정부에 의한 무게추정과정을 설명하기 위한 설명도;
도 8은 본 발명에 의한 비접촉식 물건속성 인식방법을 설명하기 위한 순서도;
도 9는 본 발명에 의한 물건이동장치의 구성을 나타내는 구성도;
도 10은 도 8에서 홀딩수단의 예를 나타내는 예시도.
본 발명의 실시예의 구성 및 작용에 대하여 첨부한 도면을 참조하여 상세하게 설명한다.
도 1을 참조하면, 본 발명에 의한 비접촉식 물건속성 인식장치(100)는 영상촬영부(110), 레이블생성부(120), 속성추정부(130), 속성데이터베이스(140), 제어부(150), 통신부(160), 저장부(170)를 포함하여 구성된다.
상기 영상촬영부(110)는 전방의 영상을 촬영할 수 있는 하나 이상의 센서들을 포함하여 구성될 수 있으며, RGB카메라, RGBD카메라, 라이다(Lidar), 적외선 스캐너, 초음파센서, LRF센서 등을 포함할 수 있다.
상기 레이블생성부(120)는 영상촬영부(110)에서 촬영된 영상을 이용하여 영상에 포함된 물건을 인식하여 레이블을 생성한다.
구체적으로, 도 2를 참조하면, 레이블생성부(120)는 영상수신부(121), 특징점추출부(122), 윤곽선추출부(123), 레이블매칭부(124)를 포함한다.
영상수신부(121)는 영상촬영부(110)에서 촬영된 영상을 수신할 수도 있고, 통신부(160)를 통해 외부에서 촬영된 영상을 수신받을 수도 있다. 상기 영상수신부(121)를 통해 수신된 영상은 특징점추출부(122)에서 특징점들이 추출된다. 상기 특징점들은 픽셀(색상 또는 명암)의 변화가 큰 점들이 될 수 있으며, 예를 들어, 물건의 모서리나 꼭지점 등이 될 수 있다.
또한, 윤곽선추출부(123)에서는 촬영된 물건의 외형을 추출하는 역할을 한다. 윤곽선을 추출하는 방법으로 세그멘테이션(segmentation) 기법이 이용될 수 있다.
윤곽선추출부(123)에 의해 분리된 물건의 영상정보는 레이블매칭부(124)에 의해 분류되어 레이블이 생성된다.
상기 레이블매칭부(124)는 입력층, 은닉층, 출력층을 포함한 딥러닝과 같은 인공지능 신경망으로 구성될 수 있으며, 학습된 데이터를 이용하여 은닉층에 가중치정보가 저장되어 있다.
예를 들어, 도 3과 같은 물건이 영상수신부(121)에 의해 촬영된 경우 레이블생성부(120)에서는 물건의 윤곽선을 추출한 후 물건을 인식하여 분류하게 된다. 분류된 출력결과에 대응하는 레이블이 '사과' 및 '콜라병'으로 될 수 있으며, 속성데이터베이스(140)에는 레이블 및 상기 레이블에 대응하는 속성정보가 저장되어 있다.
도 4를 참조하면, 속성데이터베이스(140)에는 레이블생성부(120)에서 생성된 레이블이 속성에 따라 분류되어 저장되며, 각 레이블은 대응하는 속성이 저장된다.
구체적으로, 레이블은 크게 고정중량레이블과 가변중량레이블로 구분되어 저장된다. 상기 고정중량레이블은 측정된 외관부피에 따라 무게가 바로 추정되며, 상기 가변중량레이블은 외관부피 및 내용물의 부피 측정에 의해 무게가 추정된다.
예를 들어, 고정중량레이블은 과일이나 종이 등이 될 수 있으며, 이러한 고정중량레이블은 단지 외부에서 측정되는 크기(또는 부피)에 따라 무게가 바로 추정된다.
또한, 가변중량레이블은 생수병, 콜라병 등과 같은 병이 될 수 있으며, 레이블생성부(120)에서 생성된 레이블이 가변중량레이블에 해당하면 외부에서 측정되는 크기(또는 부피)뿐만 아니라, 그 안에 추정되는 내용물의 부피(또는 높이)의 추정이 다시 한번 수행된다.
상기 속성추정부(130)는 레이블생성부(120)에서 생성된 레이블에 대해서 새로운 속성을 추정한다. 이러한 추정은 속성데이터베이스(140)를 이용하여 수행하거나 딥러닝과 같은 인공신경망을 이용한 인공지능 알고리즘을 조합하여 수행할 수도 있다.
예를 들어, 상기 속성추정부(130)에서는 레이블생성부(120)에서 생성된 레이블에 대한 무게를 추정할 수 있다.
먼저, 도 3에서 생성된 레이블 '사과'의 경우 속성데이터베이스(140)를 참조하면, 고정중량레이블로 분류되고, 사과의 크기에 따라 무게가 추정된다. 이러한 경우, 속성추정부(130)에서는 영상촬영부(110)에서 촬영된 영상을 이용하여 사과의 크기 또는 부피를 추정한다. 이때, 사과의 부피는 360° 입체적인 영상을 필요로 하므로 매우 정밀한 추정이 요구되지 않는 경우에는 2차원 영상의 크기로부터 무게를 추정한다. 즉, 속성추정부에서는 2차원 영상에서 사과의 윤곽선을 추출한 다음 크기를 추정하게 되는데, 이러한 사과의 크기는 영상촬영부와 사과와의 거리를 이용하거나 비교대상이 되는 다른 물체 크기와의 비교를 통해 사과의 크기가 추정될 수 있다.
영상촬영부와 물체와의 거리가 멀수록 촬영된 영상에서의 물체 크기가 작아지고, 영상촬영부와 물체와의 거리가 가까울주록 촬영된 영상에서의 물체 크기가 커지므로 일정 거리에서 물체의 크기를 미리 설정해 놓고 영상촬영부와 물체와의 거리를 측정하면 촬영된 영상에서 실제 물체의 크기를 추정할 수 있다.
본 실시예에서 속성데이터베이스(140)에 저장된 사과의 크기는 9단계로 구획되어 저장되며, 1단계부터 9단계는 일정 범위의 크기나 부피가 될 수 있다. 예를 들어, 영상촬영부에 의해 촬영된 영상을 분석하여 측정된 사과의 크기가 5단계에 속한다면 사과의 무게는 210g으로 추정될 수 있다.
한편, 도 3에서 생성된 레이블 '콜라병'의 경우 속성데이터베이스(140)를 참조하면, 가변중량레이블로 분류되고, 콜라병의 외관 크기 및 내용물의 부피를 더 측정하는 과정을 거쳐 무게가 추정된다.
즉, 속성추정부(130)에서는 영상촬영부에 의해 촬영된 영상으로부터 가변중량레이블로 분류된 콜라병의 외형 크기를 추정한다. 이때, 콜라병의 크기는 정형화되어 있으므로 콜라병의 높이만 측정하여 외형 크기를 추정할 수 있다.
다음, 속성추정부(130)에서는 가변중량레이블에 수용된 내용물의 크기나 부피를 측정한다. 이때, 속성추정부(130)에서는 영상촬영부에 의해 촬영된 영상에서 가변중량레이블의 색상차이를 검출하여 내용물의 크기나 부피를 추정할 수 있다.
도 5를 참조하면, 속성추정부(130)에서는 콜라병의 색상차이를 이용하여 내용물의 경계(B)를 판정한다. 이때, 경계판정의 조건은 첫째, 경계가 수평방향인지 여부, 둘째, 경계를 기준으로 색상차이가 임계색상차 이상인지 여부로 판정하는 것이 바람직하다.
도 5에서 경계(B) 아래는 검은색에 가까운 색깔이 표시되고 경계(B) 위쪽은 배경색에 가까운 색깔이 표시되므로 색상차이는 임계색상차 이상이고, 경계는 수평방향으로 되어 있다. 따라서, 속성추정부(130)에서는 B라인을 경계로 판단하고 바닥에서 경계까지의 높이(H)를 측정한다. 콜라병은 정형화되어 있으므로 높이를 측정하면 내용물의 부피도 추정될 수 있다.
다만, 정형화되어 있지 않은 병의 경우에는 폭(W)도 측정하여 부피를 추정한다. 그러면, 원통형의 병인 경우 부피는 πW2H/4로 계산될 수 있다.
이렇게 내용물의 부피(또는 높이)가 산출되면 속성추정부(130)에서는 가변중량레이블의 외형 크기(부피)와 내용물의 부피를 비교하여 내용물의 부피점유율을 계산한다. 예를 들어, 도 5에서 내용물의 부피점유율은 70%로 계산될 수 있다.
그 후, 속성추정부(130)에서는 속성데이터베이스(140)를 참조하여 부피점유율에 해당하는 무게를 추정한다. 이때, 산출된 부피점유율에 해당하는 무게데이터가 정확히 없을 경우에는 보간법을 이용하여 무게를 추정할 수 있다.
예를 들어, 선형보간법을 이용하면, 무게를 y, 부피점유율을 x라 하면, 속성데이터베이스(140)에 저장된 콜라병의 부피점유율 50% 및 100% 데이터로부터 y = 11x + 300의 그래프를 얻고, 부피점유율이 70%인 경우 이 그래프를 이용하면 무게는 1,070g으로 추정될 수 있다.
한편, 도 6을 참조하면, 병의 겉에 커버가 씌워진 경우 속성추정부에서는 이것을 내용물로 인식하여 오류가 발생할 가능성이 있다. 따라서, 속성추정부(130)에서는 영상촬영부(110)에서 촬영된 영상에서 한 가지 조건을 더 부가하여 경계를 결정하는 것이 바람직하다.
즉, 도 7을 참조하면, 속성추정부에서는 경계후보로 판정이 된 부분에 단차(D)가 존재하는지 검출한다. 도 6의 경계를 확대한 도 7을 보면, 경계의 외측 끝단에는 안쪽으로 들어간 홈 또는 단차가 존재함을 알 수 있다. 또한, 이러한 단차보다 아래부분의 색상이 좌우 바깥쪽으로 나와 있다.
따라서, 속성추정부에서는 경계 부근에 단차가 존재하고, 아래부분의 색상이 상기 단차의 외측에 있을 때에는 내용물로 판단하지 않는다.
도 8을 참조하여, 본 발명에 의한 비접촉식 물건속성 인식방법에 대해 설명한다.
영상촬영부에 의해 전방의 물건이 촬영되면, 촬영된 물건의 영상을 취득하여 레이블생성부로 전송된다. 이때, 동일한 물건의 영상은 복수 개 촬영될 수 있으며, 다른 각도에서 촬영된 복수 개의 영상이 전송될 수 있다.
레이블생성부에서는 물건영상을 수신하여 특징점 및 윤곽선을 검출하고 딥러닝 등의 인공지능을 이용하여 해당 물건의 레이블을 파악하여 생성한다.
이후, 속성추정부에서는 속성데이터베이스를 참조하여 생성된 레이블이 고정중량레이블인지 가변중량레이블인지 판단하고, 고정중량레이블이라고 판단되면 촬영된 영상의 크기 또는 부피를 계산하여 무게를 추정한다.
한편, 속성추정부에서는 생성된 레이블이 가변중량레이블이라고 판단되면 물건의 카테고리(유형)을 파악한다. 예를 들어, 음료수 병인지 과자봉지인지 등의 유형을 파악한 후, 물건상태를 추정하게 된다.
물건상태는 음료수 병의 경우 내용물이 몇%인지를 추정하여 100% 상태의 기본중량 대비 현재중량의 비율을 추정한다. 이때, 속성데이터베이스를 참조하거나 딥러닝 등의 인공지능을 이용하여 현재중량의 비율을 추정할 수 있다.
다음으로, 본 발명에 의한 비접촉식 물건속성 인식장치를 이용하여 물건을 이동시킬 수 있는 물건이동장치에 대해 설명한다.
본 발명에 의한 물건이동장치(300)는 영상촬영부(110), 레이블생성부(120), 속성추정부(130), 이동수행부(310), 제어부(150), 통신부(160), 저장부(170)를 포함하여 구성된다. 앞서 설명한 비접촉식 물건속성 인식장치와 동일한 명칭의 구성요소는 기능이 동일하므로 설명을 생략한다.
상기 이동수행부(310)는 물건을 잡을 수 있도록 로봇팔 형태로 구비되는 것이 바람직하다. 즉, 이동수행부(310)는 복수의 관절을 가진 로봇팔 및 상기 로봇팔의 끝단에 구비되어 물건을 잡을 수 있는 여러가지 형태의 홀딩수단을 포함할 수 있다.
도 9를 참조하면, 상기 홀딩수단은 다섯 손가락을 흉내낸 로봇손, 진공흡착을 할 수 있는 흡착기, 두 방향으로 구비되어 물건을 집을 수 있는 로봇집게 등 여러가지 형태로 구비될 수 있다.
상기 홀딩수단은 각각의 특징이 있으며, 본 실시예에서는 비접촉식 물건속성 인식장치에 의해 제어부(150)에서는 상황에 따라 가장 적합한 홀딩수단을 이용하여 물건을 이동시킨다.
구체적으로, 상기 로봇집게는 간단한 형태의 물건을 확실하게 잡을 수 있는 장점이 있으나, 파지력이 너무 크면 물건이 부서질 염려가 있어 물건의 강도를 추가적으로 인식해야 하는 단점이 있다. 또한, 복잡한 형태의 물건은 파지점을 잡기가 어려워 물건을 제대로 들 수 없는 염려가 있다.
상기 로봇손은 복잡한 형태의 물건을 잡기 적합하나 역시 물건의 파지점 및 파지력을 판단하기 위해 딥러닝과 같은 인공지능을 이용하거나 별도의 데이터를 이용하여 추가적인 학습과정이 필요한 단점이 있다. 또한, 얇은 종이나 필름 등은 로봇손으로 잡기가 매우 어렵다.
상기 흡착기는 종이나 필름 등과 같이 얇은 물건이나 비교적 가벼운 물건을 부서질 염려없이 이동시킬 수 있는 장점이 있다. 하지만, 무거운 물건이나 엎질러지기 쉬운 물건은 흡착기로 이동시키기 어렵다.
본 실시예에 의한 물건이동장치는 바퀴나 다리 등의 이동수단에 의해 이동하면서 영상촬영부(110)에서 전방의 물건을 촬영하고, 레이블생성부(120)에서 촬영된 물건의 레이블을 생성한다. 그러면, 속성추정부(130)에서 상기 레이블에 대응하는 물건의 속성을 추정한다.
그러면, 제어부(150)에서는 레이블생성부(120)에서 생성된 레이블 또는 속성추정부에서 추정된 속성에 따라 이동수행부(310)의 물건이동방법을 판단하여 가장 적합한 방법으로 물건을 이동시킬 수 있다. 상기 속성은 물건의 외형, 무게, 종류, 재질 등이 될 수 있다.
예를 들어, 레이블생성부(120)에서 생성된 레이블이 간단한 원통형 유리병이라면 제어부에서는 로봇집게를 이용하여 물건을 잡게 할 수 있다. 또한, 레이블생성부(120)에서 생성된 레이블이 과자봉지라면 제어부에서는 흡착기를 이용하여 물건을 이동시킬 수 있다.
그리고, 제어부에서는 속성추정부(130)에서 추정된 물건의 무게에 의하여 물건이동방법을 제어한다. 예를 들어, 흡착기로 이동시킬 수 있는 물건의 무게상한이 저장부에 저장되며, 상기 속성추정부에서 추정된 물건의 무게가 상기 무게상한을 초과하면 제어부에서는 흡착기를 배제시키고 다른 홀딩수단을 이용한다.
이와 같이, 본 발명에 의한 물건이동장치는 복수의 홀딩수단을 구비하며, 촬영된 영상을 통하여 레이블을 생성하고, 레이블에 따른 속성을 추정하여 가장 적절한 홀딩수단을 선택함으로써 가장 효율적으로 물건을 정리할 수 있는 이점이 있다.
상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 비접촉식 물건속성 인식장치 110 : 영상촬영부
120 : 레이블생성부 130 : 속성추정부
140 : 속성데이터베이스부 150 : 제어부
160 : 통신부 170 : 저장부
300 : 물건이동장치 310 : 이동수행부

Claims (10)

  1. 삭제
  2. 물건을 촬영하는 영상촬영부;
    상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 레이블생성부;
    상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 속성을 추정하는 속성추정부; 및
    상기 레이블에 대응하는 속성이 저장된 속성데이터베이스를 포함하여 구성되며,
    상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정한 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 부피를 계산하는 단계,
    상기 속성데이터베이스로부터 상기 레이블의 무게속성을 검출하고 상기 계산된 부피를 이용하여 상기 물건의 무게를 추정하는 단계를 수행하는 것을 특징으로 하는 비접촉식 물건속성 인식장치.
  3. 물건을 촬영하는 영상촬영부;
    상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 레이블생성부;
    상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 속성을 추정하는 속성추정부를 포함하여 구성되며,
    상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정하지 않은 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 색상차이를 검출하는 단계,
    상기 색상차이로부터 내용물의 부피를 추정하는 단계;
    상기 추정된 부피로부터 상기 물건의 무게를 추정하는 단계를 수행하는 것을 특징으로 하는 비접촉식 물건속성 인식장치.
  4. 제3항에 있어서,
    상기 비접촉식 물건속성 인식장치는 상기 레이블에 대응하는 속성이 저장된 속성데이터베이스를 포함하며,
    상기 속성추정부는 상기 속성데이터베이스를 검색하여 상기 추정된 부피에 대응하는 무게를 산출하는 것을 특징으로 하는 비접촉식 물건속성 인식장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 영상촬영부에 의해 물건을 촬영하는 단계;
    레이블생성부에 의해 상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 단계;
    속성추정부에 의해 상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 속성을 추정하는 단계를 수행하며,
    상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정한 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 부피를 계산하는 단계,
    상기 레이블에 대응하는 속성이 저장된 속성데이터베이스로부터 상기 레이블의 무게속성을 검출하고 상기 계산된 부피를 이용하여 상기 물건의 무게를 추정하는 단계를 수행하는 것을 특징으로 하는 비접촉식 물건속성 인식방법.
  9. 영상촬영부에 의해 물건을 촬영하는 단계;
    레이블생성부에 의해 상기 영상촬영부에 의해 촬영된 물건을 인식하여 상기 물건의 종류를 분류하고 대응하는 레이블을 인식하는 단계;
    속성추정부에 의해 상기 레이블생성부에서 인식된 레이블에 따라 상기 레이블에 해당하는 속성을 추정하는 단계를 수행하며,
    상기 속성추정부는 상기 레이블이 무게가 일정한 레이블인지 판단하고, 무게가 일정하지 않은 레이블로 판단되면 촬영된 영상으로부터 상기 물건의 색상차이를 검출하는 단계,
    상기 색상차이로부터 내용물의 부피를 추정하는 단계;
    상기 추정된 부피로부터 상기 물건의 무게를 추정하는 단계를 수행하는 것을 특징으로 하는 비접촉식 물건속성 인식방법.
  10. 제9항에 있어서,
    상기 속성추정부는 상기 레이블에 대응하는 속성이 저장된속성데이터베이스를 검색하여 상기 추정된 부피에 대응하는 무게를 산출하는 것을 특징으로 하는 비접촉식 물건속성 인식방법.
KR1020180148577A 2018-11-27 2018-11-27 비접촉식 물건속성 인식장치 및 방법 KR102285625B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180148577A KR102285625B1 (ko) 2018-11-27 2018-11-27 비접촉식 물건속성 인식장치 및 방법
PCT/KR2018/014950 WO2020111327A1 (ko) 2018-11-27 2018-11-29 비접촉식 물건속성 인식장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180148577A KR102285625B1 (ko) 2018-11-27 2018-11-27 비접촉식 물건속성 인식장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200062770A KR20200062770A (ko) 2020-06-04
KR102285625B1 true KR102285625B1 (ko) 2021-08-04

Family

ID=70853417

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180148577A KR102285625B1 (ko) 2018-11-27 2018-11-27 비접촉식 물건속성 인식장치 및 방법

Country Status (2)

Country Link
KR (1) KR102285625B1 (ko)
WO (1) WO2020111327A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111687841B (zh) * 2020-06-15 2021-02-23 中山大学 一种机器人弹跳高度控制方法、系统、装置及存储介质
CN113496229B (zh) * 2021-08-02 2023-08-11 上海蜜罐科技有限公司 自助式寄件柜快件物品识别系统及方法
KR20230072987A (ko) * 2021-11-18 2023-05-25 주식회사 아서앤그레이스 인공지능을 이용한 제품 제작 서비스 제공 방법 및 이를 이용하는 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170021503A1 (en) * 2012-02-07 2017-01-26 X Development Llc Systems and Methods for Determining a Status of a Component of a Device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101247136B1 (ko) * 2011-11-03 2013-04-01 한양대학교 산학협력단 로봇의 물체 인식 방법
KR101807484B1 (ko) * 2012-10-29 2017-12-11 한국전자통신연구원 객체 및 시스템 특성에 기반한 확률 분포 지도 작성 장치 및 그 방법
DE102013220798A1 (de) * 2013-10-15 2015-04-16 Kuka Laboratories Gmbh Verfahren zum Handhaben von Objekten mittels wenigstens zweier Industrieroboter, und zugehöriger Industrieroboter
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170021503A1 (en) * 2012-02-07 2017-01-26 X Development Llc Systems and Methods for Determining a Status of a Component of a Device

Also Published As

Publication number Publication date
WO2020111327A1 (ko) 2020-06-04
KR20200062770A (ko) 2020-06-04

Similar Documents

Publication Publication Date Title
KR102285625B1 (ko) 비접촉식 물건속성 인식장치 및 방법
CN111275063B (zh) 一种基于3d视觉的机器人智能抓取控制方法及系统
CN111590611B (zh) 一种基于多模态主动感知的物品分类回收方法
CN111844019B (zh) 一种机器抓取位置确定方法、设备、电子设备和存储介质
JP6976350B2 (ja) 静的物体及び動的物体を含むシーンの位置特定及びマッピングに関するイメージングシステム
US11741701B2 (en) Autonomous task performance based on visual embeddings
Lee The study of mechanical arm and intelligent robot
KR102425529B1 (ko) 카메라를 이용한 자율주행 지게차
CN111906782B (zh) 一种基于三维视觉的智能机器人抓取方法
CN114693661A (zh) 一种基于深度学习的快速分拣方法
WO2023124734A1 (zh) 物体抓取点估计、模型训练及数据生成方法、装置及系统
KR102391501B1 (ko) 딥러닝을 이용한 비정형 재활용품 분류 시스템 및 그 방법
CN115816460A (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
US20230245437A1 (en) Model generation apparatus, regression apparatus, model generation method, and computer-readable storage medium storing a model generation program
Patel et al. Vision-based object classification using deep learning for inventory tracking in automated warehouse environment
Wang et al. GraspFusionNet: a two-stage multi-parameter grasp detection network based on RGB–XYZ fusion in dense clutter
KR102181815B1 (ko) 개인 맞춤형 정리로봇 및 그것을 이용한 물건정리방법
Apicella et al. Container localisation and mass estimation with an RGB-D camera
van Vuuren et al. Towards the autonomous robotic gripping and handling of novel objects
WO2023092519A1 (zh) 抓取控制方法、装置、电子设备和存储介质
Lin et al. Inference of 6-DOF robot grasps using point cloud data
Liri et al. Real-time dynamic object recognition and grasp detection for robotic arm using streaming video: A design for visually impaired persons
Kim et al. YOLO-based robotic grasping
CN109977975B (zh) 物品回收系统和物品回收方法
Bhatlawande et al. Grip-Vision: Enhancing Object Handling with Computer Vision-Based Grip Classification

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant