KR102281218B1 - 유연 물체 인식 장치 및 방법 - Google Patents

Abstract

본 발명은 일정한 형태가 아닌 다양한 형태를 가지는 유연 물체에 대하여 인식하여 학습하고, 파지하여 정리하거나 분류 작업을 수행하기 위한 유연 물체 인식 장치 및 방법에 관한 것이다. 본 발명에 따른 유연 물체 인식 장치는 물체를 파지하는 파지부, 파지부가 파지할 물체를 센싱하는 센싱부, 센싱부를 통해 센싱된 물체에 대하여 강성체 영역과 유연체 영역을 분리하여 학습하고, 강성체 영역을 인식하여 파지하도록 제어하는 제어부를 포함한다.

Description

유연 물체 인식 장치 및 방법{Flexible object recognition apparatus and method}

본 발명은 유연 물체 인식 장치에 관한 것으로, 더욱 상세하게는 일정한 형태가 아닌 다양한 형태를 가지는 유연 물체에 대하여 인식하여 학습하고, 파지하여 정리하거나 분류 작업을 수행하기 위한 유연 물체 인식 장치 및 방법에 관한 것이다.

로봇 기술에서 중점적으로 연구되는 기술 중에 하나로서 로봇이 스스로 물체를 인식하여 로봇팔을 이용하여 물체를 집어서 원하는 위치로 이동시키는 기술이 종래로부터 연구되어 왔다.

여기에는 물체인식 기술과, 인식된 물체를 분석하여 로봇팔이 파지할 수 있도록하는 기술이 필수적으로 포함된다. 물체인식 기술의 경우 3차원 물체 및 환경의 데이터 획득, 인식, 위치 및 자세 추정, 모델링 등의 핵심 기술로서, 로봇뿐만 아니라 컴퓨터 과학 분야에서 전반적으로 많이 연구되고 있다.

이러한 연구의 일환으로, Lowe(David G Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, Vol 60, No 2, pp 91-110, 2004)는 물체의 appearance 정보에 기반하여 스케일 및 시점변화에 강건한 물체인식 방법 등이 제안되었다.

그러나 개시된 물체인식 기술은 주로 강성(Rigid) 물체에 대하여 물체의 종류 및 파지점을 인식하였다.

즉 종래의 물체 인식 기술은 물체를 박스 형태로 검출하며, 박스 형태의 포즈로부터 물체의 파지점을 추출하였다.

그러나 케이블과 같은 유연 물체의 경우 박스 형태로 물체를 인식하더라도 실제 물체의 영역이 아닌 배경 영역이 많고 박스 형태의 포즈 기반으로 파지점을 추출하기 어려운 문제점이 있었다.

또한 복수의 물체가 혼재되어 있는 경우에는 비전 센서로 관찰하고 있는 영역에서 인식할 경우 인식률이 현저히 낮은 문제점이 있었다.

따라서 본 발명의 목적은 일정한 형태가 아닌 다양한 형태를 가지는 유연 물체에 대하여 인식하여 학습하고, 파지하여 정리하거나 분류 작업을 수행하기 위한 유연 물체 인식 장치 및 방법을 제공하는 데 있다.

본 발명에 따른 물체 인식 장치는 물체를 파지하는 파지부, 상기 파지부가 파지할 물체를 센싱하는 센싱부, 상기 센싱부를 통해 센싱된 물체에 대하여 강성체 영역과 유연체 영역을 분리하여 학습하고, 강성체 영역을 인식하여 파지하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.

본 발명에 따른 물체 인식 장치에 있어서, 상기 센싱부는 RGB 카메라 또는 뎁스(Depth) 센서를 포함하는 것을 특징으로 한다.

본 발명에 따른 물체 인식 장치에 있어서, 상기 제어부는 상기 유연체 영역을 동일한 라벨로 지정하여 학습하는 것을 특징으로 한다.

본 발명에 따른 물체 인식 장치에 있어서, 상기 제어부는 상기 센싱부를 통해 복수의 물체가 혼재되어 있는 영역을 인식하고, 상기 파지부를 제어하여 인식된 영역에서 랜덤하게 파지하여 특정 물체를 기 설정된 영역으로 이동시켜 분리시키는 것을 특징으로 한다.

본 발명에 따른 물체 인식 장치에 있어서, 기 제어부는 상기 복수의 물체가 혼재되어 있는 영역의 픽셀을 검출하여 영역을 인식하는 것을 특징으로 한다.

본 발명에 따른 물체 인식 장치에 있어서, 상기 물체는 케이블인 것을 특징으로 한다.

본 발명에 따른 물체 인식 장치에 있어서, 상기 제어부는 상기 물체의 다양한 포즈 변화 또는 센싱부의 뷰 포인트를 변경하여 복수의 이미지로부터 상기 물체의 종류를 인식하는 것을 특징으로 한다.

본 발명에 따른 물체 인식 방법은 물체 인식 장치가 센싱부를 통해 센싱된 물체에 대하여 강성체 영역과 유연체 영역을 분리하여 학습하는 단계, 상기 물체 인식 장치가 강성체 영역을 인식하여 파지하도록 제어하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 유연 물체 인식 장치는 센싱된 물체에 대하여 강성체 영역과 유연체 영역을 분리하여 학습하고, 강성체 영역을 인식하여 파지하도록 함으로써, 물체에 대한 인식률을 향상시킬 수 있다.

또한 본 발명에 따른 유연 물체 인식 장치는 다수의 물체가 혼재되어 있는 환경에서도 이를 분리하여 물체 인식을 수행할 수 있다.

도 1은 본 발명의 실시예에 따른 유연 물체 인식 장치의 구성을 나타낸 블록도이다.
도 2는 복수의 유연 물체가 혼재되어 있는 영역을 설명하기 위한 예시도이다.
도 3은 본 발명의 실시예에 따른 유연 물체 인식 장치의 인식 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 유연 물체 인식 방법을 나타낸 순서도이다.

하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 유연 물체 인식 장치의 구성을 나타낸 블록도이고, 도 2는 복수의 유연 물체가 혼재되어 있는 영역을 설명하기 위한 예시도이고, 도 3은 본 발명의 실시예에 따른 유연 물체 인식 장치의 인식 과정을 설명하기 위한 도면이다.

도 1 내지 도 3을 참조하면, 본 발명의 실시예에 따른 유연 물체 인식 장치(100)는 파지부(110), 센싱부(120), 저장부(130) 및 제어부(140)를 포함하여 구성된다.

한편 본 발명의 실시예에 따른 유연 물체 인식 장치(100)는 청소 로봇에 적용될 수 있다. 이하 실시예에서는 유연 물체 인식 장치(100)가 청소 로봇에 적용된 예로 설명하지만, 이에 한정된 것은 아니고 물류 현장 등에 사용되는 다양한 피킹 로봇에 적용될 수 있다.

청소 로봇은 실내를 자율 주행을 통해 이동하면서 전방에 먼지나 쓰레기를 흡입하여 청소를 수행한다. 여기서 청소 로봇은 전방 또는 하부에 구비되는 흡입부를 통해 흡입력으로 전방에 먼지나 쓰레기를 흡입하여 청소를 수행한다. 여기서 청소 로봇은 흡입부는 흡입력 발생을 위한 모터를 포함하여 구성될 수 있으며, 모터의 종류나 형태, 청소 로봇의 사양, 설계자의 의도, 청소 환경 등에 따라서 모터로 인하여 발생되는 흡입력의 크기는 변경될 수 있다. 이때 흡입부는 흡입하는 입구에서 회전하는 브러쉬를 포함하여 흡입을 지원하도록 구성될 수 있다.

또한 청소 로봇은 이동 중에 전방의 물건을 감지하고, 감지된 물건을 파지하여 특정 장소에 정리 및 정돈을 수행할 수 있다. 여기서 청소 로봇은 센싱부(120)를 통해 전방을 촬영하여 이미지를 획득할 수 있고, 획득한 이미지를 통해 파지 가능 여부를 판단하고, 파지가 가능한 경우 파지부(110)를 통해 파지하여 물건을 특정 장소로 이동시킬 수 있다.

이때 청소 로봇은 촬영된 이미지를 분석하여 촬영된 이미지에 포함된 물건의 종류를 판단하고, 물건의 종류에 따라 파지 가능한지 여부를 판단할 수 있다.

파지부(110)는 이러한 청소 로봇에 장착되어 전방의 물체를 파지하여 이동시킴으로써 정리 정돈을 수행할 수 있다. 즉 파지부(110)는 본체의 전방에 배치되어 센싱부(120)로부터 센싱된 물건을 파지하는 역할을 수행한다. 여기서 파지부(110)는 제어부(140)의 제어 하에 센싱부(120)로부터 센싱된 물건이 파지 가능한 경우, 물건을 파지하고 특정 장소로 이동 후 물건의 파지를 해제할 수 있다.

센싱부(120)는 3D 입체 영상을 출력할 수 있는 스테레오 카메라, 컬러 이미지를 추출할 수 있는 CCD 및 RGB 카메라, 자신과 마주하는 해당 물체들 간의 거리 측정이 가능한 뎁스(Depth) 센서 등을 포함하여 3D 입체 영상 데이터와 이미지 데이터 및 거리 측정 데이터를 생성한다.

여기서 CCD 센서나 RGB 카메라는 파지부(110)가 장착되는 몸체의 외부 측면이나 몸체의 케이스 등에 구비될 수 있다. CCD 센서나 RGB 카메라는 파지부(110)의 파지 범위 내 영상을 매 프레임 단위로 촬영하여, 이미지 신호가 적어도 한 프레임 단위로 저장부(130)에 저장되도록 한다.

예를 들어 뎁스 센서는 거리 신호를 생성할 수 있는 스테레오 카메라가 사용될 수 있으며, 파지부(110)가 장착되는 몸체의 외부 측면이나 몸체의 케이스 등에 구비될 수 있다. 스테레오 카메라는 파지부(110)의 파지 범위 내 영상을 적어도 한 프레임 단위로 촬영하여, 적어도 한 프레임 단위의 3D 입체 영상 신호가 신호 변환 저장부(130)에 저장되도록 한다. 예컨데 스트레오 카메라는 RGV-D 카메라 센서가 될 수 있다.

저장부(130)는 데이터를 저장하기 위한 구성으로, 유연 물체 인식 장치(100)의 기능 동작에 필요한 응용 프로그램 저장한다. 특히 저장부(130)는 센싱부(120)로부터 인식된 전방의 물건을 인식하기 위한 알고리즘, 센싱부(120)를 통해 센싱된 물체에 대하여 강성체 영역과 유연체 영역을 분리하여 학습하기 위한 알고리즘, 강성체 영역을 인식하여 파지하기 위한 알고리즘, 복수의 물체가 혼재된 영역을 인식하기 위한 알고리즘 등을 저장할 수 있다. 또한 저장부(130)는 물체의 종류 및 파지점에 대한 DB를 저장할 수 있다.

제어부(140)는 센싱부(120)를 통해 복수의 물체가 혼재되어 있는 영역을 인식하고, 파지부(110)를 제어하여 인식된 영역에서 랜덤하게 파지하여 특정 물체를 기 설정된 영역으로 이동시켜 분리할 수 있다.

즉 제어부(140)는 도 2에 도시된 바와 같이 복수의 물체가 혼재되어 있는 영역의 픽셀을 검출할 수 있다. 이때 제어부(140)는 센싱부(120)로부터 측정된 깊이 영상을 통해 복수의 물체가 혼재되어 있는 영역 단위로 인식할 수 있다. 이때 물체는 케이블, 옷과 같은 유연 물체 즉, 형태가 변하는 유연 물체가 될 수 있다. 제어부(140)는 이러한 유연 물체가 엉켜있거나 규칙적이지 않게 배치되어 있는 환경에서 영역을 인식할 수 있다.

제어부(140)는 영역을 인식한 후에 기 학습된 인식 결과를 사용하거나, 랜덤하게 깊이 영상에서 가장 높은 위치에 존재하는 영역을 파지하여 물체를 이동시킬 수 있다. 이를 통해 제어부(140)는 혼재되어 있는 복수의 물체를 분리시킬 수 있다.

또한 제어부(140)는 센싱부(120)를 통해 센싱된 물체에 대하여 강성체 영역과 유연체 영역을 분리할 수 있다.

한편 물체가 케이블일 경우, USB, DVI, HDMI 등의 다양한 형태를 갖는 케이블이 존재할 수 있다. 여기서 케이블은 접속 단자의 형태는 각각 상이 하나 케이블선 영역은 일부 차이가 있거나 동일하다.

이에 따라 제어부(140)는 도 3에 도시된 바와 같이, 접속 단자와 케이블 선을 따로 인식한다. 즉 제어부(140)는 접속 단자와 같은 강성체 영역과, 케이블 선과 같은 유연체 영역을 분리하여 인식한다. 이때 제어부(140)는 유연체 영역을 동일한 라벨(Rabel)로 인식하고, 강성체 영역은 종류 별로 서로 다른 라벨로 지정하여 학습을 한다. 이때 제어부(140)는 딥러닝 네트워크를 통해 각 물체의 강성체 영역과 유연체 영역을 학습할 수 있다. 이때 제어부(140)는 티셔츠, 속옷과 같은 유연체 영역으로만 구성된 물체의 경우, 하나의 라벨로 지정하여 학습을 수행한다.

또한 제어부(140)는 인식된 강성체 영역의 종류를 파악하고, 강성체 영역에 대해서 저장된 학습 정보를 통해 파지점을 인식하고 물체를 파지할 수 있다

이와 같이, 본 발명의 실시예에 따른 유연 물체 인식 장치(100)는 센싱된 물체에 대하여 강성체 영역과 유연체 영역을 분리하여 학습하고, 강성체 영역을 인식하여 파지하도록 함으로써, 물체에 대한 인식률을 향상시킬 수 있다.

또한 본 발명의 실시예에 따른 유연 물체 인식 장치(100)는 다수의 물체가 혼재되어 있는 환경에서도 이를 분리하여 물체 인식을 수행할 수 있다.

이하 도면을 참조하여 본 발명의 실시예에 따른 유연 물체 인식 방법에 대하여 설명하도록 한다.

도 4는 본 발명의 실시예에 따른 유연 물체 인식 방법을 나타낸 순서도이다.

도 4를 참조하면, 먼저 S10 단계에서 유연 물체 인식 장치는 복수의 물체가 혼재되어 있는 영역을 인식한다.

다음으로 S20 단계에서 유연 물체 인식 장치는 영역을 인식한 후에 기 학습된 인식 결과를 사용하거나, 랜덤하게 깊이 영상에서 가장 높은 위치에 존재하는 영역을 파지하여 물체를 이동시킬 수 있다. 이를 통해 유연 물체 인식 장치는 혼재되어 있는 복수의 물체를 분리시킬 수 있다.

다음으로 S30 단계에서 유연 물체 인식 장치는 센싱부를 통해 센싱된 물체에 대하여 강성체 영역과 유연체 영역을 분리할 수 있다. 즉 유연 물체 인식 장치는 접속 단자와 같은 강성체 영역과, 케이블 선과 같은 유연체 영역을 분리하여 인식한다. 이때 유연 물체 인식 장치는 유연체 영역을 동일한 라벨(Rabel)로 인식하고, 강성체 영역은 종류 별로 서로 다른 라벨로 지정하여 학습을 한다. 이때 유연 물체 인식 장치는 딥러닝 네트워크를 통해 각 물체의 강성체 영역과 유연체 영역을 학습할 수 있다. 이때 유연 물체 인식 장치는 티셔츠, 속옷과 같은 유연체 영역으로만 구성된 물체의 경우, 하나의 라벨로 지정하여 학습을 수행한다.

그리고 S40 단계에서 유연 물체 인식 장치는 인식된 강성체 영역의 종류를 파악하고, 강성체 영역에 대해서 저장된 학습 정보를 통해 파지점을 인식하고 물체를 파지할 수 있다

한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.

100 : 유연 물체 인식 장치 110 : 파지부
120 : 센싱부 130 : 저장부
140 : 제어부

Claims (8)

1. 물체를 파지하는 파지부;
   상기 파지부가 파지할 물체를 센싱하는 센싱부;
   상기 센싱부를 통해 센싱된 물체에 대하여 강성체 영역과 유연체 영역을 분리하여 학습하고, 강성체 영역을 인식하여 파지하도록 제어하는 제어부;
   를 포함하는 것을 특징으로 하는 물체 인식 장치.
2. 제1항에 있어서,
   상기 센싱부는,
   RGB 카메라 또는 뎁스(Depth) 센서를 포함하는 것을 특징으로 하는 물체 인식 장치.
3. 제1항에 있어서,
   상기 제어부는,
   상기 유연체 영역을 동일한 라벨로 지정하여 학습하는 것을 특징으로 하는 물체 인식 장치.
4. 제1항에 있어서,
   상기 제어부는,
   상기 센싱부를 통해 복수의 물체가 혼재되어 있는 영역을 인식하고, 상기 파지부를 제어하여 인식된 영역에서 랜덤하게 파지하여 특정 물체를 기 설정된 영역으로 이동시켜 분리시키는 것을 특징으로 하는 물체 인식 장치.
5. 제4항에 있어서,
   상기 제어부는,
   상기 복수의 물체가 혼재되어 있는 영역의 픽셀을 검출하여 영역을 인식하는 것을 특징으로 하는 물체 인식 장치.
6. 제1항에 있어서,
   상기 물체는,
   케이블인 것을 특징으로 하는 물체 인식 장치.
7. 제1항에 있어서,
   상기 제어부는,
   상기 물체의 다양한 포즈 변화 또는 센싱부의 뷰 포인트를 변경하여 복수의 이미지로부터 상기 물체의 종류를 인식하는 것을 특징으로 하는 물체 인식 장치.
8. 물체 인식 장치가 센싱부를 통해 센싱된 물체에 대하여 강성체 영역과 유연체 영역을 분리하여 학습하는 단계;
   상기 물체 인식 장치가 강성체 영역을 인식하여 파지하도록 제어하는 단계;
   를 포함하는 것을 특징으로 하는 물체 인식 방법.

Images