KR102350638B1 - 인공지능형 로봇 시스템 - Google Patents

Abstract

본 발명은 인공지능형 로봇 시스템에 관한 것으로, 본 발명에 따른 인공지능형 로봇 시스템은 대상물체를 이송시키는 적어도 하나의 컨베이어벨트; 상기 컨베이어벨트 상에 이송되는 상기 대상물체를 파지하며, 파지 폭의 조절이 가능한 로봇핸드; 상기 컨베이어벨트의 상방으로 소정 간격 이격되어 설치되는 상방 카메라; 상기 상방 카메라, 상기 측방 카메라 및 상기 로봇핸드를 제어하되, 상기 상방 카메라가 촬영하는 영상을 실시간으로 획득하고, 상기 실시간 획득한 영상에 기초하여 상기 대상물체를 추적하도록 상기 상방 카메라의 움직임을 제어하는 제어부;를 포함하는 것에 기술적 특징이 있다.

Description

인공지능형 로봇 시스템 {Artificial intelligence robot system}

본 발명은 원격 조작 로봇 시스템에 관한 것으로, 더욱 상세하게는 컨베이어벨트 위에 올려진 대상물체를 카메라가 추적 인식하여 로봇핸드가 대상물체를 그리핑하는 인공지능형 로봇 시스템에 관한 것이다.

최근 생산성 향상이 중요한 이슈로 부각되면서 로봇과 작업자가 공동으로 작업을 할 수 있는 로봇 시스템이 도입되고 있다. 예를 들어 로봇이 제품의 조립 라인에 도입되어 컨베이어벨트에 의해 이송되는 대상물체에 대해 부품의 부착이나 가공 등의 작업이다. 특히 로봇은 중량의 대상 물체 운반에 적합할 수 있다.

이는 일명 매니퓰레이터(manipulator) 시스템이라고 불려지는데, 매니퓰레이터는 인간의 상지(上肢)와 유사한 기능을 보유하고, 그 선단부위에 해당하는 기계 손(mechanical hand) 등에 의해 물체를 「파지」(파악, 흡착, 유지하는 것들을 말한다.)하여 공간(空間)적으로 이동시키는 작업 또는 그 선단부위에 부착된 도장용 스프레이 건(spray gun), 용접 토오치 등의 공구에 의한 도장, 용접 등의 작업을 실시할 수 있는 것을 말한다. 「인간의 상지와 유사한」것이란 팔(arm)에 손(hand)이 붙어있는 것을 말하지만, 손이 없고 직접 암에 공구가 부착되어 있는 것, 손에 공구를 파지(把持)해서 작업을 실시하는 것과 같기 때문에 이것도 인간의 상지와 유사한 것으로 취급한다.

그러나 종래에는 컨베이어벨트 상방에 위치하는 슬레이브암 바로 앞의 현재 좌표치 컨베이어벨트의 속도 설정치 등을 동기화하여 연산하고 있었기 때문에 컨베이어벨트 위로 이송되는 대상물체의 정확한 검출이 어려운 문제점이 있었다.

특허문헌 1에 컨베이어벨트에 엔코더를 설치하여 대상물체의 위치를 파악하는 방식에 대해 개시되어 있으나, 이러한 방식 역시 컨베이어벨트 위로 이송되는 대상물체의 정확한 검출이 어려운 문제점이 있다.

등록특허공보 제10-2018242호 (2019.08.29.)

본 발명은 위와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명에서 해결하고자 하는 과제는 컨베이어벨트 위에 올려진 대상물체를 카메라가 추적 인식하여 로봇핸드가 대상물체를 정확하게 그리핑할 수 있는 인공지능형 로봇 시스템을 제공하는 것이다.

본 발명에서 해결하고자 하는 과제는 위에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

위와 같은 목적을 달성하기 위한 본 발명에 따른 인공지능형 로봇 시스템은 대상물체를 이송시키는 적어도 하나의 컨베이어벨트; 상기 컨베이어벨트 상에 이송되는 상기 대상물체를 파지하며, 파지 폭의 조절이 가능한 로봇핸드; 상기 컨베이어벨트의 상방으로 소정 간격 이격되어 설치되는 상방 카메라; 상기 상방 카메라, 상기 측방 카메라 및 상기 로봇핸드를 제어하되, 상기 상방 카메라가 촬영하는 영상을 실시간으로 획득하고, 상기 실시간 획득한 영상에 기초하여 상기 대상물체를 추적하도록 상기 상방 카메라의 움직임을 제어하는 제어부;를 포함하는 것에 기술적 특징이 있다.

또한 본 발명에 따른 인공지능형 로봇 시스템은 상기 제어부는 상기 대상물체를 추적하여 특정 위치에 상기 대상물체가 이동하게 되면 상기 로봇핸드를 통해 상기 대상물체를 그리핑하도록 구성될 수 있다.

또한 본 발명에 따른 인공지능형 로봇 시스템은 상기 제어부가 상기 상방 카메라가 촬영하는 영상의 각각의 프레임을 하나의 이미지로 저장하고, 상기 이미지에 기초하여 컨볼루션 신경망(CNN, Convolutional Neural Network)을 통해 딥러닝(Deep learning)하도록 구성될 수 있다.

또한 본 발명에 따른 인공지능형 로봇 시스템은 상기 상방 카메라는 팬(pan), 틸트(tilt) 또는 줌(zoom)되어 상기 대상물체를 추적하도록 구성될 수 있다.

또한 본 발명에 따른 인공지능형 로봇 시스템은 상기 제어부가 상기 상방 카메라가 촬영하는 영상을 실시간으로 획득하고, 상기 실시간 획득한 영상에 기초하여 상기 대상물체의 윤곽선을 추출하고, 상기 대상물체의 윤곽선으로부터 상기 컨베이어벨트의 일측 및 타측까지의 거리를 추출하며, 상기 대상물체의 윤곽선으로부터 상기 컨베이어벨트의 일측 및 타측까지의 거리에 기초하여 상기 로봇핸드의 목표 파지지점을 보정하도록 구성될 수 있다.

또한 본 발명에 따른 인공지능형 로봇 시스템은 상기 컨베이어벨트의 측방으로 소정 간격 이격되어 설치되는 측방 카메라;를 더 포함하고, 상기 측방 카메라는 상기 컨베이어벨트 상에 이송되는 상기 대상물체를 측방에서 촬영하며, 상기 제어부는 상기 측방 카메라가 촬영한 영상에 기초하여 상기 대상물체의 폭을 추출하며, 상기 제어부는 상기 대상물체의 폭에 기초하여 상기 로봇핸드의 파지 폭을 조절하도록 구성될 수 있다.

또한 본 발명에 따른 인공지능형 로봇 시스템은 상기 로봇핸드의 파지 폭은 미리 설정된 최소 파지 폭 내지 최대 파지 폭 사이에서 조절되고, 상기 제어부는 상기 추출된 상기 대상물체의 폭이 상기 로봇핸드의 최대 파지 폭보다 더 넓은 경우 오류발생신호를 생성하도록 구성될 수 있다.

본 발명에 따른 인공지능형 로봇 시스템은 컨베이어벨트 위에 올려진 대상물체를 카메라가 추적 인식하여 로봇핸드가 대상물체를 정확하게 그리핑할 수 있는 효과가 있다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 인공지능형 로봇 시스템의 개략적인 구성도
도 3은 본 발명의 일 실시예에 따른 측방 카메라가 설치된 도면

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.

이하 도면을 통해 본 발명에 따른 인공지능형 로봇 시스템에 대해 구체적으로 살펴본다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 인공지능형 로봇 시스템의 개략적인 구성도, 도 3은 본 발명의 일 실시예에 따른 측방 카메라가 설치된 도면이다.

먼저, 도 1 및 도 2를 참조하면 본 발명의 일 실시예에 따른 인공지능형 로봇 시스템은 대상물체를 이송시키는 적어도 하나의 컨베이어벨트(100); 컨베이어벨트(100) 상에 이송되는 대상물체(P)를 파지하며, 파지 폭의 조절이 가능한 로봇핸드(200); 컨베이어벨트(100)의 상방으로 소정 간격 이격되어 설치되는 상방 카메라(300); 상방 카메라(300) 및 로봇핸드(200)를 제어하되, 상방 카메라(300)가 촬영하는 영상을 실시간으로 획득하고, 상기 실시간 획득한 영상에 기초하여 대상물체(P)를 추적하도록 상방 카메라(300)의 움직임을 제어하는 제어부(500);를 포함하여 구성될 수 있다.

이때 상방 카메라(300)는 팬(pan), 틸트(tilt) 또는 줌(zoom)되어 대상물체(P)를 추적하도록 구성될 수 있다. 참고적으로 본 발명에서는 컨베이어벨트(100) 상에 이송되는 대상물체(100)를 추적하기 때문에 상방 카메라(100)가 틸트 기능만 갖도록 구성되어도 틸트 동작으로 대상물체(100)의 추적이 가능하다.

본 발명의 일 실시예에 따른 인공지능형 로봇 시스템은 제어부(500)가 가우시안 혼합 모델(GMM : Gaussian Micture Model)을 통하여 통계적 검출로 필터링하면 움직임이 있는 부분은 흰색으로 움직임이 없는 부분은 흑색으로 표현되는 영상을 생성하고 생성된 영상에 대해서 노이즈를 제거하면 동적 피사체 즉, 대상물체(P)를 검출하여 추적이 가능하도록 구성될 수 있다.

이때, 노이즈 제거는 환경적 요소에 의해서 움직임을 갖는 것인데, 본 발명에서는 컨베이어벨트(100) 상에 이송되는 대상물체(100)를 추적하기 때문에 노이즈 제거가 거의 필요 없기 때문에 위와 같이 움직임이 있는 부분은 흰색으로 움직임이 없는 부분은 흑색으로 표현되는 영상을 생성하여 추적하는 방식이 효율적일 수 있다.

또한 본 발명의 일 실시예에 따른 인공지능형 로봇 시스템은 추적 성능을 향상시키기 위해 제어부(500)가 코렐로그램(correlogram) 및 칼만 필터를 사용하여 물체 판별 성능을 개선하고 물체 추적 속도를 향상시킬 수 있다.

코렐로그램은 영상의 각 화소가 갖는 명암도의 공간적 상호관계가 거리에 따라 어떻게 변하는지를 나타내는 것으로, 공간으로 확장된 히스토그램의 한 종류로 볼 수 있다.

상방 카메라(300)가 촬영하는 영상을 실시간으로 획득하는 제어부(500)가 모든 영상의 코렐로그램을 구한 후 룩업 테이블에 저장 한 다음, 질의 영상의 룩업 테이블과 후보 영상의 룩업 테이블의 각 명암도와 거리에 일치하는 값의 차이의 절대값을 구해서 모두 합하여 리스트를 만들고, 상기 리스트에서 값이 가장 작은 후보 영상을 유사하다고 판단하도록 구성될 수 있다.

코렐로그램을 이용한 특징 추출은 이전 프레임에서 추적하던 물체를 질의 영상으로 두고 현재 프레임{상방 카메라(300)가 촬영하는 프레임}에서 탐색창{상방 카메라(300)가 촬영하는 프레임 내의 일부 영역으로 대상물체(P)를 중심으로 한 일부 영역을 의미함}내에서 대상물체(P)에 대한 후보 영상으로 둔다.

참고적으로 질의 영상과 후보 영상은 추적 전처리 과정에서 구해진 대상물체(P)를 포함하는 원본 영상에서 구할 수 있다. 즉, 제어부(500)에는 대상물체(P)에 대한 원본 영상을 레퍼런스로 미리 설정되거나 저장되고, 그 후 실시간 촬영 과정에서 질의 형상과 후보 영상에 대한 프로세스가 진행될 수 있다.

제어부(500)는 이전 프레임과 현재 프레임에서 만들어진 질의 영상과 후보 영상의 코렐로그램을 구한 다음 룩업 테이블에 저장한다. 질의 영상의 룩업 테이블과 후보 영상의 룩업 테이블의 각 명암도와 거리에 대응되는 곳의 값의 차이의 절대값을 구해서 모두 합한다. 이 과정을 마친 다음, 현재 프레임에서 추출된 물체마다 다른 결과 값이 나오게 되는데, 이 중에서 값이 가장 작게 나온 물체를 이전에 추적하던 물체와 동일하다고 판단하여 추적하도록 구성될 수 있다.

또한 칼만 필터를 이용한 칼만 필터링은 크게 예측, 측정, 수정의 세 가지 단계로 나누어질 수 있다. 예측 단계에서는 다음 상태의 벡터와 추정 오차의 공분산을 예측한다. 측정 단계에서는 실제로 들어오는 입력을 측정하고, 수정 단계에서는 측정 단계측정값을 바탕으로 구해진 상태 벡터와 상태 추정 오차를 새로운 값으로 수정한다. 이러한 칼만 필터를 이용하게 되면 상방 카메라(200)가 촬영하는 탐색창 내에 있는 물체들만 추출하여 추적할 수 있다.

또한 칼만 필터를 통해 탐색창 내에서 추출된 물체의 특징을 이용하여 추적하고자 하는 물체를 판별할 수 있는데, 추출된 특징은 이전의 특징과 비교하여 추적 물체인지를 판별하고 다음 프레임에서 사용할 특징으로 보존한다. 물체 판별 결과 생성되는 측정 위치는 예측 모델의 동작 파라미터를 갱신하는데 사용한다.

또한 제어부(500)는 거리 함수를 사용한 통계적 접근 방법을 사용하여 물체를 판별할 수 있는데, 거리 함수에 의한 패턴 분류기률 사용하여 이전 프레임에서 기억된 물체의 특징과 탐색창 안에서 발견된 물체들의 특징을 비교해서 가장 짧은 유클리디안 거리를 가지는 물체를 추적 하고자 하는 물체로 인식하게 된다. 즉, 동일한 대상물체(P)로 인식하여 추적을 계속할 수 있다.

또한 본 발명의 일 실시예에 따른 인공지능형 로봇 시스템은 추적 성능을 향상시키기 위해 제어부(500)가 예측 프로세스를 진행하도록 구성될 수 있다.

예측 프로세스는 탐색 영역 테이블을 통해 구현될 수 있는데, 대상물체(P)의 최고 제한 속도를 설정하고, 초당 캡쳐되는 프레임 수에 기초하여 현재 프레임에서의 대상물체(P)가 다음 프레임에서 이동할 수 있는 최대 거리를 계산하는 것이다.

즉, 본 발명의 일 실시예에 따른 인공지능형 로봇 시스템은 현재 프레임의 영상에 위치한 물체의 한 점이 다음 프레임에서 최대로 어느 위치까지 이동할 수 있는지 예측이 가능해진다. 현재 프레임의 영상에서 물체가 존재하는 임의의 위치를 알면 다음 프레임의 영상에서 최대로 이동할 수 있는 위치를 알 수 있고, 위치에 따른 결과를 테이블로 만들 수 있으며, 이러한 테이블을 이용하여 탐색 영역을 설정하기 때문에 추적 동작에 따른 수행 속도가 빨라지고 효율이 높아질 수 있다.

예를 들어, 상당히 긴 컨베이어벨트 상에 상방 카메라(300)가 설치되고 상방 카메라(300)의 프레임에 복수 개의 대상물체(P)가 잡히게 되는 경우, 이전에 추적하던 물체를 다음 영상에서 찾을 경우 전체 영상에서 추출된 모든 물체에 대해서 코렐로그램을 비교하게 되어 추적 효율도 떨어질 수 있는데, 위와 같은 예측 프로세스를 통해 이전에 추적하던 물체를 다음 영상에서 찾을 경우 전체 영상에서 추출된 모든 물체에 대해서 코렐로그램을 비교하지 않음으로써 추적 효율을 향상시킬 수 있는 것이다.

본 발명의 일 실시예에 따른 인공지능형 로봇 시스템은 위와 같은 제어부(500)의 제어 동작에 의해 대상물체(P)를 추적하고, 대상물체(P)를 추적하는 위치에 기초하여 로봇핸드(200)의 목표 파지지점을 정확하게 설정할 수 있다.

또한 본 발명의 일 실시예에 따른 인공지능형 로봇 시스템은 제어부(500)가 상방 카메라(300)가 촬영하는 영상을 실시간으로 획득하고, 상기 실시간 획득한 영상에 기초하여 대상물체(P)의 윤곽선을 추출하고, 대상물체(P)의 윤곽선으로부터 컨베이어벨트(100)의 일측 및 타측까지의 거리를 추출하며, 대상물체(P)의 윤곽선으로부터 컨베이어벨트(100)의 일측 및 타측까지의 거리에 기초하여 로봇핸드(200)의 목표 파지지점을 보정하도록 구성될 수 있다. 이러한 구성에 의해 목표 파지지점의 정확성을 더욱 향상시킬 수 있다.

본 발명의 일 실시예에 따른 인공지능형 로봇 시스템은 컨베이어벨트(100)의 측방으로 소정 간격 이격되어 설치되는 측방 카메라(400);를 더 포함하고, 측방 카메라(400)는 컨베이어벨트(100) 상에 이송되는 대상물체(P)를 측방에서 촬영하도록 구성될 수 있다.

이때 제어부(500)는 측방 카메라(400)가 촬영한 영상에 기초하여 대상물체(P)의 폭을 추출하며, 추출된 대상물체(P)의 폭에 기초하여 로봇핸드(200)의 파지 폭을 조절하도록 구성될 수 있다.

컨베이어벨트(100)로 이송되는 대상물체(100)는 대량 생산되는 동일한 물품이라고 하더라도 컨베이어벨트(100) 상에 놓여질 때 항상 동일한 상태로 놓여지는 것은 아니다. 따라서 컨베이어벨트(100)로 이송되는 대상물체(100)는 동일한 물품이더라도 그 폭이 달라질 수 있게 된다.

본 발명의 일 실시예에 따른 인공지능형 로봇 시스템은 이러한 점을 고려하여 로봇핸드(200)의 파지 폭을 조절할 수 있는데, 이러한 파지 폭 조절을 측방 카메라(400)가 촬영한 영상에 기초하여 대상물체(P)의 폭을 추출하고, 이를 이용함으로써 로봇핸드(200)의 파지 정확성을 더욱 향상시킬 수 있다.

또한 본 발명의 일 실시예에 따른 인공지능형 로봇 시스템은 로봇핸드(200)의 파지 폭은 미리 설정된 최소 파지 폭 내지 최대 파지 폭 사이에서 조절되고, 제어부(500)는 추출된 대상물체(P)의 폭이 상기 로봇핸드(200)의 최대 파지 폭보다 더 넓은 경우 오류발생신호를 생성하도록 구성될 수 있다.

로봇핸드(200)의 미리 설정된 최대 파지 폭은 대상물체(100)가 놓여진 상태를 감안하여 최대가 되는 폭에서도 파지가 가능하도록 설정되는 것이 바람직하다. 만일 이처럼 로봇핸드(200)의 미리 설정된 최대 파지 폭은 대상물체(100)가 놓여진 상태를 감안하여 최대가 되는 폭에서도 파지가 가능하도록 설정되었는데도 불구하고, 추출된 대상물체(P)의 폭이 상기 로봇핸드(200)의 최대 파지 폭보다 더 넓은 경우는 대상물체(P)가 불량일 가능성이 있거나, 대상물체(P)가 컨베이어벨트(100) 상에 완전히 놓여진 것이 아니라 일부만 걸쳐진 상태로 컨베이어벨트(100)로부터 이탈될 가능성이 있을 수 있다.

즉, 추출된 대상물체(P)의 폭이 상기 로봇핸드(200)의 최대 파지 폭보다 더 넓은 경우는 공정에 있어 불량이거나 불량을 일으킬 가능성이 높은 상태라고 볼 수 있다.

본 발명의 일 실시예에 따른 인공지능형 로봇 시스템은 추출된 대상물체(P)의 폭이 상기 로봇핸드(200)의 최대 파지 폭보다 더 넓은 경우 오류발생신호를 생성하도록 구성됨으로써, 불량이거나 불량을 일으킬 가능성이 높은 상태를 미리 파악할 수 있어 이에 대한 빠른 대처가 가능한 장점이 있다.

본 발명의 일 실시예에 따른 인공지능형 로봇 시스템은 제어부(500)가 딥러닝(deep learning)을 통해 대상물체(100) 추적 성능을 향상시키고, 로봇핸드(200)의 그리핑 성능을 향상시키도록 구성될 수 있다.

예를 들어 제어부(500)는 상방 카메라(300)가 촬영하는 영상의 각각의 프레임을 하나의 이미지로 저장하고, 상기 이미지에 기초하여 컨볼루션 신경망(CNN, Convolutional Neural Network)을 통해 반복 학습이 가능하도록 구성될 수 있다.

컨볼루션 신경망은 하나 또는 여러 개의 컨볼루션 레이어와 그 위에 올려진 일반적인 인공 신경망 레이어들로 이루어져 컨볼루션 레이어에서 전처리를 수행하는 구조를 가진 인공신경망으로, 2차원 입력 데이터인 이미지 분석에 적합하다.

컨볼루션 신경망은 컨볼루션층(Convolutional layer)과 풀링층(Pooling layer)를 포함하여 구성되고, 컨볼루션층은 컨볼루션 연산을 통해 특징들을 추출하는 층으로 규칙적인 패턴을 가진 곱셈으로 이루어지며, 폴링층은 입력 공간을 추상화하는 층이다.

참고적으로 컨볼루션 연산은 가중치를 갖는 마스크를 이용해서 영상처리를 하는 것을 의미하는데, 입력 영상에 마스크를 씌운 다음, 입력 영상의 픽셀값과 마스크의 가중치를 각각 곱한 후 그 합을 출력 영상의 픽셀값으로 정하는 것을 말한다.

제어부(500)는 위와 같은 컨볼루션 신경망을 통해 학습하는데, 제어부(500)에는 대상물체(P)에 대한 원본 이미지 레퍼런스로 미리 설정되거나 저장되는 경우, 컨볼루션 연산을 통한 이미지와 원본 이미지인 레퍼런스 이미지와 비교 판단하는 프로세스를 반복하여 대상물체(100) 추적 성능을 향상시키고, 로봇핸드(200)의 그리핑 성능을 향상시킬 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐 아니라 청구범위와 균등한 것들에 의해 정해져야 한다.

100: 컨베이어벨트
200: 로봇핸드
300: 상방 카메라
400: 측방 카메라
500: 제어부

Claims (7)

1. 대상물체를 이송시키는 적어도 하나의 컨베이어벨트; 상기 컨베이어벨트 상에 이송되는 상기 대상물체를 파지하며, 파지 폭의 조절이 가능한 로봇핸드; 상기 컨베이어벨트의 상방으로 소정 간격 이격되어 설치되어, 팬(pan), 틸트(tilt) 또는 줌(zoom)되어 상기 대상물체를 추적하는 상방 카메라; 상기 컨베이어벨트의 측방으로 소정 간격 이격되어 설치되는 측방 카메라; 및 상기 상방 카메라, 상기 측방 카메라 및 상기 로봇핸드를 제어하되, 상기 상방 카메라가 촬영하는 영상을 실시간으로 획득하고, 상기 실시간 획득한 영상에 기초하여 상기 대상물체를 추적하도록 상기 상방 카메라의 움직임을 제어하고, 상기 대상물체를 추적하여 특정 위치에 상기 대상물체가 이동하게 되면 상기 로봇핸드를 통해 상기 대상물체를 그리핑하며, 상기 상방 카메라가 촬영하는 영상의 각각의 프레임을 하나의 이미지로 저장하고, 저장된 이미지에 기초하여 컨볼루션 신경망(CNN, Convolutional Neural Network)을 통해 딥러닝(Deep learning)하며, 상기 상방 카메라가 촬영하는 영상을 실시간으로 획득하고, 상기 실시간 획득한 영상에 기초하여 상기 대상물체의 윤곽선을 추출하고, 상기 대상물체의 윤곽선으로부터 상기 컨베이어벨트의 일측 및 타측까지의 거리를 추출하며, 상기 대상물체의 윤곽선으로부터 상기 컨베이어벨트의 일측 및 타측까지의 거리에 기초하여 상기 로봇핸드의 목표 파지지점을 보정하는 제어부를 포함하는 인공지능형 로봇 시스템에 있어서,
   상기 측방 카메라는 상기 컨베이어벨트 상에 이송되는 상기 대상물체를 측방에서 촬영하고, 상기 제어부는 상기 측방 카메라가 촬영한 영상에 기초하여 상기 대상물체의 폭을 추출하여 대상물체의 폭에 기초하여 상기 로봇핸드의 파지 폭을 조절하며,
   상기 제어부는 가우시안 혼합 모델(GMM : Gaussian Micture Model)을 통하여 통계적 검출로 필터링하면 움직임이 있는 부분은 흰색으로 움직임이 없는 부분은 흑색으로 표현되는 영상을 생성하고 생성된 영상에 대해서 노이즈를 제거하면 움직이는 대상물체(P)를 검출하여 추적하며, 움직임이 있는 부분은 흰색으로 움직임이 없는 부분은 흑색으로 표현되는 영상을 생성하여 추적하고,
   코렐로그램(correlogram) 및 칼만 필터를 사용하여 물체 판별 성능을 개선하고 물체 추적 속도를 향상시킬 수 있게 한 것을 특징으로 하는 인공지능형 로봇 시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제

Images