KR20230057649A

KR20230057649A - 로봇 안전 감시 시스템

Info

Publication number: KR20230057649A
Application number: KR1020210141640A
Authority: KR
Inventors: 이태환; 이현진; 김준영; 신지웅; 이승환
Original assignee: 주식회사 한화
Priority date: 2021-10-22
Filing date: 2021-10-22
Publication date: 2023-05-02
Also published as: EP4169674A1; US20230131396A1

Abstract

본 발명의 일 실시예에 따른 로봇 안전 감시 시스템은, 로봇 및 그 주변의 감시 영역을 촬영하는 스테레오 카메라 세트; 및 상기 스테레오 카메라 세트와 연결된 프로세서를 포함하고, 상기 스테레오 카메라 세트는, 서로 이격되는 복수의 제1 카메라 모듈을 포함하는 제1 카메라; 및 서로 이격되는 복수의 제2 카메라 모듈을 포함하는 제2 카메라를 포함하고, 제1 방향을 기준으로, 상기 제1 카메라 및 상기 제2 카메라는 서로 다른 화각을 가지고, 상기 프로세서는, 상기 감시 영역을 설정하고, 상기 감시 영역 내의 물체의 유무를 판단하고, 상기 감시 영역 내에 물체가 존재할 경우 상기 로봇을 제어한다.

Description

로봇 안전 감시 시스템{ROBOT SAFETY MONITORING SYSTEM}

본 발명은 스테레오 카메라를 이용한 안전 감시 장비로, 기계 장비에 사람이나 물체가 비정상 접근하는 것을 감지한 후 위험 상황시 기계 장비를 제어하기 위한 로봇 안전 감시 시스템에 관한 것이다.

산업 현장에서의 안전이 중요해지면서 센서 및 카메라를 이용한 감시 장비의 필요성도 점점 증가하고 있다. 이러한 감시 장비는 기계 장비 주변에 센서 및 카메라를 설치한 후 위험 지역에 사람이나 어떠한 물체가 들어오는지를 검출해서 감시하는 시스템으로, 이러한 시스템은 몇가지 방식으로 이미 사용되고 있다.

첫번째는 라인 센서를 이용한 방시으로, 개방되어 있는 공간보다는 출입구가 있는 공간에서 많이 사용하는 방식이다. 일반적으로 출입구에 라인 센서를 설치한 후 출입구에 사람이 지나가면 기계 장비를 멈추는 방식으로 가격이 저렴한 대신 개방되어 있는 공간에서의 사용의 제약이 있다.

두번째는 라이다 센서를 이용한 방식으로, 일반적으로 라인 센서를 일정 각도 범위만큼 회전시키면서 감시하는 방식이다. 이러한 방식은 회전 속도에 따라서 감시 속도가 결정이 되고 3차원이 아닌 2차원 평면으로만 검출이 가능하다는 단점이 있다.

마지막으로 3차원 카메라를 이용한 방식이 있는데 3차원 공간에 대한 데이터를 얻을 수 있기 때문에 가장 활용도가 높은 방식이나, TOF(Time of Flight) 카메라는 주변의 밝기에 민감하고 FOV(Field of View)가 좁다는 단점이 있다.

또한 기존 스테레오 카메라는 가격이 저렴하고 FOV가 넓지만 스테레오 카메라의 베이스라인과 평행한 물체에 대해서 검출 성능이 떨어진다는 단점이 있다.

도 1은 화각에 대해 설명한 그림이다. 도 1을 참조하면, 화각(FOV, Field of View)은 카메라의 촬영 범위를 일컫는 것이다. 도 1에 도시된 방와 같이, 화각은 세로 방향 화각(Height FOV), 가로 방향 화각(Width FOV) 및 대각 방향 화각(Diagonal FOV)을 포함할 수 있다. 세로 방향, 가로 방향 및 대각 방향 화각을 통해 촬상 영역이 정의될 수 있다. 화각의 절반에 해당하는 각도를 반화각(HFOV, half of FOV)이라고 할 수 있다.

도 2는 기존 스테레오 카메라의 구조를 나타낸 도면이다. 도 3은 기존 스테레오 카메라로 동일한 피사체를 찍었을 때의 거리 정보를 나타내고 있다. 도 4는 기존 스테레오 카메라를 통한 스테레오 매칭시 패턴에 따른 1대1 매칭 결과를 나타내고 있다.

도 2을 참조하면, 두개의 카메라(1, 2)를 통해서 피사체(3)를 찍은 후에 얻어진 두개의 이미지(4, 5)를 이용해서 거리(depth) 정보를 구할 수 있다.

도 3를 참조하면, 동일한 피사체를 찍었을 때 좌측 이미지(8)와 우측 이미지(9)에 보이는 피사체의 위치는 에피폴라 라인을 따라서 높이는 동일하고 가로 방향의 위치만 달라지게 된다. 거리 정보를 구하기 위해서는 에피폴라 라인을 따라서 스테레오 매칭을 수행하게 되는데, 좌측 이미지(8)와 우측 이미지(9)에서 동일한 부분을 찾은 후 위치의 차이(disparity)(10)를 이용해서 거리 정보를 구한다. 이때 위치 차이가 적을수록 거리가 멀고, 위치 차이가 클수록 거리가 가깝다고 판단할 수 있다.

다만 이러한 스테레오 매칭은 구조적으로 단점을 가지고 있는데, 에피폴라 라인을 따라서 평행 방향으로 스캔을 하기 때문에 에피폴라 라인과 평행한 방향의 패턴에 대해서 거리 정보 검출이 취약하다는 단점을 가질 수 있다.

도 4는 이러한 단점을 자세히 설명하고 있다. 도 4의 위쪽 그림을 보면 세로 방향의 패턴의 경우 좌측 이미지(11)의 실선 블록과 동일한 블록을 찾기 위해 우측 이미지(12)에서 에피폴라 라인(13)을 따라서 스캔했을 때 동일한 실선 블록이 하나인 것을 볼 수 있다.

이 경우 1대1 매칭이 되기 때문에 결과를 신뢰할 수 있다. 그에 반해 아래쪽 그림에 있는 가로 방향 패턴의 경우 좌측 이미지(11)의 실선 블록과 동일한 실선 블록이 우측 이미지(12)의 에피폴라 라인(13)을 따라서 보면 여러 개가 존재하기 때문에 1대1 매칭이 되지 않아서 스테레오 매칭의 결과를 신뢰할 수 없게 된다. 이때, 도 2의 에피폴라 라인(7)은 스테레오 카메라의 베이스라인(6)과 평행하기 때문에 기존의 스테레오 카메라를 이용한 방식은 피사체(3)가 베이스라인(6)과 평행하게 놓여있거나 패턴이 베이스라인(6)과 평행한 경우 검출 성능이 떨어질 수 있다.

본 발명은 전술한 문제점을 해결하기 위한 것으로, 2개의 카메라를 수직으로 배치함으로써 보다 안정적인 검출 성능을 가지는 로봇 안전 감시 시스템을 제공하는 것이다.

다만 이러한 과제는 예시적인 것으로, 본 발명의 해결하고자 하는 과제는 이에 한정되지 않는다.

상기 제1,2 카메라 모듈은 모두 동일한 대각 방향 화각을 가질 수 있다.

상기 제1,2 카메라 모듈은 서로 수직한 방향으로 배치될 수 있다.

상기 제1 카메라 모듈 사이의 제1 간격은, 상기 제1 카메라 모듈 및 상기 제1 카메라 모듈과 최인접한 제2 카메라 모듈 사이의 제2 간격보다 클 수 있다.

상기 제2 간격은 상기 제1 간격의 50퍼센트 내지 95퍼센트일 수 있다.

상기 제1,2 카메라 모듈의 가로 방향, 세로 방향 화각은 모두 동일할 수 있다.

상기 가로 방향 화각은 상기 세로 방향 화각의 1.2배 내지 3배일 수 있다.

상기 프로세서는, 상기 제1,2 카메라를 통해 취득한 영상을 정합하고 이를 바탕으로 물체의 검출 정보를 획득하는 영상 처리부; 및 상기 감시 영역 내의 물체의 유무를 판단하고 상기 로봇을 제어하는 로봇 제어부를 포함할 수 있다.

상기 스테레오 카메라 세트는 상기 로봇의 상측에 배치되고 상기 로봇을 바라보는 방향으로 배치될 수 있다.

상기 감시 영역은, 경고 영역, 위험 영역 및 물체 영역을 포함할 수 있다.

상기 경고 영역은, 상기 위험 영역 및 물체 영역을 포함하고, 상기 경고 영역 중 상기 물체 영역이 아닌 영역에 물체가 존재할 경우, 상기 프로세서는 상기 로봇의 구동 속도를 늦출 수 있다.

상기 경고 영역은, 상기 위험 영역 및 물체 영역을 포함하고, 상기 위험 영역 중 상기 물체 영역이 아닌 영역에 물체가 존재할 경우, 상기 프로세서는 상기 로봇을 정지시킬 수 있다.

상기 제1 카메라 및 제2 카메라는 서로 교차되게 배치될 수 있다.

본 발명의 일 실시예에 따른 로봇 안전 감시 방법은, 로봇 및 그 주변의 감시 영역을 설정하는 단계; 스테레오 카메라 세트를 이용하여 상기 감시 영역 내의 물체의 유무 판단을 수행하는 단계; 및 상기 물체의 유무에 따라 로봇을 제어하는 단계를 포함하고, 상기 스테레오 카메라 세트는, 서로 이격되는 복수의 제1 카메라 모듈을 포함하는 제1 카메라; 및 서로 이격되는 복수의 제2 카메라 모듈을 포함하는 제2 카메라를 포함하고, 제1 방향을 기준으로, 상기 제1,2 카메라는 서로 다른 화각을 가지고, 상기 제1,2 카메라 모듈은 모두 동일한 대각 방향 화각을 가진다.

상기 감시 영역은 경고 영역, 위험 영역 및 물체 영역을 포함하고, 각각의 영역은 설정, 수정 및 삭제될 수 있다.

상기 물체의 유무 판단을 수행하는 단계 전, 상기 스테레오 카메라 세트를 통해 취득한 영상을 정합하고 이를 바탕으로 물체의 검출 정보를 획득하는 단계를 더 포함할 수 있다.

컴퓨터 장치를 이용하여 로봇 안전 감시 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 포함한다.

전술한 것 외의 다른 측면, 특징, 이점은 이하의 발명을 실시하기 위한 구체적인 내용, 청구범위 및 도면으로부터 명확해질 것이다.

본 발명의 실시예들에 따른 로봇 안전 감시 시스템은, 스테레오 카메라가 가지고 있는 구조적인 한계를 극복하기 위하여 두 개의 카메라를 수직으로 배치함으로써 어느 각도로 물체가 진입하더라도 물체의 검출이 가능한 효과를 제공한다.

또한 본 발명의 실시예들에 따른 로봇 안전 감시 시스템은, 기구적인 펜스를 설치하지 않고도 카메라만으로 사용자에게 충분한 로봇 안전 감시 시스템을 제공할 수 있다.

또한 본 발명의 실시예들에 따른 로봇 안전 감시 시스템은, 기구적인 펜스를 활용한 구성이 아니므로 초기에 한 차례 로봇 안전 감시 시스템을 설치한 이후에도 감시 영역을 자유롭게 설정, 수정 및 삭제할 수 있어 로봇의 작업 환경의 변화에 유연하게 대처할 수 있다.

또한 본 발명의 실시예들에 따른 로봇 안전 감시 시스템은, T자형으로 배치된 제1,2 카메라 중 어느 하나의 카메라가 파손될 경우, 제1,2 카메라 전체가 아닌 두 카메라 중 어느 하나의 카메라만 선택적으로 교체할 수 있어 수리 및 교체가 용이하며 향상된 경제성을 가질 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 화각에 대해 설명한 그림이다.
도 2는 기존 스테레오 카메라의 구조를 나타낸 도면이다.
도 3은 기존 스테레오 카메라로 동일한 피사체를 찍었을 때의 거리 정보를 나타내고 있다.
도 4는 기존 스테레오 카메라를 통한 스테레오 매칭시 패턴에 따른 1대1 매칭 결과를 나타내고 있다.
도 5는 본 발명의 일 실시예에 따른 두 개의 카메라가 T자형으로 배치된 모습을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 스테레오 카메라 세트의 구체적인 배치를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 카메라 모듈의 화각을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 스테레오 카메라 세트가 프로세서와 연결된 모습을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 로봇 안전 감시 시스템이 로봇 주변에 배치된 모습을 나타낸 도면이다.
도 10은 본 발명의 다른 실시예에 따른 스테레오 카메라 세트를 나타낸 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 발명의 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시예로 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 다른 실시예에 도시되어 있다 하더라도, 동일한 구성요소에 대하여서는 동일한 식별부호를 사용한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타냈으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 도 5 내지 도 8을 참조하여, 본 발명의 일 실시예에 따른 스테레오 카메라 세트에 대해 설명한다.

도 5는 본 발명의 일 실시예에 따른 두 개의 카메라가 T자형으로 배치된 모습을 나타낸 도면이다. 도 6은 본 발명의 일 실시예에 따른 스테레오 카메라 세트의 구체적인 배치를 나타낸 도면이다. 도 7은 본 발명의 일 실시예에 따른 카메라 모듈의 화각을 나타낸 도면이다. 도 8은 본 발명의 일 실시예에 따른 스테레오 카메라 세트가 프로세서와 연결된 모습을 나타낸 도면이다.

도 5 내지 도 8을 참조하면, 본 발명의 일 실시예에 따른 로봇 안전 감시 시스템은, 로봇 및 그 주변의 감시 영역을 촬영하는 스테레오 카메라 세트(100) 및 스테레오 카메라 세트(100)와 연결된 프로세서(200)를 포함한다. 프로세서(200)는, 감시 영역을 설정하고, 감시 영역 내의 물체의 유무를 판단하고, 감시 영역 내에 물체가 존재할 경우 로봇을 제어한다.

이때, 스테레오 카메라 세트(100)는, 제1 카메라(110) 및 제1 카메라(110)와 수직으로 배치된 제2 카메라(120)를 포함할 수 있다. 도 5 및 도 6을 참조하면, 스테레오 카메라 세트(100)는 제1 카메라(110)를 제1 방향을 길이 방향으로, 제2 카메라(120)를 제1 방향과 수직인 방향을 길이 방향으로 배치한 T자형 구성으로서, 어떤 상황에서도 2개의 카메라 중 어느 하나의 카메라에서는 베이스라인과 평행하지 않은 패턴이 얻어지게 되므로, 특정 각도에서 1대1 매칭이 되지 않는 상황이 일어나지 않으므로 스테레오 매칭 결과의 신뢰성이 향상될 수 있으며, 스테레오 카메라를 이용한 물체의 검출 성능이 보다 안정적으로 유지될 수 있다. 또한, 상기 스테레오 카메라 세트(100)는 T자형으로 배치된 제1 및 제2 카메라(110, 120)를 포함하며, 상기 제1 및 제2 카메라(110, 120) 중 어느 하나의 카메라가 파손될 경우, 상기 제1 및 제2 카메라(110, 120) 전체가 아닌 선택적으로 교체할 수 있어 수리 교체가 용이하며 향상된 경제성을 가질 수 있다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 스테레오 카메라 세트(100)는, 서로 이격되는 복수의 제1 카메라 모듈(111)을 포함하는 제1 카메라(110) 및 서로 이격되는 복수의 제2 카메라 모듈(121)을 포함하는 제2 카메라(120)를 포함한다. 이때, 제1 방향을 기준으로, 제1,2 카메라(110, 120)는 서로 다른 방향의 화각을 가진다.

제1,2 카메라(111, 121)가 서로 다른 방향의 화각을 가지게 됨으로써, 특정 각도에서 1대1 매칭이 되지 않는 상황이 일어나지 않으므로 스테레오 매칭 결과의 신뢰성이 향상될 수 있으며, 스테레오 카메라를 이용한 물체 검출 성능이 보다 안정적으로 유지될 수 있다.

본 발명의 일 실시예에 따르면, 제1 카메라 모듈(111) 사이의 제1 간격(D1)은, 제1 카메라 모듈(111) 및 제1 카메라 모듈(111)과 최인접한 제2 카메라 모듈(121) 사이의 제2 간격(D2)보다 클 수 있다. 제1 간격(D1)이 제2 간격(D2)보다 작을 경우, 제1 카메라 모듈의 화각(111)과 제2 카메라 모듈(121)의 화각이 서로 겹쳐질 수 있다. 따라서 제1 간격(D1)이 제2 간격(D2)보다 크게 배치됨으로써 각 카메라 모듈의 화각들이 서로 겹쳐지거나 멀어지지 않는 범위의 시야를 확보할 수 있다.

본 발명의 일 실시예에 따르면, 제1 간격(D1)과 제2 간격(D2)은 기 설정된 비율을 유지할 수 있다. 이때, 제2 간격(D2)은 제1 간격(D1)의 95퍼센트 이하가 될 수 있다. 제2 간격(D2)이 제1 간격(D1)의 95퍼센트 초과일 경우, 카메라 사이의 간격이 멀어져 비유효 영역이 형성될 수 있어 감지 성능이 저하될 수 있다. 따라서 제2 간격(D2)을 제1 간격(D1)의 95퍼센트가 넘지 않도록 설계함으로써 감지 영역의 손실을 방지함과 동시에 감지 성능의 저하를 막을 수 있도록 할 수 있다.

보다 상세하게는, 상기 비율을 세 단계로 나누어 설정할 수 있다. 1단계인 최대 허용 범위는, 제2 간격(D2)은 제1 간격(D1)의 95퍼센트 이하가 될 수 있다. 1단계는, 감지 영역의 손실과 감지 성능 저하의 임계값으로 설정될 수 있다.

2단계인 적정 허용 범위는, 제2 간격(D2)은 제1 간격(D1)의 85퍼센트 이하가 될 수 있다. 적정 허용 범위로 카메라 모듈이 배치될 경우, 감지 영역이 손실되지 않는 선에서 감지 성능이 향상될 수 있다.

3단계인 최고 적정 허용 범위는, 제2 간격(D2)은 제1 간격(D1)의 70퍼센트 이하가 될 수 있다. 최고 적정 허용 범위로 카메라 모듈이 배치될 경우, 감지 영역이 손실되지 않는 선에서 감지 성능이 최대화될 수 있다.

일 실시예로, 도 6을 참조하면, 제1 간격(D1)은 50mm, 제2 간격(D2)은 35mm가 될 수 있다. 이때, 제2 간격(D2)은 제1 간격(D1)의 70퍼센트가 될 수 있다. 이와 같이 70퍼센트의 최고 적정 허용 범위로 카메라 모듈 간격 비율이 배치됨으로써, 감지 영역이 손실되지 않음과 동시에 감지 성능이 최대화될 수 있다.

도 7을 참조하면, 제1,2 카메라 모듈(111, 121)의 가로 방향 화각(FOV1), 세로 방향 화각(FOV2)은 모두 동일할 수 있다. 즉, 제1,2 카메라 모듈(111, 121)의 가로 방향 화각(FOV1), 세로 방향 화각(FOV2) 및 대각 방향 화각(FOV3)은 모두 동일하나, 제2 카메라(120)는 제1 카메라(110)와 동일한 화각 방향을 가진 상태에서 제1 카메라(110)와 수직으로 배치될 수 있다.

본 발명의 일 실시예에 따르면, 가로 방향 화각(FOV1)은 세로 방향 화각(FOV2)의 1배 내지 2배일 수 있다. 가로 방향 화각(FOV1)이 세로 방향 화각(FOV2)의 1배 미만일 경우, 로봇(R)을 중심으로 원형 형태의 감지 영역이 형성되지 않게 된다. 또한 가로 방향 화각(FOV1)이 세로 방향 화각(FOV2)의 2배 초과일 경우에도 로봇(R)을 중심으로 원형 형태의 감지 영역이 형성되지 않게 된다.

따라서, 로봇(R)을 중심으로 원형 형태의 감지 영역을 형성하기 위해서는 최소한 가로 방향 화각(FOV1)은 세로 방향 화각(FOV2)의 1배 내지 2배가 되어야 할 수 있다.

보다 상세하게는, 상기 비율을 세 단계로 나누어 설정할 수 있다. 1단계인 최대 허용 범위는, 가로 방향 화각(FOV1)은 세로 방향 화각(FOV2)의 1 내지 2배가 될 수 있다. 1단계는, 로봇(R)의 중심으로 원형 형태의 감지 영역을 형성하기 위한 임계값으로 설정될 수 있다.

2단계는, 가로 방향 화각(FOV1)은 세로 방향 화각(FOV2)의 1.25 내지 1.75배가 될 수 있다. 2단계는, 로봇(R) 중심으로 설정된 원 형태의 감지 영역 내의 물체를 효과적으로 감지할 수 있다.

3단계는, 가로 방향 화각(FOV1)은 세로 방향 화각(FOV2)의 1.3 내지 1.5배가 될 수 있다. 3단계는, 감지 영역이 보다 컴팩트하게 제공되어, 로봇 중심으로 설정된 원형 형태의 감지 영역 내의 감지 성능을 향상시킬 수 있다.

일 실시예로, 도 7을 참조하면, 가로 방향 화각(FOV1)은 약 70도 내지 약 100도, 세로 방향 화각(FOV2)은 약 45도 내지 약 65도일 수 있다. 자세하게, 실시예는 로봇(R)의 중심으로 설정된 형태의 감지 영역의 손실을 줄이기 위해 가로 방향 화각(FOV1)은 약 75도 내지 약 90도, 세로 방향 화각(FOV2)은 약 50도 내지 약 60도일 수 있다. 예를 들어, 실시예에서 가로 방향 화각(FOV1)은 85.2도, 세로 방향 화각(FOV2)은 58도가 될 수 있다. 이때, 가로 방향 화각(FOV1)은 세로 방향 화각(FOV2)의 1.468배가 될 수 있다. 이와 같이 1.468배의 3단계 범위로 가로 방향 화각(FOV1)과 세로 방향 화각(FOV2)이 배치됨으로 인해 감지 영역이 컴팩트하게 제공됨으로써, 로봇(R)을 중심으로 설정된 감지 영역의 감지 성능이 최대화될 수 있다.

도 6을 참조하면, 스테레오 카메라 세트(100)의 상하 폭, 좌우 폭은 동일하거나 상이할 수 있다. 예를 들어, 상기 스테레오 카메라 세트(100)의 상하 폭과 좌우폭의 비율은 0.8:1 내지 1.2:1일 수 있다. 일 실시예로 상기 스테레오 카메라 세트(100)의 상하 폭과 좌우 폭은 서로 동일하게 제공되어 향상된 심미성을 가질 수 있다. 예를 들어, 상기 스테레오 카메라 세트(100)의 상파 폭과 좌우폭은 모두 200mm가 될 수 있다. 또한, 상기 제1 카메라(110)의 가로 및 세로 방향 길이는 서로 상이할 수 있다. 예를 들어, 상기 제1 카메라(110)의 가로 방향 길이는 세로 방향 길이보다 길 수 있다. 자세하게, 상기 제1 카메라(110)의 가로 방향 길이는 세로 방향 길이의 약 2배 내지 약 5배일 수 있다. 바람직하게, 상기 제1 카메라(110)의 가로 방향 길이는 세로 방향 길이의 약 2.5배 내지 약 4배일 수 있다. 또한, 상기 제2 카메라(120)의 세로 방향 길이는 가로 방향 길이보다 길 수 있다. 자세하게, 상기 제2 카메라(120)의 세로 방향 길이는 방향 길이는 가로 방향 길이의 약 2배 내지 약 5배일 수 있다. 바람직하게, 상기 제2 카메라(120)의 세로 방향 길이는 가로 방향 길이의 약 2.5배 내지 약 4배일 수 있다. 예를 들어, 실시예에서 제1 카메라(110)는 가로 90mm, 세로 25mm로 형성될 수 있다. 또한 제2 카메라(120)는 가로 25mm, 세로 90mm로 형성될 수 있다. 이에 따라, 실시예는 로봇(R)을 중심으로 설정된 감지 영역 내의 감지 성능이 최대화될 수 있다.

본 실시예에 따르면, 서로 수직으로 배치된 제1,2 카메라(110, 120)를 통해 촬영된 물체를 하나의 카메라에서 얻은것처럼 인식되기 위하여 촬영된 2개의 이미지를 정합하는 과정이 필요할 수 있다.

2개의 카메라에서 얻어진 이미지를 정합하기 위해 도 8에 도시된 바와 같이 하나의 프로세서(20)에 2개의 카메라를 케이블(300)로 연결한 후 동시에 프레임을 획득할 수 있다. 그 이후에 2D Point Matching 또는 3D Point Cloud Matching을 사용할 수 있다.

스테레오 카메라 정합을 완료하면, 서로 수직으로 배치된 제1,2 카메라(110, 120)를 포함하는 스테레오 카메라 세트(100)를 구성한 후, 도 8에 도시된 로봇 안전 감시 시스템을 구성할 수 있다. 본 발명의 일 실시예에 따른 로봇 안전 감시 장비는 스테레오 카메라 세트(100), 스테레오 카메라 세트(100)와 프로세서(200)를 연결하는 케이블(300), 프로세서(200)를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 프로세서(200)는, 제1,2 카메라(110, 120)를 통해 취득한 영상을 정합하고 이를 바탕으로 물체의 검출 정보를 획득하는 영상 처리부(210) 및 감시 영역 내의 물체의 유무를 판단하고 로봇(R)을 제어하는 로봇 제어부(220)를 포함할 수 있다. 이를 바탕으로 프로세서(200)는 영상을 통해 물체를 검출하고, 의도치 않은 물체가 로봇에 접근할 경우 로봇의 구동을 제어함으로써, 위험한 환경에서 로봇의 구동이 저지되고 로봇이 안전한 환경에서 구동될 수 있도록 하여, 구동 로봇에 보다 안전한 작업 환경을 제공해 줄 수 있다.

프로세서(200)는, 영상 처리부(210)와 로봇 제어부(220) 간의 데이터 통신이 가능하도록 할 수 있다.

이하, 도 9를 참조하여, 본 발명의 일 실시예에 따른 로봇의 구동 환경에 로봇 안전 감시 시스템이 설치된 모습 및 감시 영역에 대해 설명한다. 도 9에 도시되어 있지 않은 내용은 도 5 내지 도 8을 참조할 수 있다.

도 9는 본 발명의 일 실시예에 따른 로봇 안전 감시 시스템이 로봇 주변에 배치된 모습을 나타낸 도면이다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 로봇 안전 감시 시스템에서, 스테레오 카메라 세트(100)는 로봇(R)의 상측에 배치되고, 로봇(R)을 바라보는 방향으로 배치될 수 있다. 이때, 스테레오 카메라 세트(100)의 배치 높이를 조절하는 높낮이 조절부(400)를 더 포함할 수 있다. 본 실시예에 따르면, 높낮이 조절부(400)는 기둥이 될 수 있다. 스테레오 카메라 세트(100)는 높낮이 조절부(400)와 상관없이 천장부에 배치될 수도 있다.

이와 같이, 스테레오 카메라 세트(100)는 로봇(R)을 바라본 채로 로봇(R)의 주변을 충분히 감시할 수 있을 정도로 높은 위치에 설치될 수 있다. 스테레오 카메라 세트(100)가 높이 설치될수록 프로세서(200)와의 거리가 멀어지기 때문에 케이블(300)의 길이는 스테레오 카메라 세트(100)와 연결되기 위해 충분히 길어질 수 있다.

일 실시예로, 스테레오 카메라 세트(100)와 로봇(R)이 배치된 바닥까지의 거리(h)는 5m 이하일 수 있고, 감지 영역의 폭(w)은 5m 이하일 수 있다. 상기 거리 및 폭의 범위를 벗어나는 경우 감지 영역이 정상적으로 설정되지 않아 물체의 감지 성능이 저하될 수 있다. 상기 범위 내에 로봇(R)이 배치될 경우 스테레오 카메라 세트(100)의 감지 성능이 최소한으로 확보될 수 있다. 바람직하게, 스테레오 카메라 세트(100)와 로봇(R)이 배치된 바닥까지의 거리(h)는 0.5m 내지 4m가 될 수 있고, 감지 영역의 폭(w)은 최대 4m 이하가 될 수 있다. 이 경우, 실시예는 로봇(R) 중심으로 설정된 감지 영역 내의 감지 성능을 최대화할 수 있다.

본 발명의 일 실시예에 따른 감시 영역은, 경고 영역(500), 위험 영역(600) 및 물체 영역(700)을 포함할 수 있다. 각 영역의 크기는 도 9에 도시되어 있다.

보다 상세하게는, 경고 영역(500)은, 위험 영역(600) 및 물체 영역(700)을 포함하고, 경고 영역(500)중 물체 영역(700)이 아닌 영역에 물체가 존재할 경우, 프로세서(200)는 로봇(R)의 구동 속도를 늦출 수 있다.

이때, 프로세서(200)와 연결되고 경고음을 발생하는 알람부(미도시)를 더 포함하고, 경고 영역(500) 중 물체 영역(700)이 아닌 영역에 물체가 존재할 경우, 알람부(미도시)는 프로세서(200)에 의해 경고음이 발생될 수 있다.

또한 본 발명의 일 실시예에 따르면, 위험 영역(600) 중 물체 영역(700)이 아닌 영역에 물체가 존재할 경우, 프로세서(200)는 로봇(R)을 정지시킬 수 있다. 이때 위험 영역(600)은 경고 영역(500)에 포함되며 경고 영역(500)보다 더 좁을 수 있다. 또한 위험 영역의 크기는 로봇(R)의 크기, 속도를 고려하여 그에 대응되도록 설정될 수 있다.

로봇(R)의 크기가 상대적으로 클 경우 위험 영역(600)의 크기도 상대적으로 커질 수 있다. 또한 로봇(R)의 속도가 상대적으로 빠를 경우 비정상적인 물체의 접근에 의해 로봇의 작업 안정성에 문제가 생길 확률이 더 크므로 위험 영역(600)의 크기도 로봇(R)의 속도가 느릴때에 비하여 더 커질 수 있다.

경고 영역(500)에 물체가 들어오면 프로세서(200)는 로봇(R)의 구동 속도를 늦춤으로써 비정상적인 물체가 로봇에 물리력을 미치는 위험 상황에 대비할 수 있다. 또한 물체가 경고 영역(500)을 넘어 로봇(R)과 보다 가까운 영역인 위험 영역(600)에 물체가 들어오면, 프로세서(200)는 로봇(R)의 구동을 정지시킴으로써 위험 상황에 보다 적극적으로 대비할 수 있다.

물체 영역(700)은 경고 영역(500) 또는 위험 영역(600)에 포함될 수 있다. 물체 영역(700)은 위험 영역(600) 또는 경고 영역(500) 안에 로봇(R)의 구동 및 작업을 위해 필수적으로 필요한 물체가 있어야 할 때 해당 물체가 위치한 부분을 경고 영역(500) 또는 위험 영역(600)과 다르게 설정하기 위해 필요할 수 있다. 즉, 물체 영역(700) 내부에 위치한 물체는 경고 영역(500) 또는 위험 영역(600) 내부에 있는 물체와 다르게 로봇(R)의 감속 및 정지, 경고음 발생이 일어나지 않을 수 있다.

본 발명의 일 실시예에 따르면, 로봇(R)을 포함하는 제1 물체 영역(710) 및 스테레오 카메라 세트(100)의 높이를 조절하는 높낮이 조절부(400)를 포함하는 제2 물체 영역(720)을 포함할 수 있다. 이때 위험 영역(600)은 제1 물체 영역(710)을 포함할 수 있다.

도 9를 참조하면, 로봇(R)은 위험 영역(600) 안에 존재하고 스테레오 카메라 세트(100)를 지지하고 스테레오 카메라 세트(100)를 높이 설치하기 위한 높낮이 조절부(400)는 경고 영역(500) 안에 존재하는데, 이렇게 되면 위험 영역(600)과 경고 영역(500) 안에 항상 물체가 존재한다고 감지되기 때문에 로봇(R)이 정상적으로 동작할 수 없다. 이러한 상황이 일어나지 않게끔 하기 위해 로봇(R)과 높낮이 조절부(400) 부분을 물체 영역으로 설정함으로써, 높낮이 조절부(400)로 인해 로봇(R)의 감속, 정지 및 경고음 발생이 일어나지 않도록 할 수 있다.

이하, 도 10을 참조하여, 본 발명의 다른 실시예에 따른 스테레오 카메라 세트에 대해 설명한다. 도 10에서 설명되지 않은 내용, 특히 제1,2 간격(D1', D2') 에 대한 내용 및 화각(FOV1', FOV2', FOV3')은 전술한 부분에서 설명된 내용을 참조할 수 있다.

도 10은 본 발명의 다른 실시예에 따른 스테레오 카메라 세트를 나타낸 도면이다.

도 10을 참조하면, 스테레오 카메라 세트(100')의 제1 카메라(110') 및 제2 카메라(120')는 서로 교차되게 배치될 수 있다. 이때, 제1 카메라(110')의 복수 개의 제1 카메라 모듈(111')은 제2 카메라(120')의 복수 개의 제2 카메라 모듈(121')과 서로 교차하도록 배치될 수 있다.

이때, 제1,2 카메라(110', 120')가 교차 배치된 상태로 서로 다른 화각을 가지게 됨으로써, 특정 각도에서 1대1 매칭이 되지 않는 상황이 일어나지 않으므로 스테레오 매칭 결과의 신뢰성이 향상될 수 있으며, 스테레오 카메라를 이용한 물체 검출 성능이 보다 안정적으로 유지될 수 있다.

또한 T자형 스테레오 카메라 세트 구조에 배하여 본 다른 실시예와 같이 삽자가형 스테레오 카메라 세트 구조는 상하좌우가 대칭으로 배치된 구조일 수 있다. 따라서 로봇(R)을 중심으로 배치된 스테레오 카메라 세트(100') 구조를 통해 여러 방향에서 접근하는 물체를 균등하게 감지할 수 있게 되어 감지 성능을 향상시킬 수 있다.

이하, 본 발명의 일 실시예에 따른 로봇 안전 감시 방법에 대해 설명한다.

본 발명의 일 실시예에 따른 로봇 안전 감시 방법은, 로봇(R) 및 그 주변의 감시 영역을 설정하는 단계, 감시 영역 내의 물체의 유무 판단을 수행하는 단계 및 물체의 유무에 따라 로봇을 제어하는 단계를 포함한다.

이때, 감시 영역은, 경고 영역, 위험 영역 및 물체 영역을 포함하고, 각각의 영역은 설정, 수정 및 삭제될 수 있다. 각각의 감시 영역을 사용자가 설정, 수정 및 삭제 되도록 함으로써, 다양한 로봇(R)의 구동을 감시 영역 설정, 수정 및 삭제를 통해 안정적으로 감시 할 수 있어 작업 환경 변화에 보다 유연하게 대처할 수 있다. 컴퓨터 장치를 이용하여 각각의 영역을 설정, 수정 및 삭제를 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 포함할 수 있다.

또한 본 실시예에 따르면, 물체의 유무 판단을 수행하는 단계 전, 스테레오 카메라 세트(100)를 통해 취득한 영상을 정합하고 이를 바탕으로 물체의 검출 정보를 획득하는 단계를 더 포함할 수 있다.

본 발명은, 감시 영역을 설정하고 물체의 유무 판단 및 로봇의 제어를 할 수 있도록 매체에 저장된 컴퓨터 프로그램을 포함할 수 있다. 컴퓨터 프로그램은, 감시 영역 설정, 물체의 유무 판단 및 그에 대응한 로봇의 제어를 매체에 저장된 컴퓨터 프로그램에 의해 실행할 수 있다.

이와 같이 도면에 도시된 실시예를 참고로 본 발명을 설명하였으나, 이는 예시에 불과하다. 해당 기술 분야에서 통상의 지식을 갖는 자라면 실시예로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 충분히 이해할 수 있다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위에 기초하여 정해져야 한다.

실시예에서 설명하는 특정 기술 내용은 일 실시예들로서, 실시예의 기술 범위를 한정하는 것은 아니다. 발명의 설명을 간결하고 명확하게 기재하기 위해, 종래의 일반적인 기술과 구성에 대한 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재는 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로 표현될 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

발명의 설명 및 청구범위에 기재된 "상기" 또는 이와 유사한 지시어는 특별히 한정하지 않는 한, 단수 및 복수 모두를 지칭할 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 또한, 실시예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시예들이 한정되는 것은 아니다. 실시예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시예를 상세히 설명하기 위한 것으로서 청구범위에 의해 한정되지 않는 이상, 상기 예들 또는 예시적인 용어로 인해 실시예의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

100: 스테레오 카메라 세트
110: 제1 카메라
111: 제1 카메라 모듈
110a: 제1 카메라 이미지
120: 제2 카메라
121: 제2 카메라 모듈
120a: 제2 카메라 이미지
200: 프로세서
210: 영상 처리부
220: 로봇 제어부
300: 케이블
400: 높낮이 조절부
500: 경고 영역
600: 위험 영역
700: 물체 영역
710: 제1 물체 영역
720: 제2 물체 영역
R: 로봇
D1: 제1 간격
D2: 제2 간격
FOV1: 가로 방향 화각
FOV2: 세로 방향 화각
FOV3: 대각 방향 화각

Claims

로봇 및 그 주변의 감시 영역을 촬영하는 스테레오 카메라 세트; 및
상기 스테레오 카메라 세트와 연결된 프로세서를 포함하고,
상기 스테레오 카메라 세트는,
서로 이격되는 복수의 제1 카메라 모듈을 포함하는 제1 카메라; 및
서로 이격되는 복수의 제2 카메라 모듈을 포함하는 제2 카메라를 포함하고,
제1 방향을 기준으로, 상기 제1 카메라 및 상기 제2 카메라는 서로 다른 화각을 가지고,
상기 프로세서는, 상기 감시 영역을 설정하고, 상기 감시 영역 내의 물체의 유무를 판단하고, 상기 감시 영역 내에 물체가 존재할 경우 상기 로봇을 제어하는 로봇 안전 감시 시스템.
제1 항에 있어서,
상기 제1,2 카메라 모듈은 모두 동일한 대각 방향 화각을 가지는 로봇 안전 감시 시스템.
제1 항에 있어서,
상기 제1,2 카메라 모듈은 서로 수직한 방향으로 배치되는 로봇 안전 감시 시스템.
제1 항에 있어서,
상기 제1 카메라 모듈 사이의 제1 간격은, 상기 제1 카메라 모듈 및 상기 제1 카메라 모듈과 최인접한 제2 카메라 모듈 사이의 제2 간격보다 큰 로봇 안전 감시 시스템.
제4 항에 있어서,
상기 제2 간격은 상기 제1 간격의 50퍼센트 내지 95퍼센트인 로봇 안전 감시 시스템.
제1 항에 있어서,
상기 제1,2 카메라 모듈의 가로 방향, 세로 방향 화각은 모두 동일한 로봇 안전 감시 시스템.
제6 항에 있어서,
상기 가로 방향 화각은 상기 세로 방향 화각의 1.2배 내지 3배인 로봇 안전 감시 시스템.
제1 항에 있어서,
상기 프로세서는,
상기 제1,2 카메라를 통해 취득한 영상을 정합하고 이를 바탕으로 물체의 검출 정보를 획득하는 영상 처리부; 및
상기 감시 영역 내의 물체의 유무를 판단하고 상기 로봇을 제어하는 로봇 제어부를 포함하는 로봇 안전 감시 시스템.
제1 항에 있어서,
상기 스테레오 카메라 세트는 상기 로봇의 상측에 배치되고 상기 로봇을 바라보는 방향으로 배치되는 로봇 안전 감시 시스템.
제1 항에 있어서,
상기 감시 영역은, 경고 영역, 위험 영역 및 물체 영역을 포함하는 로봇 안전 감시 시스템.
제10 항에 있어서,
상기 경고 영역은, 상기 위험 영역 및 물체 영역을 포함하고,
상기 경고 영역 중 상기 물체 영역이 아닌 영역에 물체가 존재할 경우,
상기 프로세서는 상기 로봇의 구동 속도를 늦추는 로봇 안전 감시 시스템.
제10 항에 있어서,
상기 경고 영역은, 상기 위험 영역 및 물체 영역을 포함하고,
상기 위험 영역 중 상기 물체 영역이 아닌 영역에 물체가 존재할 경우,
상기 프로세서는 상기 로봇을 정지시키는 로봇 안전 감시 시스템.
제1 항에 있어서,
상기 제1 카메라 및 제2 카메라는 서로 교차되게 배치되는 로봇 안전 감시 시스템.
로봇 및 그 주변의 감시 영역을 설정하는 단계;
스테레오 카메라 세트를 이용하여 상기 감시 영역 내의 물체의 유무 판단을 수행하는 단계; 및
상기 물체의 유무에 따라 로봇을 제어하는 단계를 포함하고,
상기 스테레오 카메라 세트는,
서로 이격되는 복수의 제1 카메라 모듈을 포함하는 제1 카메라; 및
서로 이격되는 복수의 제2 카메라 모듈을 포함하는 제2 카메라를 포함하고,
제1 방향을 기준으로, 상기 제1,2 카메라는 서로 다른 화각을 가지고,
상기 제1,2 카메라 모듈은 모두 동일한 대각 방향 화각을 가지는 로봇 안전 감시 방법.
제14 항에 있어서,
상기 감시 영역은 경고 영역, 위험 영역 및 물체 영역을 포함하고,
각각의 영역은 설정, 수정 및 삭제되는 로봇 안전 감시 방법.
제14 항에 있어서,
상기 물체의 유무 판단을 수행하는 단계 전,
상기 스테레오 카메라 세트를 통해 취득한 영상을 정합하고 이를 바탕으로 물체의 검출 정보를 획득하는 단계를 더 포함하는 로봇 안전 감시 방법.
컴퓨터 장치를 이용하여 제14 항 내지 제16 항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.