KR20150076325A - 모션 인식을 이용한 공정 검사 시스템 - Google Patents

Abstract

본 발명의 실시예에 의한 작업 공정 검사 시스템은, 작업자의 작업 동작을 촬영하는 동영상 촬영부; 작업이 완성된 부품을 촬영하는 영상 촬영부; 상기 동영상 촬영부로부터 촬영된 작업자의 움직임과 설정된 표준 움직임을 비교하여 차이가 있는지 여부를 판단하고, 상기 영상 촬영부로부터 촬영된 영상과 설정된 표준 영상을 비교하여 차이가 있는지 여부를 판단하는 제어부;를 포함한다..
본 발명의 실시예에 의하면, 동영상 촬영부를 통해 촬영된 작업자의 움직임과 표준 움직임을 비교하여 작업자가 정해진 작업 공정을 수행했는지 여부를 판단할 수 있다.

Description

모션 인식을 이용한 공정 검사 시스템 {Work in Process Inspection System using Motion Detection And Method Thereof}

본 발명은 모션 인식을 이용한 공정 검사 시스템에 관한 것으로, 더욱 상세하게는, 조립 공정에서 작업자의 동작과 표준 동작을 실시간 비전을 통해 비교하여 작업자가 표준 작업 공정을 수행하는지 여부를 판단할 수 있는 모션 인식을 이용한 공정 검사 시스템에 관한 것이다.

자동차의 조립 공정에서 작업자가 부품을 수작업으로 조립할 때, 조립한 부품이 정확한 공정에 의해 조립되었는지 여부를 판단하는 것은 매우 중요하다.

예를 들면, 실린더 블록에는 피스톤이 조립되는데, 상기 피스톤에는 엔진 오일의 누유를 방지하기 위해 피스톤링에 오일링이 결합된다. 상기 피스톤링과 오일링은 조립을 위해 일측이 터진 링 형상으로 형성된다. 상기 피스톤링과 오일링을 상기 피스톤에 조립할 때는 피스톤링과 오일링의 터진 부분이 서로 엇갈리도록 조립해야 실린더 내의 엔진 오일이 외부로 누유되는 것을 방지할 수 있다.

만약, 상기 피스톤링과 오일링을 조립할 때, 조립 방향이 바뀌면 엔진 오일이 외부로 누유되거나 엔진 출력이 저하되는 문제가 발생할 수 있다.

또한, 상기 피스톤에는 커넥팅 로드가 회전가능하게 결합한다. 조립 과정에서 상기 커넥팅 로드가 원활히 회전하는지 여부를 체크해야 한다. 만약, 상기 피스톤에 회전가능하게 조립된 커넥팅 로드의 회전 여부를 확인하지 않으면, 엔진의 고속 회전시에 마찰에 의해 고열이 발생하여 엔진이 파손되는 문제가 발생할 수 있다.

이와 같이, 자동차에 구비되는 각종 부품을 작업자가 조립할 때, 정해진 조립 순서 또는 조립 상태를 확인하지 않으면 부품의 조립 불량으로 인해 여러 가지 문제가 발생한다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 작업자가 정해진 작업 공정 순서 또는 작업 상태를 확인할 수 있는 모션 인식을 이용한 공정 검사 시스템을 제공하는 것을 목적으로 한다.

본 발명의 실시예에 따른 모션 인식을 이용한 공정 검사 시스템은, 작업자의 작업 동작을 촬영하는 동영상 촬영부; 작업이 완성된 부품을 촬영하는 영상 촬영부; 및 상기 동영상 촬영부로부터 촬영된 작업자의 움직임과 설정된 표준 움직임을 비교하여 차이가 있는지 여부를 판단하고, 상기 영상 촬영부로부터 촬영된 영상과 설정된 표준 영상을 비교하여 차이가 있는지 여부를 판단하는 제어부;를 포함할 수 있다.

상기 제어부는, 상기 동영상 촬영부를 통해 촬영된 작업자의 동작으로부터, 작업자의 관절의 움직임을 추출하는 동작 추출부; 상기 동작 추출부에서 추출된 관절의 움직임과 설정된 표준 움직임과의 차이를 판단하는 움직임 판단부; 및 상기 영상 촬영부로부터 촬영된 영상과 설정된 표준 영상을 비교하여 촬영된 영상이 표준 영상과 차이가 있는지 여부를 판단하는 영상 판단부;를 포함할 수 있다.

추출된 관절의 움직임과 설정된 표준 움직임의 차이가 있는 경우, 또는 촬영된 영상과 설정된 표준 영상과의 차이가 있는 경우에 알람을 발생하는 경고부를 더 포함할 수 있다.

적외선 파장 대역의 인체 영상을 촬영할 수 있는 적외선 촬영부를 더 포함하고, 상기 제어부는 상기 적외선 촬영부를 통해 촬영된 영상에서 작업자의 작업 영역을 추출하고, 추출된 작업 영역내에서 작업자의 움직임을 추출하는 인체 추출부를 더 포함할 수 있다.

본 발명의 다른 실시예에 따른 모션 인식을 이용한 공정 검사 방법은, 작업자의 작업 동작을 촬영하는 단계; 작업자의 작업 동작으로부터 작업자의 관절의 움직임을 추출하는 단계; 추출된 관절의 움직임과 설정된 표준 움직임을 비교하는 단계; 작업이 완성된 부품을 촬영하는 단계; 및 촬영된 영상과 표준 영상을 비교하는 단계;를 포함할 수 있다.

추출된 관절의 움직임과 설정된 표준 움직임의 차이가 설정 범위를 벗어나면 작업자에게 알람을 발생하는 단계를 더 포함할 수 있다.

촬영된 영상과 표준 영상의 차이가 설정 범위를 벗어나면 작업자에게 알람을 발생하는 단계를 더 포함할 수 있다.

적외선 파장 대역의 인체 영상을 촬영하는 단계; 및 적외선 영상으로부터 인체의 움직임 영역을 추출하는 단계를 더 포함하며, 상기 인체의 움직임 영역으로부터 작업자의 관절 움직임을 추출할 수 있다.

상기한 바와 같은 본 발명의 실시예에 의한 본 발명의 실시예에 의하면, 3차원 스캐너를 통해 촬영된 작업자의 움직임과 표준 움직임을 비교하여 작업자가 정해진 작업 공정을 수행했는지 여부를 판단할 수 있다.

또한, 카메라를 통해 촬영된 영상을 표준 영상과 비교하여 작업자가 수행한 작업 상태가 정해진 작업 상태를 만족하는지 여부를 판단할 수 있다.

그리고 적외선 카메라를 통해 추출된 인체 움직임 영역에서 작업자의 움직임을 추출하기 때문에 작업자의 움직임만을 정확히 추출할 수 있다.

이 도면들은 본 발명의 예시적인 실시예를 설명하는데 참조하기 위함이므로, 본 발명의 기술적 사상을 첨부한 도면에 한정해서 해석하여서는 아니된다.
도 1은 본 발명의 실시예에 따른 작업 공정 시스템의 구성을 보인 개념도이다.
도 2는 본 발명의 실시예에 따른 작업 공정 시스템의 구성을 보인 블록도이다.
도 3은 본 발명의 실시예에 따른 작업 공정 시스템을 이용하여 작업자의 움직임을 비교 설명하기 위한 개념도이다.
도 4는 본 발명의 실시예에 따른 작업 공정 시스템을 이용하여 작업자의 움직임을 비교 설명하기 위한 또 다른 개념도이다.
도 5는 본 발명의 실시예에 따른 작업 공정 시스템의 운영 방법을 도시한 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세하게 설명하면 다음과 같다.

본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 부여한다.

또한, 도면에서 나타난 각 구성은 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않는다.

도 1은 본 발명의 실시예에 따른 작업 공정 시스템의 구성을 보인 개념도이다. 그리고 도 2는 본 발명의 실시예에 따른 작업 공정 시스템의 구성을 보인 블록도이다.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 작업 공정 시스템은, 작업자의 작업 동작을 촬영하는 동영상 촬영부와, 작업이 완성된 부품을 촬영하는 영상 촬영부, 그리고 상기 동영상 촬영부(20)와 상기 동영상 촬영부(30)를 통해 촬영된 영상을 통해 표준 작업 수행여부를 판단하는 제어부(40)를 포함한다. 여기서, 상기 동영상 촬영부는 3차원 카메라일 수 있고, 상기 영상 촬영부는 영상을 촬영하는 카메라일 수 있다.

상기 3차원 스캐너(20)는, 작업자의 움직임을 촬영하여 작업자의 움직임을 3차원 데이터로 변환하고, 변환된 3차원 데이터는 상기 제어부(40)로 전송된다. 상기 3차원 스캐너(20)의 기본적인 동작은 당 업계에서 널리 알려진 것으로 이에 대한 구체적인 설명은 생략하도록 한다.

상기 카메라(30)는 작업자가 작업을 수행한 부품을 촬영하기 위한 것이다. 상기 카메라(30)를 통해 촬영된 영상은 상기 제어부(40)로 전송된다.

상기 제어부(40)는, 작업자의 움직임을 추출하는 동작 추출부(41)와, 상기 동작 추출부(41)에서 추출된 작업자의 움직임과 표준 작업을 수행하는지 여부를 판단하는 움직임 판단부(43), 그리고 작업자가 작업한 부품이 표준 작업 상태를 만족하는지 여부를 판단하는 영상 판단부(45)를 포함한다.

상기 제어부(40)는 설정된 프로그램에 의하여 작동하는 하나 이상의 프로세서로 구비될 수 있으며, 상기 설정된 프로그램은 본 발명의 실시예에 따른 작업 공정 검사 방법의 각 단계를 수행하도록 되어 있다.

상기 동작 추출부(41)는, 상기 3차원 스캐너(20)로부터 전송된 3차원 데이터를 이용하여 작업자의 관절 정보를 추출하고, 추출된 관절 정보를 이용하여 작업자의 관절 움직임을 추출한다.

상기 움직임 판단부(43)는, 상기 동작 추출부(41)에서 추출된 작업자의 관절 움직임과 설정된 표준 움직임을 비교하고, 작업자의 관절 움직임이 표준 움직임과 차이가 있는지 여부를 판단한다. 여기서 표준 움직임은 특정 작업 공정을 수행하기 위해 미리 정해진 작업 순서 또는 미리 정해진 작업 공정을 의미한다.

도 3에 도시된 바와 같이, 상기 동작 추출부(41)에서 추출된 관절 움직임이 표준 움직임과 동일하면, 상기 움직임 판단부(43)는 작업자가 정해진 표준 작업 과정을 수행하고 있는 것으로 판단한다(도 3(a) 참조). 그러나 상기 동작 추출부(41)에서 추출된 관절 움직임이 표준 움직임과 다르면, 상기 움직임 판단부(43)는 작업자가 정해진 표준 작업 과정을 수행하지 않는 것으로 판단한다(도 3(b) 참조).

상기 영상 판단부(45)는 상기 카메라(30)로부터 촬영된 영상과 설정된 표준 영상을 비교하여 촬영된 영상이 표준 영상과 차이가 있는지 여부를 판단한다. 여기서, 표준 영상은 특정 작업 공정을 정확히 수행했는지 여부를 판단하기 위해 미리 정해진 작업 결과에 대한 영상을 의미한다. 상기 영상 판단부(45)를 통해, 작업자가 정해진 작업을 정확히 수행했는지 여부를 판단할 수 있다.

한편, 본 발명의 실시예에 따른 작업 공정 검사 시스템은, 적외선 파장 대역의 인체 영상을 촬영할 수 있는 적외선 카메라(10)를 더 포함할 수 있다. 그리고 상기 제어부(40)는 상기 적외선 카메라(10)를 통해 촬영된 영상으로부터 작업자의 움직임 영역을 추출하는 인체 추출부를 더 포함할 수 있다.

상기 적외선 카메라(10)는 8~14 마이크로미터의 파장 대역의 적외선 영상을 촬영할 수 있는 카메라(30)이다. 상기 적외선 카메라(10)를 이용하여 가시광선 대역의 빛은 차단되고 인체에서 방출되는 파장을 영상화한다. 따라서 정확한 작업자의 움직임을 획득할 수 있다.

상기 인체 추출부는 적외선 영상으로부터 촬영된 적외선 영상으로부터 인체에 해당하는 영상값에 대한 임계값을 적용하여 배경과 분리된 작업자의 작업 영역을 추출한다.

이와 같이, 상기 인체 추출부를 통해 추출된 작업 영역 내에서 작업자의 움직임을 추출함으로써, 상기 영상 판단부(45)는 영상 처리를 위한 시간과 프로세스 계산량을 최소화할 수 있다. 또한, 상기 영상 판단부(45)는 작업 영역 내에서 작업자의 움직임을 판단함으로써, 기계의 움직임 등에 의해 작업자의 움직임이 간섭되는 현상을 방지하고, 정확한 작업자의 움직임을 추출할 수 있다.

한편, 본 발명의 실시예에 따른 작업 공정 검사 시스템은, 작업자가 정해진 작업 공정을 수행하지 않았거나, 작업 상태를 정해진 작업 상태를 만족하지 않으면 알람을 발생하는 경고부(50)를 더 포함할 수 있다.

즉, 상기 경고부(50)는 상기 움직임 판단부(43)를 통해 추출된 관절의 움직임과 설정된 표준 움직임의 차이가 있는 경우, 알람을 발생한다. 이때, 알람은 사이렌 또는 경광등과 같이 다양한 방법으로 구현될 수 있다.

다음으로, 피스톤(91)에 회전 가능하게 조립되는 커넥팅 로드(93)를 조립하는 공정을 예로 들어 본 발명의 실시예에 의한 공정 검사 시스템에 대해 설명한다.

커넥팅 로드(93)를 피스톤(91)에 조립할 때, 상기 피스톤(91)에 오일의 누유를 방지하기 위한 오일링(95)을 결합하고, 상기 피스톤(91)에 상기 커넥팅 로드(93)를 힌지 조립한 후, 커넥팅 로드(93)가 원활히 회전하는지 여부를 체크해야 한다. 이때, 작업자의 관절 움직임으로부터 작업자가 피스톤(91)에 결합된 커넥팅 로드(93)의 회전 상태를 체크했는지 여부를 판단할 수 있다.

즉, 도 4(a)에 도시된 바와 같이, 상기 3차원 스캐너(20)를 통해 획득한 영상으로부터 작업자의 관절 움직임을 추출한다. 그리고 작업자의 관절 움직임을 통해 작업자가 커넥팅 로드(93)를 좌우로 회전하는 동작을 수행하는지 여부를 판단할 수 있다.

또는, 도 4(b)에 도시된 바와 같이, 상기 3차원 스캐너(20)를 통해 획득한 작업자의 관절 움직임을 통해, 작업자가 피스톤(91)에 오일링(95)을 결합했는지 여부를 판단할 수 있다.

이와 같이, 상기 3차원 스캐너(20)를 통해 작업자의 움직임을 판단함으로써, 작업자가 정해진 작업 공정을 수행하는지 여부를 판단할 수 있다.

만약, 작업자가 만약, 작업자가 위와 같이 정해진 조립 공정을 수행하지 않았다면, 상기 경고부(50)를 통해 작업자가 정해진 작업을 수행하지 않았음을 알림으로써, 조립 불량이 발생하는 것을 방지할 수 있다.

이하에서는 본 발명의 실시예에 따른 작업 공정 검사 방법에 대해 도 4를 참조하여 설명하도록 한다.

도 5는 본 발명의 실시예에 따른 작업 공정 시스템의 운영 방법을 도시한 순서도이다.

도 5에 도시된 바와 같이, 먼저, 적외선 카메라(10)를 이용하여 작업자의 인체 영상을 촬영한다(S10).

상기 적외선 영상에는 인체에서 발산되는 적외선 영상을 촬영한다. 그리고 적외선 영상으로부터 작업자의 움직임 영역을 추출한다(S20).

그리고 3차원 스캐너(20)를 통해 작업자의 작업 동작을 촬영한다. 이때, 상기 3차원 스캐너(20)는 적외선 카메라(10)를 통해 추출한 작업자의 움직임 영역 내에서 작업자의 관절의 움직임을 추출한다(S30). 이와 같이, 적외선 카메라(10)에 의해 추출된 움직임 영역 내에서 작업자의 관절의 움직임을 추출하기 때문에, 관절의 움직임을 추출하는 소모되는 계산량을 최소화할 수 있다. 또한, 작업자 이외의 다른 기계의 움직임에 의한 간섭이 최소화되므로, 작업자의 관절의 움직임을 정확히 추출할 수 있다.

다음으로 상기 제어부(40)는 추출된 작업자의 관절의 움직임이 미리 설정된 표준 움직임과 차이가 있는지 여부를 판단하여, 작업자가 정해진 표준 작업 공정을 수행하고 있는지 여부를 판단한다(S40).

만약, 추출된 관절의 움직임과 표준 움직임과의 차이가 발생하면, 경고부(50)를 통해 작업자에게 표준 작업이 수행을 수행할 것을 알리는 경고 메시지를 보낸다(S70).

작업자가 정해진 작업을 수행한 후에는, 카메라(30)를 이용하여 작업이 완성된 부품의 영상을 촬영한다(S50).

상기 제어부(40)는, 상기 카메라(30)에 의해 촬영된 영상과 미리 설정된 표준 영상의 차이를 비교하여, 작업자에 의해 수행된 작업이 정확히 수행되었는지 여부를 판단한다(S60).

만약, 촬영된 영상과 표준 영상과 차이가 발생하면, 경고부(50)를 통해 작업이 완성된 부품이 불량이 발생하였음을 알리는 경고 메시지를 보낸다(S70). 이와 같이, 상기 카메라(30)에 의해 촬영된 영상과 표준 영상을 비교함으로써, 조립 불량이 발생하는 것을 방지할 수 있다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

10: 적외선 카메라
20: 3차원 스캐너
30: 카메라
40: 제어부
41: 동작 추출부
43: 움직임 판단부
45: 영상 판단부
50: 경고부

Claims (8)

1. 작업자의 작업 동작을 촬영하는 동영상 촬영부;
   작업이 완성된 부품을 촬영하는 영상 촬영부; 및
   상기 동영상 촬영부로부터 촬영된 작업자의 움직임과 설정된 표준 움직임을 비교하여 차이가 있는지 여부를 판단하고, 상기 영상 촬영부로부터 촬영된 영상과 설정된 표준 영상을 비교하여 차이가 있는지 여부를 판단하는 제어부;
   를 포함하는 작업 공정 검사 시스템.
   
2. 제1항에 있어서,
   상기 제어부는,
   상기 동영상 촬영부를 통해 촬영된 작업자의 동작으로부터, 작업자의 관절의 움직임을 추출하는 동작 추출부;
   상기 동작 추출부에서 추출된 관절의 움직임과 설정된 표준 움직임과의 차이를 판단하는 움직임 판단부; 및
   상기 영상 촬영부로부터 촬영된 영상과 설정된 표준 영상을 비교하여 촬영된 영상이 표준 영상과 차이가 있는지 여부를 판단하는 영상 판단부;
   를 포함하는 작업 공정 검사 시스템.
   
3. 제2항에 있어서,
   추출된 관절의 움직임과 설정된 표준 움직임의 차이가 있는 경우, 또는 촬영된 영상과 설정된 표준 영상과의 차이가 있는 경우에 알람을 발생하는 경고부를 더 포함하는 작업 공정 검사 시스템.
   
4. 제1항에 있어서,
   적외선 파장 대역의 인체 영상을 촬영할 수 있는 적외선 촬영부를 더 포함하고,
   상기 제어부는 상기 적외선 촬영부를 통해 촬영된 영상에서 작업자의 작업 영역을 추출하고, 추출된 작업 영역내에서 작업자의 움직임을 추출하는 인체 추출부를 더 포함하는 것을 특징으로 하는 작업 공정 검사 시스템.
   
5. 작업자의 작업 동작을 촬영하는 단계;
   작업자의 작업 동작으로부터 작업자의 관절의 움직임을 추출하는 단계;
   추출된 관절의 움직임과 설정된 표준 움직임을 비교하는 단계;
   작업이 완성된 부품을 촬영하는 단계; 및
   촬영된 영상과 표준 영상을 비교하는 단계;
   를 포함하는 작업 공정 검사 방법.
   
6. 제5항에 있어서,
   추출된 관절의 움직임과 설정된 표준 움직임의 차이가 설정 범위를 벗어나면 작업자에게 알람을 발생하는 단계를 더 포함하는 작업 공정 검사 방법.
   
7. 제5항에 있어서,
   촬영된 영상과 표준 영상의 차이가 설정 범위를 벗어나면 작업자에게 알람을 발생하는 단계를 더 포함하는 작업 공정 검사 방법.
   
8. 제5항에 있어서,
   적외선 파장 대역의 인체 영상을 촬영하는 단계; 및
   적외선 영상으로부터 인체의 움직임 영역을 추출하는 단계를 더 포함하며,
   상기 인체의 움직임 영역으로부터 작업자의 관절 움직임을 추출하는 것을 특징으로 하는 작업 공정 검사 방법.

Images