KR20150066845A - 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템 - Google Patents

Abstract

본 발명은 제조업 등에서 작업자에 의한 부품 조립시 발생하는 조립 공정에서의 오류를 검출하기 위한 기술에 관한 것이다.
본 발명은, 적어도 하나의 조립 대상물을 조립하는 조립자에 대응하여 미리 정해진 복수의 추적 지점에서의 위치 정보를 생성하는 센서; 상기 깊이맵 센서로부터 생성된 위치정보를 토대로 상기 조립 대상물이 놓일 목표 위치에서의 영상정보를 생성하는 카메라; 및 상기 깊이맵 센서 및 카메라의 동작을 제어하고, 상기 위치정보 및 영상정보를 토대로 상기 조립 대상물이 미리 정해진 순서에 따라 조립되고 있는지 여부를 판단하는 검사장치를 포함하는 조립공정 검사 시스템을 제공한다.

Description

깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템{PROCESS INSPECTION DEVICE, METHOD AND SYSTEM FOR ASSEMBLING PROCESS IN PRODUCT MANUFACTURING USING DEPTH MAP SENSORS}

본 발명은 제조업 등에서 작업자에 의한 부품 조립시 발생하는 조립 공정에서의 오류를 검출하기 위한 기술에 관한 것이다.

최근까지도 제조업 분야에서는 다수의 부품을 작업자가 직접 수작업으로 조립하여 완성품을 제조하는 방법이 빈번하게 이루어지고 있다.

그러나, 이렇게 수작업을 통해 부품을 조립하는 경우, 조립 순서에 오류가 발생함에 따라 결함이 발생할 수 있다.

특히, 자동차와 같이, 대규모 부품이 필요한 제품에 대한 조립순서 오류는 최종 제품의 결함으로 이어지며, 이에 따라 막대한 오류 검사 비용이 요구된다.

이러한 배경에서, 본 발명의 목적은, 작업자가 수작업을 통해 다수의 부품을 조립하는 과정에서, 작업자의 실수나 오류를 자동으로 검출할 수 있도록 하는 조립공정 검사장치, 방법 및 시스템을 제공하는 데 있다.

전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은, 적어도 하나의 조립 대상물을 조립하는 조립자에 대응하여 미리 정해진 복수의 추적 지점에서의 위치 정보를 생성하는 센서; 상기 깊이맵 센서로부터 생성된 위치정보를 토대로 상기 조립 대상물이 놓일 목표 위치에서의 영상정보를 생성하는 카메라; 및 상기 깊이맵 센서 및 카메라의 동작을 제어하고, 상기 위치정보 및 영상정보를 토대로 상기 조립 대상물이 미리 정해진 순서에 따라 조립되고 있는지 여부를 판단하는 검사장치를 포함하는 조립공정 검사 시스템을 제공한다.

다른 측면에서, 본 발명은, 하나의 조립물을 완성하기 위해 구비되는 적어도 하나 이상의 조립 대상물에 대해 조립 순서가 미리 설정되는 조립순서 설정부; 깊이맵 센서로부터 전달받은 위치정보를 토대로 상기 조립 대상물을 조립하는 조립자에 대응하여 미리 정해진 복수의 추적 지점 각각에 대해 위치를 판단하는 위치 판단부; 상기 위치판단부의 판단결과를 토대로 구동된 카메라로부터 전달받은 영상정보에 따라 상기 각 조립 대상물이 미리 정해진 순서에 따라 조립되고 있는지 여부를 판단하는 조립순서 판단부를 포함하는 조립공정 검사장치를 제공한다.

다른 측면에서, 본 발명은, 하나의 조립물을 완성하기 위해 구비되는 적어도 하나 이상의 조립 대상물에 대해 조립 순서를 미리 설정하는 조립순서 설정단계; 깊이맵 센서로부터 전달받은 위치정보를 토대로 상기 조립 대상물을 조립하는 조립자에 대응하여 미리 정해진 복수의 추적 지점 각각에 대해 위치를 판단하는 추적지점 위치 판단단계; 상기 추적지점 위치 판단단계에서의 판단결과에 따라 카메라의 구동 여부를 결정하는 카메라 구동단계; 및 상기 카메라 구동단계에서의 결정에 따라 구동된 카메라로부터 영상정보를 전달받고, 전달받은 상기 영상정보를 토대로 상기 각 조립 대상물이 미리 정해진 순서에 따라 조립되고 있는지 여부를 판단하는 조립순서 판단단계를 제공한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 최종 조립품에 대한 에러 검사를 수행하기 전에, 조립단계에서 조립품에 대한 에러 자동 검출이 가능하므로, 제조과정에서 소요되는 시간적 비용적 부담을 줄일 수 있는 효과가 있다.

또한, 조립 단계에서 에러가 발생한 경우 즉시 작업자에게 이를 알릴 수 있도록 하여 최종 조립품에 대한 조립 정확도를 향상시킬 수 있는 효과가 있다.

도1은 본 발명의 일실시예에 따른 조립공정 검사시스템의 구성이 도시된 구성도이다.
도2는 도1의 조립공정 검사시스템의 측면 구성이 도시된 예시도이다.
도3은 본 발명의 일실시예에 따른 조립공정 검사장치의 내부 구성이 도시된 블록도이다.
도4는 본 발명의 일실시예에 따른 조립공정 검사방법이 도시된 순서도이다.
도5는 본 발명의 일실시예에 있어서, 조립순서 설정을 위한 설정 인터페이스가 도시된 예시도이다.
도6은 본 발명의 일실시예에 있어서, 각 추적지점 간 위치 관계를 토대로 작업자의 동작을 인식하는 예가 도시된 예시도이다.
도7은 본 발명의 일실시예에 있어서, 정상적으로 조립된 상태의 영상과 오류가 발생한 상태의 영상의 예가 도시된 예시도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도1은 본 발명의 일실시예에 따른 조립공정 검사시스템의 구성이 도시된 구성도이며, 도2는 도1의 조립공정 검사시스템의 측면 구성이 도시된 예시도이다.

도1을 참조하면, 본 발명의 일실시예에 따른 조립공정 검사시스템은, 조립자(H)의 움직임을 인식하기 위해 위치정보를 생성하는 센서(20)와, 조립자(H)와 조립 대상물에 대한 영상정보를 생성하는 카메라(10)와, 상기 센서(20)와 카메라(10)로부터 수신된 정보를 토대로 각 조립 대상물이 조립 순서에 맞게 조립되고 있는지 여부를 판단하는 검사장치(30)를 포함한다.

또한, 조립이 이루어지기 전, 복수의 조립 대상물이 놓이는 제1 조립대(T1)와, 상기 조립 대상물이 이동하여 조립이 이루어지는 제2 조립대(T2)를 포함할 수 있는데, 상기 제1 조립대(T1) 및 제2 조립대(T2)는 조립 전후 상기 조립 대상물이 놓인 위치를 구별하기 위한 명칭으로서, 하나의 조립대 위에서 제1 조립대(T1)에 해당하는 영역과 제2 조립대(T2)에 해당하는 영역이 구분될 수도 있다.

상기 카메라(10)는 상기 제2 조립대(T2)에 대한 영상을 촬상할 수 있으며, 상기 제1 조립대에 대한 영상 역시 촬상할 수 있다. 상기 카메라(10)는 CCD 카메라와 같은 일반적인 RGB카메라가 적용될 수 있으나 경우에 따라서는 비전센서 카메라가 적용될 수도 있다.

상기 카메라(10)는 제1 조립대(T1) 측 영상정보를 생성하는 제1 카메라와 제2 조립대(T2) 측 영상정보를 생성하는 제2 카메라로 구성될 수 있으나 이에 한정되는 것은 아니며, 복수의 렌즈가 구비된 하나의 카메라가 적용될 수도 있다.

상기 센서(20)는, 작업자(H)의 움직임을 인식하기 위해 구비되는 소자로서, 작업자(H)의 손을 포함한 작업자 신체 부분에 대응하여 미리 설정된 복수의 추적지점(이하에서는 조인트와 혼용함)의 위치를 실시간으로 감지하여 위치정보를 생성할 수 있다.

이때 상기 센서는 3차원 깊이맵 센서가 적용되는 것이 바람직하다.

도2는 상기 카메라와 센서간 위치관계를 설명하기 위한 도로서, 도2를 참조하면, 본 발명의 일실시예에 따른 조립공정 검사시스템에 있어서, 카메라(10)는 렌즈가 작업대를 향하도록 작업대와 수직하여 일정거리만큼 떨어진 위치에 고정될 수 있으며, 센서(20)는 카메라(10) 뒤쪽에 고정 배치되어 작업대 앞에 선 작업자(H)를 인식할 수 있도록 소정의 각도로 기울어져 배치될 수 있다.

도3은 본 발명의 일실시예에 따른 조립공정 검사장치의 내부 구성이 도시된 블록도이다.

도3을 참조하면, 본 발명의 일실시예에 따른 조립공정 검사장치는 조립순서 설정부(110)와, 위치판단부(120)와, 조립순서 판단부(140) 및 제어부(160)를 포함한다.

또한, 영상판단부(130)와 오류 알림부(150)를 더 포함할 수 있다.

조립순서 설정부(110)는, 하나의 조립물을 완성하기 위해 구비되는 적어도 하나 이상의 조립 대상물에 대해 조립 순서를 미리 설정한다. 상기 조립순서 설정부(110)는, 사용자로부터 조립물(상기 작업자가 조립을 완료하여 나온 완성물을 의미함)이 선택되면, 선택된 조립물에 대해 미리 저장된 조립순서 정보를 읽어들여 검사하고자 하는 조립물에 대한 조립순서로서 설정할 수 있다.

또한, 상기 조립순서 설정부(110)는, 사용자로부터 조립물을 완성하기 위한 각 조립 대상물과 그 순서가 입력되면, 입력된 정보를 조립순서로서 설정할 수 있으며, 이러한 경우 상기 조립순서 설정부(110)는 사용자로부터 각 조립대상물과 그 순서를 입력받기 위한 설정 인터페이스를 상기 사용자에게 제공할 수 있다.

도5는 본 발명의 일실시예에 있어서, 조립순서 설정을 위한 설정 인터페이스가 도시된 예시도이다.

예를 들어 n개의 조립 대상물의 초기 위치, 즉 제1 작업대에서 상기 n개의 조립 대상물이 놓인 각각의 위치를 {P1s, P2s, P3s,...,Pns}라고 한다면, 이 조립 대상물들은 제2 작업대에서 놓일 목표 위치인 {P1t, P2t, P3t,...,Pnt}로 순서대로 놓여야 한다. 즉, 첫번째 부품 P1s는 P1t 위치에 놓여야 하고, P2s 부품은 P2t 위치에 놓여야 한다.

이 두 백터의 위치는 깊이 맵 센서를 이용하여 계산된 실측 거리를 이용하거나 센서로부터 받은 실측 데이터를 윈도우 상에 투사한 윈도우 좌표계로 변경한 데이터를 이용할 수 있다.

상기 설정 인터페이스(UI)는, 이러한 순서를 정하기 위해 사용자에게 제공되는 인터페이스로서, 도5에 도시된 바와 같이, 초기위치와 목표위치를 설정할 수 있도록 하는 제1 및 제2 입력 영역(A, B)과, 위치를 추가로 입력하기 위한 명령이나 입력을 완료한 경우 설정 완료 명령을 입력할 수 있도록 하는 복수의 기능버튼이 구현될 수 있다. 따라서, 사용자는 조립대상물이 놓인 위치값을 초기위치로, 조립대상물이 조립에 의해 놓일 위치값을 목표위치로 설정할 수 있으며, 각 조립 대상물의 조립 순서에 따라 차례로 값을 입력할 수 있다.

예를 들어, X, Y, Z의 조립 대상물이 차례로 조립되어야 하는 경우, 사용자는 상기 설정 인터페이스(UI)를 통해 X 조립 대상물에 대한 초기위치와 목표위치를 초기위치1 및 목표위치1에 각각 설정할 수 있으며, Y 조립 대상물에 대한 초기위치와 목표위치를 초기위치2 및 목표위치2에 각각 설정할 수 있으며, Z 조립 대상물에 대한 초기위치와 목표위치를 초기위치3 및 목표위치3으로 설정함으로써 조립 순서를 설정할 수 있다.

이때 각 초기위치 또는 목표위치로 설정되는 값은 임계값이 함께 설정될 수 있으며, 각 위치값과 센서로부터 감지된 위치정보간 차이가 임계값 이내인 경우에는 해당 조립 대상물이 초기 위치에 존재하거나 목표 위치에 도달한 것으로 판단할 수 있다.

위치판단부(120)는, 깊이맵 센서(20)로부터 전달받은 위치정보를 토대로 상기 조립 대상물을 조립하는 조립자(H)에 대응하여 미리 정해진 복수의 추적 지점 각각에 대해 위치를 판단한다.

깊이맵 센서(20)는 작업자의 손과 15개의 조인트 등 복수의 추적지점의 위치를 실시간으로 검출하여 위치정보로 생성할 수 있다.

깊이 영상은 센서(20)가 놓여 있는 공간 상의 오브젝트 간 거리를 하나의 이미지로 나타낸 것을 말하는데, 이 영상을 생성하는 방법은, 크게 TOF(Time-on-Flight), 구조광(Structured light) 또는 스테레오 카메라와 같은 기법을 이용하여 생성될 수 있다. 예를 들어 키넥트의 경우, IR(Infrared Light) 프로젝터를 이용하여 적외선을 투사하는 부분과 이를 받아들여 분석하는 카메라로 이루어져 있다. IR 프로젝터를 통해 특정 패턴의 영상을 공간상에 뿌린 후, 이에 받아들이는 카메라를 통해 영상을 분석하여 물체와 센서와의 거리를 측정한 후, 이를 래스터라이징을 통해 이미지로 생성하는 것이다. 키넥트와 같은 센서들은 오픈소스 프로젝트인 OpenNI(Open Natural Interaction)과 같은 미들웨어를 통해 깊이 영상을 분석하여 사용자의 위치 및 조인트 위치, 방향값을 얻을 수 있는 함수를 이용할 수 있으며, 이 함수를 통해 15개 조인트의 위치 및 방향값을 실시간으로 얻을 수 있다.

위치판단부(120)는, 깊이맵 센서(20)로부터 전달받은 위치정보를 토대로 상기 각 추적지점의 위치를 실시간으로 추적하여 조립자가 조립 대상물을 잡고 목표 위치까지 도달하는지 판단할 수 있으며, 필요한 경우, 조립자와 조립 대상물 간 상호작용이 있는지 판단한다. 상기 위치판단부(120)는, 이 제스처 인식을 위하여 다양한 휴리스틱 함수를 이용할 수 있다. 상기 휴리스틱 함수에 대한 보다 상세한 설명은 첨부된 도면을 참조하여 후술한다.

이때 상기 조립자와 조립 대상물 간 상호작용이란, 손으로 조립 대상물을 잡고 돌려보거나, 조립 대상물을 잡고 흔들어 이상유무를 파악하는 등의 움직임을 의미한다.

상기 위치판단부(120)는, 전달받은 위치정보를 토대로 조립자의 움직임을 추적할 수 있는데, 조립자의 허리에 대응하는 추적지점을 기준으로 머리와 손 등 조립에 사용되는 조립자 신체 일부에 대응하여 설정된 추적지점에 대해 위치값의 변화를 산출하거나 방향성을 결정할 수 있다.

조립순서 판단부(140)는, 상기 위치판단부(120)의 판단결과를 토대로 구동된 카메라로부터 전달받은 영상정보에 따라 상기 각 조립 대상물이 미리 정해진 순서에 따라 조립되고 있는지 여부를 판단한다.

제어부(160)는, 검사장치 내 각 부의 전반적인 동작을 제어하며, 상기 위치판단부(120)의 판단결과, 해당 조립 대상물이 미리 설정된 목표 위치에 도달한 것으로 판단되면 상기 카메라(10)로 구동제어 신호를 생성하여 전달하고, 상기 카메라(10)의 구동에 따라 영상정보를 전달받도록 제어할 수 있다.

오류 알림부(150)는, 상기 조립순서 판단부(140)의 판단결과, 조립 순서에 오류가 발생한 것으로 판단되면, 상기 조립자가 오류 발생을 인식할 수 있도록 하는데, 메시지의 형태로 구현되어 디스플레이되거나 알람(alarm) 등의 소리 형태로 스피커 등을 통해 출력되거나, 진동이 울리는 등 조립자가 오류를 인지할 수 있을 정도의 다양한 형태로 구현될 수 있다.

한편, 본 발명의 일실시예에 따른 검사장치는, 전달받은 상기 영상정보로부터 해당 조립 대상물을 식별하는 영상 판단부(130)를 더 포함할 수 있는데, 영상정보로부터 식별된 해당 조립 대상물이 미리 설정된 조립 순서에 해당하는 조립 대상물이 아닌 것으로 판단되면 상기 제어부(160)는 조립 순서에 오류가 있음을 알리도록 하는 제어명령을 생성하여 상기 오류 알림부(150)로 전달할 수도 있다.

이에 따라 설정된 조립 순서에 맞지 않는 조립 대상물이 작업자에 의해 잡히더라도 작업자가 잘못된 조립 대상물을 잡았음을 인지할 수 있도록 함으로써 조립 정확도를 더욱 향상시킬 수 있게 된다.

도4는 본 발명의 일실시예에 따른 조립공정 검사방법이 도시된 순서도이다.

도4를 참조하면, 본 발명의 일실시예에 따른 조립공정 검사장치의 조립공정 검사방법은, 조립순서 설정단계(S120)와, 추적지점 위치 판단단계(S140)와, 카메라 구동단계(150)와, 조립순서 판단단계(160)를 포함한다.

조립순서 설정단계(S120)에서는, 하나의 조립물을 완성하기 위해 구비되는 적어도 하나 이상의 조립 대상물에 대해 조립 순서를 미리 설정하고, 저장한다.

다음, 깊이맵 센서로부터 전달받은 위치정보를 토대로 상기 조립 대상물을 조립하는 조립자에 대응하여 미리 정해진 복수의 추적 지점 각각에 대해 위치를 판단한다.(S130)

상기 추적지점 위치 판단단계에서의 판단결과에 따라 카메라의 구동 여부를 결정한다. 즉, 작업자의 손에 대응하는 추적지점의 위치가 해당 조립 대상물에 대해 미리 설정된 목표 위치에 도달한 것으로 판단되면 상기 카메라로부터 영상정보를 전달받을 수 있도록 카메라 구동제어신호를 생성하여 상기 카메라로 전달할 수 있다.(S140, S150)

다음, 구동된 카메라로부터 영상정보를 전달받고, 전달받은 상기 영상정보를 토대로 상기 각 조립 대상물이 조립순서 설정단계에서 설정된 조립 순서와 대응되는지 여부를 확인한다.(S160)

확인 결과, 조립순서에 오류가 있는 것으로 판단되면 작업자가 이를 인지할 수 있도록 외부에 알린다.

이때, 본 발명의 일실시예에 따른 검사방법은, 조립순서 설정단계 전, 깊이맵 센서와 카메라에 대해 영점보정이나 추적지점 위치 보정 등의 전처리 단계(S110)를 더 포함할 수 있다.

각 단계에 대해 보다 상세히 설명하면 다음과 같다.

전처리 단계(S110)는 조립순서 설정단계 전, 깊이맵 센서와 카메라에 대해 영점보정이나 추적지점 위치를 보정하는 단계로서, 3차원 깊이센서와 카메라를 물리적으로 설치한 후 이를 이용하여 제조회사에서 제공하는 SDK 미들웨어를 이용하여 캘리브레이션(calibration)을 할 수 있다. 물리적인 센서와 위치는 조립공정 제품(조립품)의 크기, 조립이 이루어지는 테이블의 위치 및 크기에 따라 전술한 도1 및 도2와 같이 설정할 수 있다.

3차원 센서는 조립자로부터 3미터 이상 떨어진 곳에 설치되는 것이 바람직하며, RGB 카메라는 조립 대상물의 위치 가까이에 설치되어, 조립 대상물에 대한 조립자의 조작 과정을 고해상도로 촬상하고 이를 영상정보로 생성하여 검사장치에 전달할 수 있다.

센서와 카메라의 셋팅이 끝나고, 조립순서에 대한 위치 설정이 끝난 후, 제조사의 SDK와 같은 미들웨어를 이용하여 조립자의 15개의 조인트 3차원 위치를 실시간으로 추적한다.(S130) 깊이맵 센서는 실시간으로 깊이맵 이미지를 얻을 수 있으며, 이를 미들웨어가 분석하여 센서 앞 사람의 15개 조인트에 대한 3차원 위치 정보를 제공해 준다. 미들웨어를 통하여 전달되는 15개 조인트에 대한 정보는 위치의 오리엔테이션 정보를 포함한다. 허리 조인트의 위치는 조립자의 전체적인 위치를 추정하는 데 사용할 수 있으며, 조립에 직접적으로 이용되는 손의 위치 및 방향은 조립 대상물과 상호작용의 파악을 위한 센싱 데이터로 활용된다. 실시간으로 들어오는 양 손의 위치 및 방향 데이터는 다양한 휴리스틱 함수의 입력으로 사용하여 현재 조립자의 제스처를 인식하는 데 활용한다.

도6은 본 발명의 일실시예에 있어서, 각 추적지점 간 위치 관계를 토대로 작업자의 동작을 인식하는 예가 도시된 예시도이다.

즉, 도6에 도시된 바와 같이, 위치 판단부(120)는, 작업자의 손에 대응하는 추적지점(P2a, P2b)과 머리에 대응하는 추적지점(P1) 간 거리를 산출하여, 산출된 거리값이 미리 설정된 값 이상이면, 작업자가 손을 머리 가까이로 들어올린 동작을 취하고 있는 것으로 판단할 수 있으며, 상기 동작은 부품이 정확한지 작업자가 눈으로 파악하는 제스처인 것으로 판단할 수 있다.

유사하게, 위치 판단부는 작업자의 양손에 각각 대응하는 추적 지점(P2a, P2b) 간 거리를 산출하고, 각도를 산출하여, 산출된 거리값이 미리 설정된 값 이하이고 추적지점 간 각도가 미리 설정된 범위 이내에 있으면, 양손이 서로 가까운 위치에 있는 동작을 취하고 있는 것으로 판단할 수 있으며, 상기 동작은 작업자가 부품내부의 유격확인 부품의 동작 가능 유무를 확인하기 위한 제스처인 것으로 판단할 수 있다.

하지만, 조립을 시행하는 조립자의 조립 순서를 자동으로 검출하여 에러 여부를 확인하는 작업은 조립자의 3차원 움직임을 자동으로 실시간 추적기술, 전체 작업자의 움직임과 더불어 손의 움직임 추적기술, 조립품에 대한 조립자의 상호작용 기술, 올바른 순서로 조립하는 지를 확인하기 위한 기술들이 요구된다.

본 발명에서 사용되는 제조업에서의 조립공정은 주로 손을 이용하여 조립 대상물을 만지는 작업을 계속하므로, 미들웨어에서 제공하는 손의 위치 파악만으로는 조립품이 정확한 순서로 조립되는지를 파악하지 못한다. 이를 위해 카메라를 설치하여 작업자가 손을 이용하여 조립 대상물을 집었는지 아닌지를 확인한다. 카메라는 조립이 실제적으로 이루어지는 조립대의 특정 위치를 계속 영상 캡춰하며, 조립품의 조립 순서 여부의 오류 여부를 지속적으로 파악한다.

이때 손을 통해 조립 대상물이 조립대에 옮겨지기 전에 이와 같은 영상 캡춰 및 분석을 한다면 전체적인 시스템 성능에 부정적인 영향을 미칠 수 있으므로, 조인트 위치 추적 및 조립품과 조립자 간 상호작용 여부 파악단계에서 얻은 손의 위치와 조립대의 조립위치 사이의 거리가 임계값 미만으로 들어오면 RGB 카메라 및 영상분석을 시작하는 것이 바람직하다.(S140)

조립 대상물을 타겟 위치로 옮겼는지는 조립순서 설정 단계에서 설정된 목표 위치에 손과 오브젝트가 일정 거리 안에 들어와 있고, 오브젝트가 그 위치에 일정시간 계속 놓여 있는지를 확인함으로써 이루어진다. 즉 현재 손의 위치를 p라 하고, 목표 위치를 t 라고 하면, 둘 사이의 거리가 미리 정해진 임계값 d 안으로 들어오면 카메라 구동 단계를 통해 자동으로 카메라가 구동된다.(S150)

구동된 카메라를 통해 검색된 타겟 위치에 지속적으로 놓여 있는지는 2D 패턴 매칭 방법을 통해 인식할 수 있다. 카메라를 이용한 조립순서 오류는 템플릿 기반 2D 이미지 기반 패턴 매칭 알고리즘을 이용하여 파악할 수 있다. 즉, 조립 순서가 올바르게 조립되었을 때의 이미지(Ic)와 조립 순서가 올바르지 않았을 때의 이미지(Ic')를 래퍼런스 이미지로 얻은 후, 현재 카메라를 통해 들어오는 이미지가 Ic와 Ic' 중 어느 이미지와 가까운지를 파악하여 오류 여부를 점검한다.(S160)

도8은 본 발명의 일실시예에 있어서, 정상적으로 조립된 상태의 영상과 오류가 발생한 상태의 영상의 예가 도시된 예시도이다.

즉, 도8에 도시된 바와 같이, 조립되었을 때의 이미지로서 도8(a)이 저장된 경우, 카메라로부터 전달받은 영상정보인 도8(b)와 도8(a)를 비교할 수 있으며, 비교결과 영상정보가 일치하지 않는 경우 오류가 있는 것으로 판단할 수 있다.

조립순서는 다음 두 가지 경우로 설정될 수 있는데, 모든 조립품이 한 위치에서 쌓이면서 조립되는 경우에는 설정 인터페이스에서 설정되는 각 조립 대상물의 모든 목표 위치가 동일하게 설정되며, 카메라를 통해 얻은 영상 패턴 매칭 방법을 통해 조립 순서 오류를 인지할 수 있다.

또한, 모든 조립품이 서로 다른 위치에 놓이면서 조립되는 경우에는, 설정 인터페이스의 모든 타겟 위치가 서로 다르게 설정되며, 3차원 깊이맵 센서를 통해 얻은 손의 위치가 타겟 위치에 가까이 접근했는지를 파악한 후 카메라를 통해 얻은 영상패턴매칭을 통해 조립 대상물이 놓였는지 놓이지 않았는지를 파악한다.

또한, 이와 같은 프로세스를 지속적으로 반복하여, 원래의 위치에서의 오브젝트가 목표 위치에 정해진 순서대로 놓이는가를 검출한다. 만약 조립순서 설정단계에서 설정된 순서와 일치하지 않는다면 알림단계에서 조립자에게 알린다.

즉, 조립품을 집은 손에 대응하는 추적지점의 위치가 목표 위치에 도착하면 이 위치가 조립순서 설정단계에서 설정된 위치와 일치하는지 확인한다. 이 순서가 올바르면 성공 메시지를 생성하여 출력할 수 있으며, 그렇지 않다면 에러 메시지를 사운드와 함께 모니터에 출력하여 조립자에게 전달할 수 있다.

이상에서는 본 발명의 실시예에 따른 조립공정 검사방법이 도4 내지 도7에서와 같은 절차로 수행되는 것으로 설명되었으나, 이는 설명의 편의를 위한 것일 뿐, 본 발명의 본질적인 개념을 벗어나지 않는 범위 내에서, 구현 방식에 따라 각 단계의 수행 절차가 바뀌거나 둘 이상의 단계가 통합되거나 하나의 단계가 둘 이상의 단계로 분리되어 수행될 수도 있다.

또한, 본 발명의 실시예에 따른 조립공정 검사방법을 구현한 프로그램은, 컴퓨터에 의해 읽힐 수 있는 기록매체에 기록되고 컴퓨터에 의해 실행됨으로써 전술한 기능들이 실행될 수 있다.

이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 조립공정 검사방법을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.

이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.

또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.

또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈(예: 유선 및/또는 무선 통신 모듈)을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (8)

1. 적어도 하나의 조립 대상물을 조립하는 조립자에 대응하여 미리 정해진 복수의 추적 지점에서의 위치 정보를 생성하는 센서;
   상기 깊이맵 센서로부터 생성된 위치정보를 토대로 상기 조립 대상물이 놓일 목표 위치에서의 영상정보를 생성하는 카메라; 및
   상기 깊이맵 센서 및 카메라의 동작을 제어하고, 상기 위치정보 및 영상정보를 토대로 상기 조립 대상물이 미리 정해진 순서에 따라 조립되고 있는지 여부를 판단하는 검사장치
   를 포함하는 깊이맵 센서를 이용한 조립공정 검사 시스템.
2. 조립공정 검사장치에 있어서,
   하나의 조립물을 완성하기 위해 구비되는 적어도 하나 이상의 조립 대상물에 대해 조립 순서가 미리 설정되는 조립순서 설정부;
   깊이맵 센서로부터 전달받은 위치정보를 토대로 상기 조립 대상물을 조립하는 조립자에 대응하여 미리 정해진 복수의 추적 지점 각각에 대해 위치를 판단하는 위치 판단부;
   상기 위치판단부의 판단결과를 토대로 구동된 카메라로부터 전달받은 영상정보에 따라 상기 각 조립 대상물이 미리 정해진 순서에 따라 조립되고 있는지 여부를 판단하는 조립순서 판단부
   를 포함하는 깊이맵 센서를 이용한 립공정 검사장치.
3. 제2항에 있어서,
   상기 위치판단부는,
   상기 센서로부터 전달받은 위치 정보를 토대로 상기 각 추적지점에서의 위치 값과 방향값을 도출하여 상기 각 조립 대상물이 미리 설정된 시작위치에서 목표 위치까지 이동하는지 판단하는 것을 특징으로 하는 깊이맵 센서를 이용한 조립공정 검사장치.
4. 제2항에 있어서,
   상기 조립순서 판단부의 판단결과, 조립 순서에 오류가 발생한 것으로 판단되면, 상기 조립자가 오류 발생을 인식할 수 있도록 알리는 오류 알림부
   를 더 포함하는 깊이맵 센서를 이용한 조립공정 검사장치.
5. 제2항에 있어서,
   상기 위치판단부의 판단결과, 해당 조립 대상물이 미리 설정된 목표 위치에 도달한 것으로 판단되면 상기 카메라로 구동제어 신호를 생성하여 전달하고, 상기 카메라의 구동에 따라 영상정보를 전달받도록 제어하는 제어부
   를 포함하는 깊이맵 센서를 이용한 조립공정 검사장치.
6. 제2항에 있어서,
   상기 조립순서 판단부는,
   미리 저장된 해당 조립 대상물의 정상조립완료 영상정보와 상기 카메라로부터 전달받은 영상정보를 비교하여, 일치하지 않는 경우 조립 순서에 오류가 발생한 것으로 판단하는 것을 특징으로 하는 깊이맵 센서를 이용한 조립공정 검사장치.
7. 제2항에 있어서,
   전달받은 상기 영상정보로부터 해당 조립 대상물을 식별하는 영상 판단부
   를 더 포함하는 깊이맵 센서를 이용한 조립공정 검사장치.
8. 하나의 조립물을 완성하기 위해 구비되는 적어도 하나 이상의 조립 대상물에 대해 조립 순서를 미리 설정하는 조립순서 설정단계;
   깊이맵 센서로부터 전달받은 위치정보를 토대로 상기 조립 대상물을 조립하는 조립자에 대응하여 미리 정해진 복수의 추적 지점 각각에 대해 위치를 판단하는 추적지점 위치 판단단계;
   상기 추적지점 위치 판단단계에서의 판단결과에 따라 카메라의 구동 여부를 결정하는 카메라 구동단계; 및
   상기 카메라 구동단계에서의 결정에 따라 구동된 카메라로부터 영상정보를 전달받고, 전달받은 상기 영상정보를 토대로 상기 각 조립 대상물이 미리 정해진 순서에 따라 조립되고 있는지 여부를 판단하는 조립순서 판단단계
   를 포함하는 깊이맵 센서를 이용한 조립공정 검사방법.

Images