KR101535804B1 - 작업자의 동작인식을 이용한 생산 자동화 시스템 - Google Patents

작업자의 동작인식을 이용한 생산 자동화 시스템 Download PDF

Info

Publication number
KR101535804B1
KR101535804B1 KR1020150040264A KR20150040264A KR101535804B1 KR 101535804 B1 KR101535804 B1 KR 101535804B1 KR 1020150040264 A KR1020150040264 A KR 1020150040264A KR 20150040264 A KR20150040264 A KR 20150040264A KR 101535804 B1 KR101535804 B1 KR 101535804B1
Authority
KR
South Korea
Prior art keywords
product
motion recognition
operator
motion
recognition
Prior art date
Application number
KR1020150040264A
Other languages
English (en)
Inventor
이종구
Original Assignee
주식회사 아이엔솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이엔솔루션 filed Critical 주식회사 아이엔솔루션
Priority to KR1020150040264A priority Critical patent/KR101535804B1/ko
Application granted granted Critical
Publication of KR101535804B1 publication Critical patent/KR101535804B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Factory Administration (AREA)

Abstract

제조 라인, 검사 라인 및 포장 라인에서 작업자의 동작을 객체 인식방법을 이용하여 인식하는 생산 자동화 시스템은, 작업자의 동작, 제품의 영상 및 제품에 부착된 부품의 영상을 촬영하는 복수의 동작인식 카메라와, 복수의 동작인식 카메라에서 전송된 영상을 토대로, 작업자가 제품에 부품을 부착하는 동작을 수행하였는지 여부와, 제품에 부품이 정확하게 부착되었는지 여부와, 작업자가 작업완료 동작을 수행하였는지 여부를 인식하는 모션 인식부와, 모션 인식부의 인식결과를 수신받아 데이터 베이스화 하며, 인식결과를 토대로 이후에 진행할 작업을 지시하는 관리서버와, 관리서버의 작업지시를 수신받아 작업이 완료되었을 때의 동작과, 작업이 완료되지 않았을 때의 동작을 각각 구분하여 동작하도록 장비를 제어하는 장비 제어부를 포함한다.

Description

작업자의 동작인식을 이용한 생산 자동화 시스템{Automation Production System using sensing the motion of operator}
본 발명은 생산 자동화 시스템에 관한 것으로서, 제조 라인, 검사 라인 및 포장 라인에서 작업자의 동작을 객체 인식방법으로 인식하여 장비를 자동으로 동작시키는 작업자의 동작인식을 이용한 생산 자동화 시스템에 관한 것이다.
전자, 반도체, 자동차, 제철 등의 제조 라인, 검사 라인 및 포장 라인에는 작업의 효율성을 위해 생산 자동화 시스템이 구축되어 있다.
예를 들어 컨베이어를 이용한 제조라인에서 제품이 이송되고, 작업자가 이송된 제품에 스크류를 이용하여 부품을 부착 완료한 후, 바코드 프린터기를 동작시켜서 프린트된 바코드를 제품에 부착한다.
다음으로, 작업자는 핸드 스캐너를 이용하여 제품에 부착된 바코드를 스캔하게 되면, 스캔된 정보가 제어기로 전달되고, 제어기가 컨베이어를 이동시켜서 제품을 다음 공정으로 이동시킨다.
상술한 바와 같은 종래의 생산 자동화 시스템은, 작업자의 수작업에 의해서 작업완료를 지시하므로, 작업자의 실수로 해당 작업이 완료되지 않은 상태에서 바코드를 스캔할 경우, 다음 공정으로 제품이 무조건 이동하게 되고, 제어기가 이와 같은 오류상황을 판단할 수 없으므로 불량품이 발생할 확률이 증가하게 된다.
종래의 생산 자동화 시스템은, 작업자의 실수를 감소시키기 위해, 신규 작업자를 교육하기 위한 시간이 많이 소요되고, 작업 공정이 변경될 때마다 작업자가 숙달되기까지 많은 시간이 소요되는 문제점이 있었다.
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 작업자의 동작, 제품의 영상 및 제품에 부착된 부품의 영상을 촬영하는 복수의 동작인식 카메라의 촬영영상을 객체 인식방법으로 인식하여, 해당 작업의 완료여부를 자동으로 인식할 수 있는 작업자의 동작인식을 이용한 생산 자동화 시스템을 제공한다.
본 발명의 일 실시예에 따르면, 제조 라인, 검사 라인 및 포장 라인에서 작업자의 동작을 객체 인식방법을 이용하여 인식하는 생산 자동화 시스템에 있어서, 작업자의 동작, 제품의 영상 및 제품에 부착된 부품의 영상을 촬영하는 복수의 동작인식 카메라; 상기 복수의 동작인식 카메라에서 전송된 영상을 토대로, 작업자가 제품에 부품을 부착하는 동작을 수행하였는지 여부와, 제품에 부품이 정확하게 부착되었는지 여부와, 작업자가 작업완료 동작을 수행하였는지 여부를 인식하는 모션 인식부; 상기 모션 인식부의 인식결과를 수신받아 데이터 베이스화 하며, 상기 인식결과를 토대로 이후에 진행할 작업을 지시하는 관리서버; 및 상기 관리서버의 작업지시를 수신받아 작업이 완료되었을 때의 동작과, 작업이 완료되지 않았을 때의 동작을 각각 구분하여 동작하도록 장비를 제어하는 장비 제어부;를 포함하는작업자의 동작인식을 이용한 생산 자동화 시스템이 제공된다.
또한, 상기 장비 제어부는, 작업이 완료되었을 때, 해당 작업이 완료되었음을 표시하는 바코드를 출력하도록 제어하며, 상기 바코드가 제품에 부착되었음을 인식한 이후에 해당 제품을 다음 공정으로 이동시키는 동작을 수행하도록 장비를 제어하는 것을 특징으로 한다.
또한, 제품에 부착되는 부품에는 특정 적외선 파장을 반사하는 적외선 반사도료가 코팅되며, 상기 복수의 동작인식 카메라는 적외선 투과파장을 조절하는 분광필터가 장착되는 것을 특징으로 한다.
또한, 제품에 부착되는 부품에는 특정 적외선 파장을 반사하는 적외선 반사도료가 코팅되며, 상기 복수의 동작인식 카메라는 적외선 투과파장을 조절하는 분광필터가 장착되어 적외선 파장 영역을 촬영하는 카메라와, 가시광선 영역을 촬영하는 카메라가 짝을 이뤄 배치되며, 상기 모션 인식부는 적외선 영역의 촬영영상과 가시광선 영역의 촬영영상을 비교하여 인식하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따르면, 제조 라인, 검사 라인 및 포장 라인에서 작업자의 동작을 객체 인식방법을 이용하여 인식하는 생산 자동화 시스템에 있어서, 작업자의 동작, 제품의 영상 및 제품에 부착된 부품의 영상을 촬영하는 복수의 동작인식 카메라; 제조 라인의 경우 상기 복수의 동작인식 카메라에서 전송된 영상을 토대로, 작업자가 제품에 부품을 결합했는지를 작업자의 동작을 감지하여 인식하고, 제품에 부품이 정확히 부착되었는지 감지하여 인식하고, 작업자가 미리 설정된 완료동작을 수행하였는지 감지하여 인식하고, 그 인식결과를 관리서버로 전송하며, 검사 라인의 경우 상기 복수의 동작인식 카메라에서 전송된 영상을 토대로, 작업자가 제품을 검사했는지를 작업자의 동작을 감지하여 인식하고, 작업자가 미리 설정된 완료동작을 수행하였는지 감지하여 인식하고, 그 인식결과를 관리서버로 전송하며, 포장 라인의 경우 상기 복수의 동작인식 카메라에서 전송된 영상을 토대로, 작업자가 제품을 포장했는지를 작업자의 동작을 감지하여 인식하고, 제품이 포장되었는지 감지하여 인식하고, 작업자가 미리 설정된 완료동작을 수행하는지 감지하여 인식하고, 그 인식결과를 관리서버로 전송하는 모션 인식부; 상기 모션 인식부의 인식결과를 수신받아 데이터 베이스화 하며, 상기 인식결과를 토대로 이후에 진행할 작업을 지시하는 관리서버; 및 상기 관리서버의 작업지시를 수신받아 작업이 완료되었을 때의 동작과, 작업이 완료되지 않았을 때의 동작을 각각 구분하여 동작하도록 장비를 제어하는 장비 제어부;를 포함하는 작업자의 동작인식을 이용한 생산 자동화 시스템이 제공된다.
또한, 상기 장비 제어부는, 작업이 완료되었을 때, 해당 작업이 완료되었음을 표시하는 바코드를 출력하도록 제어하며, 상기 바코드가 제품에 부착되었음을 인식한 이후에 해당 제품을 다음 공정으로 이동시키는 동작을 수행하도록 장비를 제어하는 것을 특징으로 한다.
또한, 제품에 부착되는 부품에는 특정 적외선 파장을 반사하는 적외선 반사도료가 코팅되며, 상기 복수의 동작인식 카메라는 적외선 투과파장을 조절하는 분광필터가 장착되는 것을 특징으로 한다.
또한, 제품에 부착되는 부품에는 특정 적외선 파장을 반사하는 적외선 반사도료가 코팅되며, 상기 복수의 동작인식 카메라는 적외선 투과파장을 조절하는 분광필터가 장착되어 적외선 파장 영역을 촬영하는 카메라와, 가시광선 영역을 촬영하는 카메라가 짝을 이뤄 배치되며, 상기 모션 인식부는 적외선 영역의 촬영영상과 가시광선 영역의 촬영영상을 비교하여 인식하는 것을 특징으로 한다.
본 발명의 실시예에 따른 생산 자동화 시스템은, 제조 라인, 검사 라인 및 포장 라인에서 작업자의 동작을 객체 인식방법을 이용하여 인식하고, 장비를 자동으로 동작시킴으로써, 제품의 불량률을 감소시킬 수 있다.
또한, 작업자의 동작인식을 이용한 생산 자동화 시스템은, 복수의 동작인식 카메라에서 전송된 영상을 토대로, 작업자가 제품에 부품을 결합했는지를 작업자의 동작을 감지하여 인식하고, 제품에 부품이 정확히 부착되었는지 감지하여 인식하고, 작업자가 미리 설정된 완료동작을 수행하였는지 감지하여 인식함으로써, 작업자가 실수로 완료동작을 지시하더라도 객체 인식방법을 통해 작업자의 실수를 보완할 수 있다.
도 1은 본 발명의 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템을 나타낸 개념도.
도 2는 본 발명의 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템을 나타낸 제1 구성도.
도 3은 본 발명의 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템을 나타낸 제2 구성도.
도 4는 본 발명의 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템을 나타낸 제3 구성도.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템을 나타낸 개념도이다.
본 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.
도 1을 참조하면, 작업자의 동작인식을 이용한 생산 자동화 시스템은 동작인식 카메라(100)와, 모션 인식부(200)와, 관리서버(300)와, 장비 제어부(400)를 포함한다.
상기와 같이 구성되는 작업자의 동작인식을 이용한 생산 자동화 시스템의 주요동작을 살펴보면 다음과 같다.
본 발명의 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템은, 제조 라인, 검사 라인 및 포장 라인에서 작업자의 동작을 객체 인식방법을 이용하여 인식하고, 인식된 결과를 바탕으로 장비의 동작을 제어하도록 구성된다.
복수의 동작인식 카메라(100)는 제조 라인, 검사 라인 및 포장 라인의 각 공정마다 설치되며 각 공정마다 적어도 하나가 설치되는 것이 바람직하다. 동작인식 카메라(100)는 작업자의 동작, 제품의 영상 및 제품에 부착된 부품의 영상을 촬영하도록 설정된다. 동작인식 카메라(100)는 동영상 및 정지영상을 모두 촬영하도록 설정된다.
모션 인식부(200)는 복수의 동작인식 카메라(100)에서 전송된 영상을 토대로, 작업자가 제품에 부품을 부착하는 동작을 수행하였는지 여부와, 제품에 부품이 정확하게 부착되었는지 여부와, 작업자가 작업완료 동작을 수행하였는지 여부를 인식한다. 즉, 모션 인식부(200)는 동작인식 카메라(100)의 촬영영상을 이용하여 객체 인식방법을 통해 작업자의 행동, 부품의 위치 등을 식별하도록 구성된다.
관리서버(300)는 모션 인식부(200)의 인식결과를 수신받아 데이터 베이스화 하며, 인식결과를 토대로 이후에 진행할 작업을 지시한다. 관리서버(300)는 모션 인식부(200)의 인식결과를 시간별 작업공정별로 정리하여 데이터 베이스화 하며, 해당 인식결과에 대한 작업지시를 장비 제어부(400)로 전송하고, 인식결과 및 작업지시 사항을 관리서버(300)의 화면에 그래픽화 하여 표시한다.
장비 제어부(400)는 관리서버(300)의 작업지시를 수신받아 작업이 완료되었을 때의 동작과, 작업이 완료되지 않았을 때의 동작을 각각 구분하여 동작하도록 장비(500)를 제어한다. 즉, 장비 제어부(400)는 작업이 완료되었을 때는 제품이 다음공정으로 이동할 수 있도록 컨베이어 등이 동작하도록 제어한다.
또한, 장비 제어부(400)는 작업이 완료되지 않았을 때는 해당 상황을 알림음 및 표시램프를 통해 작업자에게 알려줄 수 있도록 제어한다. 장비 제어부(400)는 관리서버(300)에서 위험 상황임을 지시할 경우, 작업자에게 신속하게 해당 위험상황을 알림음, 음성 알람음, 표시램프를 이용하여 알려줄 수 있도록 제어한다. 참고적으로 위험상황이 발생했을 경우, 장비 제어부(400)는 최우선으로 알림음, 음성 알람음, 표시램프를 제어하며 다른 장비(500)의 동작을 자동으로 정지하도록 제어할 수 있다.
본 발명의 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템을 이용한 제조 라인의 동작의 예를 들면 다음과 같다.
컨베이어를 이용한 제조라인에서 제품이 이송되고, 작업자가 이송된 제품에 부품을 부착할 때 모션 인식부(200)는 작업자가 제품에 부품을 결합했는지를 작업자 동작의 형태를 감지하여 인식한다. 즉, 모션 인식부(200)는 부품을 결합할 때의 작업자 특유의 동작을 인식함으로써 제1 인식동작을 수행한다.
또한, 모션 인식부(200)는 제품에 부품이 정확한 위치에 부착되었는지 촬영된 영상을 토대로 감지하여 인식하는 제2 인식동작을 수행한다.
또한, 모션 인식부(200)는 작업자가 미리 설정된 완료동작을 수행하였는지 감지하여 인식하는 제3 인식동작을 수행한다. 완료동작은 작업자가 왼손 또는 오른손을 드는 동작이나, 손을 들고 손가락으로 특정 동작을 지시하는 동작이 사용될 수 있으며, 이러한 완료동작은 모션 인식부(200)에 미리 설정된다.
결과적으로 관리서버(300)는 모션 인식부(200)의 제1 인식동작, 제2 인식동작 및 제3 인식동작의 인식결과, 즉 제1 내지 제3 인식동작이 모두 정확할 때 작업자의 해당 동작이 완료되었음을 인지하고, 이후에 진행할 작업을 지시한다.
예를 들어 이후에 진행할 작업은 바코드 자동 출력이 될 수 있다. 만약 바코드가 자동으로 출력되고, 작업자가 바코드를 제품에 부착시키는 동작을 모션 인식부(200)가 다시 인식한 후, 바코드가 바코드 스캐너를 통해서 읽기완료 된 경우, 관리서버(300)는 컨베이어를 이동하라는 작업지시를 하게 된다. 장비 제어부(400)는 관리서버(300)의 작업지시에 따라 컨베이어 및 장비의 동작을 제어하여, 제품이 다음공정으로 이송되도록 한다.
즉, 장비 제어부(400)는 작업이 완료되었을 때, 해당 작업이 완료되었음을 표시하는 바코드를 출력하도록 제어하며, 바코드가 제품에 부착되었음을 인식한 이후에 해당 제품을 다음 공정으로 이동시키는 동작을 수행하도록 장비(500)를 제어한다.
도 2는 본 발명의 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템을 나타낸 제1 구성도이고, 도 3은 본 발명의 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템을 나타낸 제2 구성도이고, 도 4는 본 발명의 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템을 나타낸 제3 구성도이다.
본 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.
도 2 내지 도 4를 참조하면, 작업자의 동작인식을 이용한 생산 자동화 시스템은 동작인식 카메라(100)와, 모션 인식부(200)와, 관리서버(300)와, 장비 제어부(400)를 포함한다.
도 2 내지 도 4를 동시에 참조하여, 상기와 같이 구성되는 작업자의 동작인식을 이용한 생산 자동화 시스템의 세부구성과 주요동작을 살펴보면 다음과 같다.
복수의 동작인식 카메라(100)는 제조 라인, 검사 라인 및 포장 라인의 각 공정마다 설치되며 각 공정마다 적어도 하나가 설치되는 것이 바람직하다. 카메라는 작업자의 동작, 제품의 영상 및 제품에 부착된 부품의 영상을 촬영하도록 설정된다. 동작인식 카메라(100)는 동영상 및 정지영상을 모두 촬영하도록 설정된다.
참고적으로, 모션 인식부(200)에서 객체 인식을 보다 명확하게 할 수 있도록, 제품에 부착되는 부품에는 특정 적외선 파장을 반사하는 적외선 반사도료가 코팅될 수 있다. 또한, 복수의 동작인식 카메라(100)는 적외선 투과파장을 조절하는 분광필터가 장착될 수 있다. 동작인식 카메라(100)에 분광필터가 장착됨으로써, 적외선 반사도료가 코팅된 부품의 식별이 보다 원활히 진행될 수 있다.
또한, 적외선 투과파장을 조절하는 분광필터가 장착되어 적외선 파장 영역을 촬영하는 카메라와, 가시광선 영역을 촬영하는 카메라가 짝을 이뤄 배치될 수 있다. 이와 같이 한 쌍의 카메라가 각 공정마다 배치되고, 제품에 부착되는 부품에 특정 적외선 파장을 반사하는 적외선 반사도료가 코팅된 경우, 모션 인식부(200)는 적외선 영역의 촬영영상과 가시광선 영역의 촬영영상을 상호 비교하여 보다 정확하게 객체인식 동작을 수행할 수 있다. 즉, 동작인식 카메라(100)에 분광필터가 장착됨으로써, 적외선 반사도료가 코팅된 부품의 식별이 보다 원활히 진행될 수 있다.
또한, 추가적으로 작업자가 적외선 반사도료가 코팅된 작업복 또는 작업완료를 지시하는 손에 적외선 반사도료가 코팅된 장갑을 착용하고 있을 경우, 모션 인식부(200)는 부품의 식별 뿐만 아니라 작업자의 동작인식 까지도 보다 원활하게 수행 할 수 있다.
모션 인식부(200)는 복수의 동작인식 카메라(100)에서 전송된 영상을 토대로, 작업자가 제품에 부품을 부착하는 동작을 수행하였는지 여부와, 제품에 부품이 정확하게 부착되었는지 여부와, 작업자가 작업완료 동작을 수행하였는지 여부를 인식한다. 즉, 모션 인식부(200)는 동작인식 카메라(100)의 촬영영상을 이용하여 객체 인식방법을 통해 작업자의 행동, 부품의 위치 등을 식별하도록 구성된다.
모션 인식부(200)는 제조 라인의 경우 복수의 동작인식 카메라(100)에서 전송된 영상을 토대로, 작업자가 제품에 부품을 결합했는지를 작업자의 동작을 감지하여 인식하고, 제품에 부품이 정확히 부착되었는지 제품 및 부품의 영상을 통해 감지하여 인식하고, 작업자가 미리 설정된 완료동작을 수행하였는지 감지하여 인식하고, 그 인식결과를 관리서버(300)로 전송한다.
또한, 모션 인식부(200)는 검사 라인의 경우 복수의 동작인식 카메라(100)에서 전송된 영상을 토대로, 작업자가 제품을 검사했는지를 작업자의 동작을 감지하여 인식하고, 작업자가 미리 설정된 완료동작을 수행하였는지 감지하여 인식하고, 그 인식결과를 관리서버(300)로 전송한다.
검사시의 작업자의 동작은 특정 부품을 특정시간 동안 바라보는 동작으로 설정될 수 있다. 또한, 완료동작은 오른팔을 들면 정상인 것이고, 왼팔을 들면 불량인 것을 지시하는 동작으로 각각 구분될 수 있다.
또한, 모션 인식부(200)는 포장 라인의 경우 복수의 동작인식 카메라(100)에서 전송된 영상을 토대로, 작업자가 제품을 포장했는지를 작업자의 동작을 감지하여 인식하고, 제품이 포장되었는지 제품의 영상을 통해 감지하여 인식하고, 작업자가 미리 설정된 완료동작을 수행하는지 감지하여 인식하고, 그 인식결과를 관리서버(300)로 전송한다.
관리서버(300)는 모션 인식부(200)의 인식결과를 수신받아 데이터 베이스화 하며, 인식결과를 토대로 이후에 진행할 작업을 지시한다. 관리서버(300)는 모션 인식부(200)의 인식결과를 시간별 작업공정별로 정리하여 데이터 베이스화 하며, 해당 인식결과에 대한 작업지시를 장비 제어부(400)로 전송하고, 인식결과 및 작업지시 사항을 관리서버(300)의 화면에 그래픽화 하여 표시한다.
관리서버(300)는 수신된 정보를 바탕으로 제조/검사/포장에 필요한 정보를 산출하고 저장한다. 또한, 관리서버(300)는 작업자의 동작인식 및 인식률 등을 데이터 베이스화 하여 추후에 반영할 수 있는 정보를 산출한다.
또한, 관리서버(300)는 생산정보/생산정보/불량정보/설비정보/공수정보/작업정보를 데이터 베이스화 하여 저장하고, 작업자가 제품을 조립 완료하는 동작을 인식하여 생산실적/불량실적 데이터 베이스에 저장하고, 작업자가 제품을 조립하는 동작을 인식하여 제품의 합격/불합격 정보를 만들어 불량정보 데이터 베이스에 저장하고, 작업자가 제품을 조립하는 동작을 인식하여 설비 가동여부 및 비가동 여부로 변환하여 설비정보 데이터 베이스에 저장한다.
장비 제어부(400)는 관리서버(300)의 작업지시를 수신받아 작업이 완료되었을 때의 동작과, 작업이 완료되지 않았을 때의 동작을 각각 구분하여 동작하도록 장비를 제어한다. 즉, 장비 제어부(400)는 작업이 완료되었을 때는 제품이 다음공정으로 이동할 수 있도록 컨베이어 등이 동작하도록 제어한다.
또한, 장비 제어부(400)는 작업이 완료되지 않았을 때는 해당 상황을 알림음 및 표시램프를 통해 작업자에게 알려줄 수 있도록 제어한다. 장비 제어부(400)는 관리서버(300)에서 위험 상황임을 지시할 경우, 작업자에게 신속하게 해당 위험상황을 알림음, 음성 알람음, 표시램프를 이용하여 알려줄 수 있도록 제어한다. 참고적으로 위험상황이 발생했을 경우, 장비 제어부(400)는 최우선으로 알림음, 음성 알람음, 표시램프를 제어하며 다른 장비(500)의 동작을 자동으로 정지하도록 제어할 수 있다.
본 발명의 실시예에 따른 작업자의 동작인식을 이용한 생산 자동화 시스템을 이용한 제조 라인의 동작의 예를 들면 다음과 같다.
컨베이어를 이용한 제조라인에서 제품이 이송되고, 작업자가 이송된 제품에 부품을 부착할 때 모션 인식부(200)는 작업자가 제품에 부품을 결합했는지를 작업자 동작의 형태를 감지하여 인식한다. 즉, 모션 인식부(200)는 부품을 결합할 때의 작업자 특유의 동작을 인식함으로써 제1 인식동작을 수행한다.
또한, 모션 인식부(200)는 제품에 부품이 정확한 위치에 부착되었는지 촬영된 영상을 토대로 감지하여 인식하는 제2 인식동작을 수행한다.
또한, 모션 인식부(200)는 작업자가 미리 설정된 완료동작을 수행하였는지 감지하여 인식하는 제3 인식동작을 수행한다. 완료동작은 작업자가 왼손 또는 오른손을 드는 동작이나, 손을 들고 손가락으로 특정 동작을 지시하는 동작이 사용될 수 있으며, 이러한 완료동작은 모션 인식부(200)에 미리 설정된다. 즉, 도 5를 참조하면, 작업자의 동작, 부품 부착동작 및 네 개의 스크류 부착 동작이 미리 모션 인식부(200)에 저장된다. 또한, 장비 제어부(400)에는 특정 장비의 제어동작 - 바코드 출력, 컨베이어 이동, RFID 스캔, 바코드 스캔 등등 - 이 미리 설정될 수 있다.
한편, 적외선 투과파장을 조절하는 분광필터가 장착되어 적외선 파장 영역을 촬영하는 동작인식 카메라와, 가시광선 영역을 촬영하는 동작인식 카메라가 짝을 이뤄 배치될 수 있다. 이와 같이 한 쌍의 동작인식 카메라가 각 공정마다 배치되고, 제품에 부착되는 부품에 특정 적외선 파장을 반사하는 적외선 반사도료가 코팅된 경우, 모션 인식부(200)는 적외선 영역의 촬영영상과 가시광선 영역의 촬영영상을 상호 비교하여 객체인식 동작을 수행할 수 있다. 또한, 동작인식 카메라(100)에 분광필터가 장착됨으로써, 적외선 반사도료가 코팅된 부품의 식별이 보다 원활하게 인식될 수 있다.
추가적으로 작업자가 적외선 반사도료가 코팅된 작업복을 착용하거나 작업완료를 지시하는 손에 적외선 반사도료가 코팅된 장갑을 착용하고 있을 경우, 모션 인식부(200)는 부품의 식별 뿐만 아니라 작업자의 동작 인식까지도 보다 원활하게 수행할 수 있다.
참고적으로, 객체인식 동작의 인식률을 높이기 위한 추가적인 기술이 적용될 수 있다.
우선, 부품에 코팅되는 적외선 반사도료는, 각 공정마다 서로 다른 파장을 반사하는 적외선 반사도료가 사용될 수 있다. 또한, 각 공정에 배치되는 동작인식 카메라(100)의 분광필터도 해당 공정에 사용되는 부품의 적외선 반사파장을 고려하여, 부품에 코팅된 적외선 투과파장을 통과시키는 분광필터가 사용될 수 있다. 또한, 작업자가 착용하고 있는 작업복 및 장갑에도 각 공정마다 서로 다른 파장을 반사하는 적외선 반사도료가 사용됨으로써, 식별력을 증가시킬 수 있을 것이다.
결과적으로 관리서버(300)는 모션 인식부(200)의 제1 인식동작, 제2 인식동작 및 제3 인식동작의 인식결과, 즉 제1 내지 제3 인식동작이 모두 정확할 때 작업자의 해당 동작이 완료되었음을 인지하고, 이후에 진행할 작업을 지시한다.
예를 들어 이후에 진행할 작업은 바코드 자동 출력이 될 수 있다. 만약 바코드가 자동으로 출력되고, 작업자가 바코드를 제품에 부착시키는 동작을 모션 인식부(200)가 다시 인식한 후, 바코드가 바코드 스캐너를 통해서 읽기완료 된 경우, 관리서버(300)는 컨베이어를 이동하라는 작업지시를 하게 된다. 장비 제어부(400)는 관리서버(300)의 작업지시에 따라 컨베이어 및 장비의 동작을 제어하여, 제품이 다음공정으로 이송되도록 한다.
즉, 장비 제어부(400)는 작업이 완료되었을 때, 해당 작업이 완료되었음을 표시하는 바코드를 출력하도록 제어하며, 바코드가 제품에 부착되었음을 인식한 이후에 해당 제품을 다음 공정으로 이동시키는 동작을 수행하도록 장비(500)를 제어한다.
본 발명의 실시예에 따른 생산 자동화 시스템은, 제조 라인, 검사 라인 및 포장 라인에서 작업자의 동작을 객체 인식방법을 이용하여 인식하고, 장비를 자동으로 동작시킴으로써, 제품의 불량률을 감소시킬 수 있다.
또한, 작업자의 동작인식을 이용한 생산 자동화 시스템은, 복수의 동작인식 카메라에서 전송된 영상을 토대로, 작업자가 제품에 부품을 결합했는지를 작업자의 동작을 감지하여 인식하고, 제품에 부품이 정확히 부착되었는지 감지하여 인식하고, 작업자가 미리 설정된 완료동작을 수행하였는지 감지하여 인식함으로써, 작업자가 실수로 완료동작을 지시하더라도 객체 인식방법을 통해 작업자의 실수를 보완할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 동작인식 카메라
200 : 모션 인식부
300 : 관리서버
400 : 장비 제어부
500 : 장비

Claims (8)

  1. 제조 라인, 검사 라인 및 포장 라인에서 작업자의 동작을 객체 인식방법을 이용하여 인식하는 생산 자동화 시스템에 있어서,
    작업자의 동작, 제품의 영상 및 제품에 부착된 부품의 영상을 촬영하는 복수의 동작인식 카메라;
    상기 복수의 동작인식 카메라에서 전송된 영상을 토대로, 작업자가 제품에 부품을 부착하는 동작을 수행하였는지 여부와, 제품에 부품이 정확하게 부착되었는지 여부와, 작업자가 작업완료 동작을 수행하였는지 여부를 인식하는 모션 인식부;
    상기 모션 인식부의 인식결과를 수신받아 데이터 베이스화 하며, 상기 인식결과를 토대로 이후에 진행할 작업을 지시하는 관리서버; 및
    상기 관리서버의 작업지시를 수신받아 작업이 완료되었을 때의 동작과, 작업이 완료되지 않았을 때의 동작을 각각 구분하여 동작하도록 장비를 제어하는 장비 제어부;를 포함하며,
    제품에 부착되는 부품에는 특정 적외선 파장을 반사하는 적외선 반사도료가 코팅되며, 상기 복수의 동작인식 카메라는 적외선 투과파장을 조절하는 분광필터가 장착되는 것을 특징으로 하는
    작업자의 동작인식을 이용한 생산 자동화 시스템.
  2. 제1항에 있어서,
    상기 장비 제어부는,
    작업이 완료되었을 때, 해당 작업이 완료되었음을 표시하는 바코드를 출력하도록 제어하며, 상기 바코드가 제품에 부착되었음을 인식한 이후에 해당 제품을 다음 공정으로 이동시키는 동작을 수행하도록 장비를 제어하는 것을 특징으로 하는
    작업자의 동작인식을 이용한 생산 자동화 시스템.
  3. 삭제
  4. 제1항에 있어서,
    제품에 부착되는 부품에는 특정 적외선 파장을 반사하는 적외선 반사도료가 코팅되며,
    상기 복수의 동작인식 카메라는 적외선 투과파장을 조절하는 분광필터가 장착되어 적외선 파장 영역을 촬영하는 카메라와, 가시광선 영역을 촬영하는 카메라가 짝을 이뤄 배치되며, 상기 모션 인식부는 적외선 영역의 촬영영상과 가시광선 영역의 촬영영상을 비교하여 인식하는 것을 특징으로 하는
    작업자의 동작인식을 이용한 생산 자동화 시스템.
  5. 제조 라인, 검사 라인 및 포장 라인에서 작업자의 동작을 객체 인식방법을 이용하여 인식하는 생산 자동화 시스템에 있어서,
    작업자의 동작, 제품의 영상 및 제품에 부착된 부품의 영상을 촬영하는 복수의 동작인식 카메라;
    제조 라인의 경우 상기 복수의 동작인식 카메라에서 전송된 영상을 토대로, 작업자가 제품에 부품을 결합했는지를 작업자의 동작을 감지하여 인식하고, 제품에 부품이 정확히 부착되었는지 감지하여 인식하고, 작업자가 미리 설정된 완료동작을 수행하였는지 감지하여 인식하고, 그 인식결과를 관리서버로 전송하며,
    검사 라인의 경우 상기 복수의 동작인식 카메라에서 전송된 영상을 토대로, 작업자가 제품을 검사했는지를 작업자의 동작을 감지하여 인식하고, 작업자가 미리 설정된 완료동작을 수행하였는지 감지하여 인식하고, 그 인식결과를 관리서버로 전송하며,
    포장 라인의 경우 상기 복수의 동작인식 카메라에서 전송된 영상을 토대로, 작업자가 제품을 포장했는지를 작업자의 동작을 감지하여 인식하고, 제품이 포장되었는지 감지하여 인식하고, 작업자가 미리 설정된 완료동작을 수행하는지 감지하여 인식하고, 그 인식결과를 관리서버로 전송하는 모션 인식부;
    상기 모션 인식부의 인식결과를 수신받아 데이터 베이스화 하며, 상기 인식결과를 토대로 이후에 진행할 작업을 지시하는 관리서버; 및
    상기 관리서버의 작업지시를 수신받아 작업이 완료되었을 때의 동작과, 작업이 완료되지 않았을 때의 동작을 각각 구분하여 동작하도록 장비를 제어하는 장비 제어부;를 포함하며,
    제품에 부착되는 부품에는 특정 적외선 파장을 반사하는 적외선 반사도료가 코팅되며, 상기 복수의 동작인식 카메라는 적외선 투과파장을 조절하는 분광필터가 장착되는 것을 특징으로 하는
    작업자의 동작인식을 이용한 생산 자동화 시스템.
  6. 제5항에 있어서,
    상기 장비 제어부는,
    작업이 완료되었을 때, 해당 작업이 완료되었음을 표시하는 바코드를 출력하도록 제어하며, 상기 바코드가 제품에 부착되었음을 인식한 이후에 해당 제품을 다음 공정으로 이동시키는 동작을 수행하도록 장비를 제어하는 것을 특징으로 하는
    작업자의 동작인식을 이용한 생산 자동화 시스템.
  7. 삭제
  8. 제5항에 있어서,
    제품에 부착되는 부품에는 특정 적외선 파장을 반사하는 적외선 반사도료가 코팅되며,
    상기 복수의 동작인식 카메라는 적외선 투과파장을 조절하는 분광필터가 장착되어 적외선 파장 영역을 촬영하는 카메라와, 가시광선 영역을 촬영하는 카메라가 짝을 이뤄 배치되며, 상기 모션 인식부는 적외선 영역의 촬영영상과 가시광선 영역의 촬영영상을 비교하여 인식하는 것을 특징으로 하는
    작업자의 동작인식을 이용한 생산 자동화 시스템.
KR1020150040264A 2015-03-23 2015-03-23 작업자의 동작인식을 이용한 생산 자동화 시스템 KR101535804B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150040264A KR101535804B1 (ko) 2015-03-23 2015-03-23 작업자의 동작인식을 이용한 생산 자동화 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150040264A KR101535804B1 (ko) 2015-03-23 2015-03-23 작업자의 동작인식을 이용한 생산 자동화 시스템

Publications (1)

Publication Number Publication Date
KR101535804B1 true KR101535804B1 (ko) 2015-07-10

Family

ID=53792746

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150040264A KR101535804B1 (ko) 2015-03-23 2015-03-23 작업자의 동작인식을 이용한 생산 자동화 시스템

Country Status (1)

Country Link
KR (1) KR101535804B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102053922B1 (ko) * 2018-08-01 2019-12-16 대한민국 오염요소를 제거한 법과학 증거물 촬영시스템
KR20200073588A (ko) 2018-12-14 2020-06-24 강준걸 작업자 동작인식을 이용한 생산라인 모니터링 시스템 및 이를 이용하여 생산라인을 모니터링하는 방법
CN113065802A (zh) * 2021-04-26 2021-07-02 北京创源微致软件有限公司 一种产品的工业生产方法、装置、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020017298A (ko) * 2000-08-29 2002-03-07 정대서, 이병수 생산 자동화 관리 시스템 및 그 방법
JP2010218002A (ja) * 2009-03-13 2010-09-30 Hitachi Ltd 製品組立方法
KR20130097656A (ko) * 2012-02-24 2013-09-03 가부시키가이샤 다이후쿠 오작업 방지장치 및 오작업 방지장치가 마련된 분류 설비

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020017298A (ko) * 2000-08-29 2002-03-07 정대서, 이병수 생산 자동화 관리 시스템 및 그 방법
JP2010218002A (ja) * 2009-03-13 2010-09-30 Hitachi Ltd 製品組立方法
KR20130097656A (ko) * 2012-02-24 2013-09-03 가부시키가이샤 다이후쿠 오작업 방지장치 및 오작업 방지장치가 마련된 분류 설비

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102053922B1 (ko) * 2018-08-01 2019-12-16 대한민국 오염요소를 제거한 법과학 증거물 촬영시스템
KR20200073588A (ko) 2018-12-14 2020-06-24 강준걸 작업자 동작인식을 이용한 생산라인 모니터링 시스템 및 이를 이용하여 생산라인을 모니터링하는 방법
CN113065802A (zh) * 2021-04-26 2021-07-02 北京创源微致软件有限公司 一种产品的工业生产方法、装置、系统及存储介质

Similar Documents

Publication Publication Date Title
US11213860B2 (en) Automatic magnetic core sorting system based on machine vision
CN110596129B (zh) 一种基于图像采集的片状玻璃边缘瑕疵检测系统
KR101772673B1 (ko) 멀티 광학 모듈 비전 검사 시스템
US8983172B2 (en) Visual inspection apparatus, secure one-way data transfer device and methods therefor
WO2019105046A1 (zh) 检测系统、方法及所适用的3d打印设备
KR101535804B1 (ko) 작업자의 동작인식을 이용한 생산 자동화 시스템
CN108872247A (zh) 一种基于机器视觉及rfid的产品自动检测系统及检测方法
KR101608371B1 (ko) 생산현장의 라인관리 시스템 및 그 방법
WO2018066576A1 (ja) 外観検査方法
CN208366871U (zh) 检测系统
US20230110396A1 (en) Layup table for composite fabrication with ai quality control modules
CN109060833A (zh) 一种全自动检测链轮型号及缺陷的照相装置
KR100936506B1 (ko) 웨이퍼 위치 오차 인식 시스템 및 이의 웨이퍼 위치 오차 인식방법
US20220284699A1 (en) System and method of object detection using ai deep learning models
KR102202629B1 (ko) 지능형 로봇 안전관리 시스템 및 그것의 동작 방법
US20190011890A1 (en) Method for the Parameterization of a Sensor
CN112110321B (zh) 乘客输送机以及检修方法
US20230419477A1 (en) Anomaly detection system in the automatic placement of composites during the manufacturing of structural elements
WO2023155521A1 (zh) 分拣系统、分拣方法、控制方法及存储介质
JP2021158227A (ja) ウェーハ搬送装置
CN110586500A (zh) 一种纸瓶吸管缺陷智能检测系统
CN114348372B (zh) 一种利用纸管图案识别并校验筒子纱品种的方法及装置
KR102365070B1 (ko) 제품 생산라인의 자동제어시스템 및 방법
CN113998595A (zh) 无人化起重机自动化防碰撞控制系统
KR102240192B1 (ko) 복수 초점을 동시 인식하는 비전식 코드 리더, 이를 이용한 물류 시스템 및 물류 서비스 제공 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190731

Year of fee payment: 5