KR20220131871A

KR20220131871A - 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 방법

Info

Publication number: KR20220131871A
Application number: KR1020220114127A
Authority: KR
Inventors: 김기성; 조태희; 홍영기
Original assignee: 한국전력공사
Priority date: 2020-07-03
Filing date: 2022-09-08
Publication date: 2022-09-29
Also published as: KR20220132482A; KR102443906B1; KR20220004327A

Abstract

도용되기 어렵고, 현장에서 짧은 시간내에 자격을 판독할 수 있는 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 방법이 개시된다. 상기 공사현장 인력 실시간 자격판독 방법은, 작업자의 정보를 인력 관리 서버에 등록하는 단계, 상기 인력 관리 서버가 현장으로부터 상기 작업자의 확인을 요청받는 단계, 상기 인력 관리 서버에서 상기 작업자를 확인하는 단계, 및 상기 인력 관리 서버가 상기 확인결과를 상기 현장의 통신 단말기로 전송하는 단계를 포함한다.

Description

얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 방법{Method for reading qualification in real time of manpower on construction site using facial recognition technology}

*본 발명은 인력 관리 기술에 관한 것으로서, 더 상세하게는 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 방법에 대한 것이다.

건설공사는 당사자가 지정한 일에 대한 결과로 보수를 지급하는 도급(都給)계약 중심으로 진행되며, 건설공사의 전반적인 관리와 계획을 수행하는 종합건설업자(원도급자)와 건축물의 전문분야 시공을 담당하는 전문건설업자(하도급자)의 분업에 따라 하도급이 가능한 구조로 원도급자와 하도급자 간의 수직적 계약관계가 형성된다.

전문건설업체의 가격경쟁 구조 격화와 하도급 공사의 낮은 낙찰율로 인하여 저가수주에 따른 저임금 근로자를 선호하고 있으며, 전문건설업체들이 저가수주를 하는 이유는 하도급 거래 확보, 수주물량부족, 고정운영비 확보순서로 조사되고 있다.

최근 건설업으로 입직(入直)한 임시일용직 근로자의 비율이 해마다 상승하고 있으나, 전산업 대비 건설업의 입직율 차이도 2010년 41%p에서 2016년도 25%p로 늘어났으며, 건설업 임시일용직의 이직율도 입직율과 마찬가지로 해마다 상승하고 있다.

또한, 장마철, 겨울철 공사 또는 작업 중단으로 인해 임시일용직 근로자의 일자리가 줄어들기 때문에, 계절적인요인에 의한 반복적인 실업 상황이 발생하며, 건설근로자의 안전교육과 건설기능인력 양성에 따른 높은 숙련도가 요구됨에도 불구하고 건설근로자의 훈련참여 경험은 미비한 것이 현실이다.

일반적으로 건설현장에서는 근로자의 출퇴근여부를 확인하고, 건설현장의 출역인원을 파악하기 위해 출역일보와 작업일보, 출근명부 등을 작성하고 있으며, 해당 서류는 퇴직공제 신고업무에 활용되고 있다.

그러나, 이와 같은 건설 근로자의 출퇴근여부의 확인뿐만 아니라, 건설인력관리의 효율화, 정확한 근로내역 확보, 사업 참여자의 업무 효율성 향상, 인력관리의 투명화를 제고할 수 있는 방안에 대한 요구가 높아지고 있다.

한편, 인력관리를 위해, 자격관리, ID CARD, 의료보험 분야 등에서 전자카드를 적용한 사례가 있다. 전자카드는 신분확인을 기본으로 각 나라별로 활용목적에 따라 생체정보를 담거나, 직불카드로 활용되고 있으며, 보험이나 연금정보가 연계되기도 한다. 또한, 전문기술인력들의 자격관리, 신분확인, 의료보험 분야에 사용되고 있다.

그러나, 전자카드의 경우, 도용되기 쉽고, 현장에서 자격을 판독하기에는 시간이 많이 소요되는 문제점이 있다. 또한, 시공업체의 무단작업 및/또는 위장 하도급을 근절할 수 없다는 문제점이 있으며, 발주처의 부정확한 근로내역 관리로 인해 시공업체의 각종 부조리가 발생하고 있다는 문제점이 있다.

1. 한국공개특허번호 제10-2020-0028120호

본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 도용되기 어렵고, 현장에서 짧은 시간내에 자격을 판독할 수 있는 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 시공업체의 무단작업 및/또는 위장 하도급을 근절할 수 있는 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 방법을 제공하는데 다른 목적이 있다.

또한, 본 발명은 발주처의 부정확한 근로내역 관리로 인해 발생하는 시공업체의 각종 부조리를 예방할 수 있는 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 방법을 제공하는데 또다른 목적이 있다.

본 발명은 위에서 제시된 과제를 달성하기 위해, 도용되기 어렵고, 현장에서 짧은 시간내에 자격을 판독할 수 있는 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 방법을 제공한다.

상기 공사현장 인력 실시간 자격판독 방법은,

작업자의 정보를 인력 관리 서버에 등록하는 단계;

상기 인력 관리 서버가 현장의 통신 단말기를 통하여 상기 작업자의 확인을 요청받는 단계;

상기 인력 관리 서버에서 상기 작업자를 확인하는 단계; 및

상기 인력 관리 서버가 상기 확인결과를 상기 현장의 통신 단말기로 전송하는 단계;를 포함한다.

또한, 상기 인력 관리 서버에 등록하는 상기 작업자의 정보는 사진, 이름, 회사명 중 어느 한 개 이상인 것을 특징으로 한다.

또한, 상기 인력 관리 서버는 상기 사진으로부터 상기 인력의 특징점을 찾아 상기 사진 대신에 상기 작업자의 특징점을 저장하는 것을 특징으로 한다.

또한, 상기 인력 관리 서버는 상기 인력의 특징점을 저장한 뒤, 상기 사진을 삭제하는 것을 특징으로 한다.

또한, 상기 현장의 통신 단말기로부터 상기 작업자의 확인은 문자로 확인 요청을 받되, 상기 사진을 포함해 공사번호 및 공종번호 중 어느 한 개 이상인 것을 특징으로 한다.

또한, 상기 인력 관리 서버에는 상기 공사번호마다 이미 작업자의 이름 및 회사명이 등록된 것을 특징으로 한다.

또한, 상기 사진에는 N명의 인원이 포함될 수 있는 것을 특징으로 한다.

또한, 상기 인력 관리 서버에서 상기 사진을 인식한 뒤, 상기 N명을 인식했는지 상기 N을 스코어로 통신 단말기에게 회신하는 것을 특징으로 한다.

또한, 상기 N명의 작업자에 대해 "교육확인"또는 "재제확인"여부를 회신하는 것을 특징으로 한다.

또한, 상기 "교육확인"또는 "재제확인"이 없을 경우 자동승인 요청을 전송하는 것을 특징으로 한다.

다른 한편으로, 본 발명의 다른 일실시예는, 작업자의 정보를 인력 관리 서버에 등록하는 단계; 상기 인력 관리 서버가 현장의 통신 단말기를 통하여 상기 작업자의 얼굴사진으로 확인을 요청받는 단계; 상기 인력 관리 서버에서 상기 작업자의 얼굴사진을 딥러닝을 기반으로 분석하는 단계; 및 상기 인력 관리 서버가 상기 확인결과를 공사 현장의 통신 단말기로 전송하는 단계;를 포함하는 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 방법을 제공한다.

또한, 상기 공사현장 인력 실시간 자격판독 방법은, 상기 딥러닝은 상기 얼굴사진으로부터 얼굴영역을 추출하되, 얼굴의 회전각도를 추정하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 공사현장 인력 실시간 자격판독 방법은, 상기 얼굴사진으로부터 얼굴 매칭 유사도 순위를 매긴 뒤, 상위 10%를 후보군으로 제시하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 얼굴사진으로부터 눈, 코, 입, 턱선 중 어느 한 개 이상의 특징점을 추출하는 것을 특징으로 한다.

본 발명에 따르면, 얼굴인식 기술을 활용하여 현장에서 짧은 시간내에 공사현장의 인력에 대한 자격을 판독할 수 있다.

또한, 본 발명의 다른 효과로서는 시공업체의 무단작업 및/또는 위장 하도급을 근절할 수 있다는 점을 들 수 있다.

또한, 본 발명의 또 다른 효과로서는 공사현장 및 전력시설물 사진 실시간 전송으로 안전여부를 공사감독자가 즉시 판단, 조치할 수 있다는 점을 들 수 있다.

또한, 본 발명의 또 다른 효과로서는 시스템 통보 및 승인 기능을 통한 공사 감독자의 업무를 경감할 수 있다는 점을 들 수 있다.

또한, 본 발명의 또 다른 효과로서는 기능 인력의 체계적인 경력관리로 숙련도 및 전문성 강화가 가능하다는 점을 들 수 있다.

도 1은 본 발명의 일실시예에 따른 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 시스템의 구성 블럭도이다.
도 2는 도 1에 도시된 제 1 내지 제 n 통신 단말기의 세부 구성 블럭도이다.
도 3은 도 1에 도시된 인력 관리 서버의 세부 구성 블럭도이다.
도 4는 본 발명의 일실예에 따른 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 시스템의 동작 개념을 보여주는 도면이다.
도 5는 본 발명의 일실시예에 따른 작업자의 사진을 인력 관리 서버에 등록하는 과정을 보여주는 흐름도이다.
도 6 및 도 7은 작업자의 사진이 등록된 이후, 작업자의 자격을 검증하는 과정을 보여주는 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.

이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 방법을 상세하게 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 시스템(100)의 구성 블럭도이다. 도 1을 참조하면, 공사현장 인력 실시간 자격판독 시스템(100)은, 제 1 내지 제 n 통신 단말기(110-1 내지 110-n), 통신망(120), 인력 관리 서버(130), 딥러닝 서버(140), 자격 정보 서버(150) 등을 포함하여 구성될 수 있다.

제 1 내지 제 n 통신 단말기(110-1 내지 110-n)는 작업자의 얼굴 이미지를 생성하여 이를 인력 관리 서버(130)에 등록하는 기능을 수행하고, 작업자에 대한 자격 검증을 요청하는 기능을 수행한다. 또한, 제 1 내지 제 n 통신 단말기(110-1 내지 110-n)는 인력 관리 서버(130)로부터 자격 검증에 대한 결과 정보를 통보받을 수 있다.

제 1 내지 제 n 통신 단말기(110-1 내지 110-n)는 주로 스마트폰이 이용될 수 있으나, 이에 한정되는 것은 아니며 휴대폰(mobile phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 노트 패드 등이 될 수 있다.

제 1 내지 제 n 통신 단말기(110-1 내지 110-n)의 일부는 작업자가 사용하는 것일 수 있고, 일부는 현장 관리자, 감독자 등이 사용하는 것일 수 있다.

통신망(120)은 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 공중교환 전화망(PSTN), 공중교환 데이터망(PSDN), 종합정보통신망(ISDN: Integrated Services Digital Networks), 광대역 종합 정보 통신망(BISDN: Broadband ISDN), 근거리 통신망(LAN: Local Area Network), 대도시 지역망(MAN: Metropolitan Area Network), 광역 통신망(WLAN: Wide LAN) 등이 될 수 있다, 그러나, 본 발명은 이에 한정되지는 않으며, 무선 통신망인 CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), Wibro(Wireless Broadband), WiFi(Wireless Fidelity), HSDPA(High Speed Downlink Packet Access) 망 , 블루투쓰(bluetooth),NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 될 수 있다. 또는, 이들 유선 통신망 및 무선 통신망의 조합일 수 있다.

인력 관리 서버(130)는 제 1 내지 제 n 통신 단말기(110-1 내지 110-n)로부터 획득된 작업자의 정보를 제 2 데이터베이스(132)에 등록하고, 현자 감독자, 현장 관리자 등이 제 1 내지 제 n 통신 단말기(110-1 내지 110-n)를 통해 해당 작업자에 대한 자격 검증을 요청받을 수 있다. 물론, 인력 관리 서버(130)는 작업자의 정보에 대하여 딥러닝 서버(140) 및/또는 자격 정보 서버(150)를 이용하여 자격 검증을 실시하고 실시 결과를 해당 통신 단말기(110-1 내지 110-n)에 전송한다.

인력 관리 서버(130)에는 제 1 데이터베이스(131) 및 제 2 데이터베이스(132)가 구성될 수 있다. 제 1 데이터베이스(131)는 작업자의 자격 정보를 데이터베이스화하여 저장한다. 작업자의 자격 정보로는 자격증, 경력, 특기, 공사업체, 공사장, 사고 기록, 근무 기록 등을 들 수 있다. 제 2 데이터베이스(132)는 작업자의 신상 정보를 데이터베이스화하여 저장한다. 작업자의 신상 정보로는 사진, 이름, 회사명, 연락처 등을 들 수 있다. 물론, 도 1에서는 이해의 편의를 위해 제 1 데이터베이스(131)와 제 2 데이터베이스(132)로 구분하였으나, 하나의 데이터베이스로 구성하는 것도 가능하다. 즉, 작업자의 자격 정보 및 작업자의 신상 정보를 하나의 작업자의 정보로 구성하여 하나의 데이터베이스에 저장하는 것을 들 수 있다.

딥러닝 서버(140)는 딥러닝 알고리즘을 실행하여 작업자의 얼굴의 특징점을 찾아 동일인 여부를 확인하는 기능을 수행한다. 일반적으로 딥러닝은 여러 층을 가진 인공 신경망(Artificial Neural Network, ANN)을 사용하여 머신러닝 학습을 수행하는 것으로 데이터에서 특징을 추출하여 학습하는 알고리즘이다.

이를 위해, 인공 신경망이 구성되며, 인공 신경망은 여러 뉴런이 서로 연결되어 있는 구조의 네트워크이며, 입력층(input layer)을 통해 학습하고자 하는 데이터를 입력받게 되고, 이렇게 입력된 데이터들은 여러 단계의 은닉층(hidden layer)을 지나면서 처리가 이루어져 출력층(output layer)을 통해 최종 결과가 출력된다. 부연하면, 작업자의 얼굴의 특징점을 추출하여 자격 검증을 요청하는 작업자의 얼굴인지를 확인하여 이 결과를 인력 관리 서버(130)에 제공한다. 특징점으로는 눈, 코, 입, 턱선 등을 포함할 수 있다. 물론, 도 1에서는 이해의 편의를 위해, 딥러닝 서버를 별도로 도시하였으나, 인력 관리 서버(130)에 구성될 수도 있다.

자격 정보 서버(150)는 작업자의 자격 정보를 저장하고 관리하며, 이를 인력 관리 서버(130)에 제공하는 기능을 수행한다. 자격 정보 서버(150)는 다른 기관에서 관리하는 서버와 연결되어 해당 작업자의 자격 정보를 취합하는 기능을 수행하며, 인력 관리 서버(130)와 주기적으로 동기화될 수 있다. 물론, 자격 정보 서버(150)를 인력 관리 서버(130)에 통합하여 구성하는 것도 가능하다.

자격 정보로는 계약업체 내용 정보, 기능 인력 정보, 기능 인력 자격 제재 정보등을 포함할 수 있다. 계약업체 내용 정보는 회사명, 사업자 번호, 계약 번호, 단가 계약, 계약 구분, 담당 사업소 등이 될 수 있다. 기능 인력 정보는 사진, 성명, 생년월일, 연락처, 자격증, 교육내용, 자격 상태 등이 될 수 있다. 기능 인력 자격 제재 정보는 사유, 제재 사업소, 입력자 제재시 소속. 제재 기간 등이 될 수 있다.

도 2는 도 1에 도시된 제 1 내지 제 n 통신 단말기(110-1 내지 110-n)의 세부 구성 블럭도이다. 도 2를 참조하면, 제 1 내지 제 n 통신 단말기(110-1 내지 110-n)는 영상을 촬영하여 아날로그 영상 정보를 생성하는 센서(210), 영상 정보를 디지털 영상 정보로 변환하는 제어부(220), 통신망(120)과 연결되어 디지털 영상 정보를 인력 관리 서버(130)에 전송하는 통신부(230) 등을 포함하여 구성되는 것을 특징으로 한다.

센서(210)는 작업자의 얼굴 촬영하여 영상 정보(즉 이미지)를 생성하는 장치로 CCTV(Closed Circuit Television), CCD(Charge-Coupled Device) 카메라, CMOS(complementary metal-oxide semiconductor) 카메라 등이 될 수 있다.

제어부(220)는 센서(210)에 의해 생성된 아날로그 영상 정보를 디지털 영상 정보로 변환하는 기능을 수행한다. 이를 위해, 제어부(220)에는 DSP(Digital Signal Processor), 메모리, 마이크로프로세서 등이 구성될 수 있다.

메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD(Secure Digital) 또는 XD(eXtreme Digital) 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

통신부(230)는 디지털 영상 정보를 포함하는 작업자의 정보를 통신망(120)을 통해 인력 관리 서버(230)에 전송하는 기능을 수행한다. 이를 위해, 통신부(230)에는 마이크로프로세서, 모뎀, 랜카드, 회로 등이 구성될 수 있다. 통신부(230)는 통신망(120)과 유선 또는 무선으로 연결될 수 있다.

출력부(240)는 제 1 내지 제 n 통신 단말기(110-1 내지 110-n)가 처리하는 정보를 표시하거나, 일부 기능을 설정하기 위한 메뉴 화면을 디스플레이한다. 이를 위해, 출력부(240)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, OLED(Organic LED) 디스플레이, 터치 스크린, 플렉시블 디스플레이가 될 수 있다. 터치 스크린의 경우, 입력 수단으로도 기능할 수 있다. 물론, 입력 수단으로 키패드, 마이크 등이 사용될 수도 있다.

도 3은 도 1에 도시된 인력 관리 서버(130)의 세부 구성 블럭도이다. 도 3을 참조하면, 인력 관리 서버(130)는 통신망(120)과 연결되기 위한 통신부(310), 제 1 내지 제 n 통신 단말기(110-1 내지 110-n)로부터 자격 검증을 위한 작업자의 정보를 수집하는 수집부(320), 작업자의 정보 중 디지털 영상 정보를 판독하여 동일한 작업자인지를 판독하는 판독부(330), 동일한 작업자이면 특정 조건을 만족하는 지를 분석하여 자격 검증 결과를 생성하는 분석부(340), 자격 검증 결과를 출력하는 출력부(350) 등을 포함하여 구성될 수 있다.

통신부(310)는 통신망(120)과 유무선 통신으로 연결되는 기능을 수행한다. 이를 위해, 마이크로프로세서, 모뎀, 랜카드, 회로 등이 구성된다.

수집부(320)는 자격 검증을 위한 작업자의 정보를 수집하는 기능을 수행한다. 부연하면, 제 1 내지 제 n 통신 단말기(110-1 내지 110-n)로부터 해당 작업자의 자격 검증에 따른 작업자의 정보를 수집하여 판독부(330)에 전송하는 기능을 수행한다.

판독부(330)는 작업자의 정보 중 디지털 영상 정보를 판독하여 동일한 작업자인지를 판독하는 기능을 수행한다. 부연하면, 작업자의 얼굴 데이터인 디지털 영상 정보로부터 얼굴영역을 추출하고 정규화를 수행하고, 이를 딥러닝 서버(140)에 전달하면, 딥러닝 서버(140)에서는 딥러닝 기반으로 ① 얼굴의 회전각도를 자동 추정한다. 즉, 통신 단말기(110-1 내지 110-n)로부터 취득한 얼굴 이미지의 포즈 자동추정을 수행한다. 예를 들면, 좌우 90도 이내, 상하 30도 이내가 될 수 있다. 얼굴영역의 추출은 영상 정보 입력, HOG를 통한 특징벡터 추출, 추출된 특징벡터 분류, 얼굴영역의 추출 과정이 진행된다. 또한, 정규화는 얼굴의 구성요소 위치의 검출, 이미지 정규화 및 저장 과정이 진행된다.

또한, ② 얼굴 매칭 유사도의 후보순위를 디스플레이한다. 부연하면, 얼굴의 모양(shape), 텍스쳐(texture) 정보를 활용하여 유사도가 상위인 얼굴 후보순위를 디스플레이한다. 후보군 평균은 사용 DB 기반 상위 10%로 압축될 수 있다.

또한, ③ 자동으로 얼굴의 특징점을 추출한다. 즉, 눈, 코, 입, 턱선 등의 얼굴모양 정보를 포함하는 특징점(landmark)이 자동 추출된다. 이 경우, 정면 얼굴 사진 기반 70개 이상, 측면 얼굴 사진 기반 35개 이상의 특징점이 추출될 수 있다.

또한, ④ 복합각도 및 저조도로 얼굴인식 기술을 검증한다. 부연하면, 상단 30도, 정면, 하단 15도 각도에서 40lux 이상의 저조도에서 정면 얼굴 이미지로 얼굴인식이 되는지 확인한다.

분석부(340)는 자격 검증을 요청한 작업자가 이미 데이터베이스에 있는 인물과 동일인으로 확인되면, 자격 검증 결과를 해당 통신 단말기(110-1 내지 110-n)에 전송한다. 부연하면, 데이터베이스에 저장된 선행 정보와 실시간 이미지 데이터에서 식별한 인물과 대조하여 신원을 식별하고, 이후 식별 결과를 저장하고 이 식별결과에 따른 자격 검증 결과를 현장 감독자 등에 전송한다.

출력부(350)는 인력 관리 서버(130)에서 처리되는 정보를 표출하는 기능을 수행한다. 또한, 다양한 조건을 설정하기 위한 설정 화면, 관리화면 등이 표출될 수 있다. 또한, 삭제, 입력정보 완료, 미완료 후 저장 등과 같은 사용자의 수행활동에 대한 확인 메시지, 성능에 대한 메시지, 오류 안내 메시지 및/또는 진행 메시지를 표출할 수 있다.

출력부(350)는 사운드 시스템, 디스플레이 등을 포함하여 구성될 수 있다. 디스플레이는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, PDP(Plasma Display Panel), OLED(Organic LED) 디스플레이, 터치 스크린, CRT(Cathode Ray Tube), 플렉시블 디스플레이 등이 될 수 있다. 터치 스크린의 경우, 입력 수단으로서 사용자의 명령을 입력받을 수 있다. 물론, 터치 스크린이외에도 키보드, 마이크 등의 입력 수단이 사용될 수도 있다.

도 4는 본 발명의 일실예에 따른 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 시스템(100)의 동작 개념을 보여주는 도면이다. 도 4를 참조하면, 물론, 기존 데이터가 제 2 데이터베이스(132)에 적재된다. 이는 선행적으로 이루어지며, 통신 단말기(110-1 내지 110-n)를 통해 이루어질 수도 있다. 즉, 자격 정보 서버(150)에서 인력 관리 서버(130)로 제공할 수도 있다.

물론, 작업자가 인력 관리 서버(130)에 인터넷으로 접속하여 직접 입력하는 경우도 가능하다. 즉, 통신 단말기(110-1 내지 110-n)에 설치된 얼굴 등록 프로그램(410)을 통해 작업자의 얼굴을 등록한다. 이 경우, 인력 관리 서버(130)의 정보 통합 프로그램(430)이 추출을 요청하고, 메타 데이터 생성 프로그램(440)이 메타 데이터를 생성하며, 이 메타 데이터는 제 2 데이터베이스(132)에 데이터베이스화되어 저장된다.

메타 데이터는 작업자의 얼굴 사진 이미지의 원본(RAW DATA)으로부터 여러 특징들을 기술함으로써 이후 해당 자료를 다시 이용하는데 도움이 되는 데이터이다. 따라서, 메타 데이터는 눈, 코, 입, 턱선 등의 정보를 포함할 수 있다.

미리 작업자들에 대한 얼굴 이미지, 자격 정보, 신상 정보 등이 데이터베이스(131,132)에 데이터베이스화되어 저장된다.

이후, 해당 작업자가 공사 현장에 출근할 경우, 공사현장 담당자(420)는 통신 단말기(110-1 내지 110-n)를 통해 얼굴 이미지를 전송하면, 얼굴 인식 프로그램(450)이 데이터베이스(132)로부터 메타 데이터를 제공받아 얼굴 인식에 대한 요청을 정보 통합 프로그램(430)에 전송하고 이에 대한 응답을 받으면, 판독 결과를 실시간 모니터링 프로그램(460)에 전송한다.

실시간 모니터링 프로그램(460)에서는 해당 작업자에 대한 자격을 검증하여 자격 검증 결과를 공사현장 담당자(420)의 통신 단말기로 전송한다. 물론, 정보 통합 프로그램(430)은 영업 정보 프로그램(481), 기능 인력 관리 프로그램(482), 공사 현장 프로그램(483)과 동기화 프로그램(470)을 통해 주기적으로 동기화된다.

영업 정보 프로그램(481)은 영업을 담당하는 관련 서버에 구성되며, 공사 현장 프로그램(483)은 안전 보안처에 설치되는 서버에 구성되며, 기능 인력 관리 프로그램(482)은 자격 정보 서버에 구성될 수 있다.

도 5는 본 발명의 일실시예에 따른 작업자의 사진을 인력 관리 서버(130)에 등록하는 과정을 보여주는 흐름도이다. 특히, 도 5는 얼굴 사진을 등록하는 프로세스를 보여준다. 이러한 얼굴 사진 등록 프로세스는 작업자(즉, 사용자)가 인력 관리 서버(130)에 인터넷으로 직접 접속하여 수행할 수도 있고, 통신 단말기(110-1 내지 110-n)를 이용하여 수행할 수도 있다.

먼저, 화면에 출력되는 기입양식에 따라 얼굴 등록 동의서를 작성한다(단계 S510). 물론 이 경우, 신분 정보를 제시하는 과정이 있을 수 있다. 신분 정보는 통신 단말기(110-1 내지 110-n)를 이용하여 입력된 정보이거나, 신분을 증명하는 신분증 카드가 스캔된 정보이다. 이러한 정보로는 이름, 협력 회사명 등을 들 수 있다. 물론, 오프라인상에서 관리자(또는 감독자)의 안내에 따라 서류상으로 얼굴 등록 동의서를 작성하고, 신분증 카드를 제시하는 것도 가능하다.

이후, 작업자의 정보를 검색한다(단계 S520). 작업자의 정보는 성명, 회사명, 연락처 등 인사 정보 조회가 될 수 있다. 물론, 작업자가 직접 자기 정보를 조회하는 것도 가능하고, 관리자가 조회하는 것도 가능하다.

이후, 작업자는 통신 단말기(110-1 내지 110-n)를 이용하여 얼굴사진을 촬영하고 인력 관리 서버(130)에 등록을 요청한다(단계 S530,S540). 이 경우, 인력 관리 서버(130)는 사진 이미지로부터 메타 데이터를 추출하고, 이 메타 데이터를 제 2 데이터베이스(132)에 데이터로 저장한다.

이후, 등록 확인 과정이 진행된다(단계 S550). 부연하면, 등록 사진을 조회하고, 등록 결과를 확인하는 과정이 진행된다. 작업자가 여러 명이 될 수 있으며, 이 경우, 전체 인원에 대한 특징점으로 변환 추출되어 메타 데이터로 저장된다.

등록 확인 과정이 완료되면, 사진 이미지는 삭제된다(단계 S560). 부연하면, 자격 정보 서버(150)에 등록이 완료되면 등록 완료 인원이 인력 관리 서버(130)에 통보된다. 통보 정보는 협력 회사명, 이름 등이 될 수 있다. 인력 관리 서버(130)는 등록 완료 통보를 수신하면, 개인 사생활 보호를 위해 작업자들에 대한 얼굴 사진 이미지를 삭제한다. 또한, 동명이인인 경우에는 리네임후 관리한다. 예를 들면, 홍길동1, 홍길동2, 홍길동3 등으로 표시한다.

한편, 작업자의 얼굴 정보가 인력 관리 서버(130)에 등록된 이후, 수정이 요구될 수 있다. 이 경우, 변경 내용을 인력 관리 서버(130)에 통보하면, 인력 관리 서버(130)에서 변경 내용을 반영하여 제 1 데이터베이스 및 제 2 데이터베이스(131,132)를 변경한다. 물론, 자격 정보 서버(150)에도 변경 내용이 통보될 수 있고, 자격 정보 서버(150)에 변경 내용이 발생하는 경우, 인력 관리 서버(130)에 통보될 수 있다. 변경 내용은 얼굴 사진, 이름, 협력 회사명 등의 삭제, 변경, 추가 등이 될 수 있다.

도 6 및 도 7은 작업자의 사진이 등록된 이후, 작업자의 자격를 검증하는 과정을 보여주는 흐름도이다. 도 6 및 도 7을 참조하면, 공사현장 담당자(420)가 현장 작업자들을 판독하기 위해 통신 단말기(110-1 내지 110-n)를 통해 작업자들의 얼굴을 촬영하여 인력 관리 서버(130)에 자격 검증 요청을 한다(단계 S510).

자격 검증 요청을 위한 입력 정보로는 사진, 공사 번호, 공종 번호 등이 될 수 있다. 예를 들면, 순서대로 사진, 43214321, D01이 될 수 있다. 자격 검증 요청은 통신 단말기(110-1 내지 110-n)에 설치된 앱 등과 같은 프로그램을 통해 공사 현장 관리자가 데이터를 입력함으로써 이루어질 수 있다. 물론, 앱에는 사진 찍기, 데이터 입력 등을 위한 버튼이 형성될 수 있다. 또는, 문자 메시지에 내용을 기재하여 전송하는 방식도 가능하다. 한 장의 영상 정보(즉 사진)에는 여러 명의 작업자가 있을 수 있다.

자격 검증 요청이 생성됨에 따라, 인력 관리 서버(130)는 작업자들의 얼굴 사진에 대해 얼굴 인식을 딥러닝 서버(140)에 전송하여 작업자를 판독하도록 한다(단계 S620). 얼굴 인식이 완료되면 딥러닝 서버(140)는 특징점 추출하여 인력 관리 서버(130)에 전송하게 되며, 인력 관리 서버(130)는 이 특징점을 미리 저장되어 있는 메타 데이터와 비교하여 현재 사진의 작업자와 미리 저장되어 있는 작업자가 동일인인지를 판독한다.

수신된 사진 판독 결과, 판독된 사진속의 작업자 인원 숫자가 미리 설정된 기준값(예를 들면 3명)이상인지를 확인한다(단계 S630).

확인 결과, 작업자 인원 숫자가 기준값 이상이면, 스코어를 산출한다(단계 S640). 이와 달리, 확인 결과, 작업자 인원 숫자가 기준값보다 작으면, 다시 자격 검증 요청을 받는 단계 S610으로 진행한다.

예를 들면, 스코어는 작업자 인원 한명당 2점이 될 수 있다. 따라서, 3명이면 6점이 된다. 따라서 스코어가 6점이면 미리 설정되는 기준값(약 6)과 같거나 크면 판독된 작업자의 자격 정보를 인력 관리 서버(130)가 자격 정보 서버(150)에 요청한다(단계 S650,S710). 자격 정보는 자격증 종류, 자격증 만료일, 교육현황, 제재 여부, 제재 기간, 제재 사업소, 제재시 소속 등이 될 수 있다.

이후, 자격 요건이 충족되는 작업자인지를 확인한다(단계 S720). 즉, 자격 요건이 해당 공사 현장에 충족되는지를 확인한다. 물론, 이러한 자격요건 충족 조건은 미리 인력 관리 서버(130)에 설정되어 있을 수 있다.

확인 결과, 단계 S720에서, 자격 요건에 충족되지 않으면, 다른 적절한 자격을 갖은 작업자를 요청하는 메시지를 발송하며, 단계S610로 진행한다(단계 S721). 물론, 메시지에는 교육 관련, 제재내용을 고지하는 내용을 포함할 수 있다.

이와 달리, 확인 결과, 단계 S720에서, 자격 요건이 충족되면, 공사 현장의 감독자에게 결과를 통보하고 자동 승인 요청을 한다(단계 S730). 부연하면, 작업자가 일치하고, 교육/제재확인 사항이 없을 경우, 공사현장의 관리자에게 자동승인을 요청한다.

또한, 여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은, 마이크로프로세서, 프로세서, CPU(Central Processing Unit) 등과 같은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 (명령) 코드, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 매체에 기록되는 프로그램 (명령) 코드는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프 등과 같은 자기 매체(magnetic media), CD-ROM, DVD, 블루레이 등과 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 (명령) 코드를 저장하고 수행하도록 특별히 구성된 반도체 기억 소자가 포함될 수 있다.

여기서, 프로그램 (명령) 코드의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

100: 공사현장 인력 실시간 자격판독 시스템
110-1 내지 110-n: 제 1 내지 제 n 통신 단말기
120: 통신망
130: 인력 관리 서버
140: 딥러닝 서버
210: 센서
220: 제어부
230, 310: 통신부
240, 350: 출력부
320: 수집부
330: 판독부
340: 분석부
350: 출력부

Claims

작업자의 사진, 이름, 회사명 중 어느 한 개 이상의 정보를 인력 관리 서버에 등록하는 단계;
상기 인력 관리 서버가 현장의 통신 단말기를 통하여 상기 작업자의 얼굴사진으로 확인을 요청받는 단계;
상기 인력 관리 서버에서 상기 작업자의 얼굴사진을 딥러닝을 기반으로 분석하여 확인하는 단계; 및
상기 인력 관리 서버가 상기 확인결과를 현장의 감독자의 통신 단말기로 전송하는 단계; 를 포함하고,
상기 작업자의 정보를 인력 관리 서버에 등록하는 단계는,
작업자의 얼굴 등록 동의서를 작성하고, 작업자의 정보를 검색하며, 작업자의 얼굴사진을 촬영하고,
상기 작업자의 얼굴사진을 딥러닝을 기반으로 분석하여 등록 확인하는 단계는, 작업자의 등록된 사진 이미지로부터 얼굴의 특징점을 찾아 메타 데이터를 추출하여 사진 대신에 상기 작업자의 특징점으로 저장하고,
상기 저장된 작업자의 특징점을 미리 저장되어 있는 메타 데이터와 비교하여 현재 얼굴 사진의 작업자와 미리 저장되어 있는 작업자가 동일인인지를 판독하고, 등록 결과를 확인하면 작업자의 개인 사생활 보호를 위해 작업자의 사진 이미지를 삭제하며,
사진속의 작업자 인원 숫자가 미리 설정된 기준값 이상인지를 확인하고, 작업자 인원 숫자가 기준값 이상이면 스코어를 산출하여 작업자의 자격정보를 요청하고 자격요건을 충족하는 작업자인지를 확인한 후 현장의 감독자에게 승인을 요청하며, 자격 요건에 충족되지 않으면, 다른 적절한 자격을 갖은 작업자를 요청하는 메시지를 발송하고,
상기 딥러닝은 상기 얼굴사진으로부터 얼굴영역을 추출하되, 얼굴의 회전각도를 상하 30도 이내에서 자동 추정하는 단계;를 포함하며,
상기 얼굴사진으로부터 눈, 코, 입, 턱선 중 어느 한 개 이상의 특징점을 추출하는 것을 특징으로 하는 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 방법.