KR102403242B1 - 객체 특징 식별을 위한 서비스 제공 장치 및 방법 - Google Patents

객체 특징 식별을 위한 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
KR102403242B1
KR102403242B1 KR1020210110829A KR20210110829A KR102403242B1 KR 102403242 B1 KR102403242 B1 KR 102403242B1 KR 1020210110829 A KR1020210110829 A KR 1020210110829A KR 20210110829 A KR20210110829 A KR 20210110829A KR 102403242 B1 KR102403242 B1 KR 102403242B1
Authority
KR
South Korea
Prior art keywords
information
wear
wearing
identification
clothing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210110829A
Other languages
English (en)
Inventor
강원식
고건녕
추순미
김천수
Original Assignee
(주)그린아이티코리아
주식회사 액손소프트코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)그린아이티코리아, 주식회사 액손소프트코리아 filed Critical (주)그린아이티코리아
Priority to KR1020210110829A priority Critical patent/KR102403242B1/ko
Application granted granted Critical
Publication of KR102403242B1 publication Critical patent/KR102403242B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 특징 식별을 위한 서비스 제공 장치 및 방법에 관한 것으로서, 더욱 상세히는 카메라로부터 수신된 영상에서 사람으로 식별된 객체를 복수의 신체 영역으로 분할한 후 신체 영역별로 인공 신경망 기반의 학습 모듈을 통해 착용물을 식별하여 객체의 복장을 식별하기 위한 객체 특징 식별을 위한 서비스 제공 장치 및 방법에 관한 것이다. 본 발명은 영상에서 사람에 해당되는 객체를 식별한 후 객체를 복수의 서로 다른 신체 영역으로 분할하여 상기 신체 영역별로 객체에 착용된 착용물을 인공 신경망 기반으로 식별한 후 사람의 신체에서 착용물의 착용 대상에 해당하는 착용 영역에 속한 신체 영역별로 식별된 착용물을 종합하여 정확하게 사람이 착용한 착용물을 검출할 수 있으므로, 영상을 기반으로 사람이 착용한 복장에 대한 정확하고 신뢰성 있는 정보를 제공할 수 있는 효과가 있다.

Description

객체 특징 식별을 위한 서비스 제공 장치 및 방법{Service providing apparatus and method for identifying object characteristic}
본 발명은 객체 특징 식별을 위한 서비스 제공 장치 및 방법에 관한 것으로서, 더욱 상세히는 카메라로부터 수신된 영상에서 사람으로 식별된 객체를 복수의 신체 영역으로 분할한 후 신체 영역별로 인공 신경망 기반의 학습 모듈을 통해 착용물을 식별하여 객체의 복장을 식별하기 위한 객체 특징 식별을 위한 서비스 제공 장치 및 방법에 관한 것이다.
현재 영상에 대한 영상 분석을 통해 객체를 인식하는 기술이 제공되고 있으며, 이러한 기술을 이용하여 특정 종류의 객체를 인식하여 구분하거나 객체를 추적하는 등의 다양한 기능을 제공하는 영상 분석 시스템이 등장하고 있다.
이러한 영상 분석 시스템은 이미지 인식, 세분화, 분류 및 식별을 위한 이미지 처리 알고리즘을 기반으로 하여 사람의 직접적인 개입없이 자동으로 영상 데이터를 분석하고, 이러한 분석 결과를 데이터베이스의 데이터와 비교하여 원하는 결과를 얻을 수 있다.
최근 단순한 객체 인식을 넘어 사람에 해당하는 객체를 인식하고 사람이 착용하고 있는 복장을 정확히 검출하는데 대한 주제가 탄력을 받고 있다.
이러한 복장 검출은 사람이 어떤 종류의 옷을 입고 있는지 알고 있는 경우 미아 찾기와 같은 사람을 찾는 데 유용할 뿐만 아니라 고객의 스타일을 신속하게 파악하여 고객의 취향에 맞는 옷을 제공하는데 유용할 수 있다.
또한, 이러한 복장 검출을 통해 안전사고 관리가 필요한 기업에서 보호복 착용 여부를 모니터링하여 안전사고를 예방하는데 이용할 수 있다.
그러나, 기존의 영상 분석 시스템은 대부분 HOG(Histogram of Oriented Gradient), SIFT(Scale Invariant Feature Transform) 등과 같은 알고리즘을 이용하여 사람에 해당하는 객체를 검출하거나 사람에 해당하는 객체를 다른 종류의 객체와 구분하여 식별하는데 특화되어 있어, 사람이 착용한 복장을 검출하는데 어려움이 있다.
따라서, 이러한 사람에 해당하는 객체의 검출과 더불어 사람이 착용한 복장에 대한 검출을 통해 다양한 기능을 지원할 수 있도록 하기 위한 대안 시스템 개발이 요구되고 있다.
한국공개특허 제10-2010-0031481호
본 발명은 영상으로부터 사람에 해당하는 객체를 식별하고, 객체를 복수의 신체 영역으로 분할한 후 상기 신체 영역별로 얻어진 개별 이미지를 인공신경망 기반의 학습 모델을 통해 분석하여 신체 영역별로 예상되는 착용물을 산출하고, 착용물의 착용 영역에 속하는 하나 이상의 신체 영역별로 산출된 예상 착용물을 취합하여 착용 영역에 착용된 착용물을 최종 결정하는 방식으로 서로 다른 착용 영역별로 착용물을 결정하여 사람이 착용한 복장을 정확하게 검출할 수 있도록 지원하는데 그 목적이 있다.
또한, 본 발명은 영상을 기반으로 검출된 사람의 복장을 이용하여 안전 관리 또는 출입 통제에 이용할 수 있도록 지원하는데 그 목적이 있다.
본 발명의 실시예에 따른 객체 특징 식별을 위한 서비스 제공 장치는, 감시 영역에 대한 영상을 수신하는 통신부와, 상기 영상에 대한 영상 분석을 통해 사람에 해당하는 객체를 식별하여 추출하는 객체 식별부와, 상기 객체를 복수의 서로 다른 신체 영역으로 분할하도록 학습된 영역 분할용 학습 모델에 상기 객체를 적용하여 상기 신체 영역별로 개별 이미지 및 신체 영역 정보를 포함하는 식별 대상 정보를 획득하는 객체 분할부와, 신체 영역에 착용된 상태의 착용물에 대한 착용물 이미지와 상기 착용물에 대한 착용물 정보 및 상기 착용물이 착용된 신체 영역에 대한 신체 영역 정보를 포함하는 복수의 서로 다른 학습 데이터가 저장된 저장부와, 상기 복수의 신체 영역과 각각 대응되는 복수의 복장 식별용 학습 모델을 포함하며, 복수의 복장 식별용 학습 모델 각각을 상기 복장 식별용 학습 모델에 대응되는 신체 영역 정보가 포함된 상기 학습 데이터로 학습시키는 학습부 및 상기 객체 분할부 및 상기 학습부와 연동하여 상기 식별 대상 정보의 신체 영역 정보에 대응되는 복장 식별용 학습 모델에 상기 식별 대상 정보를 적용하여 상기 식별 대상 정보에 대해 예상되는 착용물 정보인 예상 착용물 정보를 포함하는 분석 결과 정보를 산출하고, 하나 이상의 신체 영역으로 구성되는 착용물 확인 대상인 하나 이상의 착용 영역이 미리 설정되어 특정 착용 영역에 속한 하나 이상의 신체 영역과 각각 대응되는 하나 이상의 식별 대상 정보별로 산출된 분석 결과 정보를 근거로 상기 특정 착용 영역에 착용된 착용물에 대한 판단 결과 정보를 생성하는 방식으로 상기 하나 이상의 착용 영역별로 판단 결과 정보를 생성하는 제어부를 포함할 수 있다.
본 발명과 관련된 일 예로서, 상기 신체 영역은 머리, 어깨, 팔, 손, 몸통, 엉덩이, 정강이, 발 중 적어도 둘 이상을 포함하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 영역 분할용 학습 모델 및 상기 복장 식별용 학습 모델은 각각 인공 신경망으로 구성되는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 제어부는 상기 학습부와 연동하여 상기 복장 식별용 학습 모델에 상기 식별 대상 정보를 적용하여 상기 식별 대상 정보에 대응되는 특정 신체 영역에 대한 착용물 착용 여부를 나타내면서 상기 특정 신체 영역에 착용된 착용물로 예상되는 예상 착용물 정보와 상기 특정 신체 영역에 실제 착용된 착용물에 대응되는 착용물 정보 사이의 유사도를 나타내는 상관 계수 및 상기 예상 착용물 정보를 포함하는 분석 결과 정보를 산출하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 제어부는 상기 식별 대상 정보에 대응되어 산출된 예상 착용물 정보가 복수인 경우 복수의 예상 착용물 정보 중 상기 상관 계수가 미리 설정된 기준치 이상이면서 가장 상관 계수가 높은 예상 착용물 정보만을 상기 분석 결과 정보에 포함시키는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 제어부는 미리 설정된 특정 착용 영역에 속하는 하나 이상의 신체 영역과 각각 대응되는 하나 이상의 식별 대상 정보별로 산출된 분석 결과 정보를 기초로 상기 하나 이상의 식별 대상 정보와 각각 대응되는 하나 이상의 분석 결과 정보 각각에 포함된 예상 착용물 정보를 확인하여 가장 많이 중복되는 예상 착용물 정보를 상기 특정 착용 영역에 착용된 착용물 정보인 최종 착용물 정보로 결정하고, 상기 최종 착용물 정보를 포함하는 판단 결과 정보를 상기 특정 착용 영역에 대응되도록 생성하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 제어부는 특정 착용 영역에 대해 최종 착용물 정보가 복수개 산출되는 경우 상기 특정 착용 영역에 대응되는 복수의 최종 착용물 정보를 각각 후보 착용물 정보로 설정하고, 상기 특정 착용 영역의 착용물 정보와 미리 설정된 다른 착용 영역의 착용물 정보 사이의 상관 관계가 학습된 착용물 비교용 학습 모델에 상기 다른 착용 영역에 대해 결정된 최종 착용물 정보와 함께 복수의 상기 후보 착용물 정보를 번갈아 적용하여 상기 다른 착용 영역에 대해 결정된 최종 착용물 정보와의 상관도에 대한 상관 계수가 가장 높게 산출되는 후보 착용물 정보를 상기 특정 착용 영역의 판단 결과 정보에 포함되는 최종 착용물 정보로 결정하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 제어부는 상기 하나 이상의 착용 영역별로 산출된 판단 결과 정보를 기초로 상기 객체에 대응되는 복장 정보를 생성하고, 상기 복장 정보를 미리 설정된 기준에 따라 판단하여 상기 복장 정보에 대응되는 객체의 출입문에 대한 출입 권한 여부를 판단한 후 상기 출입 권한 여부에 따라 상기 통신부를 통해 상기 출입문의 개폐를 제어하는 출입 제어 장치를 제어하거나 상기 기준을 기초로 상기 복장 정보에 따른 복장 위반 여부를 판단하여 복장 위반시 상기 통신부를 통해 알람 장치로 알람 정보를 전송하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 제어부는 상기 통신부를 통해 검색 요청 대상의 착용의상에 대한 복장 정보를 포함하는 검색 요청 정보를 수신하여 상기 저장부에 저장하고, 상기 제어부는 상기 하나 이상의 착용 영역별로 산출된 판단 결과 정보를 기초로 상기 객체에 대응되는 복장 정보를 생성한 후 상기 저장부에 저장된 검색 요청 정보의 복장 정보와 비교하여 일치하는 경우 상기 영상을 전송한 카메라에 대응되어 미리 설정된 위치 정보 및 상기 영상을 포함하는 검색 결과 정보를 생성한 후 상기 검색 요청 정보를 전송한 단말에 전송하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 객체 특징 식별을 위한 서비스 제공 방법은, 서비스 제공 장치가 카메라로부터 감시 영역에 대한 영상을 수신하는 단계와, 상기 서비스 제공 장치가 상기 영상에 대한 영상 분석을 통해 사람에 해당하는 객체를 식별하여 추출하는 단계와, 상기 서비스 제공 장치가 상기 객체를 복수의 서로 다른 신체 영역으로 분할하도록 학습된 영역 분할용 학습 모델에 상기 객체를 적용하여 상기 신체 영역별로 개별 이미지 및 신체 영역 정보를 포함하는 식별 대상 정보를 획득하는 단계와, 상기 서비스 제공 장치가 신체 영역에 착용된 상태의 착용물에 대한 착용물 이미지와 상기 착용물에 대한 착용물 정보 및 상기 착용물이 착용된 신체 영역에 대한 신체 영역 정보를 포함하는 복수의 서로 다른 학습 데이터로 학습된 상태의 상기 복수의 신체 영역과 각각 대응되는 복수의 복장 식별용 학습 모델 중 상기 식별 대상 정보의 신체 영역 정보에 대응되는 복장 식별용 학습 모델에 상기 식별 대상 정보를 적용하여 상기 식별 대상 정보에 대해 예상되는 착용물 정보인 예상 착용물 정보를 포함하는 분석 결과 정보를 산출하는 단계 및 상기 서비스 제공 장치가 하나 이상의 신체 영역으로 구성되는 착용물 확인 대상인 미리 설정된 하나 이상의 착용 영역 중 특정 착용 영역에 속한 하나 이상의 신체 영역과 각각 대응되는 하나 이상의 식별 대상 정보별로 산출된 분석 결과 정보를 근거로 상기 특정 착용 영역에 착용된 착용물에 대한 판단 결과 정보를 생성하고, 상기 하나 이상의 착용 영역별로 판단 결과 정보를 생성하는 단계를 포함할 수 있다.
본 발명은 영상에서 사람에 해당되는 객체를 식별한 후 객체를 복수의 서로 다른 신체 영역으로 분할하여 상기 신체 영역별로 객체에 착용된 착용물을 인공 신경망 기반으로 식별한 후 사람의 신체에서 착용물의 착용 대상에 해당하는 착용 영역에 속한 신체 영역별로 식별된 착용물을 종합하여 정확하게 사람이 착용한 착용물을 검출할 수 있으므로, 영상을 기반으로 사람이 착용한 복장에 대한 정확하고 신뢰성 있는 정보를 제공할 수 있는 효과가 있다.
또한, 본 발명은 인공신경망을 통해 영상에서 사람에 해당하는 객체에 대한 복장을 용이하고 정확하게 식별할 수 있으며, 이러한 복장 식별을 통해 해당 복장을 착용한 사람을 대상으로 복장 상태에 따른 출입 권한 여부나 복장 위반 여부 등을 판단하여 보안이 필요하거나 안전사고가 우려되는 장소에 대한 출입을 제한할 수 있을 뿐만 아니라 다수의 카메라로부터 수신되는 영상에서 사용자가 검색이나 추적을 요청하는 특정 대상을 복장 비교를 통해 용이하게 식별하여 검색하거나 추적할 수 있도록 지원할 수 있어, 영상에서 사람이 착용한 복장을 정확하게 검출하고 이를 기반으로 보안, 출입 관리, 객체 식별 및 추적 등과 같은 다양한 기능을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 객체 특징 식별을 위한 서비스 제공 장치의 구성 환경도.
도 2는 본 발명의 실시예에 따른 객체 특징 식별을 위한 서비스 제공 장치의 구성도.
도 3 내지 도 6은 본 발명의 실시예에 따른 객체 특징 식별을 위한 서비스 제공 장치의 동작 예시도.
도 7은 본 발명의 실시예에 따른 객체 특징 식별을 위한 서비스 제공 방법에 대한 순서도.
이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.
도 1은 본 발명의 실시예에 따른 객체 특징 식별을 위한 서비스 제공 장치(이하, 서비스 제공 장치)의 구성 환경도이다.
도시된 바와 같이, 상기 서비스 제공 장치(100)는 통신망을 통해 하나 이상의 카메라와 통신할 수 있으며, 상기 통신망을 통해 각종 단말 또는 장치와 통신할 수 있다.
이때, 본 발명에서 설명하는 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 서비스 제공 장치(100)는 상기 카메라로부터 통신망을 통해 영상을 수신하고, 상기 영상을 분석하여 사람에 해당되는 객체를 식별할 수 있으며, 해당 객체의 복장을 식별하여 복장 식별에 따라 다양한 기능을 수행할 수 있는데, 이를 이하 도면을 참고하여 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 서비스 제공 장치(100)의 구성도이며, 도 3은 본 발명의 실시예에 따른 서비스 제공 장치(100)의 동작 예시도이다.
도시된 바와 같이, 상기 서비스 제공 장치(100)는 통신부(110), 객체 식별부(120), 객체 분할부(130), 저장부(140), 학습부(150) 및 제어부(160)를 포함하여 구성될 수 있다.
이때, 상기 통신부(110)는 상기 통신망을 통해 하나 이상의 카메라와 통신할 수 있으며, 상기 카메라로부터 감시 영역을 촬영한 영상을 수신할 수 있다.
또한, 상기 제어부(160)는 상기 서비스 제공 장치(100)의 전반적인 제어 기능을 수행할 수 있으며, 상기 제어부(160)는 상기 제어부(160)는 저장부(140)에 저장된 프로그램 및 데이터를 이용하여 상기 서비스 제공 장치(100)의 전반적인 제어 기능을 실행한다. 제어부(160)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다.
또한, 상기 통신부(110), 객체 식별부(120), 객체 분할부(130), 저장부(140) 및 학습부(150) 중 적어도 하나가 상기 제어부(160)에 포함되어 구성될 수 있다.
또한, 상기 저장부(140)는 각종 정보를 저장하는 구성부로 구성될 수 있으며, HDD(Hard Disk Drives), 플래시 메모리(flash memory), DB, SSD(Solid State Drive) 등이 포함될 수 있지만 이에 국한되지는 않는다.
이때, 상기 저장부(140)는 복장을 구성하는 복수의 서로 다른 착용물별로 사람의 신체 영역에 착용된 상태의 착용물에 대한 착용물 이미지와 상기 착용물 이미지에 대응되는 신체 영역에 대한 신체 영역 정보 및 착용물에 대한 착용물 정보가 상호 매칭되어 포함된 학습 데이터를 하나 이상 저장할 수 있다.
여기서, 상기 착용물은 개인 보호 장비(PPE: Personal Protective Equipment), 모든 의류 품목(셔츠, 바지, 스웨터, 셔츠, 모자, 장갑, 탱크탑, 반바지, 코트 등), 캐릭터 의상, 작업복(작업복, 조끼 등), 군복과 같은 군사 착용물 등과 같은 다양한 착용물이 포함될 수 있다.
상기 개인 보호 장비(PPE)에는 다양한 물리적 또는 화학적 영향으로부터 사람을 보호하도록 설계된 항목이 포함될 수 있으며, 일례로, 피부 보호 장비 (특수 의복, 신발, 절연복, 조끼, 작업복), 호흡 보호 장비(가스 마스크, 호흡기, 단열 호흡기, 추가 카트리지 세트), 손 보호 장비(장갑), 머리 보호 장비(헬멧), 안면 보호구(마스크, 방독면), 청각 장구 보호구(헤드폰, 귀마개), 눈 보호구 (고글), 각종 안전 장치 (안전 로프) 등과 같이 신체 착용이 가능한 장비는 모두 본 발명의 착용물에 포함될 수 있다.
또한, 상기 착용물 정보는 착용물의 명칭, 착용물의 종류, 착용물의 색상 등과 같은 정보가 포함될 수 있다.
또한, 상기 신체 영역은 머리, 어깨, 팔, 손, 몸통, 엉덩이, 허벅지, 종아리, 발 등과 같은 착용물이 착용되는 다양한 신체 영역을 포함할 수 있다.
또한, 상기 객체 식별부(120)는 상기 제어부(160)의 제어에 따라 상기 통신부(110)를 통해 수신된 영상에 대한 영상 분석을 통해 사람에 해당하는 객체를 식별할 수 있으며, 상기 영상으로부터 상기 식별된 객체를 추출할 수 있다.
이때, 상기 객체 식별부(120)는 널리 알려진 다양한 영상 분석 알고리즘 또는 이미지 처리 알고리즘을 통해 상기 영상으로부터 사람에 해당하는 객체를 추출할 수 있으며, 상기 추출된 객체는 객체 이미지일 수 있다.
또한, 상기 객체 분할부(130)는 상기 제어부(160)의 제어에 따라 상기 객체 식별부(120)로부터 추출된 객체를 복수의 서로 다른 신체 영역으로 분할하여 상기 복수의 신체 영역별로 개별 이미지 및 신체 영역 정보를 포함하는 식별 대상 정보를 획득할 수 있다.
이를 위해, 상기 객체 분할부(130)는 상기 객체를 복수의 서로 다른 신체 영역으로 분할하도록 학습된 영역 분할용 학습 모델을 포함할 수 있으며, 상기 영역 분할용 학습 모델에 상기 객체를 적용하여 상기 객체에서 복수의 신체 영역과 각각 대응되는 복수의 개별 이미지를 식별할 수 있다.
이를 통해, 상기 객체 분할부(130)는 상기 복수의 신체 영역별로 개별 이미지를 상기 객체로부터 추출할 수 있다.
또한, 상기 객체 분할부(130)는 상기 복수의 신체 영역과 각각 대응되는 복수의 개별 이미지별로 개별 이미지에 대응되는 신체 영역을 상기 영역 분할용 학습 모델을 통해 식별할 수 있으며, 상기 개별 이미지에 대응되는 신체 영역에 대한 신체 영역 정보 및 상기 개별 이미지가 상호 매칭되어 포함된 식별 대상 정보를 생성할 수 있다.
이에 따라, 상기 객체 분할부(130)는 복수의 신체 영역과 각각 대응되는 복수의 식별 대상 정보를 생성할 수 있다.
또한, 상기 학습부(150)는 상기 복수의 신체 영역과 각각 대응되는 복수의 복장 식별용 학습 모델을 포함할 수 있으며, 상기 저장부(140)에 저장된 학습 데이터를 이용하여 상기 복수의 복장 식별용 학습 모델 각각을 상기 복장 식별용 학습 모델에 대응되는 신체 영역 정보가 포함된 학습 데이터로 학습시킬 수 있다.
이때, 본 발명에서 설명하는 영역 분할용 학습모델 및 복장 식별용 학습 모델은 각각 딥러닝(Deep learning) 알고리즘인 인공 신경망(ANN: Artificial Neural Network)으로 구성될 수 있다.
여기서, 상기 인공 신경망은 하나 이상의 신경망 모델로 구성될 수 있다.
또한, 상기 신경망 모델(또는 신경망)은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성될 수 있으며, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.
이에 따라, 상기 복장 식별용 학습 모델은 특정 신체 영역에 대해 착용물이 착용된 상태의 특정 신체 영역에 대한 개별 이미지와 착용물 정보 사이의 상관 관계가 학습될 수 있다.
한편, 상기 제어부(160)는 상기 통신부(110)를 통해 상기 카메라로부터 영상이 수신되면, 상기 객체 식별부(120) 및 객체 분할부(130)를 통해 복수의 신체 영역과 각각 대응되는 복수의 식별 대상 정보를 획득할 수 있다.
또한, 상기 제어부(160)는 상기 학습부(150)와 연동하여 상기 복수의 식별 대상 정보 각각에 대해 식별 대상 정보에 포함된 신체 영역 정보에 대응되는 복장 식별용 학습 모델에 상기 식별 대상 정보를 적용할 수 있으며, 상기 복장 식별용 학습 모델을 통해 상기 식별 대상 정보에 대해 예상되는 착용물 정보인 예상 착용물 정보를 포함하는 분석 결과 정보를 산출할 수 있다.
즉, 상기 제어부(160)는 상기 학습부(150)와 연동하여 사람에 해당하는 객체에서 착용물이 착용된 특정 신체 영역에 대한 이미지 및 상기 특정 신체 영역에 대한 정보를 상기 특정 신체 영역에 대해 학습된 복장 식별용 학습 모델에 입력으로 적용할 수 있으며, 해당 특정 신체 영역에 착용된 착용물일 것으로 예상되는 착용물에 대한 착용물 정보인 예상 착용물 정보를 상기 복장 식별용 학습 모델을 통해 산출(출력)할 수 있으며, 상기 예상 착용물 정보를 포함하는 분석 결과 정보를 생성할 수 있다.
이때, 상기 제어부(160)는 상기 복장 식별용 학습 모델을 통해 상기 분석 결과 정보를 생성할 수도 있으며, 상기 제어부(160)는 상기 분석 결과 정보 또는 상기 분석 결과 정보에 포함된 예상 착용물 정보가 산출된 복장 식별용 학습 모델에 대응되는 신체 영역에 대한 신체 영역 정보를 예상 착용물 정보와 함께 분석 결과 정보에 포함시킬 수 있다.
이와 같은 방식으로, 상기 제어부(160)는 미리 설정된 복수의 서로 다른 신체 영역 각각에 대해 상기 객체 분할부(130)를 통해 상기 객체와 관련된 식별 대상 정보를 획득하고, 상기 복수의 신체 영역과 각각 대응되는 복수의 식별 대상 정보별로 상기 분석 결과 정보를 산출(생성)할 수 있다.
예를 들어, 도 4에 도시된 바와 같이, 상기 제어부(160)는 상기 객체 분할부(130)를 통해 객체로부터 복수의 신체 영역 중 어느 하나인 사람의 '팔'에 해당되는 제 1 신체 영역을 상기 영역 분할용 학습 모델을 통해 상기 객체에서 식별하고, 상기 영역 분할용 학습 모델을 통해 식별된 제 1 신체 영역에 대응되는 제 1 개별 이미지를 객체로부터 추출한 후 상기 제 1 개별 이미지와 상기 '팔'에 해당되는 제 1 신체 영역에 대한 신체 영역 정보를 포함하는 제 1 식별 대상 정보를 생성할 수 있다.
또는, 상기 제어부(160)는 상기 객체 분할부(130)를 통해 상기 복수의 신체 영역 중 다른 하나인 사람의 '몸통'에 해당되는 제 2 신체 영역을 상기 영역 분할용 학습 모델을 통해 상기 객체에서 식별하고, 상기 영역 분할용 학습 모델을 통해 상기 식별된 제 2 신체 영역에 대응되는 제 2 개별 이미지를 상기 객체로부터 추출한 후 상기 제 2 개별 이미지 및 상기 '몸통'에 해당되는 제 2 신체 영역에 대한 신체 영역 정보를 포함하는 제 2 식별 대상 정보를 생성할 수 있다.
또한, 상기 제어부(160)는 상기 제 1 식별 대상 정보를 상기 학습부(150)에 포함된 복수의 복장 식별용 학습 모델 중 상기 제 1 식별 대상 정보에 포함된 신체 영역 정보에 대응되는 '팔'에 대해 이미지와 착용물 정보 사이의 상관 관계가 학습된 제 1 복장 식별용 학습 모델에 적용하여, 상기 제 1 개별 이미지와 상관도가 높은 착용물 정보인 제 1 예상 착용물 정보를 상기 제 1 복장 식별용 학습 모델을 통해 산출할 수 있으며, 상기 제 1 예상 착용물 정보와 상기 제 1 식별 대상 정보에 포함된 신체 영역 정보를 포함하는 제 1 분석 결과 정보를 상기 제 1 식별 대상 정보에 대응되도록 생성할 수 있다.
또는, 상기 제어부(160)는 상기 제 2 식별 대상 정보를 상기 학습부(150)에 포함된 복수의 복장 식별용 학습 모델 중 상기 제 2 식별 대상 정보에 포함된 신체 영역 정보에 대응되는 '몸통'에 대해 이미지와 착용물 정보 사이의 상관 관계가 학습된 제 2 복장 식별용 학습 모델에 적용하여, 상기 제 2 개별 이미지와 상관도가 높은 착용물 정보인 제 2 예상 착용물 정보를 상기 제 2 복장 식별용 학습 모델을 통해 산출할 수 있으며, 상기 제 2 예상 착용물 정보와 상기 제 2 식별 대상 정보에 포함된 신체 영역 정보를 포함하는 제 2 분석 결과 정보를 상기 제 2 식별 대상 정보에 대응되도록 생성할 수 있다.
이때, 상기 제어부(160)는 상기 학습부(150)와 연동하여 상기 복장 식별용 학습 모델에 상기 식별 대상 정보를 적용하여 상기 식별 대상 정보에 대응되는 특정 신체 영역에 대한 착용물 착용 여부를 나타내면서 상기 특정 신체 영역에 착용된 착용물로 예상되는 예상 착용물 정보와 상기 특정 신체 영역에 실제 착용된 착용물에 대응되는 착용물 정보 사이의 유사도(또는 상관도)를 나타내는 상관 계수 및 상기 예상 착용물 정보를 포함하는 분석 결과 정보를 산출할 수 있다.
여기서, 상기 상관 계수는 확률값 또는 확률 벡터로 구성될 수 있으며, 상기 예상 착용물 정보는 상기 특정 신체 영역에 착용된 착용물일 것으로 예상되는 착용물에 대한 정보를 의미할 수 있다.
또는, 상기 제어부(160)는 상기 식별 대상 정보를 상기 복장 식별용 학습 모델에 적용하여 상기 식별 대상 정보에 대응되는 예상 착용물 정보를 산출하면서, 상기 식별 대상 정보에 대응되는 특정 신체 영역에 착용된 착용물이 상기 예상 착용물 정보일 확률(제 1 확률), 상기 예상 착용물 정보가 아닐 확률(제 2 확률) 및 상기 예상 착용물 정보를 산출하기 어려운 노이즈일 확률(제 3 확률)을 산출한 후 상기 제 1 내지 제 3 확률에 대한 분류 결과 정보를 생성한 후 상기 예상 착용물 정보 및 상기 분류 결과 정보가 포함된 분석 결과 정보를 산출할 수도 있다.
상술한 바에 대한 일례로, 상기 제어부(160)는 상기 학습부(150)와 연동하여 특정 신체 영역의 식별 대상 정보를 복장 식별용 학습 모델에 적용하여, 상기 특정 신체 영역인 '몸통'에 착용된 착용물에 대해 예상되는 예상 착용물 정보를 '보호복'으로 판단한 경우 상기 식별 대상 정보에 포함된 개별 이미지에 나타난 착용물과 보호복 사이의 유사도에 대한 상관 계수 및 상기 '보호복'에 대한 예상 착용물 정보를 상기 복장 식별용 학습 모델을 통해 산출하고, 상기 예상 착용물 정보 및 상관 계수를 포함하는 분석 결과 정보를 산출(생성)할 수 있다.
또는, 상기 제어부(160)는 상기 학습부(150)와 연동하여 특정 신체 영역의 식별 대상 정보를 복장 식별용 학습 모델에 적용하여, 상기 특정 신체 영역인 '몸통'에 착용된 착용물에 대해 예상되는 예상 착용물 정보를 '보호복'으로 판단한 경우 상기 개별 이미지에 나타난 착용물이 '보호복'일 확률인 제 1 확률과, 상기 개별 이미지에 나타난 착용물이 '보호복'이 아닐 확률인 제 2 확률 및 착용물 판단이 어려운 노이즈일 확률인 제 3 확률이 포함된 분류 결과 정보를 산출할 수 있으며, 상기 분류 결과 정보 및 상기 예상 착용물 정보를 포함하는 분석 결과 정보를 산출할 수 있다.
이때, 상기 제 1 확률이 0.7이고 상기 제 2 확률이 0.2이며 상기 제 3 확률이 0.1이면 상기 개별 이미지에 나타난 착용물이 '보호복'으로 판단될 수 있으며, 상기 제 3 확률이 가장 높으면 상기 분석 결과 정보에 포함된 예상 착용물 정보가 노이즈로 판단될 수 있다.
또한, 상기 제어부(160)는 상기 분석 결과 정보에 산출시 상기 분석 결과 정보에 포함된 분류 결과 정보에 따른 제 3 확률의 확률값이 가장 높은 경우 해당 분석 결과 정보를 삭제하거나 해당 분석 결과 정보를 후술하는 판단 결과 정보의 생성에 이용하지 않을 수 있다.
또한, 상기 제어부(160)는 상기 식별 대상 정보가 적용된 상기 복장 식별용 학습 모델을 통해 산출되는 예상 착용물 정보가 복수인 경우 복수의 예상 착용물 정보 중 상기 상관 계수가 미리 설정된 기준치 이상이면서 가장 상관 계수가 높은 예상 착용물 정보만을 상기 분석 결과 정보에 포함시킬 수 있다.
일례로, 상기 제어부(160)는 특정 식별 대상 정보를 특정한 상기 복장 식별용 학습 모델에 적용하여, '보호복'으로 설정된 제 1 예상 착용물 정보 및 상기 제 1 예상 착용물 정보와 개별 이미지에 나타난 착용물 사이의 유사도에 대한 제 1 상관 계수를 상기 특정한 복장 식별용 학습 모델을 통해 산출하면서, '스웨터'로 설정된 제 2 예상 착용물 정보 및 상기 제 2 예상 착용물 정보와 개별 이미지에 나타난 착용물 사이의 유사도에 대한 제 2 상관 계수를 상기 특정한 복장 식별용 학습 모델을 통해 상기 제 1 예상 착용물 정보 및 제 1 상관 계수와 함께 산출할 수 있으며, 상기 제 1 상관 계수 및 상기 제 2 상관 계수를 상호 비교하여 제 1 상관 계수의 수치가 상기 제 2 상관 계수의 수치보다 높은 경우 '보호복'에 해당되는 제 1 예상 착용물 정보 및 상기 제 1 상관 계수만이 포함된 분석 결과 정보를 산출할 수 있다.
상술한 바와 같이, 상기 서비스 제공 장치(100)는 객체의 신체 영역별로 착용된 착용물을 식별하여 객체의 복장을 식별할 수 있으나, 착용물의 종류가 워낙 다양하므로 이러한 예상 착용물 정보를 객체에 대응되는 사람이 착용한 착용물로서 최종 결정하기에는 정확도가 떨어질 수 있을 뿐만 아니라 착용물이 몸통과 팔에 착용되는 경우 몸통에 대해 예상된 착용물과 팔에 대해 예상된 착용물이 동일하여야 하지만 영상을 통해 착용물을 식별하는 과정에서 몸통과 팔에 착용된 착용물이 다르게 산출될 수도 있어 복장 식별에 대한 신뢰도 및 정확도가 떨어질 수 있다.
이를 보완하기 위한 구성을 도 5를 참고하여 설명한다.
도시된 바와 같이, 상기 제어부(160)에는 착용물의 착용 영역을 기준으로 하나 이상의 신체 영역을 그룹핑한 설정 정보가 포함될 수 있으며, 복수의 서로 다른 착용 영역이 미리 설정된 상기 설정 정보가 상기 제어부(160)에 미리 설정될 수 있다.
일례로, '팔'에 대한 제 1 신체 영역과 '몸통'에 대한 제 2 신체 영역은 하나의 착용 영역인 '상반신'을 구성하도록(속하도록) 상기 제어부(160)에 미리 설정될 수 있으며, '허벅지'와 '종아리'가 다른 하나의 착용 영역인 '하반신'을 구성하도록 상기 제어부(160)에 미리 설정될 수 있다. 이러한 착용 영역의 예시는 변경될 수 있으며, 다양한 신체 영역으로 착용 영역을 설정할 수 있음은 물론이다.
이에 따라, 상기 제어부(160)는 하나 이상의 신체 영역으로 구성되는 착용물 확인 대상인 하나 이상의 착용 영역이 미리 설정되어 특정 착용 영역을 구성하는 하나 이상의 신체 영역과 각각 대응되는 하나 이상의 식별 대상 정보별로 산출된 분석 결과 정보를 근거로 상기 특정 착용 영역에 착용된 착용물에 대한 판단 결과 정보를 생성하는 방식으로 상기 하나 이상의 착용 영역별로 판단 결과 정보를 생성할 수 있다.
일례로, 상기 제어부(160)는 미리 설정된 상기 하나 이상의 착용 영역 중 미리 설정된 특정 착용 영역에 속하는 하나 이상의 신체 영역을 상기 설정 정보를 기초로 식별할 수 있다.
또한, 상기 제어부(160)는 상기 특정 착용 영역에 속하는 하나 이상의 신체 영역과 각각 대응되는 하나 이상의 식별 대상 정보별로 산출된 분석 결과 정보를 기초로 상기 하나 이상의 식별 대상 정보와 각각 대응되는 하나 이상의 분석 결과 정보 각각에 포함된 예상 착용물 정보를 확인할 수 있으며, 상기 특정 착용 영역에 대응되는 상기 하나 이상의 분석 결과 정보에서 가장 많이 중복되는 예상 착용물 정보를 상기 특정 착용 영역에 착용된 착용물 정보인 최종 착용물 정보로 결정할 수 있다.
또한, 상기 제어부(160)는 상기 최종 착용물 정보를 포함하는 판단 결과 정보를 상기 특정 착용 영역에 대응되도록 생성할 수 있다.
이를 예를 들어 설명하면, 상기 제어부(160)는 '상반신'에 해당되는 미리 설정된 특정 착용 영역에 속하는 '팔'에 해당되는 제 1 신체 영역과, 상기 특정 착용 영역에 속하는 '어깨'에 해당되는 제 2 신체 영역 및 상기 특정 착용 영역에 속하는 '몸통'에 해당되는 제 3 신체 영역을 상기 설정 정보를 기초로 확인하고, 상기 제 1 신체 영역에 대응되어 산출된 제 1 분석 결과 정보와, 상기 제 2 신체 영역에 대응되어 산출된 제 2 분석 결과 정보 및 상기 제 3 신체 영역에 대응되어 산출된 제 3 분석 결과 정보 각각에서 예상 착용물 정보를 확인할 수 있다.
이에 따라, 상기 제어부(160)는 제 1 신체 영역에 대응되는 제 1 분석 결과 정보에 포함된 예상 착용물 정보가 '보호복'이고, 상기 제 2 신체 영역에 대응되는 제 2 분석 결과 정보에 포함된 예상 착용물 정보가 '스웨터'이며, 상기 제 3 신체 영역에 대응되는 제 3 분석 결과 정보에 포함된 예상 착용물 정보가 '보호복'인 경우 가장 중복횟수가 많은 '보호복'을 최종 착용물 정보로 결정할 수 있으며, 해당 최종 착용물 정보를 포함하는 판단 결과 정보를 생성할 수 있다.
상술한 구성에서, 상기 제어부(160)는 특정 착용 영역에 대해 최종 착용물 정보가 복수개 산출되는 경우 상기 특정 착용 영역에 대응되는 복수의 최종 착용물 정보를 각각 후보 착용물 정보로 설정할 수 있다.
일례로, 상기 제어부(160)는 '머리'에 해당되는 특정 착용 영역에 '머리'에 해당되는 하나의 특정 신체 영역만이 속하고 상기 특정 신체 영역에 대응되어 산출된 분석 결과 정보에 '안전모'에 해당되는 제 1 예상 착용물 정보와 '야구 모자'에 해당되는 제 2 예상 착용물 정보가 포함되며 제 1 및 제 2 예상 착용물 정보 상호 간 상관 계수가 동일하게 상기 분석 결과 정보에 설정되어(포함되어) 상기 복수의 예상 착용물 정보가 모두 최종 착용물 정보로 결정된 경우 상기 복수의 최종 착용물 정보를 각각 후보 착용물 정보로 설정할 수 있다.
또한, 상기 제어부(160)는 상기 특정 착용 영역의 착용물 정보와 미리 설정된 다른 착용 영역의 착용물 정보 사이의 상관 관계가 학습된 착용물 비교용 학습 모델에 상기 다른 착용 영역에 대해 결정된 최종 착용물 정보와 함께 복수의 상기 후보 착용물 정보를 번갈아 적용하여 상기 다른 착용 영역에 대해 결정된 최종 착용물 정보와의 상관도에 대한 상관 계수가 가장 높게 산출되는 후보 착용물 정보를 상기 특정 착용 영역의 판단 결과 정보에 포함되는 최종 착용물 정보로 결정할 수 있다.
예를 들어, 상기 제어부(160)는 '상반신'에 해당되는 다른 착용 영역에 대해 결정된 최종 착용물 정보인 '보호복'과 '머리'에 해당되는 특정 착용 영역에 대해 설정된 복수의 서로 다른 후보 착용물 정보 중 어느 하나인 '안전모'를 미리 설정된 상기 착용물 비교용 학습 모델에 적용하여 상기 '보호복'과 '안전모' 사이의 관련 정도에 해당되는 제 1 상관 계수를 상기 착용물 비교용 학습 모델을 통해 산출하고, 상기 '보호복'과 상기 복수의 서로 다른 후보 착용물 정보 중 다른 하나인 '야구 모자'를 상기 착용물 비교용 학습 모델에 적용하여 상기 '보호복'과 '야구 모자' 사이의 관련 정도에 해당되는 제 2 상관 계수를 산출할 수 있다.
이에 따라, 상기 제어부(160)는 '보호복'과 '안전모'가 상호 간 관련성이 높아 상기 제 1 상관 계수가 상기 제 2 상관 계수보다 높게 산출되는 경우 상기 복수의 후보 착용물 정보 중 '안전모'에 해당되는 후보 착용물 정보를 상기 판단 결과 정보에 포함될 최종 착용물 정보로 결정할 수 있으며, 상기 결정된 최종 착용물 정보를 포함하는 판단 결과 정보를 생성할 수 있다.
상술한 구성에서, 상기 제어부(160)는 상기 판단 결과 정보 생성시 상기 판단 결과 정보에 대응되는 착용 영역에 대한 착용 영역 정보를 판단 결과 정보에 포함시킬 수 있다.
상술한 바와 같이, 본 발명은 영상에서 사람에 해당되는 객체를 식별한 후 객체를 복수의 서로 다른 신체 영역으로 분할하여 상기 신체 영역별로 객체에 착용된 착용물을 인공 신경망 기반으로 식별한 후 사람의 신체에서 착용물의 착용 대상에 해당하는 착용 영역에 속한 신체 영역별로 식별된 착용물을 종합하여 정확하게 사람이 착용한 착용물을 검출할 수 있으므로, 영상을 기반으로 사람이 착용한 복장에 대한 정확하고 신뢰성 있는 정보를 제공할 수 있다.
한편, 상술한 바와 같은 서비스 제공 장치(100)는 영상에 나타난 사람에 해당되는 객체가 착용한 각종 착용물을 포함하는 복장을 기반으로 해당 객체에 대응되는 사람에 대해 보안 기능을 적용하거나 복장 위반 여부를 판단하거나 추적을 수행하는 등의 다양한 기능을 제공할 수 있는데, 이를 상세히 설명한다.
상술한 바와 같이, 상기 제어부(160)는 상기 객체에 대해 미리 설정된 하나 이상의 착용 영역별로 판단 결과 정보를 산출할 수 있다.
또한, 상기 제어부(160)는 상기 착용 영역별로 산출된 판단 결과 정보를 기초로 상기 객체에 대응되는 복장 정보를 생성할 수 있다.
일례로, 도 6에 도시된 바와 같이, 상기 제어부(160)는 상기 복장 정보 생성시 '머리'에 해당되는 제 1 착용 영역에 대응되어 산출된 제 1 판단 결과 정보로부터 '안전모'에 해당하는 최종 착용물 정보 및 상기 제 1 착용 영역에 대한 착용 영역 정보를 추출하여 상호 매칭된 상태로 상기 복장 정보에 포함시킬 수 있으며, '상반신'에 해당되는 제 2 착용 영역에 대응되어 산출된 제 2 판단 결과 정보로부터 '보호복'에 해당되는 최종 착용물 정보 및 상기 제 2 착용 영역에 대한 착용 영역 정보를 추출하여 상호 매칭된 상태로 상기 복장 정보에 포함시켜, 상기 제 1 및 제 2 판단 결과 정보를 기초로 상기 복장 정보를 생성할 수 있다.
또한, 상기 제어부(160)는 상기 복장 정보를 미리 설정된 기준에 따라 판단하여 상기 복장 정보에 대응되는 객체의 출입문에 대한 출입 권한 여부를 판단한 후 상기 출입 권한 여부에 따라 상기 통신부(110)를 통해 상기 출입문의 개폐를 제어할 수 있다.
일례로, 상기 제어부(160)는 상기 통신부(110)를 통해 상기 출입문을 개폐하는 출입 제어 장치와 통신할 수 있으며, 상기 복장 정보를 미리 설정된 기준에 따라 판단하여 상기 복장 정보에 대응되는 사람에 대해 출입 권한이 있는 것으로 판단한 경우 상기 출입 제어 장치로 제어 정보를 전송하여 상기 출입문을 개방시킬 수 있으며, 상기 사람에 대해 출입 권한이 없는 것으로 판단한 경우 상기 제어 장치로 제어 정보를 전송하지 않고 출입문을 폐쇄된 상태로 유지할 수 있다.
또는, 상기 제어부(160)는 상기 기준에 따라 상기 복장 정보에 따른 복장 위반 여부를 판단하여 복장 위반시 상기 통신부(110)를 통해 미리 설정된 알람 장치로 미리 설정된 알람 정보를 전송하여 상기 복장 정보에 대응되는 사람에게 복장 위반 사실을 통지할 수 있다.
이때, 상기 알람 정보는, 텍스트, 음향, 영상 중 적어도 하나를 포함하여 구성될 수 있다.
일례로, 상기 제어부(160)는 안전 사고 방지를 위해 보호복, 안전모, 장갑 등과 같이 하나 이상의 착용 영역별로 착용해야 하는 착용물에 대한 착용물 정보가 설정된 기준 정보가 미리 설정될 수 있으며, 상기 영상을 통해 식별된 객체에 대응되는 복장 정보 산출시 상기 복장 정보를 상기 기준 정보와 비교하여 상기 복장 정보에 포함된 하나 이상의 착용 영역별 최종 착용물 정보 중 특정 착용 영역에 대한 착용물 정보가 상기 기준 정보에 따른 상기 특정 착용 영역에 대한 착용물 정보와 일치하지 않는 경우 상기 객체에 해당되는 사람에 대해 복장 위반으로 판단하거나 복장 상태가 불량한 것으로 판단하여 상술한 바와 같이 상기 알람 장치로 알람 정보를 전송하여 출력하거나 안전 관리가 요구되는 장소로 출입하기 위한 출입문에 대한 출입 권한이 없는 것으로 판단하고 상기 출입문을 폐쇄된 상태로 유지시킬 수 있다.
또한, 상기 제어부(160)는 상기 통신부(110)를 통해 외부 단말과 통신하여 상기 외부 단말로부터 미아나 용의자와 같은 검색 요청 대상에 대한 검색 요청 정보를 수신할 수 있다.
이때, 상기 검색 요청 정보는 검색 요청 대상의 착용의상에 대한 복장 정보를 포함할 수 있으며, 상기 제어부(160)는 상기 검색 요청 정보 수신시 상기 저장부(140)에 저장할 수 있다.
또한, 상기 제어부(160)는 상기 하나 이상의 착용 영역별로 산출된 판단 결과 정보를 기초로 상기 객체에 대응되는 복장 정보를 생성한 후 상기 저장부(140)에 저장된 검색 요청 정보의 복장 정보와 비교하여 일치 여부를 판단할 수 있다.
또한, 상기 제어부(160)는 상기 착용 영역별 판단 결과 정보를 기초로 생성한 복장 정보와 상기 검색 요청 정보에 따른 복장 정보가 일치하는 경우 상기 영상에 나타난 객체가 상기 검색 요청 정보에 따른 검색 요청된 사람과 일치하는 것으로 판단할 수 있으며, 상기 제어부(160)는 상기 검색 요청 정보에 따른 복장 정보와 일치하는 복장 정보가 산출된 특정 객체가 포함된 영상에서 상기 영상을 전송한 카메라 식별 정보를 추출할 수 있다.
또한, 상기 저장부(140)에는 하나 이상의 카메라별 카메라 정보가 저장될 수 있으며, 상기 카메라 정보는 카메라에 대응되는 위치 정보를 포함할 수 있다.
이에 따라, 상기 제어부(160)는 상기 영상에서 추출한 카메라 식별 정보를 포함하는 특정 카메라의 카메라 정보를 상기 저장부(140)에서 검색하여 상기 카메라 정보로부터 상기 카메라에 대응되는 위치 정보를 추출한 후 상기 특정 객체가 포함된 영상 및 상기 위치 정보를 포함하는 검색 결과 정보를 생성할 수 있으며, 상기 검색 결과 정보를 상기 검색 요청 정보를 전송한 외부 단말에 전송할 수 있다.
이를 통해, 상기 서비스 제공 장치(100)는 영상에 나타난 객체에 대한 산출한 복장 정보와 사용자가 검색을 요청하는 대상의 복장 정보를 상호 비교하여 사용자가 요청하는 검색 대상과 동일 또는 유사한 복장을 가진 객체를 용이하게 검출할 수 있으며, 검출 결과에 대한 정보를 사용자에게 제공하여 사용자가 미아나 용의자를 쉽게 찾을 수 있도록 지원할 수 있다.
상술한 바와 같이, 본 발명은 인공신경망을 통해 영상에서 사람에 해당하는 객체에 대한 복장을 용이하고 정확하게 식별할 수 있으며, 이러한 복장 식별을 통해 해당 복장을 착용한 사람을 대상으로 복장 상태에 따른 출입 권한 여부나 복장 위반 여부 등을 판단하여 보안이 필요하거나 안전사고가 우려되는 장소에 대한 출입을 제한할 수 있을 뿐만 아니라 다수의 카메라로부터 수신되는 영상에서 사용자가 검색이나 추적을 요청하는 특정 대상을 복장 비교를 통해 용이하게 식별하여 검색하거나 추적할 수 있도록 지원할 수 있어, 영상에서 사람이 착용한 복장을 정확하게 검출하고 이를 기반으로 보안, 출입 관리, 객체 식별 및 추적 등과 같은 다양한 기능을 제공할 수 있다.
도 7은 본 발명의 실시예에 따른 서비스 제공 장치(100)의 객체 특징 식별을 위한 서비스 제공 방법에 대한 순서도이다.
우선, 서비스 제공 장치(100)는 카메라로부터 감시 영역에 대한 영상을 수신할 수 있다(S1).
또한, 상기 서비스 제공 장치(100)는 상기 영상에 대한 영상 분석을 통해 사람에 해당하는 객체를 식별하여 추출할 수 있다(S2).
또한, 상기 서비스 제공 장치(100)는 상기 객체를 복수의 서로 다른 신체 영역으로 분할하도록 학습된 영역 분할용 학습 모델에 상기 객체를 적용하여 상기 신체 영역별로 개별 이미지 및 신체 영역 정보를 포함하는 식별 대상 정보를 획득할 수 있다(S3).
다음, 상기 서비스 제공 장치(100)는 신체 영역에 착용된 상태의 착용물에 대한 착용물 이미지와 상기 착용물에 대한 착용물 정보 및 상기 착용물이 착용된 신체 영역에 대한 신체 영역 정보를 포함하는 복수의 서로 다른 학습 데이터로 학습된 상태의 상기 복수의 신체 영역과 각각 대응되는 복수의 복장 식별용 학습 모델 중 상기 식별 대상 정보의 신체 영역 정보에 대응되는 복장 식별용 학습 모델에 상기 식별 대상 정보를 적용하여 상기 식별 대상 정보에 대해 예상되는 착용물 정보인 예상 착용물 정보를 포함하는 분석 결과 정보를 산출할 수 있다(S4).
이후, 상기 서비스 제공 장치(100)는 하나 이상의 신체 영역으로 구성되는 착용물 확인 대상인 미리 설정된 하나 이상의 착용 영역 중 특정 착용 영역에 속한 하나 이상의 신체 영역과 각각 대응되는 하나 이상의 식별 대상 정보별로 산출된 분석 결과 정보를 근거로 상기 특정 착용 영역에 착용된 착용물에 대한 판단 결과 정보를 생성하고, 상기 하나 이상의 착용 영역별로 판단 결과 정보를 생성할 수 있다(S5).
또한, 상기 서비스 제공 장치(100)는 상기 하나 이상의 착용 영역별로 생성된 판단 결과 정보를 기초로 상기 객체에 대응되는 복장 정보를 생성할 수 있으며, 이를 통해 상기 객체에 대응되는 사람이 착용한 복장에 대한 복장 정보를 제공할 수 있다(S6).
본 발명의 실시예들에서 설명된 구성요소는, 예를 들어, 메모리 등의 저장부(140), 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서 등의 하드웨어, 명령어 세트를 포함하는 소프트웨어 내지 이들의 조합 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 서비스 제공 장치 110: 통신부
120: 객체 식별부 130: 객체 분할부
140: 저장부 150: 학습부
160: 제어부

Claims (10)

  1. 감시 영역에 대한 영상을 수신하는 통신부;
    상기 영상에 대한 영상 분석을 통해 사람에 해당하는 객체를 식별하여 추출하는 객체 식별부;
    상기 객체를 복수의 서로 다른 신체 영역으로 분할하도록 학습된 영역 분할용 학습 모델에 상기 객체를 적용하여 상기 신체 영역별로 개별 이미지 및 신체 영역 정보를 포함하는 식별 대상 정보를 획득하는 객체 분할부;
    신체 영역에 착용된 상태의 착용물에 대한 착용물 이미지와 상기 착용물에 대한 착용물 정보 및 상기 착용물이 착용된 신체 영역에 대한 신체 영역 정보를 포함하는 복수의 서로 다른 학습 데이터가 저장된 저장부;
    상기 복수의 신체 영역과 각각 대응되는 복수의 복장 식별용 학습 모델을 포함하며, 복수의 복장 식별용 학습 모델 각각을 상기 복장 식별용 학습 모델에 대응되는 신체 영역 정보가 포함된 상기 학습 데이터로 학습시키는 학습부; 및
    상기 객체 분할부 및 상기 학습부와 연동하여 상기 식별 대상 정보의 신체 영역 정보에 대응되는 복장 식별용 학습 모델에 상기 식별 대상 정보를 적용하여 상기 식별 대상 정보에 대응되는 특정 신체 영역에 착용된 착용물이 상기 학습 데이터로 학습된 예상 착용물 정보일 확률, 상기 예상 착용물 정보가 아닐 확률 및 상기 예상 착용물 정보를 산출하기 어려운 노이즈일 확률을 산출하고, 상기 각 확률을 모두 포함하는 분류 결과 정보를 생성한 후 상기 예상 착용물 정보 및 상기 분류 결과 정보가 포함된 분석 결과 정보를 산출하며, 복수의 신체 영역으로 구성되는 착용물 확인 대상인 하나 이상의 착용 영역이 미리 설정되어 특정 착용 영역에 속한 복수의 신체 영역과 각각 대응되는 하나 이상의 식별 대상 정보별로 산출된 분석 결과 정보에 포함된 각 신체 영역별 예상 착용물 정보와 그에 대한 분류 결과 정보를 기반으로 미리 설정된 기준에 따라 하나 이상의 예상 착용물 정보를 상기 특정 착용 영역에 대한 최종 착용물 정보로 결정하고, 상기 최종 착용물 정보를 포함하는 판단 결과 정보를 상기 특정 착용 영역에 대응되도록 생성하는 제어부를 포함하되,
    상기 제어부는 상기 특정 착용 영역에 대해 최종 착용물 정보가 복수개 산출되는 경우 상기 특정 착용 영역에 대응되는 복수의 최종 착용물 정보를 각각 후보 착용물 정보로 설정하고, 상기 특정 착용 영역의 착용물 정보와 미리 설정된 다른 착용 영역의 착용물 정보 사이의 상관 관계가 학습된 착용물 비교용 학습 모델에 상기 다른 착용 영역에 대해 결정된 최종 착용물 정보와 함께 복수의 상기 후보 착용물 정보를 번갈아 적용하여 상기 다른 착용 영역에 대해 결정된 최종 착용물 정보와의 상관도에 대한 상관 계수가 가장 높게 산출되는 후보 착용물 정보를 상기 특정 착용 영역의 판단 결과 정보에 포함되는 최종 착용물 정보로 결정하는 객체 특징 식별을 위한 서비스 제공 장치.
  2. 청구항 1에 있어서,
    상기 신체 영역은 머리, 어깨, 팔, 손, 몸통, 엉덩이, 정강이, 발 중 적어도 둘 이상을 포함하는 것을 특징으로 하는 객체 특징 식별을 위한 서비스 제공 장치.
  3. 청구항 1에 있어서,
    상기 영역 분할용 학습 모델 및 상기 복장 식별용 학습 모델은 각각 인공 신경망으로 구성되는 것을 특징으로 하는 객체 특징 식별을 위한 서비스 제공 장치.
  4. 청구항 1에 있어서,
    상기 제어부는 상기 학습부와 연동하여 상기 복장 식별용 학습 모델에 상기 식별 대상 정보를 적용하여 상기 식별 대상 정보에 대응되는 특정 신체 영역에 대한 착용물 착용 여부를 나타내면서 상기 특정 신체 영역에 착용된 착용물로 예상되는 예상 착용물 정보와 상기 특정 신체 영역에 실제 착용된 착용물에 대응되는 착용물 정보 사이의 유사도를 나타내는 상관 계수 및 상기 예상 착용물 정보를 포함하는 분석 결과 정보를 산출하는 것을 특징으로 하는 객체 특징 식별을 위한 서비스 제공 장치.
  5. 청구항 4에 있어서,
    상기 제어부는 상기 식별 대상 정보에 대응되어 산출된 예상 착용물 정보가 복수인 경우 복수의 예상 착용물 정보 중 상기 상관 계수가 미리 설정된 기준치 이상이면서 가장 상관 계수가 높은 예상 착용물 정보만을 상기 분석 결과 정보에 포함시키는 것을 특징으로 하는 객체 특징 식별을 위한 서비스 제공 장치.
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서,
    상기 제어부는 상기 하나 이상의 착용 영역별로 산출된 판단 결과 정보를 기초로 상기 객체에 대응되는 복장 정보를 생성하고, 상기 복장 정보를 미리 설정된 기준에 따라 판단하여 상기 복장 정보에 대응되는 객체의 출입문에 대한 출입 권한 여부를 판단한 후 상기 출입 권한 여부에 따라 상기 통신부를 통해 상기 출입문의 개폐를 제어하는 출입 제어 장치를 제어하거나 상기 기준을 기초로 상기 복장 정보에 따른 복장 위반 여부를 판단하여 복장 위반시 상기 통신부를 통해 알람 장치로 알람 정보를 전송하는 것을 특징으로 하는 객체 특징 식별을 위한 서비스 제공 장치.
  9. 청구항 1에 있어서,
    상기 제어부는 상기 통신부를 통해 검색 요청 대상의 착용의상에 대한 복장 정보를 포함하는 검색 요청 정보를 수신하여 상기 저장부에 저장하고,
    상기 제어부는 상기 하나 이상의 착용 영역별로 산출된 판단 결과 정보를 기초로 상기 객체에 대응되는 복장 정보를 생성한 후 상기 저장부에 저장된 검색 요청 정보의 복장 정보와 비교하여 일치하는 경우 상기 영상을 전송한 카메라에 대응되어 미리 설정된 위치 정보 및 상기 영상을 포함하는 검색 결과 정보를 생성한 후 상기 검색 요청 정보를 전송한 단말에 전송하는 것을 특징으로 하는 객체 특징 식별을 위한 서비스 제공 장치.
  10. 서비스 제공 장치가 카메라로부터 감시 영역에 대한 영상을 수신하는 단계;
    상기 서비스 제공 장치가 상기 영상에 대한 영상 분석을 통해 사람에 해당하는 객체를 식별하여 추출하는 단계;
    상기 서비스 제공 장치가 상기 객체를 복수의 서로 다른 신체 영역으로 분할하도록 학습된 영역 분할용 학습 모델에 상기 객체를 적용하여 상기 신체 영역별로 개별 이미지 및 신체 영역 정보를 포함하는 식별 대상 정보를 획득하는 단계;
    상기 서비스 제공 장치가 신체 영역에 착용된 상태의 착용물에 대한 착용물 이미지와 상기 착용물에 대한 착용물 정보 및 상기 착용물이 착용된 신체 영역에 대한 신체 영역 정보를 포함하는 복수의 서로 다른 학습 데이터로 학습된 상태의 상기 복수의 신체 영역과 각각 대응되는 복수의 복장 식별용 학습 모델 중 상기 식별 대상 정보의 신체 영역 정보에 대응되는 복장 식별용 학습 모델에 상기 식별 대상 정보를 적용하여 상기 식별 대상 정보에 대응되는 특정 신체 영역에 착용된 착용물이 상기 학습 데이터로 학습된 예상 착용물 정보일 확률, 상기 예상 착용물 정보가 아닐 확률 및 상기 예상 착용물 정보를 산출하기 어려운 노이즈일 확률을 산출하고, 상기 각 확률을 모두 포함하는 분류 결과 정보를 생성한 후 상기 예상 착용물 정보 및 상기 분류 결과 정보가 포함된 분석 결과 정보를 산출하는 단계;
    상기 서비스 제공 장치가 복수의 신체 영역으로 구성되는 착용물 확인 대상인 미리 설정된 하나 이상의 착용 영역 중 특정 착용 영역에 속한 복수의 신체 영역과 각각 대응되는 하나 이상의 식별 대상 정보별로 산출된 분석 결과 정보에 포함된 각 신체 영역별 예상 착용물 정보와 그에 대한 분류 결과 정보를 기반으로 미리 설정된 기준에 따라 하나 이상의 예상 착용물 정보를 상기 특정 착용 영역에 대한 최종 착용물 정보로 결정하고, 상기 최종 착용물 정보를 포함하는 판단 결과 정보를 상기 특정 착용 영역에 대응되도록 생성하는 단계; 및
    상기 서비스 제공 장치가 상기 특정 착용 영역에 대해 최종 착용물 정보가 복수개 산출되는 경우 상기 특정 착용 영역에 대응되는 복수의 최종 착용물 정보를 각각 후보 착용물 정보로 설정하고, 상기 특정 착용 영역의 착용물 정보와 미리 설정된 다른 착용 영역의 착용물 정보 사이의 상관 관계가 학습된 착용물 비교용 학습 모델에 상기 다른 착용 영역에 대해 결정된 최종 착용물 정보와 함께 복수의 상기 후보 착용물 정보를 번갈아 적용하여 상기 다른 착용 영역에 대해 결정된 최종 착용물 정보와의 상관도에 대한 상관 계수가 가장 높게 산출되는 후보 착용물 정보를 상기 특정 착용 영역의 판단 결과 정보에 포함되는 최종 착용물 정보로 결정하는 단계;
    를 포함하는 객체 특징 식별을 위한 서비스 제공 방법.
KR1020210110829A 2021-08-23 2021-08-23 객체 특징 식별을 위한 서비스 제공 장치 및 방법 Active KR102403242B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210110829A KR102403242B1 (ko) 2021-08-23 2021-08-23 객체 특징 식별을 위한 서비스 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210110829A KR102403242B1 (ko) 2021-08-23 2021-08-23 객체 특징 식별을 위한 서비스 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102403242B1 true KR102403242B1 (ko) 2022-05-30

Family

ID=81796698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210110829A Active KR102403242B1 (ko) 2021-08-23 2021-08-23 객체 특징 식별을 위한 서비스 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102403242B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311633A (zh) * 2023-05-19 2023-06-23 安徽数智建造研究院有限公司 基于人脸识别技术的隧道施工人员管理方法
KR102649476B1 (ko) * 2023-07-07 2024-03-20 한국피디도어 주식회사 스마트 인공지능 센서 도어 개폐 시스템
KR102719192B1 (ko) 2023-11-23 2024-10-18 주식회사 나우시스템 딥러닝을 이용한 복장 착용을 검출하는 영상 감시 시스템 및 그 방법
US12243475B2 (en) 2022-12-23 2025-03-04 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100031481A (ko) 2008-09-12 2010-03-22 소니 주식회사 물체 검출 장치, 촬상 장치, 물체 검출 방법 및 프로그램
KR20100043883A (ko) * 2008-10-21 2010-04-29 서울벤처정보대학원대학교 산학협력단 최대마진분류기를 이용한 의상 분류 방법
WO2011046128A1 (ja) * 2009-10-16 2011-04-21 日本電気株式会社 人物服装特徴抽出装置、人物検索装置、及びその処理方法
JP2012237569A (ja) * 2011-05-10 2012-12-06 Renesas Electronics Corp 人物管理装置および人物管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100031481A (ko) 2008-09-12 2010-03-22 소니 주식회사 물체 검출 장치, 촬상 장치, 물체 검출 방법 및 프로그램
KR20100043883A (ko) * 2008-10-21 2010-04-29 서울벤처정보대학원대학교 산학협력단 최대마진분류기를 이용한 의상 분류 방법
WO2011046128A1 (ja) * 2009-10-16 2011-04-21 日本電気株式会社 人物服装特徴抽出装置、人物検索装置、及びその処理方法
JP2012237569A (ja) * 2011-05-10 2012-12-06 Renesas Electronics Corp 人物管理装置および人物管理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12243475B2 (en) 2022-12-23 2025-03-04 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
CN116311633A (zh) * 2023-05-19 2023-06-23 安徽数智建造研究院有限公司 基于人脸识别技术的隧道施工人员管理方法
CN116311633B (zh) * 2023-05-19 2023-08-04 安徽数智建造研究院有限公司 基于人脸识别技术的隧道施工人员管理方法
KR102649476B1 (ko) * 2023-07-07 2024-03-20 한국피디도어 주식회사 스마트 인공지능 센서 도어 개폐 시스템
KR102719192B1 (ko) 2023-11-23 2024-10-18 주식회사 나우시스템 딥러닝을 이용한 복장 착용을 검출하는 영상 감시 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
JP7130425B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN114612813B (zh) 身份识别方法、模型训练方法、装置、设备和存储介质
Dantone et al. Body parts dependent joint regressors for human pose estimation in still images
Iannizzotto et al. Personal Protection Equipment detection system for embedded devices based on DNN and Fuzzy Logic
CN109241829B (zh) 基于时空注意卷积神经网络的行为识别方法及装置
US12412460B2 (en) Monitoring device, suspicious object detecting method, and recording medium
US11250243B2 (en) Person search system based on multiple deep learning models
CN119810757A (zh) 基于智能视觉的预警分析方法及服务器
Lao et al. Convolutional neural networks for fashion classification and object detection
Zhao et al. Substation safety awareness intelligent model: Fast personal protective equipment detection using GNN approach
Bhatia et al. IOT based facial recognition system for home security using LBPH algorithm
CN111666920B (zh) 目标物品佩戴检测方法、装置、存储介质及电子装置
JP2013003964A (ja) 顔画像検索システム、及び顔画像検索方法
US12223768B2 (en) Adaptive learning and matching of face modalities
EP3765995B1 (en) Systems and methods for inter-camera recognition of individuals and their properties
CN111967296A (zh) 虹膜活体检测方法、门禁控制方法及装置
Pandey et al. An automated face mask detection system using deep CNN on AWS cloud infrastructure
KR20220049389A (ko) 스켈레톤 분석을 이용한 객체 추적 장치 및 방법
US20220130148A1 (en) System and Method for Identifying Outfit on a Person
Trivedi et al. Human interaction and classification via k-ary tree hashing over body pose attributes using sports data
EP4295327A1 (en) Identification of workers using personal protective equipment and worker movement characteristic analysis
JP2016103245A (ja) 情報処理装置、情報処理方法、プログラム
KR102829476B1 (ko) 딥 러닝 기반 작업자 개인보호구 착용 및 얼굴 신원 확인 시스템
Jeny et al. Deep learning framework for face mask detection
Sharmila et al. Performance Evaluation of Deep Learning Based Industrial Safety Enhancement in Multiple Safety Equipment Detection

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210823

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20210831

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20210823

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211119

Patent event code: PE09021S01D

PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20220308

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220517

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220524

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220525

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20250305

Start annual number: 4

End annual number: 4