KR102181144B1 - 이미지 딥러닝 기반 성별 인식 방법 - Google Patents
이미지 딥러닝 기반 성별 인식 방법 Download PDFInfo
- Publication number
- KR102181144B1 KR102181144B1 KR1020180154560A KR20180154560A KR102181144B1 KR 102181144 B1 KR102181144 B1 KR 102181144B1 KR 1020180154560 A KR1020180154560 A KR 1020180154560A KR 20180154560 A KR20180154560 A KR 20180154560A KR 102181144 B1 KR102181144 B1 KR 102181144B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- gender recognition
- neural network
- deep learning
- convolutional neural
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 57
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000001737 promoting effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 208000006930 Pseudomyxoma Peritonei Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920000306 polymethylpentene Polymers 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G06K9/00362—
-
- G06K9/4652—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Finance (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Game Theory and Decision Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Human Resources & Organizations (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
실시예에 따른 이미지 딥러닝 기반 성별 인식 방법은, 딥러닝 뉴럴 네트워크를 포함하는 딥러닝 서버가 이미지 딥러닝을 통해 사람의 성별 인식을 수행하는 방법으로서, 상기 사람을 촬영한 컬러 이미지를 획득하는 단계; 상기 획득된 컬러 이미지를 오브젝트 디텍션(object detection)하여 상기 컬러 이미지 내에서 사람의 전체 영역을 포함하는 바운딩 박스(bounding box)를 추출하는 단계; 상기 바운딩 박스 내 컬러 이미지를 세그멘테이션(segmentation)하여 상기 사람에 대한 픽셀을 유효픽셀로 특정한 흑백 마스크(mask)를 획득하는 단계; 및 상기 바운딩 박스 내 컬러 이미지와 흑백 마스크를 성별인식 컨볼루션 뉴럴 네트워크(convolutional neural network)에 입력하여 성별 인식 정보를 레이블(label)로 출력하는 단계를 포함한다.
Description
본 발명은 이미지 딥러닝 기반 성별 인식 방법에 관한 것이다. 보다 상세하게는 이미지 내의 사람의 전체 영역을 딥러닝하여 성별을 인식하는 방법에 관한 것이다.
최근 영상 인식 기술을 통하여 방문객수, 성별, 체류시간 등을 측정하고, 이를 저장 및 분석하여 마케팅 데이터 및 얼굴 인식 포토앨범, 출입통제, 범죄자 추적, 비디오 해석으로 활용하기 위한 연구가 활발히 진행되고 있다.
특히, 성별 인식 기술은 영상기기로부터 입력되는 사람의 영상 또는 미리 촬영된 영상 중 존재하는 사람의 영상으로부터 해당 사람이 남성인지 여성인지 여부를 인식하는 기술을 의미한다.
이러한 성별 인식을 위해 종래에는 사람의 영상으로부터 얼굴 영역을 추출하여 얼굴의 특징 정보를 분석하거나 또는 영상분석 정보와 함께 음성 정보를 분석하여 식별 대상 사람의 성별을 인식하고 있다.
이러한 기존의 성별 인식 기술은 입력된 얼굴 영상에서 얼굴 영역을 검출하여 인식에 사용한다. 하지만 성별을 구분 짓는 특징은 얼굴뿐만 아니라 메이크업, 헤어스타일, 액세서리와 같은 얼굴 관련 부수적인 요소도 포함될 수 있다. 그러나 기존의 성별 인식 기술에 의하면 이러한 다양한 요소들을 고려하지 않아 성별 인식의 정확도가 좋지 못한 문제점이 있었다.
이러한 문제를 해결하기 위하여, 선행기술은 얼굴영역 뿐만 아니라 눈 영역, 머리카락 영역 등 얼굴 주변 추가 부수적인 요소를 성별을 인식하는데 사용하여 성별 인식의 정확도를 높였으나, 사람의 뒷모습이나 옆모습 등 얼굴이 노출되지 않게 촬영한 이미지에 대해서는 성별인식이 불가하고, 해상도가 낮을 경우에도 성별인식 정확도가 감소되는 문제가 있다.
본 발명은, 사람의 얼굴뿐만 아니라 그밖에 사람의 전체 영역을 분석하여 성별을 인식할 수 있는 딥러닝 기반 성별 인식방법을 제공하는 것을 목적으로 한다.
다른 측면에서, 본 발명은, 사람의 뒷모습이나 옆모습을 촬영한 이미지를 기반으로도 딥러닝 기반 성별 인식을 수행하는 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 저해상도의 이미지를 기초로 딥러닝 기반 성별 인식을 수행하는 방법을 제공하는 것을 목적으로 한다.
실시예에 따른 이미지 딥러닝 기반 성별 인식 방법은, 딥러닝 뉴럴 네트워크를 포함하는 딥러닝 서버가 이미지 딥러닝을 통해 사람의 성별 인식을 수행하는 방법으로서, 상기 사람을 촬영한 컬러 이미지를 획득하는 단계; 상기 획득된 컬러 이미지를 오브젝트 디텍션(object detection)하여 상기 컬러 이미지 내에서 사람의 전체 영역을 포함하는 바운딩 박스(bounding box)를 추출하는 단계; 상기 바운딩 박스 내 컬러 이미지를 세그멘테이션(segmentation)하여 상기 사람에 대한 픽셀을 유효픽셀로 특정한 흑백 마스크(mask)를 획득하는 단계; 및 상기 바운딩 박스 내 컬러 이미지와 흑백 마스크를 성별인식 컨볼루션 뉴럴 네트워크(convolutional neural network)에 입력하여 성별 인식 정보를 레이블(label)로 출력하는 단계를 포함한다.
이때, 상기 오브젝트 디텍션과 세그멘테이션은 복수의 컨볼루션 뉴럴 네트워크로 구성된 하나의 뉴럴 네트워크에서 수행될 수 있다.
또한, 상기 하나의 뉴럴 네트워크는, 입력 이미지를 적어도 1회 컨볼루션 레이어(Convolution layer)를 통과시키는 제 1 컨볼루션 뉴럴 네트워크와, 롤 풀링 레이어와 풀리 커넥티드 레이어와 소프트 맥스와 바운딩 박스 리그레서로 구성된 제 2 컨볼루션 뉴럴 네트워크와, 상기 추출된 바운딩 박스 내 컬러 이미지에서 상기 흑백 마스크를 추출하는 제 3 컨볼루션 뉴럴 네트워크를 포함할 수 있다.
또한, 상기 성별인식 컨볼루션 뉴럴 네트워크는, Resnet-101, Resnet-152, VGG16 또는 VGG19의 구조로 구출된 컨볼루션 뉴럴 네트워크일 수 있다.
또한, 상기 컬러 이미지는, 상기 사람의 측면을 촬영한 이미지 또는 상기 사람의 후면을 촬영한 이미지일 수 있다.
또한, 상기 성별인식 컨볼루션 뉴럴 네트워크는, 상기 흑백 마스크를 통해 신체비율 차이 정보를 특징 벡터로 출력하여 성별인식을 수행할 수 있다.
또한, 상기 성별인식 컨볼루션 뉴럴 네트워크는, 상기 흑백 마스크의 크기를 조절하여 제 1 특징 맵을 출력하는 제 4 컨벌루션 뉴럴 네트워크와, 상기 바운딩 박스의 컬러 이미지의 크기를 조절하여 제 2 특징 맵을 출력하는 제 5 컨볼루션 뉴럴 네트워크와, 상기 제 1 특징 맵과 제 2 특징 맵을 결합하여 특징 백터를 출력하는 제 6 컨볼루션 뉴럴 네트워크와, 상기 특징 백터를 입력하면 성별 인식 정보를 레이블로 출력하는 풀리 커넥티드 레이어로 구성될 수 있다.
실시예에 따른 이미지 딥러닝 기반 성별 인식 방법은, 사람의 전체 영역을 분석하여 성별을 인식하므로, 성별 인식 정확도가 향상될 수 있다.
또한, 실시예에 따른 이미지 딥러닝 기반 성별 인식 방법은, 사람의 뒷모습이나 옆모습을 촬영한 이미지를 기반으로도 딥러닝 기반 성별 인식을 수행할 수 있다.
또한, 실시예에 따른 이미지 딥러닝 기반 성별 인식 방법은, 저해상도의 이미지를 기초로도 딥러닝 기반 성별 인식을 수행하여 높은 정확도의 성별 인식 정보를 출력할 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 딥러닝 기반 성별 인식 시스템에 개념도이다.
도 2는 본 발명의 실시예에 따른 관리자 단말기의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 이미지를 분석하여 이미지 내 사람의 성별을 인식하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 이미지 내 사람
의 바운딩 박스와, 사람의 전체 영역에 대한 마스크를 획득하는 방법을 나타낸다.
도 5는 본 발명의 실시예에 따른 바운딩 박스와, 마스크를 통해 성별 인식 레이블을 획득하는 방법을 나타낸다.
도 6은 본 발명의 실시예에 따른 성별 인식방법을 이용한 매장 관리 서비스를 운영하는 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 실시예에 따른 관리자 단말기의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 이미지를 분석하여 이미지 내 사람의 성별을 인식하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 이미지 내 사람
의 바운딩 박스와, 사람의 전체 영역에 대한 마스크를 획득하는 방법을 나타낸다.
도 5는 본 발명의 실시예에 따른 바운딩 박스와, 마스크를 통해 성별 인식 레이블을 획득하는 방법을 나타낸다.
도 6은 본 발명의 실시예에 따른 성별 인식방법을 이용한 매장 관리 서비스를 운영하는 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 이미지 딥러닝 기반 성별 인식 시스템에 개념도이다.
도 1을 참조하면, 실시예에 따른 딥러닝 기반 성별 인식 시스템은, 관리자 단말기(100), 카메라(500) 및 딥러닝 서버(200)를 포함한다.
<관리자 단말기(100)>
먼저, 관리자 단말기(100)는, 딥러닝 기반 성별 인식 서비스를 제공받고자 하는 유저의 관리자 단말기(100)로, 유선 또는 무선 통신을 통해 딥러닝 서버(200)에 접속하여 분석하고자 하는 이미지를 송신한 후 송신된 이미지 내 사람의 성별 인식 정보를 수신할 수 있다.
그리고 관리자 단말기(100)는, 수신한 성별 인식 정보를 기초로 매장의 방문객의 성별 분포를 실시간으로 파악할 수 있고, 실시간 파악된 성별 분포에 따라 출력장치들을 제어하여 매장 내외부의 분위기를 변화시킬 수 있다.
또한, 관리자 단말기(100)는, 파악된 성별 분포에 따라 선택적으로 남자 회원 또는 여자 회원에게 홍보 메시지를 전송하여, 매장 내 방문객을 원하고자하는 성별 분포가 되도록 유도할 수 있다.
이러한 관리자 단말기(100)는, 통신이 가능하고 관리자와 입출력 인터페이스를 제공할 수 있는 관리자 단말기(100)이면 특정 관리자 단말기(100)에 제한을 두지 않는다. 예를들어, 관리자 단말기(100)에는, 데스크 탑 컵퓨터, 스마트 폰(smart phone), 휴대폰, 노트북 컴퓨터(laptop computer), 디지털방송용 관리자 단말기(100), PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device), 글래스형 관리자 단말기(100) (smart glass) 또는 키오스크(kiosk) 등이 포함될 수 있다.
이러한 관리자 단말기(100)는, 데이터를 처리하는 프로세서와 성별 인식 및 매장 제어 프로그램이 설치된 메모리를 포함할 수 있으며, 프로세서는 상기 성별 인식 및 매장 제어 프로그램을 독출하여 사용자에게 성별 분포를 파악하고 성별 분포에 따라 매장 내외 출력장치를 제어하는 기능을 제공할 수 있다.
자세히, 관리자 단말기(100)는, 매장 출입구 측에 배치된 카메라(500)에서 실시간으로 입력되는 이미지를 획득하고, 획득된 이미지에서 신규 사람이 추출되면 상기 이미지를 딥러닝 서버(200)에 전송하여 상기 사람에 대한 성별 인식 정보를 획득하고, 성별 인식 정보에 기초하여 방문객의 남녀 비율의 분포를 파악할 수 있다. 다른 실시예에서, 관리자 단말기(100)가 직접 딥러닝 서버(200)가 수행하는 성별 인식 방법을 수행할수도 있으나, 이하 설명에서는 딥러닝 서버(200)가 이를 수행하는 것으로 설명한다.
-
관리자 단말기(100)의 내부 유닛
도 2는 본 발명의 실시예에 따른 관리자 단말기(100)의 내부 블록도이다.
이하, 관리자 단말기(100)의 구체적인 구성에 대해 도 2를 참조하여 상세히 설명한다.
실시예에 따른 관리자 단말기(100)는, 입력부(110), 디스플레이(150), 통신부(120), 메모리(140), 인터페이스부 및 프로세서(160)를 포함할 수 있다.
먼저, 관리자 단말기(100)는, 사용자의 입력을 감지하는 입력부(110)를 포함할 수 있다.
예를 들어, 입력부(110)는, 관리자 단말기(100)의 전원을 온(on)/오프(off)시키는 실행 입력이나, 관리자 단말기(100)의 각종 기능에 대한 설정, 실행 입력 등을 감지할 수 있다.
이러한 입력부(110)는 사용자 터치를 감지하는 터치 입력부(예를 들어, 터치 센서(touch sensor), 터치키(touch key), 푸시키(mechanical key) 등) 및 음성 입력을 감지하는 마이크로폰(microphone) 중 적어도 하나 이상을 포함하여, 사용자 입력을 감지할 수 있다.
또한, 관리자 단말기(100)는, 성별 인식 분포를 확인하고, 성별 분포에 따라 매장 내외 분위기를 제어하는 기능의 진행화면을 표시하는 디스플레이(150)를 포함할 수 있다.
이러한 디스플레이(150)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
또한, 관리자 단말기(100)는, 딥러닝 서버(200)와 무선 통신하는 통신부(120)를 포함할 수 있다.
자세히, 관리자 단말기(100)는 통신부(120)를 통해 딥러닝 서버(200)에 이미지를 송신할 수 있고, 딥러닝 서버(200)로부터 상기 이미지 내 사람에 대한 성별 인식 정보를 수신할 수 있다.
또한, 관리자 단말기(100)는, 통신부를 통해 카메라(500)로부터 이미지를 획득할 수 있고, 출력장치로 제어신호를 송신하여 출력장치들을 제어할 수 있다. 이하에서는, 인터페이스부를 통해 카메라(500)와 출력장치가 연결된 것으로 설명한다.
자세히, 통신부(120)는, 하기 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등), WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access)에 따라 구축된 네트워크망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다.
또한, 관리자 단말기(100)는, 외부를 촬영하여 이미지를 획득하는 카메라(500)와 데이터 통신하는 인터페이스부를 포함할 수 있다.
이러한 인터페이스부는, 출력장치와 연결되어, 출력장치로 데이터 신호를 송신하여, 출력장치를 제어할 수도 있다.
자세히, 인터페이스부는 단말기에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 이러한 인터페이스부는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 단말기에서는, 상기 인터페이스부에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
-
카메라(500)
실시예에서 카메라(500)는, 이미지 센서를 포함하여 외부에서 피사체를 통해 반사되는 빛을 센싱하여 피사체에 대한 이미지를 획득할 수 있다.
자세히, 카메라(500)는, 매장 출입구 측에 설치되어, 매장 출입구 내로 진입하는 사람을 촬영한 이미지를 실시간으로 획득하고, 관리자 단말기(100) 또는 딥러닝 서버(200)로 송신되어, 사람의 성별을 인식하기 위한 이미지로 사용될 수 있다.
그리고 이러한 카메라(500)는 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라(500)는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.
그리고 메모리(140)는 관리자 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 관리자 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
자세히, 성별 인식 프로그램 및 매장 관리 프로그램은, 메모리(140)에 저장되고, 관리자 단말기(100) 상에 설치되어, 프로세서(160)에 의하여 상기 관리자 단말기(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 메모리(140)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있고, 메모리(140)는 인터넷(internet)상에서 상기 메모리(140)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
마지막으로, 각 유닛의 전반적인 동작을 제어하여 건강관리 서비스를 제공하기 위한 데이터 처리를 수행하는 프로세서(160)를 포함할 수 있다.
이러한 프로세서(160)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한
<딥러닝 서버(200)>
딥러닝 서버(200)는, 별도의 클라우드 서버나 컴퓨팅 장치를 포함하여 딥러닝 뉴럴 네트워크와, 기타 알고리즘을 통해 이미지 딥러닝(image deed learning)을 수행하여, 사용자가 입력한 이미지 내 사람의 성별을 인식하여 성별 인식 정보를 생성할 수 있다.
여기서, 성별 인식 정보는, 남자 또는 여자일 확률을 의미할 수 있고, 기 설정된 문턱 값(threshold)과 비교하여 이상은 남자, 미만은 여자로 구분한 정보일 수 있다.
실시예에 따라서 딥러닝 서버(200)는, 성별 인식 기반 서비스를 제공하는 서버에 직접 설치되거나, 관리자 단말기(100) 내에 장착되어 실행하는 시스템일 수 있다.
이하에서 딥러닝 서버(200)는, 서비스 제공서버와 별도의 장치로 관리자 단말기(100)로부터 이미지를 수신하여 수신된 이미지를 이미지 딥러닝하는 실시예를 기준으로 설명한다.
이러한 딥러닝 서버(200)는, 데이터를 처리하는 데이터 처리부(210)와, 이미지 딥러닝을 수행하기 위해 구축된 이미지 딥러닝 네트워크로 구성된 구동 프로그램을 포함하는 메모리(220)를 포함할 수 있으며, 데이터 처리부(210)가 상기 이미니 딥러닝 구동 프로그램을 독출하여, 구축된 뉴럴 네트워크 시스템에 따라서 하기 기술하는 이미지 딥러닝을 수행하게 된다.
실시예에 따라서 딥러닝 서버(200)는, 전체 유닛들을 제어하는 메인 프로세서와, 이미지 딥러닝에 따라 뉴럴 네트워크 구동시 필요한 대용량의 연산을 처리하는 복수의 그래픽 프로세서(Graphics Processing Unit, GPU)를 포함하도록 구성될 수 있다.
역할 측면에서 보면 딥러닝 서버(200)는, 이미지를 딥러닝 하여 사람을 디텍션하고 사람에 대한 바운딩 박스(bounding box, BBOX)를 생성하는 오브젝트 디텍션부(object detection)와, 바운딩 박스 내 이미지를 딥러닝하여 사람 영역에 대한 마스크(MASK)를 생성하는 세그맨테이션부(segmentation)와, 바운딩 박스 내 이미지와 마스크를 입력받아 성별 인식 정보를 출력하는 컨볼루션 뉴럴 네트워크부(convolutional neural network, CNN)를 포함할 수 있다.
상기 오브젝트 디텍션 부와, 세그맨테이션부 및 컨볼루션 뉴럴 네트워크부는, 모두 적어도 하나의 딥러닝 레이러를 포함할 수 있다. 상기 딥러닝 레이어는, 컨볼루션 레이어(convolutional layer), 배치 정규화 (batch normalization), 정류된 선형 유닛 (ReLU) 함수 또는 맥스 풀링(max pooling layer) 중 적어도 하나를 포함할 수 있다.
<이미지 딥러닝 기반 성별 인식 방법>
도 3은 본 발명의 실시예에 따른 이미지를 분석하여 이미지 내 사람의 성별을 인식하는 방법을 설명하기 위한 흐름도이다. 도 4는 본 발명의 실시예에 따른 이미지 내 사람의 바운딩 박스와, 사람의 전체 영역에 대한 마스크를 획득하는 방법을 나타낸다. 도 5는 본 발명의 실시예에 따른 바운딩 박스와, 마스크를 통해 성별 인식 레이블을 획득하는 방법을 나타낸다.
이하, 도 3 내지 도 5를 참조하여, 딥러닝 서버(200)가 이미지를 분석하여 이미지 내 사람의 성별을 파악하는 과정을 상세히 설명한다.
먼저, 딥러닝 서버(200)는, 관리자 단말기(100) 또는 카메라(500)로부터 직접 이미지를 수신할 수 있다. (S101)
여기서, 딥러닝 서버(200)가 획득한 이미지는 해상도에는 제한이 없으나, 컬러 정보가 포함된 이미지일 수 있다. 예컨대, 실시예에서 분석 대상이 되는 이미지는, 각 픽셀에 RGB 정보가 포함된 이미지 일 수 있다.
또한, 딥러닝 서버(200)가 분석하는 이미지는, 사람의 얼굴 영역 촬영 여부에 제한이 없는 이미지일 수 있다. 즉, 실시예에서 분석 대상이 되는 이미지는, 사람의 측면 이미지 또는/및 후면 이미지를 포함할 수 있다.
또한, 딥러닝 서버(200)는, 신체 비율, 옷 스타일, 얼굴 형상 등 사람의 전체영역에 기초하여 성별을 인식하기 때문에, 사람의 신체 부위가 최대한 많이 노출된 이미지일수록 성별인식 정확도가 향상될 수 있다.
이를 위해, 딥러닝 서버(200)는, 공통된 사람에 대한 복수의 이미지 또는 동영상을 획득하였을 때, 사람의 신체부위가 최대로 노출된 이미지를 성별 인식 분석 이미지로 선택할 수 있다.
예를 들어, 딥러닝 서버(200)는, 사람이 이동하여 카메라(500)의 촬영 영역에 들어왔다 나가는 동영상을 획득하였을 ?, 사람의 특정 부위가 가려지기 이전 시점의 이미지를 추출하여, 성별 인식 분석에 이미지로 이용할 수 있다.
사람의 일부가 가려지기 이전 시점의 이미지는, 가장 카메라(500)와 가까워 해상도가 높으면서도, 사람의 전체 신체를 촬영하여 성별인식을 수행하기 위한 가장 많은 요소를 포함한 이미지일 수 있다.
또한, 딥러닝 서버(200)는, 카메라(500)의 설치높이 및 촬영 각도를 촬영 정보로 추가 수신할 수 있다.
그리고 딥러닝 서버(200)는, 촬영 정보를 기초로 수신한 이미지를 성별 인식 딥러닝 수행 전 사전 이미지 처리할 수 있다. 자세히, 딥러닝 서버(200)는, 카메라(500) 별로 서로 다른 촬영각도 및 높이 등에 의해 사람의 신체비율이 왜곡되는 것을 최소화하기 위해, 사람을 촬영한 뷰 포인트를 지면과 수평이 되도록 하고, 지면으로부터 일정 높이에서 촬영한 것으로 보정할 수 있다.
다음으로, 딥러닝 서버(200)는, 이미지를 오브젝트 디텍션(object detection)하여 이미지 내에서 사람 및 사람의 바운딩 박스를 검출할 수 있다. (S102)
자세히, 딥러닝 서버(200)는, 이미지에서 사람이 있는 영역을 인식하고, 사람이 있는 대략적인 영역을 사각 박스 형상을 가지는 바운딩 박스로 추출(crop)할 수 있다.
다음으로, 딥러닝 서버(200)는, 획득된 바운딩 박스 내 이미지를 이미지 세그맨테이션(image segmentaion)하여 이미지 내 사람을 나타내는 픽셀들의 경계를 추출하여 마스크를 생성할 수 있다. (S103)
자세히, 딥러닝 서버(200)는, 바운딩 박스 내 이미지에서 사람에 관련된 모든 픽셀을 유효 픽셀(예컨대, 픽셀 값 1)로 나타내고, 나머지 배경에 관련된 모든 픽셀들을 비유효 픽셀(예컨대, 픽셀 값 0)으로 나타낸 마스크를 생성할 수 있다.
딥러닝 서버(200)는, 바운딩 박스 내에서 사람에 해당되는 전경 영역 및 사람 외의 배경 영역 내의 픽셀들을 각각 분석하여, 전경 영역 내 픽셀들의 특징 정보(예컨대, 컬러(RGB), 좌표 등)를 획득할 수 있고, 배경 영역 내 픽셀들의 특징 정보(예컨대, 컬러(RGB), 좌표 등)을 획득할 수 있다.
그리고 딥러닝 서버(200)는, 전경 영역에 속하는 픽셀의 특징 정보와 배경 영역의 픽셀들의 특징 정보를 각각 가지는 픽셀들의 경계를 추출하여, 경계를 기준으로 일측은 전경 픽셀들로, 타측은 배경 픽셀들로 구분할 수 있다.
그리고 전경 픽셀을 유효 픽셀로, 배경 픽셀을 비유효 픽셀로 변환한 마스크를 생성할 수 있다. 여기서, 생성된 마스크는, 컬러 정보가 제거될 수 있다.
즉, 마스크는 사람의 외형을 나타내는 정보를 포함하고, 컬러 정보는 제외될 수 있다.
도 4를 참조하면, 실시예에 따른 딥러닝 서버(200)는, 오브젝트 디텍션과 세그맨테이션을 한번에 수행하는 딥러닝 뉴럴 네트워크를 사용하여, 바운딩 박스와 마스크를 추출할 수 있다.
자세히, 딥러닝 서버(200)는, 입력 이미지를 적어도 1회 컨볼루션 레이어(Convolution layer)를 통과시키는 제 1 컨볼루션 뉴럴 네트워크(Conv 1)와, 롤 풀링 레이어와 소프트 맥스, 바운딩 박스 리그레서로 구성된 제 2 컨볼루션 뉴럴 네트워크(Conv 2)와, 추출된 바운딩 박스 내 이미지에서 마스크를 추출하는 제 3 컨볼루션 뉴럴 네트워크(Conv 3)로 구성될 수 있다.
자세히, 제 1 컨볼루션 뉴럴 네트워크(Conv 1)는, 전체 이미지 및 객체 후보 영역을 동시에 입력으로 받아들일 수 있다.
그리고 제 1 컨볼루션 네트워크는, 컨볼루션 레이어(Convolution layer)와 맥스 풀링 레이어(max-pooling layer)을 통해 이미지 전체를 한번에 처리하여, 유의미한 객체들을 각각 묶어 특징 영역들로 나타낸 특징 맵(feature map)을 생성할 수 있다.
다음으로, 제 2 컨볼루션 네트워크는, 각 객체 후보 영역에 대하여 롤 풀링 레이어(RoI Pooling layer)를 통과시켜, 특징 맵(feature map)으로부터 특징 벡터(fixed-length feature vector)를 추출할 수 있다.
그리고 제 2 컨볼루션 네트워크는, 추출한 특징 벡터를 풀리 커넥티드 레이어(Fully-Connected Layer, FCs)에 인가를 한 뒤, 풀리 커넥티드 레이어의 출력 데이터를 최종 단에 배치된 소프트 맥스(softmax)에 인가하여 각 객체의 종류를 특정할 수 있다. 또한, 제 2 컨볼루션 네트워크는, 풀리 커넥티드 레이어의 출력 데이터를 바운딩 박스 리그레서(bbox regressor)에 인가하여 오브젝트가 차지하는 영역을 개략적으로 나타내는 바운딩 박스를 추출할 수 있다.
여기서, 제 2 컨볼루션 네트워크는, 각 객체의 후보 영역에 대해 소프트맥스에서 객체가 사람이 아니라고 판단되면, 나머지 바운딩 박스 리그레서와 마스크를 생성하는 세그맨테이션부의 동작을 멈출 수 있다.
이러한 제 1 컨볼루션 네트워크와 제 2 컨볼루션 네트워크로 구성된 오브젝트 디텍션부는, 객체의 종류가 사람임을 특정하고 사람이 차지하는 특징 영역을 바운딩 박스로 추출할 수 있다.
그리고 상기 사람으로 특정된 특징 벡터들은 제 3 컨볼루션 네트워크에 입력되어 바운딩 박스 내 사람의 전체영역에 대한 마스크를 생성할 수 있다.
이러한 제 3 컨볼루션 네트워크는, 적어도 하나 이상의 컨볼루션 레이어(Convolution layer)를 포함하며, 추가로 맥스 풀링 레이어(max-pooling layer)들을 더 포함할 수도 있다.
이와 같은, 제 1 내지 제 3 컨볼루션 네트워크로 구성된 오브젝트 디텐션부와 세그멘테이션부는, 전체 이미지에 대해 컨볼루션 연산을 1번만 수행을 하고 그 결과를 공유하며, 롤 풀링 레이어(RoI Pooling layer)에서 다양한 후보 영역들에 대하여 풀리 커넥티드 레이어(FC layer)로 들어갈 수 있도록 크기를 조정해주는 과정을 거친다. 이후 단계는 소프트맥스(Softmax classifier)와 바운딩 박스 리그레서(BBox regressor)를 동시에 수행하기 때문에 빠른 연산 처리가 가능한 장점이 있다.
이러한 실시예와 달리, 오브젝트 디텐션부는, 세그멘테이션부와는 별도의 네트워크로 구축될 수 있으며, 컨볼루션 뉴럴 네트워크 중 오브젝트 디텍션에 특화된 다양한 이미지 딥러닝 네트워크로 구성될 수 있다.
이때, 세그멘테이션부는, Mask R-CNN 또는 DeepLab v3, Segnet 등과 같은 세그멘테이션(Segmentation) 기반 이미지 딥러닝 네트워크를 이용하여 마스크를 추출할 수도 있다.
이와 같이, 바운딩 박스와 마스크 생성이 완료되면, 바운딩 박스 내 이미지와 마스크를 성별인식 CNN (Convolutional Neural Network)에 입력하여 CNN 기반 성별 인식을 수행할 수 있다. (S104)
자세히, 도 5를 참조하면, 바운딩 박스 이미지(BBOX IMAGE)는 컬러 이미지로 제 4 컨볼루션 뉴럴 네트워크(Conv 4)에 입력되고, 마스크(MASK)는 흑백 이미지로 제 5 컨볼루션 네트워크(Conv 5)에 각각 입력되어, 크기가 조절될 수 있다.
그리고 제 6 컨볼루션 네트워크(Conv 6)는, 각각 제 4 컨볼루션 네트워크(Conv 4)에서 출력된 특징 맵과 제 5 컨볼루션 네트워크(Conv 5)에서 출력된 특징 맵을 합쳐 하나의 특징 벡터로 출력할 수 있으며, 출력된 특징 벡터는 풀리 커넥티드 레이어(FCs)에 입력될 수 있다.
마지막으로 풀리 커넥티드 레이어는, 입력된 특징 벡터에 대한 성별 인식 정보를 출력할 수 있다. 자세히, 풀리 커넥티드 레이어는, 출력 값으로 해당 사람이 남자일 확률(또는, 여자일 확률)을 레이블(label)로 출력할 수 있다.
이러한 성별인식 CNN은, Resnet-101, Resnet-152, VGG16 또는 VGG19 등의 일반적인 CNN (Convolutional Neural Network)의 구조를 활용하여 구축될 수 있다.
이와 같이 사람의 전체 영역에 대한 마스크를 이용하여 CNN이 좀더 정확히 인물이 있는 영역을 판단할 수 있도록 유도할 수 있고, 인물의 전체적인 실루엣을 담고 있는 마스크는 남녀 간의 신체비율 차이 정보를 바운딩 박스 내 컬러 이미지에 비해 좀더 명확히 나타낼 수 있기 때문에, 좀더 정확한 성별 인식 정보를 구할 수 있다.
또한, 바운딩 박스 내 컬러 이미지만 활용하여 데이터 처리부하를 최소화할 수 있으며, 컬러 정보를 컬러 이미지로 보충하여 성별 인식 정확도를 더욱 향상시킬 수 있다.
<성별인식 기반 매장관리방법>
이하, 이러한 딥러닝 기반 성별 인식 방법에 기초하여 매장을 관리하는 서비스를 운영하는 방법을 상세히 설명한다.
도 6은 본 발명의 실시예에 따른 성별 인식방법을 이용하여 관리자 단말기(100)가 매장 관리 서비스를 운영하는 방법을 설명하기 위한 흐름도이다.
먼저, 관리자 단말기(100)는, 카메라(500)로부터 실시간으로 매장에 진입하는 사람에 대한 이미지를 획득할 수 있다. (S201)
관리자 단말기(100)는, 사람이 없는 이미지를 딥러닝 서버(200)로 전송하여 불필요한 딥러닝이 이루어지는 것을 막기 위해, 간단한 이미지 딥러닝을 통해 사람이 있는지 여부를 사전에 판별할 수 있다. (S202)
자세히, 관리자 단말기(100)는, 오브젝트 디텍션을 통해 이미지 내 사람이 있는지 여부와, 사람이 있다면 사람에 대한 바운딩 박스를 획득할 수 있다.
그리고 관리자 단말기(100)는, 획득된 바운딩 박스 내 이미지를 딥러닝 서버(200)로 송신하여, 해당 사람에 대한 성별 인식을 요청할 수 있다.
그리고 관리자 단말기(100)는, 딥러닝 서버(200)로부터 사람의 성별을 인식한 정보를 수신할 수 있다 (S203)
자세히, 관리자 단말기(100)는, 사람의 성별이 남자일 확률(또는, 여자일 확률)을 수신하거나, 사람의 성별을 남자 또는 여자로 특정한 정보를 수신할 수 있다.
실시예에서, 관리자 단말기(100)는, 사람이 특정 성별일 확률을 수신하는 것으로 설명한다.
이후 관리자 단말기(100)는, 성별 인식 정보에 기초하여 매장 내 전체 사람의 남성과 여성의 비율을 산출할 수 있다. (S204)
자세히, 관리자 단말기(100)는, 매장 내 입구에서 카운팅한 매장 내 사람수별로 성별 인식 정보를 각각 곱하여, 매장 내 사람의 남자수와 여자수를 산출하여, 남성과 여성 비율을 산출할 수 있다.
그리고 관리자 단말기(100)는, 여성과 남성의 비율에 따라 출력장치를 제어하여 매장 내 분위기를 변화시킬 수 있다. (S205)
자세히, 관리자 단말기(100)는, 매장 내 여성과 남성의 비율을 동등하게 유지시키기 위해, 특정 성별이 소정의 비율 이상으로 많은 경우, 매장의 내외부를 서로 다른 성별 취향의 분위기를 가지도록 내부 출력장치와 외부 출력장치를 제어할 수 있다.
예를 들어, 관리자 단말기(100)는, 매장 내 여성의 비율이 소정의 비율 이상인 경우, 내부에는 여성이 선호하는 취향의 음악을 출력하도록 출력장치를 제어하고, 외부에는 남성이 선호하는 취향의 음악을 출력하도록 출력장치를 제어할 수 있다.
즉, 관리자 단말기(100)는, 외부에는 남성이 선호하는 음악을 출력하여 남성의 매장 내 진입을 유도하고, 내부에는 여성이 많으므로 여성이 선호하는 음악을 출력하여 여성의 매장 만족도를 향상시킬 수 있다.
그리고 관리자 단말기(100)는, 특정 성별의 비율이 소정의 비율 이하인 경우, 해당 특정 성별의 매장 회원들에게만 홍보 메시지를 송신할 수 있다. (S206)
자세히, 관리자 단말기(100)는, 매장 내 여성의 비율이 소정의 비율 이하인 경우, 여성을 증가시키기 위해 여성회원들에게만 매장에서 사용할 수 있는 당일 할인 쿠폰을 포함하는 홍보 메시지를 송신하여 여성회원들의 매장 방문을 유도할 수 있다.
이와 같이, 관리자 단말기(100)는, 딥러닝 서버(200)를 통해 정확하게 분석된 성별 인식 정보를 기초로 매장 내 남성과 여성 비율을 산출하고, 이에 따라 매장 내 분위기를 변화시켜 매장 내 고객들의 만족도를 향상시킴과 동시에, 외부 출력장치 제어와 홍보 메시지를 통해 비율이 적은 성별에 매장 방문을 유도하여, 매장 내 고객 성별 비율을 유사하게 유지할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
Claims (15)
- 딥러닝 뉴럴 네트워크를 포함하는 딥러닝 서버가 이미지 딥러닝을 통해 사람의 성별 인식을 수행하는 방법으로서,
상기 사람을 촬영한 컬러 이미지를 획득하는 단계;
상기 획득된 컬러 이미지를 오브젝트 디텍션(object detection)하여 상기 컬러 이미지 내에서 사람의 전체 영역을 포함하는 바운딩 박스(bounding box)를 추출하는 단계;
상기 바운딩 박스 내 컬러 이미지를 세그멘테이션(segmentation)하여 상기 사람에 대한 픽셀을 유효픽셀로 특정한 흑백 마스크(mask)를 획득하는 단계; 및
상기 바운딩 박스 내 컬러 이미지와 흑백 마스크를 성별인식 컨볼루션 뉴럴 네트워크(convolutional neural network)에 입력하여 성별 인식 정보를 레이블(label)로 출력하는 단계를 포함하고,
상기 성별 인식 정보를 레이블로 출력하는 단계는,
상기 성별인식 컨볼루션 뉴럴 네트워크를 이용하여, 상기 컬러 이미지로부터 상기 흑백 마스크를 추출하는 단계와, 상기 흑백 마스크를 기반으로 상기 사람의 신체비율 정보를 특징 벡터로 출력하여 남녀 간 신체비율 차이 정보를 획득하는 단계와, 상기 획득된 특징 벡터를 상기 성별 인식 정보에 반영하는 단계를 포함하고,
상기 성별 인식 정보를 레이블로 출력하는 단계는,
상기 성별인식 컨볼루션 뉴럴 네트워크를 이용하여, 상기 흑백 마스크의 크기를 조절하여 획득되는 제 1 특징 맵과, 상기 컬러 이미지의 크기를 조절하여 획득되는 제 2 특징 맵을 결합하여 출력되는 특징 벡터를 기반으로 상기 성별 인식 정보를 출력하는 단계를 더 포함하는
이미지 딥러닝 기반 성별 인식 방법. - 제 1 항에 있어서,
상기 오브젝트 디텍션과 세그멘테이션은 복수의 컨볼루션 뉴럴 네트워크로 구성된 하나의 뉴럴 네트워크에서 수행되는
이미지 딥러닝 기반 성별 인식 방법. - 제 2 항에 있어서,
상기 하나의 뉴럴 네트워크는,
입력 이미지를 적어도 1회 컨볼루션 레이어(Convolution layer)를 통과시키는 제 1 컨볼루션 뉴럴 네트워크와, 롤 풀링 레이어와 풀리 커넥티드 레이어와 소프트 맥스와 바운딩 박스 리그레서로 구성된 제 2 컨볼루션 뉴럴 네트워크와, 상기 추출된 바운딩 박스 내 컬러 이미지에서 상기 흑백 마스크를 추출하는 제 3 컨볼루션 뉴럴 네트워크를 포함하는
이미지 딥러닝 기반 성별 인식 방법. - 제 1 항에 있어서,
상기 성별인식 컨볼루션 뉴럴 네트워크는,
Resnet-101, Resnet-152, VGG16 또는 VGG19의 구조로 구출된 컨볼루션 뉴럴 네트워크인
이미지 딥러닝 기반 성별 인식 방법. - 제 1 항에 있어서,
상기 컬러 이미지는,
상기 사람의 측면을 촬영한 이미지 또는 상기 사람의 후면을 촬영한 이미지인
이미지 딥러닝 기반 성별 인식 방법. - 삭제
- 제 1 항에 있어서,
상기 성별인식 컨볼루션 뉴럴 네트워크는,
상기 흑백 마스크의 크기를 조절하여 제 1 특징 맵을 출력하는 제 4 컨벌루션 뉴럴 네트워크와, 상기 바운딩 박스의 컬러 이미지의 크기를 조절하여 제 2 특징 맵을 출력하는 제 5 컨볼루션 뉴럴 네트워크와, 상기 제 1 특징 맵과 제 2 특징 맵을 결합하여 특징 백터를 출력하는 제 6 컨볼루션 뉴럴 네트워크와, 상기 특징 백터를 입력하면 성별 인식 정보를 레이블로 출력하는 풀리 커넥티드 레이어로 구성된
이미지 딥러닝 기반 성별 인식 방법. - 성별인식을 수행하기 위한 딥러닝 뉴럴 네트워크 데이터를 저장하는 메모리; 및
상기 메모리의 데이터를 독출하여 이미지 딥러닝 기반 성별 인식을 수행하는 데이터 처리부를 포함하고,
상기 데이터 처리부는,
사람을 촬영한 컬러 이미지를 획득하고,
상기 획득된 컬러 이미지를 오브젝트 디텍션(object detection)하여 상기 컬러 이미지 내에서 사람의 전체 영역을 포함하는 바운딩 박스(bounding box)를 추출하며,
상기 바운딩 박스 내 컬러 이미지를 세그멘테이션(segmentation)하여 상기 사람에 대한 픽셀을 유효픽셀로 특정한 흑백 마스크(mask)를 획득하고,
상기 바운딩 박스 내 컬러 이미지와 흑백 마스크를 성별인식 컨볼루션 뉴럴 네트워크(convolutional neural network)에 입력하여 성별 인식 정보를 레이블(label)로 출력하는 데이터 처리를 수행하고,
상기 데이터 처리부는,
상기 성별인식 컨볼루션 뉴럴 네트워크를 이용하여, 상기 컬러 이미지로부터 상기 흑백 마스크를 추출하고, 상기 흑백 마스크를 기반으로 상기 사람의 신체비율 정보를 특징 벡터로 출력하여 남녀 간 신체비율 차이 정보를 획득하며, 상기 획득된 특징 벡터를 상기 성별 인식 정보에 반영하고,
상기 데이터 처리부는,
상기 성별인식 컨볼루션 뉴럴 네트워크를 이용하여, 상기 흑백 마스크의 크기를 조절하여 획득되는 제 1 특징 맵과, 상기 컬러 이미지의 크기를 조절하여 획득되는 제 2 특징 맵을 결합하여 출력되는 특징 벡터를 기반으로 상기 성별 인식 정보를 출력하는
이미지 딥러닝 기반 성별 인식 시스템. - 제 8 항에 있어서,
상기 데이터 처리부는,
상기 오브젝트 디텍션과, 상기 세그멘테이션을 복수의 컨볼루션 뉴럴 네트워크로 구축된 하나의 뉴럴 네트워크를 통해 수행하는
이미지 딥러닝 기반 성별 인식 시스템. - 제 9 항에 있어서,
상기 하나의 뉴럴 네트워크는,
입력 이미지를 적어도 1회 컨볼루션 레이어(Convolution layer)를 통과시키는 제 1 컨볼루션 뉴럴 네트워크와, 롤 풀링 레이어와 풀리 커넥티드 레이어와 소프트 맥스와 바운딩 박스 리그레서로 구성된 제 2 컨볼루션 뉴럴 네트워크와, 상기 추출된 바운딩 박스 내 컬러 이미지에서 상기 흑백 마스크를 추출하는 제 3 컨볼루션 뉴럴 네트워크를 포함하는
이미지 딥러닝 기반 성별 인식 시스템. - 제 8 항에 있어서,
상기 성별인식 컨볼루션 뉴럴 네트워크는,
Resnet-101, Resnet-152, VGG16 또는 VGG19의 구조로 구출된 컨볼루션 뉴럴 네트워크인
이미지 딥러닝 기반 성별 인식 시스템. - 제 8 항에 있어서,
상기 컬러 이미지는,
상기 사람의 측면을 촬영한 이미지 또는 상기 사람의 후면을 촬영한 이미지인
이미지 딥러닝 기반 성별 인식 시스템. - 삭제
- 제 8 항에 있어서,
상기 성별인식 컨볼루션 뉴럴 네트워크는,
상기 흑백 마스크의 크기를 조절하여 제 1 특징 맵을 출력하는 제 4 컨벌루션 뉴럴 네트워크와, 상기 바운딩 박스의 컬러 이미지의 크기를 조절하여 제 2 특징 맵을 출력하는 제 5 컨볼루션 뉴럴 네트워크와, 상기 제 1 특징 맵과 제 2 특징 맵을 결합하여 특징 백터를 출력하는 제 6 컨볼루션 뉴럴 네트워크와, 상기 특징 백터를 입력하면 성별 인식 정보를 레이블로 출력하는 풀리 커넥티드 레이어로 구성된
이미지 딥러닝 기반 성별 인식 시스템. - 성별 인식을 수행하는 딥러닝 서버와 연동된 관리자 단말기에서 성별 인식 기반 매장 관리 서비스를 수행하는 방법으로서,
실시간으로 이미지를 획득하는 단계;
상기 획득된 이미지를 상기 딥러닝 서버에 전송하고, 상기 획득된 이미지 내 사람에 대한 성별 인식 정보를 수신하는 단계;
상기 성별 인식 정보에 기초하여 매장 내 남성 및 여성의 비율을 산출하는 단계;
상기 여성과 남성의 비율에 따라서 매장 내부 출력장치를 제어하는 단계; 및
상기 여성과 남성의 비율에 따라서 매장 외부 출력장치를 상기 매장 내부 출력장치와 다르게 제어하는 단계를 포함하고,
상기 딥러닝 서버는,
성별인식 컨볼루션 뉴럴 네트워크를 이용하여, 상기 이미지로부터 흑백 마스크를 추출하고, 상기 흑백 마스크를 기반으로 상기 사람의 신체비율 정보를 특징 벡터로 출력하여 남녀 간 신체비율 차이 정보를 획득하며, 상기 획득된 특징 벡터를 상기 성별 인식 정보에 반영하고,
상기 딥러닝 서버는,
상기 성별인식 컨볼루션 뉴럴 네트워크를 이용하여, 상기 흑백 마스크의 크기를 조절하여 획득되는 제 1 특징 맵과, 상기 이미지의 크기를 조절하여 획득되는 제 2 특징 맵을 결합하여 출력되는 특징 벡터를 기반으로 상기 성별 인식 정보를 제공하는
성별 인식 기반 매장 관리 서비스를 수행하는 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180154560A KR102181144B1 (ko) | 2018-12-04 | 2018-12-04 | 이미지 딥러닝 기반 성별 인식 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180154560A KR102181144B1 (ko) | 2018-12-04 | 2018-12-04 | 이미지 딥러닝 기반 성별 인식 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200071850A KR20200071850A (ko) | 2020-06-22 |
| KR102181144B1 true KR102181144B1 (ko) | 2020-11-20 |
Family
ID=71142309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180154560A KR102181144B1 (ko) | 2018-12-04 | 2018-12-04 | 이미지 딥러닝 기반 성별 인식 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102181144B1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951267A (zh) * | 2020-09-08 | 2020-11-17 | 南方科技大学 | 基于神经网络的性别判断方法、装置、服务器和存储介质 |
| KR20220065250A (ko) | 2020-11-13 | 2022-05-20 | 서동우 | 딥러닝 및 영상처리를 활용한 마스크 판별 웹 관리 시스템 |
| KR20220065193A (ko) | 2020-11-13 | 2022-05-20 | 소재열 | 마스크 인식을 통한 로봇 제어 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101827538B1 (ko) * | 2016-12-28 | 2018-02-09 | 동국대학교 산학협력단 | 성별 인식 장치 및 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140138486A (ko) | 2013-05-24 | 2014-12-04 | 한국전자통신연구원 | 성별 인식 장치 및 방법 |
| KR101796027B1 (ko) | 2015-04-02 | 2017-11-10 | 동국대학교 산학협력단 | 얼굴 영상 기반 성별 인식 방법 및 장치 |
| US10657364B2 (en) * | 2016-09-23 | 2020-05-19 | Samsung Electronics Co., Ltd | System and method for deep network fusion for fast and robust object detection |
-
2018
- 2018-12-04 KR KR1020180154560A patent/KR102181144B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101827538B1 (ko) * | 2016-12-28 | 2018-02-09 | 동국대학교 산학협력단 | 성별 인식 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200071850A (ko) | 2020-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102135478B1 (ko) | 딥러닝 기반 가상 헤어 염색방법 및 시스템 | |
| US11436739B2 (en) | Method, apparatus, and storage medium for processing video image | |
| CN109543714B (zh) | 数据特征的获取方法、装置、电子设备及存储介质 | |
| US11270158B2 (en) | Instance segmentation methods and apparatuses, electronic devices, programs, and media | |
| US20210174146A1 (en) | Training set sufficiency for image analysis | |
| KR102181144B1 (ko) | 이미지 딥러닝 기반 성별 인식 방법 | |
| US9633479B2 (en) | Time constrained augmented reality | |
| CN112200062B (zh) | 一种基于神经网络的目标检测方法、装置、机器可读介质及设备 | |
| US20130223740A1 (en) | Salient Object Segmentation | |
| TW202026948A (zh) | 活體檢測方法、裝置以及儲存介質 | |
| US20220148291A1 (en) | Image classification method and apparatus, and image classification model training method and apparatus | |
| CN111369427A (zh) | 图像处理方法、装置、可读介质和电子设备 | |
| US11158077B2 (en) | Disparity estimation | |
| WO2023071810A1 (zh) | 图像处理 | |
| US11308628B2 (en) | Patch-based image matting using deep learning | |
| WO2021227787A1 (zh) | 训练神经网络预测器的方法、图像处理方法及装置 | |
| US11423630B1 (en) | Three-dimensional body composition from two-dimensional images | |
| CN113033519B (zh) | 活体检测方法、估算网络处理方法、装置和计算机设备 | |
| WO2022218012A1 (zh) | 特征提取方法、装置、设备、存储介质以及程序产品 | |
| CN112749695A (zh) | 文本识别的方法和装置 | |
| CN113569740B (zh) | 视频识别模型训练方法与装置、视频识别方法与装置 | |
| CN112954450A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| US11468571B2 (en) | Apparatus and method for generating image | |
| CN110689546A (zh) | 个性化头像的生成方法、装置、设备及存储介质 | |
| CN111292333B (zh) | 用于分割图像的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |