WO2024136248A1 - 딥러닝 기반의 성별 인식 장치 및 성별 인식 방법 - Google Patents

딥러닝 기반의 성별 인식 장치 및 성별 인식 방법 Download PDF

Info

Publication number
WO2024136248A1
WO2024136248A1 PCT/KR2023/020261 KR2023020261W WO2024136248A1 WO 2024136248 A1 WO2024136248 A1 WO 2024136248A1 KR 2023020261 W KR2023020261 W KR 2023020261W WO 2024136248 A1 WO2024136248 A1 WO 2024136248A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
interest
deep learning
image
head
Prior art date
Application number
PCT/KR2023/020261
Other languages
English (en)
French (fr)
Inventor
박운상
김찬민
이도훈
허승회
김정현
Original Assignee
서강대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교 산학협력단 filed Critical 서강대학교 산학협력단
Publication of WO2024136248A1 publication Critical patent/WO2024136248A1/ko

Links

Images

Definitions

  • the project identification number of the national research and development project that supported this invention is 2022-0-00377, and was sponsored by the Information and Communications Planning and Evaluation Institute of the Ministry of Science and ICT.
  • the research project name is "Development of technology to respond to digital dysfunction”
  • the research project name is “Development of content rating technology based on intelligent analysis/classification to solve the problem of indiscriminate distribution of harmful media,” and the lead organization is Sogang University Industry-Academic Cooperation Foundation.
  • the present invention relates to a machine learning-based gender recognition device and gender recognition method, and more specifically, to extract human objects from captured images such as CCTV, extract head and shoulder areas using skeleton information of the extracted object, and , It relates to a device and method for recognizing the gender of a person in a CCTV video using a pre-trained deep learning model.
  • FIG 1 illustrates examples of CCTV images in which gender recognition is difficult.
  • CCTV images include various appearances of people, examples of which include a front view where the face area is clearly visible, and a back view or side view where the face is not visible. In this case, it is difficult to accurately recognize the gender of the person in the CCTV video. Additionally, because faces appear small in long-distance images, it is difficult to accurately recognize a person's gender even in this case.
  • the purpose of the present invention is to provide a gender recognition device and method configured to recognize gender by extracting the head-shoulder area of a person from a human object in an image using a deep learning model. do.
  • the deep learning model learning system for gender recognition for achieving the above-described technical problem relates to a deep learning model learning system for gender recognition implemented by a computing device that performs machine learning.
  • an object detection unit that detects human areas from original images of learning data using an object detection model
  • a region of interest extractor that specifies a region of interest from the human regions and extracts images for the specified region of interest
  • Deep learning model training to learn a deep learning model for gender recognition using region-of-interest images for human objects extracted from the original images of the learning data and gender information labeled corresponding to each region-of-interest image. wealth; and wherein the region of interest is the head-shoulder region.
  • the region of interest extractor uses a pose detection model to determine a preset joint position of the person with respect to the human area detected by the object detector.
  • a skeleton information extraction unit that extracts and provides skeleton information representing the elements;
  • a reference coordinate value extraction unit that extracts reference coordinate values for obtaining a region of interest from the skeleton information;
  • a region-of-interest specification unit that specifies a region of interest from the human area using reference coordinate values and extracts an image for the specified region of interest. It is desirable to extract and provide an image of the region of interest.
  • the region of interest specification unit sets the center coordinate value, height, and width for the region of interest using the reference coordinate values, and sets the center coordinate value, height, and width for the region of interest. It is desirable to obtain start coordinates (X1, Y1) and end coordinates (X2, Y2) for the region of interest using coordinate values, height, and width to specify the region of interest and extract an image of the region of interest.
  • the reference coordinate values are the coordinate values of both eyes and the coordinate values of both shoulders
  • the region of interest image is the coordinate value of both eyes. It is preferable that the image is for the head-shoulder area specified using the coordinate values and the coordinate values of both shoulders.
  • the gender recognition device based on a deep learning model relates to a gender recognition device based on a deep learning model implemented and pre-trained by a computing device, wherein a predetermined image is input.
  • input unit an object detection unit that detects a human area from the input image using an object detection model; a region of interest extractor that extracts a head-shoulder region image from the detected human region; and a gender recognition unit provided with a pre-trained deep learning model for gender recognition, and applying the head-shoulder region image of the input image to the deep learning model to extract and provide gender information about the human object in the input image. ; is provided.
  • the region of interest extractor uses a pose detection model to determine a preset human joint for the human area detected by the object detector.
  • a skeleton information extraction unit that extracts and provides skeleton information representing locations; a reference coordinate value extraction unit that extracts reference coordinate values for obtaining a head-shoulder area from the skeleton information; and a region of interest specification unit that specifies the head-shoulder region from the human region using reference coordinate values and extracts an image for the specified head-shoulder region, extracting and providing an image of the head-shoulder region. It is desirable to do so.
  • the reference coordinate values are the coordinate values of both eyes and the coordinate values of both shoulders.
  • a gender recognition method based on a deep learning model for gender recognition is a gender recognition method based on a deep learning model implemented by a program executed by a computing device that performs machine learning. Regarding, (a) pre-training a deep learning model for gender recognition; and (b) using the pre-trained deep learning model for gender recognition to recognize and provide the gender of the person in the input image.
  • step (a) includes detecting human areas from original images of learning data using an object detection model (a1). ; (a2) specifying head-shoulder regions from the person regions and extracting head-shoulder region images; (a3) Deep learning model for gender recognition using head-shoulder area images for human objects extracted from the raw images of the learning data and gender information labeled corresponding to each head-shoulder area image. It is desirable to provide a learning step.
  • step (a2) involves creating a skeleton representing the position of a person's joints in the human area using a pose detection model with respect to the detected human area. Extracting and providing information; Extracting and providing reference coordinate values from the skeleton information; And using reference coordinate values, specifying the head-shoulder area from the human area and extracting the head-shoulder area image; extracting and providing the head-shoulder area image, wherein the reference coordinate values are for both eyes. It is desirable that it is the coordinate value of and the coordinate value of both shoulders.
  • step (b) includes: (b1) receiving a predetermined image as input; (b2) detecting a human area in the input image using an object detection model; (b3) extracting a head-shoulder area image from the detected human area; and (b4) applying the head-shoulder region image of the input image to the pre-trained deep learning model to extract and provide gender information about the human object in the input image.
  • the gender recognition device and method according to the present invention recognizes gender using not only the head area but also the shoulder area, thereby classifying gender through a wide area from the head to the shoulders, making it advantageous for gender recognition of people at a distance. .
  • the gender recognition device and method according to the present invention extracts a region of interest using skeleton information estimated by a pose detection model, enabling gender recognition not only from the front, but also from the side or back of people seen on CCTV.
  • the gender classification performance was evaluated using 715 pieces of data (384 men, 331 women, 420 front views, 295 back views), showing an accuracy of 95.25%. gave. Specifically, it showed an accuracy of 95.24% for the front view and 95.25% for the back view. From this, it can be seen that the gender recognition device and method using the deep learning model according to the present invention have accurate and excellent classification performance.
  • Figure 1 illustrates examples of CCTV images in which gender recognition is difficult.
  • Figure 2 is a diagram illustrating the overall configuration of a deep learning model learning system for gender recognition according to the first aspect of the present invention.
  • Figure 3 shows a deep learning model learning system for gender recognition according to the first aspect of the present invention, where (a) is an original image and (b) is a head-shoulder region image extracted from the original image.
  • Figure 4 is a schematic diagram showing how the region of interest extractor specifies a region of interest using skeleton information in the deep learning model learning system for gender recognition according to the first aspect of the present invention.
  • Figure 5 is an example of region-of-interest images extracted from an original image by a region-of-interest extractor in the deep learning model learning system for gender recognition according to the first aspect of the present invention.
  • Figure 6 exemplarily shows the entire process of gender recognition by a deep learning model from an original image in the deep learning model learning system for gender recognition according to the first aspect of the present invention.
  • Figure 7 is a configuration diagram schematically showing the configuration of a gender recognition device based on a deep learning model according to a second aspect of the present invention.
  • the present invention relates to a deep learning model learning system for gender recognition implemented by a computing system that performs machine learning, a gender recognition device and a gender recognition method based on the learned deep learning model.
  • FIG. 2 is a diagram illustrating the overall configuration of a deep learning model learning system for gender recognition according to the first aspect of the present invention.
  • the deep learning model learning system 10 for gender recognition according to the present invention includes a database 100 including training data, an object detection unit 110, a region of interest extractor 120, and a deep learning It is equipped with a model learning unit 130 to extract images of the head-shoulder area, which is a region of interest, from learning data, and to use this to train a deep learning model.
  • the database 100 stores and manages learning data, and the learning data includes original images including human objects and gender information labeled for each human object.
  • the object detection unit 110 detects human areas from original images of learning data using an object detection model.
  • the object detection model is an already known technology, and any model capable of detecting people can be used.
  • the present invention was implemented using the YOLOv7 model.
  • the region of interest extraction unit 120 includes a skeleton information extraction unit 121, a reference coordinate value extraction unit 122, and a region of interest specification unit 123, and selects the region of interest from the human regions detected by the object detection unit. Extract images of the head-shoulder area.
  • the skeleton information extraction unit 121 extracts and provides skeleton information indicating the joint positions of the person for the human area detected by the object detection unit using a pose detection model.
  • the system according to the present invention was implemented using the HRNet-w32 model using open source MMPose.
  • the reference coordinate value specification unit 122 extracts reference coordinate values for obtaining a region of interest from the skeleton information. By using the coordinate values of both eyes and both shoulders as the reference coordinate value, the head and shoulder areas can be specified more accurately.
  • the area of interest specification unit 123 uses reference coordinate values to specify an area of interest from the human area, and extracts and provides an image for the specified area of interest.
  • the system according to the present invention preferably further includes a resizing unit 124 that resizes the head-shoulder region image extracted from the original image to a preset size.
  • the deep learning model learning system having the above-described configuration extracts an image of the head-shoulder area, which is a region of interest, from the original image through an object detection unit and a region of interest extraction unit.
  • Figure 3 shows a deep learning model learning system for gender recognition according to the first aspect of the present invention, where (a) is an original image and (b) is a head-shoulder region image extracted from the original image.
  • Figure 4 is a schematic diagram showing how the region of interest extractor specifies a region of interest using skeleton information in the deep learning model learning system for gender recognition according to the first aspect of the present invention. Referring to FIG. 4, the process of specifying the head-shoulder area, which is a region of interest, from the human area and extracting the head-shoulder area image in the present invention will be described in detail.
  • the reference coordinate values of the original image that is, the coordinate values of both eyes and both shoulders, are obtained from the skeleton information, and using these, x1, y1, x2, Calculate y2, height (h), and width (w).
  • x1, y1, x2, y2, height (h), and width (w) are set as follows.
  • x1 min (X coordinate of left shoulder, X coordinate of right shoulder)
  • y1 min (Y coordinate of left eye, Y coordinate of right eye)
  • x2 max (X coordinate of left shoulder, X coordinate of right shoulder)
  • y2 max (Y coordinate of left shoulder, Y coordinate of right shoulder)
  • center coordinate values (center_x, center_y) of the region of interest are set as follows.
  • center_x x1 + w/2
  • the region of interest is specified as the region set by (X1,Y1) and (X2,Y2), and the region is extracted as the region of interest image.
  • R, X1,Y1,X2,Y2 are set as follows.
  • ⁇ is a proportionality constant for appropriately adjusting the ratio of the head and shoulder areas in the area of interest, and is preferably set to a value in the range of 1 to 2. In the present invention, ⁇ is set to 1.3 for calculation. do.
  • the region of interest extractor according to the present invention specifies and provides a region of interest image including the head-shoulder region not only from the front view image but also from the back view and side view images.
  • Figure 5 is an example of region-of-interest images extracted from an original image by a region-of-interest extractor in the deep learning model learning system for gender recognition according to the first aspect of the present invention.
  • the region of interest extractor according to the present invention enlarges and extracts a head-shoulder region image including the head-shoulder region of the back of a person and provides it.
  • the deep learning model learning unit 130 uses head-shoulder region images for human objects extracted from the original images, which are the learning data, and gender information labeled corresponding to each head-shoulder region image, Modeling is done by training a deep learning model for gender recognition.
  • the deep learning model consists of EfficientNet-B0, which consists of several CNNs, and one Fully Connected Layer (Linear) to extract features from the input image.
  • the input data of the deep learning model is a head-shoulder area image obtained by readjusting a specific head-shoulder area for one person obtained by the object detection unit to a preset size (e.g., 224*224).
  • a preset size e.g., 224*224
  • the system according to the present invention exemplarily uses RGB channels for the head-shoulder area image
  • the final shape may be 224*224*3.
  • HorizontalFlip, GridDistortion, and Lambda augmentation techniques were applied to the input image during training.
  • the augmentation methods used Albumentations, an external library, and default values were applied to the parameters.
  • the gender of the person included in the input image is determined and gender information is provided. For example, an output value of 0 may indicate a male, and an output value of 1 may indicate a female.
  • Figure 6 exemplarily shows the entire process of gender recognition by a deep learning model from an original image in the deep learning model learning system for gender recognition according to the first aspect of the present invention.
  • the gender recognition device is a device implemented by a computing device, and is characterized by being based on a deep learning model learned by the deep learning model learning system described above.
  • Figure 7 is a configuration diagram schematically showing the configuration of a gender recognition device based on a deep learning model according to a second aspect of the present invention.
  • the gender recognition device 40 based on the deep learning model according to the present invention includes an image input unit 42, an object detection unit 44, a region of interest extraction unit 46, and a gender recognition unit 48. ) is provided.
  • the image input unit 42 inputs an image for gender recognition.
  • the object detection unit 44 detects a human area in the image input to the image input unit using an object detection model.
  • the region of interest extraction unit 46 includes a skeleton information extraction unit, a reference coordinate value extraction unit, a region of interest specification unit, and a size readjustment unit, and specifies the head-shoulder area as the area of interest from the human area detected by the object detection unit. After extracting the head-shoulder area image, the size of the head-shoulder area image is adjusted and output.
  • the object detection unit and the region of interest extraction unit are configured and operated in the same manner as the object detection unit 110 and the region of interest extraction unit 120 of the deep learning model learning system described above.
  • the gender recognition unit 48 is provided with a deep learning model for gender recognition pre-trained by the deep learning model learning system described above, and applies the head-shoulder region image extracted from the input image to the deep learning model. , gender information about human objects in the input image is extracted and provided.
  • the gender recognition method according to the present invention is implemented by a program executed by a computing device that performs machine learning.
  • a gender recognition method based on a deep learning model includes the steps of pre-training a deep learning model for gender recognition, and using the pre-trained deep learning model for gender recognition to identify a person in an input image. Steps are provided to recognize and provide gender recognition.
  • the step of pre-training the deep learning model for gender recognition includes detecting human areas from original images of learning data using an object detection model, and using a pose detection model to , extracting and providing skeleton information indicating the position of a person's joints in the human area, extracting and providing reference coordinate values including coordinate values of both eyes and both shoulders from the skeleton information, and providing reference coordinate values.
  • a head-shoulder region from the human region and extracting a head-shoulder region image
  • head-shoulder region images and each head-shoulder region for human objects extracted from the original images of the learning data A step of training a deep learning model for gender recognition is provided using gender information labeled in response to region images.
  • the step of recognizing and providing the gender of a person in an input image using the deep learning model includes receiving a predetermined image, detecting a human area using an object detection model for the input image, Extracting skeleton information from the detected person area, extracting reference coordinate values including the coordinate values of both eyes and both shoulders from the skeleton information, using the reference coordinate values, head-shoulders from the person area Specifying an area and extracting a head-shoulder area image; and applying the head-shoulder area image of the input image to the pre-trained deep learning model to extract and provide gender information about the human object in the input image. There are steps to do this.

Landscapes

  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 모델을 이용한 성별 인식 장치 및 방법에 관한 것이다. 상기 성별 인식 장치는, 입력 영상에 대하여, 객체 검출 모델을 이용하여 사람 영역을 검출하는 객체 검출부; 상기 사람 영역으로부터 머리-어깨 영역 이미지를 추출하는 관심 영역 추출부; 및 입력 영상의 머리-어깨 영역 이미지를 사전 학습된 딥러닝 모델에 적용하여, 입력 영상의 사람 객체에 대한 성별 정보를 추출하여 제공하는 성별 인식부;를 구비한다. 상기 관심 영역 추출부는, 객체 검출 모델을 이용하여 사람 영역을 검출하고, 포즈 검출 모델을 이용하여 사람 영역에 대한 스켈레톤 정보를 추출하고, 상기 스켈레톤 정보로부터 머리-어깨 영역을 획득하기 위한 기준 좌표값들을 추출하고, 기준 좌표값들을 이용하여, 사람 영역으로부터 머리-어깨 영역을 특정하고, 상기 특정된 머리-어깨 영역에 대한 이미지를 추출한다. 상기 기준 좌표값은 양쪽 눈의 좌표값과 양쪽 어깨의 좌표값이다.

Description

딥러닝 기반의 성별 인식 장치 및 성별 인식 방법
본 발명을 지원한 국가연구개발사업의 과제고유번호는 2022-0-00377로서, 과학기술정보통신부의 정보통신기획평가원에 의해 후원되었으며, 연구사업명은 "디지털역기능대응기술개발"이며, 연구과제명은 "무분별적 유해성 미디어 배포 문제 해결을 위한 지능적 분석/분류 기반 콘텐츠 등급분류 기술 개발"이며, 주관기관은 서강대학교 산학협력단이다.
본 발명은 기계 학습 기반의 성별 인식 장치 및 성별 인식 방법에 관한 것으로서, 더욱 구체적으로는 CCTV 등의 촬영 영상으로부터 사람 객체를 추출하고, 추출된 객체의 스켈레톤 정보를 이용하여 머리와 어깨 영역을 추출하고, 이를 이용하여 사전 학습된 딥러닝 모델을 통해 CCTV 영상 내의 사람에 대한 성별을 인식하는 장치 및 그 방법에 관한 것이다.
이미지에서 사람의 대표적인 특징인 성별을 인식하는 기술은 컴퓨터 비전 분야의 주요 과제로서, 현재도 연구가 활발하게 진행되고 있으며 많은 산업분야에서 요구되는 기술이다. 현재까지의 주된 연구방향은 객체 검출을 통해 얼굴 영역을 검출하고 딥러닝 모델을 통해 성별을 분류하는 방식이다.
CCTV의 경우, 사람을 촬영하지만 항상 얼굴이 보인다는 보장이 없다. 또한, 촬영 객체가 CCTV로부터 먼 위치에 존재하는 경우에는 작은 얼굴만이 캡쳐되므로, 이런 경우 성별을 분류하는 데에는 어려움이 있다. 따라서, 얼굴을 넘어서 보다 넓은 영역을 특정하고, 뒷모습에서도 성별을 분류할 수 있도록 하는 접근 방법이 필요하다.
도 1은 CCTV 영상들 중 성별 인식이 어려운 영상들을 예시적으로 나타낸 것들이다. 도 1에 도시된 바와 같이, CCTV의 영상들은 사람의 다양한 모습들을 포함하게 되며, 그 예로서 얼굴 영역이 분명하게 나타나는 앞 모습, 얼굴이 보이지 않는 뒷모습이나 옆모습 등을 포함한다. 이런 경우, CCTV 영상내의 사람에 대한 성별을 정확하게 인식해 내기가 어렵다. 또한, 원거리 영상에서는 얼굴이 작게 나타나기 때문에, 이 경우에도 사람에 대한 성별을 정확하게 인식하기가 어렵다.
또한, CCTV 영상에서 사람들이 걸어가는 등의 움직임이 있는 경우 모션블러 현상등이 발생함으로써, 사람의 성별을 정확하게 인식하기가 어렵다.
전술한 문제점을 해결하기 위하여 본 발명은 딥러닝 모델을 이용하여, 영상의 사람 객체로부터 사람의 머리-어깨 영역을 추출하여 성별을 인식할 수 있도록 구성된 성별 인식 장치 및 그 방법을 제공하는 것을 목적으로 한다.
전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템은, 기계 학습을 수행하는 컴퓨팅 장치에 의해 구현된 성별 인식을 위한 딥러닝 모델 학습 시스템에 관한 것으로서, 객체 검출 모델을 이용하여, 학습 데이터의 원본 이미지들로부터 사람 영역들을 검출하는 객체 검출부; 상기 사람 영역들로부터 관심 영역을 특정하고, 상기 특정된 관심 영역에 대한 이미지들을 추출하는 관심 영역 추출부; 상기 학습 데이터의 원본 이미지들로부터 추출된 사람 객체들에 대한 관심 영역 이미지들과 각 관심 영역 이미지들에 대응하여 라벨링된 성별 정보를 이용하여, 성별 인식을 위한 딥러닝 모델을 학습시키는 딥러닝 모델 학습부; 를 구비하고, 상기 관심 영역은 머리-어깨 영역인 것을 특징으로 한다.
전술한 제1 특징에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템에 있어서, 상기 관심 영역 추출부는, 포즈 검출 모델을 이용하여, 상기 객체 검출부에 의해 검출된 사람 영역에 대하여, 사전 설정된 사람의 관절 위치들을 나타내는 스켈레톤 정보를 추출하여 제공하는 스켈레톤 정보 추출부; 상기 스켈레톤 정보로부터 관심 영역을 획득하기 위한 기준 좌표값들을 추출하는 기준 좌표값 추출부; 및 기준 좌표값들을 이용하여, 사람 영역으로부터 관심 영역을 특정하고, 상기 특정된 관심 영역에 대한 이미지를 추출하는 관심 영역 특정부;를 구비하여, 관심 영역 이미지를 추출하여 제공하는 것이 바람직하다.
전술한 제1 특징에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템에 있어서, 상기 관심 영역 특정부는, 상기 기준 좌표값들을 이용하여, 관심 영역에 대한 중심 좌표값, 높이 및 폭을 설정하고, 상기 중심 좌표값, 높이 및 폭을 이용하여 관심 영역에 대한 시작 좌표(X1,Y1)와 끝 좌표(X2,Y2)을 획득하여 관심 영역을 특정하고, 관심 영역 이미지를 추출하는 것이 바람직하다.
전술한 제1 특징에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템에 있어서, 상기 기준 좌표값은 양쪽 눈의 좌표값과 양쪽 어깨의 좌표값인 것을 특징으로 하며, 상기 관심 영역 이미지는 상기 양쪽 눈의 좌표값과 양쪽 어깨의 좌표값을 이용하여 특정된 머리-어깨 영역에 대한 이미지인 것이 바람직하다.
본 발명의 제2 특징에 따른 딥러닝 모델을 기반으로 한 성별 인식 장치는, 컴퓨팅 장치에 의해 구현되고 사전 학습된 딥러닝 모델을 기반으로 한 성별 인식 장치에 관한 것으로서, 소정의 영상이 입력되는 영상 입력부; 상기 입력 영상에 대하여, 객체 검출 모델을 이용하여 사람 영역을 검출하는 객체 검출부; 상기 검출된 사람 영역으로부터 머리-어깨 영역 이미지를 추출하는 관심 영역 추출부; 및 사전 학습된 성별 인식을 위한 딥러닝 모델을 구비하고, 상기 입력 영상의 머리-어깨 영역 이미지를 상기 딥러닝 모델에 적용하여, 입력 영상의 사람 객체에 대한 성별 정보를 추출하여 제공하는 성별 인식부;를 구비한다.
전술한 제2 특징에 따른 딥러닝 모델을 기반으로 한 성별 인식 장치에 있어서, 상기 관심 영역 추출부는, 포즈 검출 모델을 이용하여, 상기 객체 검출부에 의해 검출된 사람 영역에 대하여, 사전 설정된 사람의 관절 위치들을 나타내는 스켈레톤 정보를 추출하여 제공하는 스켈레톤 정보 추출부; 상기 스켈레톤 정보로부터 머리-어깨 영역을 획득하기 위한 기준 좌표값들을 추출하는 기준 좌표값 추출부; 및 기준 좌표값들을 이용하여, 사람 영역으로부터 머리-어깨 영역을 특정하고, 상기 특정된 머리-어깨 영역에 대한 이미지를 추출하는 관심 영역 특정부;를 구비하여, 머리-어깨 영역 이미지를 추출하여 제공하는 것이 바람직하다.
전술한 제2 특징에 따른 딥러닝 모델을 기반으로 한 성별 인식 장치에 있어서, 상기 기준 좌표값은 양쪽 눈의 좌표값과 양쪽 어깨의 좌표값인 것이 바람직하다.
본 발명의 제3 특징에 따른 성별 인식을 위한 딥러닝 모델을 기반으로 한 성별 인식 방법은, 기계 학습을 수행하는 컴퓨팅 장치에 의해 실행되는 프로그램에 의해 구현된 딥러닝 모델을 기반으로 한 성별 인식 방법에 관한 것으로서, (a) 성별 인식을 위한 딥러닝 모델을 사전 학습시키는 단계; 및 (b) 상기 사전 학습된 성별 인식을 위한 딥러닝 모델을 이용하여, 입력 영상 내의 사람에 대한 성별을 인식하여 제공하는 단계;를 구비한다.
전술한 제3 특징에 따른 딥러닝 모델을 기반으로 한 성별 인식 방법에 있어서, 상기 (a) 단계는, (a1) 객체 검출 모델을 이용하여, 학습 데이터의 원본 이미지들로부터 사람 영역들을 검출하는 단계; (a2) 상기 사람 영역들로부터 머리-어깨 영역들을 특정하고, 머리-어깨 영역 이미지들을 추출하는 단계; (a3) 상기 학습 데이터의 원보 이미지들로부터 추출된 사람 객체들에 대한 머리-어깨 영역 이미지들과 각 머리-어깨 영역 이미지들에 대응하여 라벨링된 성별 정보를 이용하여, 성별 인식을 위한 딥러닝 모델을 학습시키는 단계;를 구비하는 것이 바람직하다.
전술한 제3 특징에 따른 딥러닝 모델을 기반으로 한 성별 인식 방법에 있어서, (a2) 단계는, 상기 검출된 사람 영역에 대하여, 포즈 검출 모델을 이용하여 사람 영역의 사람의 관절 위치를 나타내는 스켈레톤 정보를 추출하여 제공하는 단계; 상기 스켈레톤 정보로부터 기준 좌표값들을 추출하여 제공하는 단계; 및 기준 좌표값들을 이용하여, 사람 영역으로부터 머리-어깨 영역을 특정하고, 머리-어깨 영역 이미지를 추출하는 단계;를 구비하여 머리-어깨 영역 이미지를 추출하여 제공하고, 상기 기준 좌표값은 양쪽 눈의 좌표값과 양쪽 어깨의 좌표값인 것이 바람직하다.
전술한 제3 특징에 따른 딥러닝 모델을 기반으로 한 성별 인식 방법에 있어서, 상기 (b) 단계는, (b1) 소정의 영상을 입력받는 단계; (b2) 상기 입력 영상에 대하여, 객체 검출 모델을 이용하여 사람 영역을 검출하는 단계; (b3) 상기 검출된 사람 영역으로부터 머리-어깨 영역 이미지를 추출하는 단계; 및 (b4) 상기 입력 영상의 머리-어깨 영역 이미지를 사전 학습된 상기 딥러닝 모델에 적용하여, 입력 영상의 사람 객체에 대한 성별 정보를 추출하여 제공하는 단계;를 구비하는 것이 바람직하다.
본 발명에 따른 성별 인식 장치 및 방법은 머리 영역 뿐만 아니라 어깨 영역까지 이용하여 성별을 인식함으로써, 머리부터 어깨까지의 넓은 영역을 통해 성별을 분류하므로, 먼 거리에 있는 사람에 대한 성별 인식에도 유리하다.
또한, 본 발명에 따른 성별 인식 장치 및 방법은, 포즈 검출 모델에 의해 추정된 스켈레톤 정보를 이용하여 관심 영역을 추출함으로써, CCTV에서 보이는 사람들에 대해 앞모습 뿐만 아니라 옆모습이나 뒷모습까지도 성별 인식을 가능케 한다.
한편, 본 발명에 따라 구현된 성별 인식 장치에 대하여, 715장의 데이터(남자 384명, 여자 331명, 앞모습 420명, 뒷모습 295명)를 이용하여 성별 분류 성능을 평가한 결과 95.25%의 정확도를 보여 주었다. 구체적으로는 앞모습에 대하여 95.24%, 뒷모습에 대하여 95.25%의 정확도를 보여 주었다. 이로부터, 본 발명에 따른 딥러닝 모델을 이용한 성별 인식 장치 및 방법은 분류 성능이 정확하고 우수함을 알 수 있다.
도 1은 CCTV 영상들 중 성별 인식이 어려운 영상들을 예시적으로 나타낸 것들이다.
도 2는 본 발명의 제1 태양에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템을 전체적으로 도시한 구성도이다.
도 3은 본 발명의 제1 태양에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템에 있어서, (a)는 원본 이미지이며, (b)는 원본 이미지로부터 추출된 머리-어깨 영역 이미지이다.
도 4는 본 발명의 제1 태양에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템에 있어서, 상기 관심 영역 추출부가 스켈레톤 정보를 이용하여 관심 영역을 특정하는 것을 설명하기 위하여 도시한 모식도들이다.
도 5는 본 발명의 제1 태양에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템에 있어서, 관심 영역 추출부에 의해 원본 이미지로부터 추출된 관심 영역 이미지들의 예시이다.
도 6은 본 발명의 제1 태양에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템에 있어서, 원본 이미지로부터 딥러닝 모델에 의해 성별 인식되는 전체 과정을 예시적으로 도시한 것이다.
도 7은 본 발명의 제2 태양에 따른 딥러닝 모델을 기반으로 한 성별 인식 장치의 구성을 개략적으로 도시한 구성도이다.
본 발명은 기계 학습을 수행하는 컴퓨팅 시스템에 의해 구현된 성별 인식을 위한 딥러닝 모델 학습 시스템, 상기 학습된 딥러닝 모델을 기반으로 한 성별 인식 장치 및 성별 인식 방법에 관한 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 제1 태양에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템에 대하여 구체적으로 설명한다. 도 2는 본 발명의 제1 태양에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템을 전체적으로 도시한 구성도이다. 도 2를 참조하면, 본 발명에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템(10)은, 학습 데이터를 포함하는 데이터베이스(100), 객체 검출부(110), 관심 영역 추출부(120) 및 딥러닝 모델 학습부(130)을 구비하여, 학습 데이터로부터 관심 영역인 머리-어깨 영역에 대한 이미지를 추출하고, 이를 이용하여 딥러닝 모델을 학습시키는 것을 특징으로 한다.
상기 데이터 베이스(100)는 학습 데이터들이 저장 및 관리되며, 상기 학습 데이터는 사람 객체를 포함하는 원본 이미지들 및 각 사람 객체에 대해 라벨링된 성별 정보들을 포함한다.
상기 객체 검출부(110)는 객체 검출 모델을 이용하여, 학습 데이터의 원본 이미지들로부터 사람 영역들을 검출한다. 객체 검출 모델은 이미 공지된 기술로서, 사람 검출이 가능한 모델이라면 무엇이라도 사용가능하다. 본 발명에서는 YOLOv7 모델을 사용하여 구현하였다.
상기 관심 영역 추출부(120)는 스켈레톤 정보 추출부(121), 기준 좌표값 추출부(122), 관심 영역 특정부(123)를 구비하여, 상기 객체 검출부에 의해 검출된 사람 영역들로부터 관심 영역인 머리-어깨 영역에 대한 이미지들을 추출한다.
상기 스켈레톤 정보 추출부(121)는, 포즈 검출 모델을 이용하여, 상기 객체 검출부에 의해 검출된 사람 영역에 대하여, 사람의 관절 위치들을 나타내는 스켈레톤 정보를 추출하여 제공한다. 본 발명에 따른 시스템은 오픈 소스인 MMPose를 이용해 HRNet-w32 모델을 사용하여 구현하였다.
상기 기준 좌표값 특정부(122)는, 상기 스켈레톤 정보로부터 관심 영역을 획득하기 위한 기준 좌표값들을 추출한다. 상기 기준 좌표값은 양쪽 눈의 좌표값과 양쪽 어깨의 좌표값을 사용함으로써, 머리 및 어깨 영역을 보다 정확하게 특정할 수 있게 된다.
상기 관심 영역 특정부(123)는 기준 좌표값들을 이용하여, 사람 영역으로부터 관심 영역을 특정하고, 상기 특정된 관심 영역에 대한 이미지를 추출하여 제공한다.
본 발명에 따른 시스템은 원본 이미지로부터 추출된 상기 머리-어깨 영역 이미지의 크기를 사전 설정된 크기로 재조정하는 크기 재조정부(124)를 더 구비하는 것이 바람직하다.
전술한 구성을 갖는 딥러닝 모델 학습 시스템은 객체 검출부 및 관심 영역 추출부를 통해, 원본 이미지로부터 관심 영역인 머리-어깨 영역의 이미지를 추출한다. 도 3은 본 발명의 제1 태양에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템에 있어서, (a)는 원본 이미지이며, (b)는 원본 이미지로부터 추출된 머리-어깨 영역 이미지이다.
도 4는 본 발명의 제1 태양에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템에 있어서, 상기 관심 영역 추출부가 스켈레톤 정보를 이용하여 관심 영역을 특정하는 것을 설명하기 위하여 도시한 모식도들이다. 도 4를 참조하여, 본 발명에서 사람 영역으로부터 관심 영역인 머리-어깨 영역을 특정하고 머리-어깨 영역 이미지를 추출하는 과정을 구체적으로 설명한다.
먼저, 도 4의 (a)를 참조하면, 스켈레톤 정보로부터 원본 이미지의 기준 좌표값, 즉 양쪽 눈의 좌표값 및 양쪽 어깨의 좌표값을 획득하고, 이를 이용하여 1차적으로 x1, y1, x2, y2, 높이(h), 폭(w)을 계산한다. 원본 이미지의 왼쪽 상단을 좌표의 영점(0,0)으로 설정하고, x 좌표는 아래 방향으로 증가하고 y 좌표는 오른쪽 방향으로 증가하는 것으로 설정한다. 도 3의 (a)에 있어서, x1, y1, x2, y2, 높이(h), 폭(w)는 아래와 같이 설정된다.
x1 = min (왼쪽 어깨의 X 좌표, 오른쪽 어깨의 X 좌표)
y1 = min (왼쪽 눈의 Y 좌표, 오른쪽 눈의 Y 좌표)
x2 = max (왼쪽 어깨의 X 좌표, 오른쪽 어깨의 X 좌표)
y2 = max (왼쪽 어깨의 Y 좌표, 오른쪽 어깨의 Y 좌표)
w = x2 - x1
h = y2 - y1
다음, 도 4의 (b)를 참조하면, y1과 높이(h)를 적절하게 보정한 후, 관심 영역의 중심 좌표값(center_x, center_y)을 아래와 같이 설정한다.
y1 = max (0, y1-h/2 )
h = y2 - y1
center_x = x1 + w/2
cwnter_y = y1 + h/2
다음, 도 4의 (c)를 참조하면, 관심 영역은 (X1,Y1)과 (X2,Y2)에 의해 설정되는 영역으로 특정되고, 해당 영역이 관심 영역 이미지로 추출된다. R, X1,Y1,X2,Y2 는 아래와 같이 설정된다. 여기서, β는 관심 영역에서 머리와 어깨 영역의 비율을 적절하게 조정하기 위한 비례 상수로서, 1~2 의 범위의 값으로 설정하는 것이 바람직하며, 본 발명에서는 β = 1.3 으로 예시적으로 설정하여 계산한다.
R = max (w,h) * β
X1 = center_x - R/2
Y1 = center_y - R/2
X2 = center_x + R/2
Y2 = center_y + R/2
전술한 과정에 의하여, 도 3의 (b)에 도시된 바와 같은 머리 및 어깨 영역을 포함한 관심 영역 이미지를 추출하게 된다.
한편, 포즈 검출 모델은 뒷모습 또는 옆모습에 대한 이미지로부터도 어깨뿐만 아니라 눈에 대한 대략적인 좌표값을 제공하게 된다. 따라서, 본 발명에 따른 관심 영역 추출부는, 앞모습에 대한 이미지 뿐만 아니라, 뒷모습, 옆모습에 대한 이미지들로부터도 머리-어깨 영역을 포함한 관심 영역 이미지를 특정하여 제공하게 된다. 도 5는 본 발명의 제1 태양에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템에 있어서, 관심 영역 추출부에 의해 원본 이미지로부터 추출된 관심 영역 이미지들의 예시이다. 도 5에 도시된 바와 같이, 본 발명에 따른 관심 영역 추출부는 사람의 뒷모습에 대한 머리-어깨 영역을 포함하는 머리-어깨 영역 이미지를 확대 및 추출하여 제공하게 된다.
상기 딥러닝 모델 학습부(130)는 상기 학습 데이터인 원본 이미지들로부터 추출된 사람 객체들에 대한 머리-어깨 영역 이미지들과 각 머리-어깨 영역 이미지들에 대응하여 라벨링된 성별 정보를 이용하여, 성별 인식을 위한 딥러닝 모델을 훈련시킴으로써 모델링한다.
상기 딥러닝 모델은 입력 이미지로부터 특징(feature)를 추출하기 위해 여러 개의 CNN으로 이루어진 EfficientNet-B0와 1개의 Fully Connected Layer(Linear)로 구성된다.
상기 딥러닝 모델의 입력 데이터는 객체 검출부에 의해 얻어진 사람 한 명에 대해 특정한 머리-어깨 영역을 사전 설정된 크기(예컨대 224*224)로 재조정하여 얻은 머리-어깨 영역 이미지이다. 특히, 본 발명에 따른 시스템은, 예시적으로 머리-어깨 영역 이미지는 RGB 채널을 이용하였으므로, 최종적인 형태는 224*224*3 이 될 수 있다. 한편, 본 발명에 따른 시스템을 구현하기 위하여, 학습간 입력 이미지에는 HorizontalFlip, GridDistortion, Lambda 증강 기법을 적용하였으며, 해당 증강 방법들은 외부 라이브러리인 Albumentations을 이용하였으며 파라미터는 기본값을 적용하였다.
본 발명에 따른 딥러닝 모델을 통과하면, 입력된 이미지에 포함된 사람의 성별을 판단하여 성별 정보를 제공한다. 예를 들어, 출력값이 0인 경우 남성이며, 1인 경우 여성임을 나타낼 수 있다.
도 6은 본 발명의 제1 태양에 따른 성별 인식을 위한 딥러닝 모델 학습 시스템에 있어서, 원본 이미지로부터 딥러닝 모델에 의해 성별 인식되는 전체 과정을 예시적으로 도시한 것이다.
이하, 본 발명의 제2 태양에 따른 딥러닝 모델을 기반으로 한 성별 인식 장치에 대하여 구체적으로 설명한다. 본 발명에 따른 성별 인식 장치는, 컴퓨팅 장치에 의해 구현된 장치로서, 전술한 딥러닝 모델 학습 시스템에 의해 학습된 딥러닝 모델을 기반으로 한 것을 특징으로 한다.
도 7은 본 발명의 제2 태양에 따른 딥러닝 모델을 기반으로 한 성별 인식 장치의 구성을 개략적으로 도시한 구성도이다. 도 7을 참조하면, 본 발명에 따른 딥러닝 모델을 기반으로 한 성별 인식 장치(40)는, 영상 입력부(42), 객체 검출부(44), 관심 영역 추출부(46) 및 성별 인식부(48)를 구비한다.
상기 영상 입력부(42)는 성별 인식하고자 하는 영상이 입력된다.
상기 객체 검출부(44)는 상기 영상 입력부로 입력된 영상에 대하여, 객체 검출 모델을 이용하여 사람 영역을 검출한다. 상기 관심 영역 추출부(46)는 스켈레톤 정보 추출부, 기준 좌표값 추출부, 관심 영역 특정부 및 크기 재조정부를 구비하여, 상기 객체 검출부에 의해 검출된 사람 영역으로부터 관심 영역인 머리-어깨 영역을 특정하고, 머리-어깨 영역 이미지를 추출한 후, 머리-어깨 영역 이미지의 크기를 조정하여 출력한다. 상기 객체 검출부 및 상기 관심 영역 추출부는 전술한 딥러닝 모델 학습 시스템의 객체 검출부(110) 및 관심 영역 추출부(120)와 각각 동일하게 구성되어 동작된다.
상기 성별 인식부(48)는 전술한 딥러닝 모델 학습 시스템에 의해 사전 학습된 성별 인식을 위한 딥러닝 모델을 구비하고, 상기 입력 영상으로부터 추출된 머리-어깨 영역 이미지를 상기 딥러닝 모델에 적용하여, 입력 영상의 사람 객체에 대한 성별 정보를 추출하여 제공한다.
이하, 본 발명의 제3 태양에 따른 딥러닝 모델을 기반으로 한 성별 인식 방법에 대하여 구체적으로 설명한다. 본 발명에 따른 성별 인식 방법은, 기계 학습을 수행하는 컴퓨팅 장치에 의해 실행되는 프로그램에 의해 구현된다.
본 발명에 따른 딥러닝 모델을 기반으로 한 성별 인식 방법은, 성별 인식을 위한 딥러닝 모델을 사전 학습시키는 단계, 및 상기 사전 학습된 성별 인식을 위한 딥러닝 모델을 이용하여, 입력 영상 내의 사람에 대한 성별을 인식하여 제공하는 단계를 구비한다.
상기 성별 인식을 위한 딥러닝 모델을 사전 학습시키는 단계는, 객체 검출 모델을 이용하여, 학습 데이터의 원본 이미지들로부터 사람 영역들을 검출하는 단계, 포즈 검출 모델을 이용하여, 상기 검출된 사람 영역에 대하여, 사람 영역의 사람의 관절 위치를 나타내는 스켈레톤 정보를 추출하여 제공하는 단계, 상기 스켈레톤 정보로부터 양쪽 눈의 좌표값 및 양쪽 어깨의 좌표값을 포함한 기준 좌표값들을 추출하여 제공하는 단계, 기준 좌표값들을 이용하여, 사람 영역으로부터 머리-어깨 영역을 특정하고, 머리-어깨 영역 이미지를 추출하는 단계, 상기 학습 데이터의 원본 이미지들로부터 추출된 사람 객체들에 대한 머리-어깨 영역 이미지들과 각 머리-어깨 영역 이미지들에 대응하여 라벨링된 성별 정보를 이용하여, 성별 인식을 위한 딥러닝 모델을 학습시키는 단계를 구비한다.
상기 딥러닝 모델을 이용하여 입력 영상 내의 사람에 대한 성별을 인식하여 제공하는 단계는, 소정의 영상을 입력받는 단계, 상기 입력 영상에 대하여, 객체 검출 모델을 이용하여 사람 영역을 검출하는 단계, 상기 검출된 사람 영역으로부터 스켈레톤 정보를 추출하는 단계, 상기 스켈레톤 정보로부터 양쪽 눈의 좌표값 및 양쪽 어깨의 좌표값을 포함한 기준 좌표값들을 추출하는 단계, 기준 좌표값들을 이용하여, 사람 영역으로부터 머리-어깨 영역을 특정하고, 머리-어깨 영역 이미지를 추출하는 단계, 및 상기 입력 영상의 머리-어깨 영역 이미지를 사전 학습된 상기 딥러닝 모델에 적용하여, 입력 영상의 사람 객체에 대한 성별 정보를 추출하여 제공하는 단계를 구비한다.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 기계 학습을 수행하는 컴퓨팅 장치에 의해 구현된 성별 인식을 위한 딥러닝 모델 학습 시스템에 있어서,
    객체 검출 모델을 이용하여, 학습 데이터의 원본 이미지들로부터 사람 영역들을 검출하는 객체 검출부;
    상기 사람 영역들로부터 관심 영역을 특정하고, 상기 특정된 관심 영역에 대한 이미지들을 추출하는 관심 영역 추출부;
    상기 학습 데이터의 원본 이미지들로부터 추출된 사람 객체들에 대한 관심 영역 이미지들과 각 관심 영역 이미지들에 대응하여 라벨링된 성별 정보를 이용하여, 성별 인식을 위한 딥러닝 모델을 학습시키는 딥러닝 모델 학습부;
    를 구비하고, 상기 관심 영역은 머리-어깨 영역인 것을 특징으로 하는 성별 인식을 위한 딥러닝 모델 학습 시스템.
  2. 제1항에 있어서, 상기 관심 영역 추출부는,
    포즈 검출 모델을 이용하여, 상기 객체 검출부에 의해 검출된 사람 영역에 대하여, 사전 설정된 사람의 관절 위치들을 나타내는 스켈레톤 정보를 추출하여 제공하는 스켈레톤 정보 추출부;
    상기 스켈레톤 정보로부터 관심 영역을 획득하기 위한 기준 좌표값들을 추출하는 기준 좌표값 추출부; 및
    기준 좌표값들을 이용하여, 사람 영역으로부터 관심 영역을 특정하고, 상기 특정된 관심 영역에 대한 이미지를 추출하는 관심 영역 특정부;
    를 구비하여, 관심 영역 이미지를 추출하여 제공하는 것을 특징으로 하는 성별 인식을 위한 딥러닝 모델 학습 시스템.
  3. 제2항에 있어서, 상기 관심 영역 특정부는,
    상기 기준 좌표값들을 이용하여, 관심 영역에 대한 중심 좌표값, 높이 및 폭을 설정하고, 상기 중심 좌표값, 높이 및 폭을 이용하여 관심 영역에 대한 시작 좌표(X1,Y1)와 끝 좌표(X2,Y2)을 획득하여 관심 영역을 특정하고, 관심 영역 이미지를 추출하는 것을 특징으로 하는 성별 인식을 위한 딥러닝 모델 학습 시스템.
  4. 제2항에 있어서, 상기 기준 좌표값은 양쪽 눈의 좌표값과 양쪽 어깨의 좌표값인 것을 특징으로 하며,
    상기 관심 영역 이미지는 상기 양쪽 눈의 좌표값과 양쪽 어깨의 좌표값을 이용하여 특정된 머리-어깨 영역에 대한 이미지인 것을 특징으로 하는 성별 인식을 위한 딥러닝 모델 학습 시스템.
  5. 컴퓨팅 장치에 의해 구현되고 사전 학습된 딥러닝 모델을 기반으로 한 성별 인식 장치에 있어서,
    소정의 영상이 입력되는 영상 입력부;
    상기 입력 영상에 대하여, 객체 검출 모델을 이용하여 사람 영역을 검출하는 객체 검출부;
    상기 검출된 사람 영역으로부터 머리-어깨 영역 이미지를 추출하는 관심 영역 추출부; 및
    사전 학습된 성별 인식을 위한 딥러닝 모델을 구비하고, 상기 입력 영상의 머리-어깨 영역 이미지를 상기 딥러닝 모델에 적용하여, 입력 영상의 사람 객체에 대한 성별 정보를 추출하여 제공하는 성별 인식부;
    를 구비하는 것을 특징으로 하는 딥러닝 모델을 기반으로 한 성별 인식 장치.
  6. 제5항에 있어서, 상기 관심 영역 추출부는,
    포즈 검출 모델을 이용하여, 상기 객체 검출부에 의해 검출된 사람 영역에 대하여, 사전 설정된 사람의 관절 위치들을 나타내는 스켈레톤 정보를 추출하여 제공하는 스켈레톤 정보 추출부;
    상기 스켈레톤 정보로부터 머리-어깨 영역을 획득하기 위한 기준 좌표값들을 추출하는 기준 좌표값 추출부; 및
    기준 좌표값들을 이용하여, 사람 영역으로부터 머리-어깨 영역을 특정하고, 상기 특정된 머리-어깨 영역에 대한 이미지를 추출하는 관심 영역 특정부;
    를 구비하여, 머리-어깨 영역 이미지를 추출하여 제공하는 것을 특징으로 하는 성별 인식을 위한 딥러닝 모델을 기반으로 한 성별 인식 장치.
  7. 제6항에 있어서, 상기 기준 좌표값은 양쪽 눈의 좌표값과 양쪽 어깨의 좌표값인 것을 특징으로 하는 성별 인식을 위한 딥러닝 모델을 기반으로 한 성별 인식 장치.
  8. 기계 학습을 수행하는 컴퓨팅 장치에 의해 실행되는 프로그램에 의해 구현된 딥러닝 모델을 기반으로 한 성별 인식 방법에 있어서,
    (a) 성별 인식을 위한 딥러닝 모델을 사전 학습시키는 단계; 및
    (b) 상기 사전 학습된 성별 인식을 위한 딥러닝 모델을 이용하여, 입력 영상 내의 사람에 대한 성별을 인식하여 제공하는 단계;를 구비하고,
    상기 (a) 단계는,
    (a1) 객체 검출 모델을 이용하여, 학습 데이터의 원본 이미지들로부터 사람 영역들을 검출하는 단계;
    (a2) 상기 사람 영역들로부터 머리-어깨 영역들을 특정하고, 머리-어깨 영역 이미지들을 추출하는 단계;
    (a3) 상기 학습 데이터의 원본 이미지들로부터 추출된 사람 객체들에 대한 머리-어깨 영역 이미지들과 각 머리-어깨 영역 이미지들에 대응하여 라벨링된 성별 정보를 이용하여, 성별 인식을 위한 딥러닝 모델을 학습시키는 단계;
    를 구비하는 딥러닝 모델을 기반으로 한 성별 인식 방법.
  9. 제7항에 있어서, (a2) 단계는,
    상기 검출된 사람 영역에 대하여, 포즈 검출 모델을 이용하여 사람 영역의 사람의 관절 위치를 나타내는 스켈레톤 정보를 추출하여 제공하는 단계;
    상기 스켈레톤 정보로부터 기준 좌표값들을 추출하여 제공하는 단계; 및
    기준 좌표값들을 이용하여, 사람 영역으로부터 머리-어깨 영역을 특정하고, 머리-어깨 영역 이미지를 추출하는 단계;
    를 구비하여 머리-어깨 영역 이미지를 추출하여 제공하고,
    상기 기준 좌표값은 양쪽 눈의 좌표값과 양쪽 어깨의 좌표값인 것을 특징으로 하는 딥러닝 모델을 기반으로 한 성별 인식 방법.
  10. 제7항에 있어서, 상기 (b) 단계는,
    (b1) 소정의 영상을 입력받는 단계;
    (b2) 상기 입력 영상에 대하여, 객체 검출 모델을 이용하여 사람 영역을 검출하는 단계;
    (b3) 상기 검출된 사람 영역으로부터 머리-어깨 영역 이미지를 추출하는 단계; 및
    (b4) 상기 입력 영상의 머리-어깨 영역 이미지를 사전 학습된 상기 딥러닝 모델에 적용하여, 입력 영상의 사람 객체에 대한 성별 정보를 추출하여 제공하는 단계;
    를 구비하는 것을 특징으로 하는 딥러닝 모델을 기반으로 한 성별 인식 방법.
PCT/KR2023/020261 2022-12-23 2023-12-08 딥러닝 기반의 성별 인식 장치 및 성별 인식 방법 WO2024136248A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220183749 2022-12-23
KR10-2022-0183749 2022-12-23

Publications (1)

Publication Number Publication Date
WO2024136248A1 true WO2024136248A1 (ko) 2024-06-27

Family

ID=91589401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/020261 WO2024136248A1 (ko) 2022-12-23 2023-12-08 딥러닝 기반의 성별 인식 장치 및 성별 인식 방법

Country Status (1)

Country Link
WO (1) WO2024136248A1 (ko)

Similar Documents

Publication Publication Date Title
WO2019221551A1 (ko) 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
Yacoob Computing spatio-temporal representations of human faces
WO2019128507A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN108388882B (zh) 基于全局-局部rgb-d多模态的手势识别方法
WO2019132589A1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
CN111507592B (zh) 一种面向服刑人员的主动改造行为的评估方法
WO2011016649A2 (ko) 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
Pramada et al. Intelligent sign language recognition using image processing
CN105022999A (zh) 一种人码伴随实时采集系统
WO2017150899A9 (ko) 전역적 다중 객체 추적을 위한 객체 재식별 방법
WO2023080266A1 (ko) 딥러닝 네트워크를 이용한 얼굴 변환 방법 및 장치
JP3459950B2 (ja) 顔検出及び顔追跡方法並びにその装置
CN109740486B (zh) 一种对图像包含的人类数量进行识别的方法及系统
KR101817773B1 (ko) 깊이 영상 센싱 기반의 맞춤형 광고 제공 시스템
CN108363944A (zh) 人脸识别终端双摄防伪方法、装置及系统
WO2024136248A1 (ko) 딥러닝 기반의 성별 인식 장치 및 성별 인식 방법
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
Zhang et al. Detection of Face Wearing Mask Based on AdaBoost and YCrCb
CN111104921A (zh) 一种基于Faster rcnn的多模态行人检测模型及方法
Brahmankar et al. Indian sign language recognition using canny edge detection
WO2016104842A1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
JP6467994B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
Neyra-Gutiérrez et al. Feature extraction with video summarization of dynamic gestures for peruvian sign language recognition
CN112149598A (zh) 一种侧脸评估方法、装置、电子设备及存储介质