KR20220066661A - Device and method for landmark detection using artificial intelligence - Google Patents

Device and method for landmark detection using artificial intelligence Download PDF

Info

Publication number
KR20220066661A
KR20220066661A KR1020200152935A KR20200152935A KR20220066661A KR 20220066661 A KR20220066661 A KR 20220066661A KR 1020200152935 A KR1020200152935 A KR 1020200152935A KR 20200152935 A KR20200152935 A KR 20200152935A KR 20220066661 A KR20220066661 A KR 20220066661A
Authority
KR
South Korea
Prior art keywords
artificial intelligence
facial
face
landmark
feature map
Prior art date
Application number
KR1020200152935A
Other languages
Korean (ko)
Other versions
KR102538804B1 (en
Inventor
이의철
김태형
목지원
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020200152935A priority Critical patent/KR102538804B1/en
Publication of KR20220066661A publication Critical patent/KR20220066661A/en
Application granted granted Critical
Publication of KR102538804B1 publication Critical patent/KR102538804B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Abstract

The present invention relates to a facial landmark apparatus and method using artificial intelligence. According to an embodiment of the present invention, a facial landmark apparatus and method using artificial intelligence can accurately and quickly detect a facial region and a facial landmark simultaneously from a facial image obtained from a single RGB camera.

Description

인공 지능을 이용한 얼굴 랜드마크 검출 장치 및 방법{DEVICE AND METHOD FOR LANDMARK DETECTION USING ARTIFICIAL INTELLIGENCE}DEVICE AND METHOD FOR LANDMARK DETECTION USING ARTIFICIAL INTELLIGENCE

본 발명은 인공 지능을 이용한 얼굴 랜드마크 검출 장치 및 방법에 관한 것으로, 보다 상세하게는 입력된 이미지에서 동시에 얼굴 영역과 얼굴 랜드마크를 추출하는 인공 지능을 이용한 얼굴 랜드마크 검출 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting facial landmarks using artificial intelligence, and more particularly, to an apparatus and method for detecting facial landmarks using artificial intelligence for simultaneously extracting a face region and a facial landmark from an input image. .

딥 러닝 기반 얼굴의 특징을 검출하기 위해 영상에 얼굴 객체가 있는지를 우선 감지해야 한다. 얼굴의 특징을 검출하기 위해서는 입력된 영상에 얼굴 영역에 해당하는 객체가 있는지 판단하고, 해당 객체를 추출하여 분류한다. 이러한 방법의 단점은 얼굴 영역을 인식하는 얼굴 인식 모델의 성능에 크게 영향을 받는다. In order to detect facial features based on deep learning, it is first necessary to detect whether there is a face object in the image. To detect facial features, it is determined whether there is an object corresponding to the face region in the input image, and the object is extracted and classified. The disadvantage of this method is greatly affected by the performance of the face recognition model that recognizes the face region.

종래의 얼굴 인식 모델은 얼굴의 주요 특징인 랜드마크를 추출하여 비교 분석하므로 얼굴을 식별하는 기술이다. 얼굴 인식 모델에 있어서, 얼굴 인식의 정확성을 높이기 위해서는 얼굴 랜드마크를 정확하게 검출하는 것이 중요한데, 조명 및 얼굴 각도 등에 의해 얼굴 랜드마크 검출 성능이 저하되는 문제점이 있다. The conventional face recognition model is a technology for identifying a face because it extracts and compares and analyzes landmarks, which are major features of the face. In a face recognition model, it is important to accurately detect a face landmark in order to increase the accuracy of face recognition.

본 발명의 배경기술은 대한민국 공개특허 제10-2016-0067181호에 게시되어 있다.Background art of the present invention is disclosed in Korean Patent Application Laid-Open No. 10-2016-0067181.

본 발명은 1대의 RGB 카메라에서 획득한 얼굴 영상에서 얼굴 영역과 얼굴 랜드마크를 동시에 검출하여 빠르고 정확한 인공 지능을 이용한 얼굴 랜드마크 검출 장치 및 방법을 제공한다.The present invention provides an apparatus and method for detecting a facial landmark using a fast and accurate artificial intelligence by simultaneously detecting a facial region and a facial landmark in a facial image obtained from a single RGB camera.

본 발명은 스케일이 다른 특징맵에서 얼굴 영역 좌표 값과 얼굴 랜드마크 좌표 값을 검출하는 인공 지능을 이용한 얼굴 랜드마크 검출 장치 및 방법을 제공한다.The present invention provides an apparatus and method for detecting facial landmarks using artificial intelligence for detecting facial region coordinate values and facial landmark coordinate values in feature maps with different scales.

본 발명은 시선 추적, 얼굴 인식, 감정 인식 등 다양하게 사용될 수 있는 정확도가 높은 결과값을 검출하는 인공 지능을 이용한 얼굴 랜드마크 검출 장치 및 방법을 제공한다.The present invention provides an apparatus and method for detecting a face landmark using artificial intelligence for detecting a high-accuracy result value that can be used in various ways, such as eye tracking, face recognition, and emotion recognition.

본 발명의 일 측면에 따르면, 인공 지능을 이용한 얼굴 랜드마크 검출 장치를 제공한다. According to one aspect of the present invention, there is provided an apparatus for detecting facial landmarks using artificial intelligence.

본 발명의 일 실시예에 따른 딥 러닝 기반 음성을 통한 트라우마 스크리닝 장치는 얼굴 영상을 획득하는 입력부, 얼굴 영상에서 특징맵을 추출하는 특징맵부 및 특징맵에서 얼굴 영역 및 얼굴 랜드마크를 검출하는 검출부를 포함할 수 있다.Trauma screening apparatus through deep learning-based voice according to an embodiment of the present invention includes an input unit for acquiring a face image, a feature map unit for extracting a feature map from the face image, and a detection unit for detecting facial regions and facial landmarks from the feature map may include

본 발명의 다른 일 측면에 따르면, 인공 지능을 이용한 얼굴 랜드마크 검출 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체를 제공한다.According to another aspect of the present invention, there is provided a computer-readable recording medium in which a method for detecting a facial landmark using artificial intelligence and a computer program executing the method are recorded.

본 발명의 일 실시 예에 따른 인공 지능을 이용한 얼굴 랜드마크 검출 방법 및 이를 실행하는 컴퓨터 프로그램이 저장된 기록매체는 얼굴 영상을 입력받는 단계, 얼굴 영상을 딥 러닝하여 특징맵을 추출하는 단계, 특징맵에서 얼굴 영역과 얼굴 랜드마크를 동시에 추출하는 단계를 포함할 수 있다.A method for detecting facial landmarks using artificial intelligence and a recording medium storing a computer program executing the same according to an embodiment of the present invention includes the steps of receiving a face image, deep learning the face image to extract a feature map, and a feature map It may include extracting the face region and the face landmark at the same time.

본 발명의 일 실시 예에 따르면, 인공 지능을 이용한 얼굴 랜드마크 검출 장치 및 방법은 1대의 RGB 카메라에서 획득한 얼굴 영상에서 동시에 얼굴 영역과 얼굴 랜드마크를 정확하고 빠르게 검출할 수 있다.According to an embodiment of the present invention, an apparatus and method for detecting a face landmark using artificial intelligence can accurately and quickly detect a face region and a face landmark from a face image acquired from one RGB camera at the same time.

본 발명의 일 실시 예에 따르면, 인공 지능을 이용한 얼굴 랜드마크 검출 장치 및 방법은 스케일이 다른 특징맵에서 얼굴 영역 좌표 값과 얼굴 랜드마크 좌표 값을 동시에 검출할 수 있다.According to an embodiment of the present invention, an apparatus and method for detecting a face landmark using artificial intelligence may simultaneously detect a face region coordinate value and a face landmark coordinate value from a feature map having different scales.

본 발명의 일 실시 예에 따른 인공 지능을 이용한 얼굴 랜드마크 검출 장치 및 방법은 빠르고 정확하게 얼굴 영역과 얼굴 랜드마크를 검출하여 시선 추적, 얼굴 인식, 감정 인식 등 다양하게 사용할 수 있다.The apparatus and method for detecting a facial landmark using artificial intelligence according to an embodiment of the present invention can quickly and accurately detect a face region and a facial landmark, and can be used in various ways, such as eye tracking, face recognition, and emotion recognition.

도 1 내지 도6은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 얼굴 랜드마크 검출 장치를 설명하기 위한 도면들.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 얼굴 랜드마크 검출 방법을 설명하기 위한 도면들.
도 9는 본 발명의 일 실시 예에 따른 인공 지능을 이용한 얼굴 랜드마크 검출 방법을 이용한 테스트 결과 예시들.1 to 6 are diagrams for explaining a face landmark detection apparatus using artificial intelligence according to an embodiment of the present invention.
7 and 8 are diagrams for explaining a face landmark detection method using artificial intelligence according to an embodiment of the present invention.
9 is an example of test results using a method for detecting a face landmark using artificial intelligence according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Also, the expressions "a" and "a", "a" and "a", as used in this specification and claims, should generally be construed to mean "one or more" unless stated otherwise.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. do it with

도 1 은 종래의 얼굴 영상에서 랜드마크를 추출하는 방식의 예시이다.1 is an example of a method of extracting a landmark from a conventional face image.

도1을 참조하면, 입력된 이미지에서 1단계로 객체 인식으로 얼굴 영역을 인식한 후 2단계로 인식한 얼굴 영역에서 얼굴 랜드마크를 추출한다.Referring to FIG. 1 , after recognizing a face region through object recognition in the first step in an input image, a facial landmark is extracted from the recognized face region in the second step.

도 2 내지 도6은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 얼굴 랜드마크 검출 장치를 설명하기 위한 도면들이다.2 to 6 are diagrams for explaining an apparatus for detecting a face landmark using artificial intelligence according to an embodiment of the present invention.

도 2를 참조하면, 인공 지능을 이용한 얼굴 랜드마크 검출 장치(10)는 입력된 이미지에서 얼굴 영역과 얼굴 랜드마크를 동시에 추출할 수 있다. Referring to FIG. 2 , the apparatus 10 for detecting facial landmarks using artificial intelligence may simultaneously extract a facial region and a facial landmark from an input image.

도3을 참조하면, 인공 지능을 이용한 얼굴 랜드마크 검출 장치(10)는 입력부(100), 특징맵부(200) 및 검출부(300)를 포함한다.Referring to FIG. 3 , the apparatus 10 for detecting facial landmarks using artificial intelligence includes an input unit 100 , a feature map unit 200 , and a detection unit 300 .

인공 지능을 이용한 얼굴 랜드마크 검출 장치(10)는 한 대의 RGB카메라에서 획득한 얼굴 영상에서 얼굴 영역과 얼굴 랜드마크를 동시에 검출한다. The facial landmark detection apparatus 10 using artificial intelligence simultaneously detects a facial region and a facial landmark from a facial image acquired from a single RGB camera.

입력부(100)는 얼굴 영상을 획득한다. 예를 들면 입력부(100)는 핸드폰 또는 웹캠과 같은 RGB 카메라에서 획득한 얼굴 영상을 이용할 수 있다.The input unit 100 acquires a face image. For example, the input unit 100 may use a face image obtained from an RGB camera such as a mobile phone or a webcam.

특징맵부(200)는 세가지 스케일의 특징맵을 추출한다. 예를 들면 특징맵부(200)는 객체 인식 딥 러닝 모델일 YOLO v3(You Only Look Once v3, 욜로 브이3)를 이용할 수 있다. 특징맵부(200)는 큰 스케일 특징맵(Large Scale Feature Map), 중간 스케일 특징맵 (Medium Scale Feature Map) 및 작은 스케일 특징맵(Small Scale Feature Map)을 추출한다. The feature map unit 200 extracts a feature map of three scales. For example, the feature map unit 200 may use an object recognition deep learning model YOLO v3 (You Only Look Once v3, YOLO v3). The feature map unit 200 extracts a large scale feature map, a medium scale feature map, and a small scale feature map.

도 4를 참조하면, 특징맵부(200)가 특징 추출 모델을 이용해 세가지 특징 맵을 획득한다. 특징맵부(200)가 추출한 세가지 특징맵은 크기가 상이할 수 있다. 예를 들면, 큰 스케일 특징맵(Large Scale Feature Map)의 크기는 13*13이고, 중간 스케일 특징맵 (Medium Scale Feature Map)의 크기는 26*26이고, 작은 스케일 특징맵(Small Scale Feature Map)은 52*52이다. 특징맵부(200)는 각각의 특징맵을 크기에 맞춰 셀(cell) 단위로 나눈다. 예를 들면 셀(cell)의 개수는 특징맵의 크기와 동일하다. 자세히 설명하면, 큰 스케일 특징맵은 13*13=169개의 셀(cell)을 포함하고, 중간 스케일 특징맵은 26*26=676개의 셀(cell)을 포함할 수 있다. 각 셀(cell)은 얼굴 영역과 랜드마크를 검출하기 위한 정보를 포함한다.Referring to FIG. 4 , the feature map unit 200 obtains three feature maps using a feature extraction model. The three feature maps extracted by the feature map unit 200 may have different sizes. For example, the size of the Large Scale Feature Map is 13*13, the size of the Medium Scale Feature Map is 26*26, and the Small Scale Feature Map is is 52*52. The feature map unit 200 divides each feature map into cell units according to the size. For example, the number of cells is the same as the size of the feature map. In detail, the large-scale feature map may include 13*13=169 cells, and the medium-scale feature map may include 26*26=676 cells. Each cell includes information for detecting a face region and a landmark.

도 5는 본 발명의 일 실시 예에 따른 인공지능을 이용한 1단계 얼굴 랜드마크 검출 장치(10)가 추출한 모든 스케일 특징맵의 셀(cell)에 포함된 정보의 예시이다. 5 is an example of information included in cells of all scale feature maps extracted by the first stage facial landmark detection apparatus 10 using artificial intelligence according to an embodiment of the present invention.

도 5을 참조하면, 하나의 셀(cell)은 총 141개의 소수 값으로 구성되어 있고, 141개의 값 중 5개는 얼굴 영역의 좌표와 해당 영역에 얼굴이 존재하는 확률 정보를 포함한다. 자세히 설명하면, 셀(cell)의 소수 값 중5개는 경계 상자(Bounding Box)의 중심좌표(x), 경계 상자((Bounding Box)의 중심좌표(y), 경계 상자(Bounding Box)의 너비(w), 경계 상자(Bounding Box)의 높이(h) 및 경계 상자(Bounding Box) 내에 얼굴이 존재할 확률(c) 정보를 각각 포함한다. 나머지 셀(cell)의 소수 값 136(68*2)개는 얼굴 랜드마크의 좌표 값(x, y)를 포함한다.Referring to FIG. 5 , one cell is composed of a total of 141 decimal values, and 5 of the 141 values include coordinates of a face region and probability information that a face exists in the corresponding region. More specifically, five of the decimal values of the cell are the center coordinate (x) of the bounding box, the center coordinate (y) of the bounding box (Bounding Box), and the width of the bounding box (Bounding Box). (w), the height of the bounding box (h), and the probability (c) of the presence of a face in the bounding box (c), respectively. Decimal value of the remaining cells 136 (68*2) The dog contains the coordinate values (x, y) of the facial landmarks.

검출부(300)는 모든 스케일의 특징맵에서 경계 상자 내에 얼굴이 존재할 확률이 미리 설정된 임계값보다 크면서, 동시에 확률이 가장 높은 셀을 검색한다. 검출부(300)는 검색 결과 추출된 셀의 정보를 검출 결과로 출력한다. 해당 셀에는 얼굴 영역 좌표와 랜드마크 좌표 값이 포함되어 있고, 검출부(300)는 얼굴 영역 좌표 값과 랜드마크의 좌표 값으로 얼굴 영역과 랜드마크를 동시에 검출할 수 있다.The detection unit 300 searches for a cell with the highest probability while at the same time as having a probability that a face exists in the bounding box is greater than a preset threshold in the feature maps of all scales. The detection unit 300 outputs information on cells extracted as a result of the search as a detection result. The corresponding cell includes face region coordinates and landmark coordinate values, and the detector 300 may simultaneously detect the face region and the landmark using the face region coordinate values and the landmark coordinate values.

도 6은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 얼굴 랜드마크 검출 장치(10)가 입력된 얼굴 영상에서 동시에 검출한 얼굴 영역과 랜드마크의 예시이다.6 is an example of a face region and a landmark simultaneously detected from an input face image by the facial landmark detection apparatus 10 using artificial intelligence according to an embodiment of the present invention.

도7은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 얼굴 랜드마크 검출 방법을 설명한 도면이다. 이하 설명하는 각 과정은 인공 지능을 이용한 얼굴 랜드마크 검출 장치를 구성하는 각 기능부가 수행하는 과정이나, 본 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 인공 지능을 이용한 얼굴 랜드마크 검출 장치로 통칭하도록 한다.7 is a view for explaining a face landmark detection method using artificial intelligence according to an embodiment of the present invention. Each process described below is a process performed by each functional unit constituting the facial landmark detection device using artificial intelligence. to be referred to as

단계 S710에서 인공 지능을 이용한 얼굴 랜드마크 검출 장치(10)는 얼굴 영상을 입력받는다. 예를 들면, 얼굴 영상은 하나의 RGB 카메라로 촬영한 얼굴 영상이다.In step S710, the facial landmark detection apparatus 10 using artificial intelligence receives a face image. For example, the face image is a face image captured by one RGB camera.

단계 S720에서 인공 지능을 이용한 얼굴 랜드마크 검출 장치(10)는 객체 인식을 위한 딥 러닝 기반 특징 추출 모델로 특징맵을 추출한다. 예를 들면 인공 지능을 이용한 얼굴 랜드마크 검출 장치(10)는 YOLO V3(욜로 브이3) 모델을 이용해 3가지 스케일의 특징맵을 추출한다. 인공 지능을 이용한 얼굴 랜드마크 검출 장치(10)는 13*13크기의 큰 스케일 특징맵(Large Scale Feature Map), 26*26 크기의 중간 스케일 특징맵 (Medium Scale Feature Map) 및 52*52크기의 작은 스케일 특징맵(Small Scale Feature Map)을 포함한다.In step S720, the facial landmark detection apparatus 10 using artificial intelligence extracts a feature map with a deep learning-based feature extraction model for object recognition. For example, the facial landmark detection apparatus 10 using artificial intelligence extracts a feature map of three scales using a YOLO V3 model. The facial landmark detection apparatus 10 using artificial intelligence includes a 13*13 size large scale feature map, a 26*26 medium scale feature map, and a 52*52 size Includes a Small Scale Feature Map.

단계 S730에서 인공 지능을 이용한 얼굴 랜드마크 검출 장치(10)는 크기가 다른 특징맵에서 객체가 존재할 확률을 높은 셀을 추출한다.In step S730, the facial landmark detection apparatus 10 using artificial intelligence extracts a cell having a high probability that an object exists from a feature map having a different size.

단계 S740에서 인공 지능을 이용한 얼굴 랜드마크 검출 장치(10)는 추출한 셀의 정보로 입력된 영상에서 얼굴 영역과 얼굴 랜드마크를 동시에 검출한다.In step S740, the facial landmark detection apparatus 10 using artificial intelligence simultaneously detects the facial region and the facial landmark from the image input as information of the extracted cell.

도 8은 본 발명의 일 실시 예에 따른 인공지능을 이용한 1단계 얼굴 랜드마크 검출 장치(10)가 수행하는 딥 러닝 모델의 예시이다.8 is an example of a deep learning model performed by the first stage facial landmark detection apparatus 10 using artificial intelligence according to an embodiment of the present invention.

인공지능을 이용한 1단계 얼굴 랜드마크 검출 장치(10)는 YOLO v3 모델의 구조를 수정하여 얼굴 영역과 얼굴 랜드마크를 동시에 추출한다.The first stage facial landmark detection apparatus 10 using artificial intelligence modifies the structure of the YOLO v3 model to simultaneously extract a face region and a facial landmark.

인공지능을 이용한 1단계 얼굴 랜드마크 검출 장치(10)는 백본 네트워크로 YOLO v3에서 사용하는 Desknet-53 대신 Mobilenet v1을 사용한다. Desknet-53는 객체의 클래스 예측정의 정확성을 위해 심층 네트워크(Deep Network)로 설계되었지만 인공지능을 이용한 1단계 얼굴 랜드마크 검출 장치(10)는 하나의 클래스(얼굴 영역)만 사용되므로 처리속도가 높은 Mobilenet v1을 백본 네트워크로 사용할 수 있다.The first stage facial landmark detection device 10 using artificial intelligence uses Mobilenet v1 instead of Desknet-53 used in YOLO v3 as a backbone network. Desknet-53 is designed as a deep network for the accuracy of class prediction definition of objects, but the first stage facial landmark detection device 10 using artificial intelligence uses only one class (face area), so the processing speed is high Mobilenet v1 can be used as the backbone network.

또한 인공지능을 이용한 1단계 얼굴 랜드마크 검출 장치(10)는 YOLO v3((욜로 브이3) 모델의 경계 상자(Bounding Box)에서 객체의 클래스를 예측하는 단계 대신 얼굴 랜드마크의 좌표 값을 예측할 수 있다. 또한 인공지능을 이용한 1단계 얼굴 랜드마크 검출 장치(10)의 손실 함수(Loss Function)도 YOLO v3를 기반으로 하여 수정되었다. YOLO v3는 지역화 손실(Localization Loss), 신뢰 손실(Confidence Loss) 및 분류 손실(Classification Loss)의 조합을 사용하고 있으나 인공지능을 이용한 1단계 얼굴 랜드마크 검출 장치(10)는 분류 손실(Classification Loss) 대신 랜드마크 손실(Landmark Loss) 인 오차 제곱 합(SSE, Sum Squared Error)을 이용한다. 랜드마크 손실(Landmark Loss) 오차 제곱 합(SSE, Sum Squared Error)은 다음의 수학식 1과 같다.In addition, the first stage facial landmark detection device 10 using artificial intelligence predicts the coordinate values of the facial landmarks instead of predicting the class of the object in the bounding box of the YOLO v3 ((YOLO V3) model. In addition, the loss function of the first stage facial landmark detection device 10 using artificial intelligence was also modified based on YOLO v3. YOLO v3 has Localization Loss and Confidence Loss. and Classification Loss, but the first stage facial landmark detection apparatus 10 using artificial intelligence (SSE, Sum) is a landmark loss instead of a classification loss. Squared Error) Landmark Loss The sum of squared errors (SSE, Sum Squared Error) is expressed by Equation 1 below.

Figure pat00001
Figure pat00001

수학식 1을 참고하면, 객체가 인식되지 않으면

Figure pat00002
는 0이 되고, 손실 값(Loss Value)는 계산되지 않는다. [수학식 1]에서
Figure pat00003
는 객체 인식 성능을 높이기 위한 가중치이다.Referring to Equation 1, if the object is not recognized,
Figure pat00002
becomes 0, and the loss value is not calculated. In [Equation 1]
Figure pat00003
is a weight to increase object recognition performance.

MethodMethod HelenHelen LFPWLFPW FPLL FPLL 8.16 8.16 8.29 8.29 DRMF DRMF 6.70 6.70 6.57 6.57 RCPR RCPR 5.93 5.93 6.56 6.56 Gaussian-Newton DPM Gaussian-Newton DPM 5.69 5.69 5.92 5.92 SDM SDM 5.53 5.53 5.67 5.67 CFAN CFAN 5.50 5.50 5.44 5.44 CFSS CFSS 4.63 4.63 4.87 4.87 본 발명 the present invention 3.93 3.93 3.16 3.16

[표 1]은 평균 정규화 오류를 평가 지표로 하여 얼굴 랜드마크 추출에 대한 성능을 비교한 것으로, LFPW와 Helen 데이터를 사용하여 정확도를 측정한 이전 연구와 비교하였다.[Table 1] compares the performance of facial landmark extraction using average normalization error as an evaluation index, and compared with previous studies that measured accuracy using LFPW and Helen data.

[표 1]을 참조하면, 본 발명의 일 실시 예에 따른 인공지능을 이용한 1단계 얼굴 랜드마크 검출 방법이 LFPW및 Helen 데이터에서 가장 낮은 오류율을 보였다.Referring to [Table 1], the one-step facial landmark detection method using artificial intelligence according to an embodiment of the present invention showed the lowest error rate in LFPW and Helen data.

도 9는 본 발명의 일 실시 예에 따른 인공 지능을 이용한 얼굴 랜드마크 검출 방법을 이용한 테스트 결과 예시들이다.9 is an example of test results using a method for detecting a facial landmark using artificial intelligence according to an embodiment of the present invention.

도 9에서 상자는 예상 얼굴 영역이고 점들은 랜드마크로 실측 값과 예측 값이 대부분 일치하는 것을 볼 수 있다.In FIG. 9 , the box is the predicted face region, and the points are landmarks, and it can be seen that the measured value and the predicted value mostly coincide.

상술한 인공 지능을 이용한 얼굴 랜드마크 검출 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The above-described method for detecting facial landmarks using artificial intelligence may be implemented as a computer-readable code on a computer-readable medium. The computer-readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disk, USB storage device, removable hard disk) or a fixed recording medium (ROM, RAM, computer-equipped hard disk). can The computer program recorded on the computer-readable recording medium may be transmitted to another computing device through a network such as the Internet and installed in the other computing device, thereby being used in the other computing device.

이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even though it has been described that all components constituting the embodiment of the present invention are combined or operated as one, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.Although acts are shown in a particular order in the drawings, it should not be understood that the acts must be performed in the specific order or sequential order shown, or that all illustrated acts must be performed to obtain a desired result. In certain circumstances, multitasking and parallel processing may be advantageous. Moreover, the separation of the various components in the embodiments described above should not be construed as necessarily requiring such separation, and the described program components and systems may generally be integrated together into a single software product or packaged into multiple software products. It should be understood that there is

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been focused on the embodiments thereof. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

10: 딥 러닝 기반 음성을 통한 트라우마 스크리닝 장치
100: 입력부
200: 전처리부
300: 변환부
400: 딥 러닝부
500: 판단부10: Trauma screening device through deep learning-based voice
100: input unit
200: preprocessor
300: conversion unit
400: deep learning unit
500: judgment unit

Claims (8)

인공 지능을 이용한 얼굴 랜드마크 검출 장치에 있어서,
얼굴 영상을 획득하는 입력부;
상기 얼굴 영상에서 특징맵을 추출하는 특징맵부; 및
상기 특징맵에서 얼굴 영역 및 얼굴 랜드마크를 검출하는 검출부를 포함하는 인공 지능을 이용한 얼굴 랜드마크 검출 장치.
In the face landmark detection device using artificial intelligence,
an input unit for acquiring a face image;
a feature map unit for extracting a feature map from the face image; and
A facial landmark detection apparatus using artificial intelligence including a detection unit for detecting a facial region and a facial landmark from the feature map.
 제1항에 있어서,
딥 러닝 모델 중 욜로 브이3 모델을 수정하여 이용하는 인공 지능을 이용한 얼굴 랜드마크 검출 장치.
The method of claim 1,
A facial landmark detection device using artificial intelligence that modifies and uses the YOLO V3 model among deep learning models.
 제1 항에 있어서,
상기 특징맵부는
스케일이 상이한 3개의 특징맵을 추출하는 인공 지능을 이용한 얼굴 랜드마크 검출 장치.
According to claim 1,
The feature map
A face landmark detection device using artificial intelligence that extracts three feature maps with different scales.
 제1 항에 있어서,
상기 검출부는
얼굴 영역과 얼굴 랜드마크를 동시에 추출하는 인공 지능을 이용한 얼굴 랜드마크 검출 장치.
According to claim 1,
the detection unit
A face landmark detection device using artificial intelligence that simultaneously extracts a face region and a face landmark.
 인공 지능을 이용한 얼굴 랜드마크 검출 방법에 있어서,
얼굴 영상을 입력받는 단계;
상기 얼굴 영상을 딥 러닝하여 특징맵을 추출하는 단계; 및
상기 특징맵에서 얼굴 영역과 얼굴 랜드마크를 동시에 추출하는 단계를 포함하는 인공 지능을 이용한 얼굴 랜드마크 검출 방법.
In the face landmark detection method using artificial intelligence,
receiving a face image;
extracting a feature map by deep learning the face image; and
and simultaneously extracting a facial region and a facial landmark from the feature map.
 제5항에서
상기 딥 러닝은
욜로 브이3 모델을 수정하여 이용하는 인공 지능을 이용한 얼굴 랜드마크 검출 방법.
in paragraph 5
The deep learning is
A facial landmark detection method using artificial intelligence that modifies and uses the YOLO V3 model.
 제5항에서
상기 특징맵은 스케일이 상이한 3개의 특징맵을 추출하는 인공 지능을 이용한 얼굴 랜드마크 검출 장치.
in paragraph 5
The feature map is a facial landmark detection device using artificial intelligence to extract three feature maps with different scales.
 제5 항 내지 제7항의 인공 지능을 이용한 얼굴 랜드마크 검출 방법 중 어느 하나를 실행하는 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
A computer program recorded on a computer-readable recording medium for executing any one of the methods of detecting facial landmarks using artificial intelligence of claims 5 to 7.
KR1020200152935A 2020-11-16 2020-11-16 Device and method for landmark detection using artificial intelligence KR102538804B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200152935A KR102538804B1 (en) 2020-11-16 2020-11-16 Device and method for landmark detection using artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200152935A KR102538804B1 (en) 2020-11-16 2020-11-16 Device and method for landmark detection using artificial intelligence

Publications (2)

Publication Number Publication Date
KR20220066661A true KR20220066661A (en) 2022-05-24
KR102538804B1 KR102538804B1 (en) 2023-06-01

Family

ID=81807556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200152935A KR102538804B1 (en) 2020-11-16 2020-11-16 Device and method for landmark detection using artificial intelligence

Country Status (1)

Country Link
KR (1) KR102538804B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102631427B1 (en) * 2022-10-31 2024-01-30 (주)케어마인드 Method for preprocess images to predict recovery information for affected area

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575367A (en) * 2014-08-21 2017-04-19 北京市商汤科技开发有限公司 A method and a system for facial landmark detection based on multi-task
KR102112033B1 (en) * 2019-07-03 2020-05-18 박혜림 Video extraction apparatus using advanced face clustering technique

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575367A (en) * 2014-08-21 2017-04-19 北京市商汤科技开发有限公司 A method and a system for facial landmark detection based on multi-task
KR102112033B1 (en) * 2019-07-03 2020-05-18 박혜림 Video extraction apparatus using advanced face clustering technique

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102631427B1 (en) * 2022-10-31 2024-01-30 (주)케어마인드 Method for preprocess images to predict recovery information for affected area

Also Published As

Publication number Publication date
KR102538804B1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
EP3295424B1 (en) Systems and methods for reducing a plurality of bounding regions
CN108268838B (en) Facial expression recognition method and facial expression recognition system
US8306282B2 (en) Hierarchical face recognition training method and hierarchical face recognition method thereof
US9767352B2 (en) Apparatus and method for analyzing body part association
JP5929896B2 (en) Image recognition system, image recognition method, and image recognition program
US20150213328A1 (en) Object identification apparatus, object identification method, and program
KR101780676B1 (en) Method for learning rejector by forming classification tree in use of training image and detecting object in test image by using the rejector
JP5500024B2 (en) Image recognition method, apparatus, and program
US8090151B2 (en) Face feature point detection apparatus and method of the same
US11450107B1 (en) Dynamic detection and recognition of media subjects
CN110232331B (en) Online face clustering method and system
KR20170108339A (en) Method for recognizing plural object in image
CN112668374A (en) Image processing method and device, re-recognition network training method and electronic equipment
KR20110103223A (en) Keypoint matching system and method using sift algorithm for the face recognition
KR102538804B1 (en) Device and method for landmark detection using artificial intelligence
JP2018201161A (en) Moving body tracking device, moving body tracking method, and program
KR101521136B1 (en) Method of recognizing face and face recognition apparatus
KR20180025135A (en) Apparatus and method for inside wall frame detection based on single image
JP2008140093A (en) Abnormal event extraction device, abnormal event extraction method, program for the method, and storage medium recording the program
KR101847175B1 (en) Method for object recognition and apparatus thereof
US20150178564A1 (en) Information processing device, information processing method, and program
KR101306576B1 (en) Illumination-robust face recognition system based on differential components
WO2020232697A1 (en) Online face clustering method and system
JP2001014465A (en) Method and device for recognizing object
Meyer et al. Improving face detection with depth

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right