WO2020166757A1 - 영상과 얼굴의 특징점을 이용한 스트레스 인식 장치 및 방법 - Google Patents

영상과 얼굴의 특징점을 이용한 스트레스 인식 장치 및 방법 Download PDF

Info

Publication number
WO2020166757A1
WO2020166757A1 PCT/KR2019/003160 KR2019003160W WO2020166757A1 WO 2020166757 A1 WO2020166757 A1 WO 2020166757A1 KR 2019003160 W KR2019003160 W KR 2019003160W WO 2020166757 A1 WO2020166757 A1 WO 2020166757A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
vector
stress
feature point
face region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/003160
Other languages
English (en)
French (fr)
Inventor
이상윤
전태재
배한별
이용주
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Yonsei University
Original Assignee
Industry Academic Cooperation Foundation of Yonsei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Yonsei University filed Critical Industry Academic Cooperation Foundation of Yonsei University
Publication of WO2020166757A1 publication Critical patent/WO2020166757A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features

Definitions

  • the present invention relates to a stress recognition apparatus and method, and to a deep learning-based stress recognition apparatus and method using features of an image and a face.
  • An object of the present invention is to provide a stress recognition apparatus and method capable of accurately discriminating stress by detecting a face region in an image and a facial feature point within the face region, and recognizing a pattern of the face region based on the location of the facial feature point. .
  • a stress recognition apparatus for achieving the above object receives an input image including a face of a subject whose stress is to be measured, and applies a pre-learned pattern estimation method to the face region in the input image.
  • a face region extracting unit that extracts a face region vector for the face region;
  • a face feature point extraction unit receiving the face region vector extracted from the face region extracting unit and extracting a face feature point vector from the face region vector according to a predetermined tree algorithm;
  • a stress determination unit configured to receive the face region vector and the face feature point vector, and determine a stress level of the subject from the face region vector and the face feature point vector according to a previously learned pattern estimation method.
  • the face region extracting unit includes a plurality of region detection units connected in stages, and each of the plurality of region detection units includes a convolution neural network (hereinafter referred to as CNN) in which a pattern estimation method is learned in advance, and each of the input images
  • CNN convolution neural network
  • the region can be classified into a face classification vector, a bounding box regression vector, and a face landmark position vector.
  • Each of the plurality of region detection units may reduce the number of face candidate regions by adjusting the position of the face candidate region using a bounding box regression vector, and then merging the face candidate regions overlapping each other according to an NMS algorithm.
  • the facial feature point extractor acquires a random forest including a plurality of decision trees generated by randomly sampling the data of the face region vector according to the tree algorithm, and uses a regression tree classifier for the features extracted by the random forest.
  • the facial feature point may be extracted, and the facial feature point vector may be obtained by extracting the facial feature point by repeating a predetermined number of times.
  • the stress determination unit is at least one adder that is disposed between a plurality of convolution modules each including a plurality of convolution layers and the plurality of convolution modules, and sums the calculation results applied from a previously preset number of convolution modules.
  • a pattern estimation method including a is implemented with a pre-learned ResNet (Residual Network), and at least one convolution layer among a plurality of convolution layers included in each of the plurality of convolution modules may have different sizes.
  • a method for recognizing stress according to another embodiment of the present invention for achieving the above object includes: acquiring an input image including a face of a subject whose stress is to be measured; Extracting a face region vector for a face region from the input image according to a previously learned pattern estimation method; Extracting a facial feature point vector from the face region vector according to a known tree algorithm; And determining a stress level of the subject from the face region vector and the face feature point vector according to a previously learned pattern estimation method.
  • the stress recognition apparatus and method extracts a face region from an image, extracts a location of a facial feature point from the extracted face region, and determines a pattern of the extracted face region based on the location of the facial feature point.
  • FIG. 1 shows a schematic structure of a stress recognition apparatus according to an embodiment of the present invention.
  • FIG. 2 shows a detailed configuration of the face region extraction unit of FIG. 1.
  • FIG. 3 is a view for explaining the function of each component in the face region extraction unit of FIG. 2.
  • FIG. 4 shows an example of a partial structure of an artificial neural network constituting the stress determination unit of FIG. 1.
  • FIG. 5 shows a stress recognition method according to an embodiment of the present invention.
  • FIG. 1 shows a schematic structure of a stress recognition apparatus according to an embodiment of the present invention.
  • the stress recognition apparatus includes an image input unit 100, a face region extraction unit 200, a face feature point extraction unit 300, a feature merging unit 400, and a stress determination unit 500. Includes.
  • the image input unit 100 acquires an input image including a face of a subject to be subjected to stress recognition and transmits it to the face region extracting unit 200 and the face feature point extracting unit 300.
  • the input image is a general image photographed using a general camera device, etc., and is an image including the face of the subject of stress measurement.
  • the face region extracting unit 200 is implemented as an artificial neural network and learns in advance a pattern estimation method for a face region included in the image, and extracts a region including the face from the input image transmitted from the image input unit 100.
  • the face region extraction unit 200 extracts only the face region from the image transmitted from the image input unit 100. Then, the extracted zero cavernous region image is transmitted to the facial feature point extracting unit 300 and the feature merging unit 400.
  • the face region extracting unit 200 may be implemented as a single artificial neural network, but may be implemented as a plurality of artificial neural networks to improve face region detection performance. And when implemented with multiple artificial neural networks, it can be implemented in a step-by-step multitasking method. A detailed description of the face region extracting unit 200 will be described later.
  • the facial feature point extracting unit 300 receives the face region vector extracted from the face region extracting unit 200 and determines the feature points of the face in a known manner from the applied face region vector. The location is transmitted to the feature merging unit 400 as feature point location data. Research results have been published showing that humans have different movements of their eyes, head, and mouth from normal in stressful situations. Therefore, in order to accurately determine whether the subject's stress included in the image, feature points such as eyes, head, and mouth are You need to check the location. Accordingly, the facial feature point extracting unit 300 extracts feature points that can be designated as a main region of interest from the face region vector.
  • the facial feature point extracting unit 300 may also be implemented as a pre-learned artificial neural network similar to the face region extracting unit 200, but here, it is assumed that facial feature points are extracted using a tree algorithm as an example. This is because the performance of extracting facial feature points from a face image is known to be superior to those of artificial neural networks when using a tree algorithm.
  • the feature merging unit 400 receives the face region vector from the face region extracting unit 200, receives the facial feature point position vector from the face feature point extraction unit 300, merges the facial feature point position vector, and transmits the merged to the stress determination unit 500.
  • the feature merging unit 400 may merge the face region vector and the face feature point position vector in various ways. Here, as an example, it is assumed that the face region vector and the face feature point position vector are simply combined.
  • the stress determination unit 500 is implemented as an artificial neural network learned by a predetermined pattern estimation method, and the pattern estimation method learned by receiving data in which the face region vector and the face feature point position vector are merged from the feature merging unit 400 as input. According to this, the stress level of the subject included in the image is determined from the facial region vector and the facial feature point position vector.
  • the stress determination unit 500 may classify the stress into a plurality of predetermined levels, and determine the stress level of the subject as one of the plurality of stress levels.
  • the stress determination unit 500 may classify the stress level into three levels of low stress, medium stress, and high stress, and determine the stress level of the subject as one of the three levels.
  • the stress level may be divided into a plurality of three or more.
  • the face region extracting unit 200 extracts a face region vector from the input image
  • the face feature point extracting unit 300 extracts the face feature point position vector from the face region vector
  • stress determination The unit 500 receives not only the facial region vector but also the facial feature point position vector, recognizes the pattern, and extracts the stress, thereby greatly improving the accuracy of determining the stress level for the subject.
  • the feature merging unit 400 receives and merges the face region vector and the face feature point position vector, but as described above, the face region vector and the face feature point position vector are a simple combination method.
  • the stress determination unit 500 may be configured to directly receive a face region vector output from the face region extraction unit 200 and a face feature point position vector output from the face feature point extraction unit 300. That is, the feature merging unit 400 may be omitted.
  • FIG. 2 shows a detailed configuration of the face region extracting unit of Fig. 1
  • Fig. 3 shows an example of a detailed structure of each configuration in the face region extracting unit of Fig. 2
  • the face region extraction unit 200 may be implemented as a single artificial neural network, but in order to improve the face region detection performance, as shown in FIG. 2, a plurality of region detection units 220 to 220 that are connected in stages. 240) is preferably configured to include.
  • the face region extraction unit 200 is configured to include three region detection units 220 to 240 as an example, and each of the three region detection units 220 to 240 is as shown in FIG. 3, It can be implemented with a convolution neural network (CNN), which is an artificial neural network mainly used for image recognition, speech recognition, natural language processing, and handwriting recognition.
  • CNN convolution neural network
  • the three area detection units 220 to 240 may be sequentially configured to have a more complex structure.
  • the face region extracting unit 200 includes a plurality of region detection units 220 to 240 connected in stages, and the plurality of region detection units 220 to 240 are sequentially implemented as an artificial neural network having a more complex structure, Compared to a single artificial neural network having a very complex configuration, it can detect a face region more quickly and accurately.
  • the face region extracting unit 200 may further include an image size adjusting unit 210 that variously adjusts and outputs the size of an input image transmitted from the image input unit 100.
  • the image size adjusting unit 210 gradually decreases the size of the input image and acquires input images having various sizes to generate an image pyramid.
  • each of the images of various sizes of the generated image pyramid is transmitted to the first region detection unit 220 of the plurality of region detection units 220 to 240, and the first region detection unit 220 inputs the input according to a previously learned pattern estimation method.
  • the primary face area is detected in the image.
  • the first region detector 220 may quickly search for a face candidate region from images of various sizes of the image pyramid using a sliding window method.
  • the first region detection unit 220 implemented as a CNN may classify each region of the input image into a face classification vector, a bounding box regression vector, and a face landmark position vector, and use a bounding box regression vector. Accordingly, the position of the face candidate region is adjusted, and face candidate regions overlapping each other are merged according to the Non-Maximum Suppression (NMS) algorithm to reduce the number of face candidate regions to detect a plurality of primary face regions.
  • NMS Non-Maximum Suppression
  • the reason that the first region detection unit 220 has the simplest structure is to quickly detect the primary face region.
  • the second area detection unit 230 implemented with a CNN having a more complex structure than the first area detection unit 220 is not a face area among the plurality of primary face areas. Remove the region, adjust the position of the face candidate region using the bounding box regression vector, and obtain multiple secondary face regions by merging the face candidate regions that overlap each other according to the Non-Maximum Suppression (hereinafter NMS) algorithm. do.
  • NMS Non-Maximum Suppression
  • the number of secondary face regions may be obtained equal to or less than the number of primary face regions.
  • the third area detection unit 240 removes an area other than the face area from among the plurality of secondary face areas, similar to the secondary area detection unit 230, and adjusts the position of the face candidate area using a bounding box regression vector.
  • face candidate regions overlapping each other are merged to obtain a face landmark position vector together with a final face region vector.
  • the facial feature point extractor 300 may be implemented as at least one artificial neural network similar to the face region extractor 200, but may be implemented to extract facial feature points using a tree algorithm.
  • the facial feature point extraction method using the tree algorithm is a recently proposed regression-based facial feature point detection method, which is a hand-craft algorithm.
  • the tree algorithm obtains a random forest by randomly sampling data to generate a plurality of decision trees, and extracts features by majority vote by collecting the results of the obtained decision trees of the random forest.
  • a regression tree classifier is applied to the features extracted by the random forest to quickly converge to the target value. Since the regression tree classifier is used to quickly converge to the target value, refinement can be performed a number of times in a cascade method. As the number of refinements according to the cascade method increases, the location of the detected facial feature point appears similar to the location of the feature point specified in the ground truth.
  • FIG. 4 shows an example of a partial structure of an artificial neural network constituting the stress determination unit of FIG. 1.
  • the stress determination unit 500 may also be implemented as an artificial neural network.
  • the stress determination unit 500 receives the facial feature point position vector extracted from the facial feature point extracting unit 300 together with the face region vector extracted from the face region extracting unit 200 as an input, and uses a predetermined pattern estimation method. Accordingly, the stress level of the subject is determined by analyzing the features of the applied facial region vector and the facial feature point position vector.
  • the stress determination unit 500 may be implemented as a CNN similar to the structure of the three region detection units 220 to 240 shown in FIG. 3.
  • CNN as the structure becomes more complex, the computational amount increases exponentially and the learning speed decreases, and the accuracy does not improve at a layer above a certain level, but rather an overfitting or learning error increases.
  • ResNet Residual Network
  • CM convolution module
  • AD adder
  • the stress determination unit 500 uses ResNet, which simplifies the learning process and makes it easy to designate a learning direction.
  • ResNet has the same size of the convolution layer (conv) in each convolution module (CMi), as shown in (a) of FIG. 4, but in this embodiment, as shown in (b).
  • the number of internal parameters can be decreased while increasing the number of feature maps. In this case, the amount of computation can be reduced while improving performance.
  • FIG. 5 shows a stress recognition method according to an embodiment of the present invention.
  • an input image photographed by a subject of stress measurement is acquired (S10).
  • the input image is a general image acquired using a conventional camera.
  • the face region extracting unit 200 which is implemented as an artificial neural network and has learned in advance a pattern estimation method for a face region included in the image, extracts a region including a face from the input image (S20).
  • the face region extracting unit 200 may be configured to quickly and accurately extract the face region, including a plurality of artificial neural networks connected in stages.
  • an image pyramid is generated and transmitted to a plurality of artificial neural networks connected in stages, so that the artificial neural network can quickly search for a face candidate region.
  • a number of artificial neural networks connected in stages can have a sequentially complex structure, and each artificial neural network is implemented as a CNN to determine each area of the input image as a face classification vector, a bounding box regression vector, and a face landmark.
  • a face region is obtained by classifying it as a position vector, adjusting the position of the face candidate region using a bounding box regression vector, and reducing the number of face candidate regions by merging the face candidate regions that overlap each other according to the NMS algorithm. can do.
  • the face area may be obtained in the form of a vector.
  • a facial landmark position may be acquired together with the face area.
  • the position of the facial feature point is extracted from the obtained face region according to a known algorithm (S30).
  • the location of the facial feature point may be extracted using a tree algorithm as an example.
  • the position of the facial feature point may also be obtained in the form of a vector.
  • the extracted face region and the facial feature point locations are merged (S40).
  • the face region and the location of the facial feature points may be merged using a simple vector combining method.
  • the stress level of the subject included in the input image is determined based on the facial region from which the artificial neural network is learned in advance and the location of the facial feature point (S50).
  • the stress level of the subject can be determined by classifying the stress level into a plurality of predetermined levels and classifying the stress level of the subject into one of the divided plurality of stress levels.
  • the artificial neural network may be implemented as a ResNet in which each convolution module (CMi) has a bottleneck structure.
  • the extracted face region and the facial feature point positions are first merged and then the stress level is determined, but in some cases, the stress is determined by receiving the face region and the facial feature point positions as input without going through a separate merging process. You may.
  • the method according to the present invention may be implemented as a computer program stored in a medium for execution on a computer.
  • the computer-readable medium may be any available medium that can be accessed by a computer, and may include all computer storage media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and ROM (Read Dedicated memory), RAM (random access memory), CD (compact disk)-ROM, DVD (digital video disk)-ROM, magnetic tape, floppy disk, optical data storage device, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 스트레스를 측정하고자 하는 대상자의 얼굴이 포함된 입력 영상을 인가받고, 미리 학습된 패턴 추정 방식에 따라 입력 영상에서 얼굴 영역에 대한 얼굴 영역 벡터를 추출하는 얼굴 영역 추출부, 얼굴 영역 추출부에서 추출된 얼굴 영역 벡터를 인가받고, 기지정된 트리 알고리즘에 따라 얼굴 영역 벡터로부터 얼굴 특징점 벡터를 추출하는 얼굴 특징점 추출부 및 얼굴 영역 벡터와 얼굴 특징점 벡터를 인가받고, 미리 학습된 패턴 추정 방식에 따라 얼굴 영역 벡터와 얼굴 특징점 벡터로부터 대상자의 스트레스 수준을 판별하는 스트레스 판별부를 포함하는 영상과 얼굴의 특징점을 이용한 스트레스 인식 장치 및 방법을 제공할 수 있다.

Description

영상과 얼굴의 특징점을 이용한 스트레스 인식 장치 및 방법
본 발명은 스트레스 인식 장치 및 방법에 관한 것으로, 영상과 얼굴의 특징점을 이용한 딥러닝 기반 스트레스 인식 장치 및 방법에 관한 것이다.
최근 현대인들이 극심한 수준의 스트레스에 시달리게 되면서 이에 따라 사용자가 스트레스를 받았는지를 인식하여 스트레스를 받았을 경우 스트레스를 감소시키는 방향으로 피드백을 주는 시스템들이 개발되고 있다.
기존의 스트레스 인식 분야는 생체신호를 이용한 방법이 많이 연구되고 있는데 생체신호를 측정하려면 몸에 생체신호 측정 장비를 부착해야 하기 때문에 사용자가 거부감을 느낄 수 있다는 단점이 있다. 이러한 단점을 보완하기 위해 열화상 영상을 이용한 스트레스 인식 연구가 진행되었지만, 이 또한 열화상 영상 취득 장비가 없다면 스트레스 인식을 할 수 없기 때문에 일상 생활에서 간편하게 스트레스 인식을 하기가 어렵다는 한계가 있다.
이에 스마트 폰이나 카메라 등과 같은 장치를 이용하여 용이하게 획득할 수 있는 일반 영상으로부터 스트레스를 인식하고자 하는 연구가 계속되어 왔다. 특히 최근에는 인공 신경망을 이용하여 일반 영상에 포함된 대상자의 스트레스를 인식하기 위한 연구가 활발하게 수행되고 있다. 다만 기존의 일반 영상을 이용한 스트레스 인식 연구는 대부분 특정한 기준 없이 영상으로부터 특징을 추출하여 사용하여 스트레스 인식의 정확도를 향상 시키는데 한계가 있다는 문제가 있다.
본 발명의 목적은 영상에서 얼굴 영역과 얼굴 영역 내의 얼굴 특징점을 검출하고, 얼굴 특징점의 위치를 기반으로 얼굴 영역의 패턴을 인식하여, 스트레스를 정확하게 판별할 수 있는 스트레스 인식 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 스트레스 인식 장치는 스트레스를 측정하고자 하는 대상자의 얼굴이 포함된 입력 영상을 인가받고, 미리 학습된 패턴 추정 방식에 따라 상기 입력 영상에서 얼굴 영역에 대한 얼굴 영역 벡터를 추출하는 얼굴 영역 추출부; 상기 얼굴 영역 추출부에서 추출된 상기 얼굴 영역 벡터를 인가받고, 기지정된 트리 알고리즘에 따라 상기 얼굴 영역 벡터로부터 얼굴 특징점 벡터를 추출하는 얼굴 특징점 추출부; 및 상기 얼굴 영역 벡터와 상기 얼굴 특징점 벡터를 인가받고, 미리 학습된 패턴 추정 방식에 따라 상기 얼굴 영역 벡터와 상기 얼굴 특징점 벡터로부터 상기 대상자의 스트레스 수준을 판별하는 스트레스 판별부; 를 포함한다.
상기 얼굴 영역 추출부는 단계적으로 연결된 다수의 영역 검출부를 포함하고, 상기 다수의 영역 검출부 각각은 패턴 추정 방식이 미리 학습된 컨볼루션 신경망(Convolution Neural Network: 이하 CNN)을 포함하여, 입력되는 영상의 각 영역을 얼굴 분류 벡터, 경계 박스 회귀 벡터 및 얼굴 랜드마크 위치 벡터로 분류할 수 있다.
상기 다수의 영역 검출부 각각은 경계 박스 회귀 벡터를 이용하여 얼굴 후보 영역의 위치를 조절한 후, NMS 알고리즘에 따라 서로 영역이 겹치는 얼굴 후보 영역들을 병합하여 얼굴 후보 영역의 수를 줄일 수 있다.
상기 얼굴 특징점 추출부는 상기 트리 알고리즘에 따라 상기 얼굴 영역 벡터의 데이터를 랜덤하게 샘플링하여 생성된 다수의 결정 트리를 포함하는 랜덤 포레스트를 획득하고, 랜덤 포레스트에 의해 추출된 특징에 대해 회귀 트리 분류기를 이용하여 얼굴 특징점을 추출하고, 기지정된 횟수로 반복하여 얼굴 특징점을 추출하여 상기 얼굴 특징점 벡터를 획득할 수 있다.
상기 스트레스 판별부는 각각 다수의 컨볼루션 레이어를 포함하는 다수의 컨볼루션 모듈과 상기 다수의 컨볼루션 모듈 사이에 배치되어, 이전 기설정된 개수의 컨볼류션 모듈에서 인가되는 연산 결과를 합하는 적어도 하나의 가산기를 포함하는 패턴 추정 방식이 미리 학습된 ResNet(Residual Network)로 구현되며, 상기 다수의 컨볼루션 모듈 각각에 포함되는 다수의 컨볼루션 레이어 중 적어도 하나의 컨볼루션 레이어는 크기가 상이할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 스트레스 인식 방법은 스트레스를 측정하고자 하는 대상자의 얼굴이 포함된 입력 영상을 획득하는 단계; 미리 학습된 패턴 추정 방식에 따라 상기 입력 영상에서 얼굴 영역에 대한 얼굴 영역 벡터를 추출하는 단계; 기지정된 트리 알고리즘에 따라 상기 얼굴 영역 벡터로부터 얼굴 특징점 벡터를 추출하는 단계; 및 미리 학습된 패턴 추정 방식에 따라 상기 얼굴 영역 벡터와 상기 얼굴 특징점 벡터로부터 상기 대상자의 스트레스 수준을 판별하는 단계; 를 포함한다.
따라서, 본 발명의 실시예에 따른 스트레스 인식 장치 및 방법은 영상에서 얼굴 영역을 추출하고, 추출된 얼굴 영역에서 얼굴 특징점의 위치를 추출하며, 얼굴 특징점의 위치를 기반으로 추출된 얼굴 영역의 패턴을 미리 학습된 방식으로 인식하여, 영상에 포함된 대상자의 스트레스를 판별함으로써, 빠르게 스트레스를 인식할 수 있으며 인식 성능을 향상 시킬 수 있다. 뿐만 아니라, 학습 시간을 단축시킬 수 있다.
도1 은 본 발명의 일 실시예에 따른 스트레스 인식 장치의 개략적 구조를 나타낸다.
도2 는 도1 의 얼굴 영역 추출부의 상세 구성을 나타낸다.
도3 은 도2 의 얼굴 영역 추출부에서 각 구성의 기능을 설명하기 위한 도면이다.
도4 는 도1 의 스트레스 판별부를 구성하는 인공 신경망 일부 구조 예를 나타낸다.
도5 는 본 발명의 일 실시예에 따른 스트레스 인식 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도1 은 본 발명의 일 실시예에 따른 스트레스 인식 장치의 개략적 구조를 나타낸다.
도1 을 참조하면, 본 실시예에 따른 스트레스 인식 장치는 영상 입력부(100), 얼굴 영역 추출부(200), 얼굴 특징점 추출부(300), 특징 병합부(400) 및 스트레스 판별부(500)를 포함한다.
영상 입력부(100)는 스트레스 인지 대상이 되는 대상자의 얼굴이 포함된 입력 영상을 획득하여 얼굴 영역 추출부(200) 및 얼굴 특징점 추출부(300)로 전달한다. 여기서 입력 영상은 일반적인 카메라 장치 등을 이용하여 촬영된 일반 영상으로 스트레스 측정 대상자의 얼굴이 포함된 영상이다.
얼굴 영역 추출부(200)는 인공 신경망으로 구현되고 영상에 포함된 얼굴 영역에 대한 패턴 추정 방식이 미리 학습되어, 영상 입력부(100)에서 전달된 입력 영상에서 얼굴이 포함된 영역을 추출한다.
일반 영상에서 대상자의 스트레스를 인식하는 방법의 대부분은 영상에 포함된 대상자의 얼굴을 분석하여 수행된다. 따라서 영상에서 얼굴 영역을 제외한 나머지 영역은 스트레스를 인식하는데 불필요한 영역일 뿐만 아니라, 오히려 스트레스 인식을 수행하는데 장애가 될 수 있다. 이에 얼굴 영역 추출부(200)는 영상 입력부(100)에서 전달된 영상에서 얼굴 영역만을 추출한다. 그리고 추출된 영굴 영역 영상을 얼굴 특징점 추출부(300)와 특징 병합부(400)로 전달한다.
본 실시예에서 얼굴 영역 추출부(200)는 하나의 인공 신경망으로 구현될 수도 있으나, 얼굴 영역 검출 성능의 향상을 위해 다수의 인공 신경망으로 구현될 수도 있다. 그리고 다수의 인공 신경망으로 구현되는 경우, 단계별 멀티태스크 방식으로 구현될 수 있다. 얼굴 영역 추출부(200)에 대한 상세한 설명은 후술하도록 한다.
얼굴 특징점 추출부(300)는 얼굴 영역 추출부(200)에서 추출된 얼굴 영역 벡터를 인가받고, 인가된 얼굴 영역 벡터에서 기지정된 방식으로 얼굴의 특징점을 판별하여, 얼굴 영역 벡터에서 판별된 특징점의 위치를 특징점 위치 데이터로 특징 병합부(400)로 전달한다. 사람은 스트레스 상황에서 눈, 머리 및 입 등의 움직임이 평상시와 다르다는 연구 결과가 공개된바 있으며, 이에 영상에 포함된 대상자의 스트레스 여부를 정확하게 판별하기 위해서는 얼굴에서 눈, 머리 및 입과 같은 특징점들의 위치를 확인할 필요가 있다. 이에 얼굴 특징점 추출부(300)는 얼굴 영역 벡터에서 주요 관심 대상 영역으로 지정될 수 있는 특징점을 추출한다.
얼굴 특징점 추출부(300) 또한 얼굴 영역 추출부(200)와 유사하게 미리 학습된 인공 신경망으로 구현될 수 있으나, 여기서는 일예로 트리(tree) 알고리즘을 이용하여 얼굴 특징점을 추출하는 것으로 가정한다. 이는 얼굴 영상에서 얼굴 특징점을 추출하는 성능이 인공 신경망보다 트리 알고리즘을 이용하는 경우 더욱 우수한 것으로 알려져 있기 때문이다.
특징 병합부(400)는 얼굴 영역 추출부(200)로부터 얼굴 영역 벡터를 인가받고, 얼굴 특징점 추출부(300)로부터 얼굴 특징점 위치 벡터를 인가받아 병합하여 스트레스 판별부(500)로 전달한다. 이때 특징 병합부(400)는 얼굴 영역 벡터와 얼굴 특징점 위치 벡터를 여러가지 방식으로 병합할 수 있으나, 여기서는 일예로 얼굴 영역 벡터에 얼굴 특징점 위치 벡터를 단순 결합하는 방식으로 병합하는 것으로 가정한다.
스트레스 판별부(500)는 미리 지정된 패턴 추정 방식으로 학습된 인공 신경망으로 구현되고, 특징 병합부(400)로부터 얼굴 영역 벡터와 얼굴 특징점 위치 벡터가 병합된 데이터를 입력으로 인가받아 학습된 패턴 추정 방식에 따라 얼굴 영역 벡터와 얼굴 특징점 위치 벡터로부터 영상에 포함된 대상자의 스트레스 수준을 판별한다.
여기서 스트레스 판별부(500)는 스트레스를 기지정된 다수의 레벨로 구분하고, 대상자의 스트레스 수준을 다수의 스트레스 레벨 중 하나로 판별 할 수 있다. 간단한 예로서 스트레스 판별부(500)는 스트레스 레벨을 스트레스 낮음, 스트레스 중간 및 스트레스 높음의 3개 레벨로 구분하고, 대상자의 스트레스 수준을 3개의 레벨 중 하나로 판별할 수 있다. 그러나 이는 단순한 예로서 스트레스 레벨은 3개 이상의 다수개로 구분될 수도 있다.
상기한 바와 같이, 본 실시예에서는 얼굴 영역 추출부(200)가 입력된 영상에서 얼굴 영역 벡터를 추출하고, 얼굴 특징점 추출부(300)는 얼굴 영역 벡터에서 얼굴 특징점 위치 벡터를 추출하며, 스트레스 판별부(500)는 얼굴 영역 벡터뿐만 아니라 얼굴 특징점 위치 벡터를 함께 입력받아 패턴을 인식하여 스트레스를 추출함으로써, 대상자에 대한 스트레스 수준의 판별 정확도를 크게 향상 시킬 수 있다.
도1 에서는 설명의 편의를 위해, 특징 병합부(400)가 얼굴 영역 벡터와 얼굴 특징점 위치 벡터를 인가받아 병합하는 것으로 설명하였으나, 상기한 바와 같이, 얼굴 영역 벡터와 얼굴 특징점 위치 벡터는 단순 결합 방식으로 병합될 수 있으므로, 스트레스 판별부(500)는 얼굴 영역 추출부(200)에서 출력되는 얼굴 영역 벡터와 얼굴 특징점 추출부(300)에서 출력되는 얼굴 특징점 위치 벡터를 직접 인가받도록 구성될 수 있다. 즉 특징 병합부(400)는 생략될 수 있다.
도2 는 도1 의 얼굴 영역 추출부의 상세 구성을 나타내고, 도3 은 도2 의 얼굴 영역 추출부에서 각 구성의 세부 구조의 일예를 나타내며,
상기한 바와 같이, 얼굴 영역 추출부(200)는 단일 인공 신경망으로 구현될 수 있으나, 얼굴 영역 검출 성능을 향상시키기 위해서는, 도2 에 도시된 바와 같이, 단계적으로 연결되는 다수의 영역 검출부(220 ~ 240)를 포함하도록 구성되는 것이 바람직하다.
도2 를 참조하면, 얼굴 영역 추출부(200)는 일예로 3개의 영역 검출부(220 ~ 240)를 포함하도록 구성되고, 3개의 영역 검출부(220 ~ 240) 각각은 도3 에 도시된 바와 같이, 영상 인식, 음성 인식, 자연어 처리, 필기체 인식 등에 주로 이용되는 인공 신경망인 컨볼루션 신경망(Convolution Neural Network: 이하 CNN)로 구현될 수 있다. 그리고 3개의 영역 검출부(220 ~ 240)는 순차적으로 더 복잡한 구조를 갖도록 구성될 수 있다. 이렇게 얼굴 영역 추출부(200)가 단계적으로 연결되는 다수의 영역 검출부(220 ~ 240)를 포함하고, 다수의 영역 검출부(220 ~ 240)가 순차적으로 더 복잡한 구조를 갖는 인공 신경망으로 구현되는 경우, 매우 복잡한 구성을 갖는 단일 인공 신경망에 비해 더욱 빠르고 정확하게 얼굴 영역을 검출할 수 있다.
그리고 얼굴 영역 추출부(200)는 영상 입력부(100)에서 전달되는 입력 영상의 크기를 다양하게 조절하여 출력하는 영상 크기 조절부(210)를 더 포함할 수 있다.
도2 의 얼굴 영역 추출부(200)의 동작을 설명하면, 우선 영상 크기 조절부(210)가 입력 영상의 크기를 점차로 줄여가며 다양한 크기를 갖는 입력 영상을 획득하여 영상 피라미드를 생성한다. 그리고 생성된 영상 피라미드의 여러 크기의 영상 각각을 다수의 영역 검출부(220 ~ 240) 중 제1 영역 검출부(220)로 전달하고, 제1 영역 검출부(220)는 미리 학습된 패턴 추정 방식에 따라 입력 영상에서 1차 얼굴 영역을 검출한다.
제1 영역 검출부(220)는 우선 슬라이딩 윈도우 방식을 이용하여 영상 피라미드의 다양한 크기의 영상에서 신속하게 얼굴 후보 영역을 탐색할 수 있다. 그리고 CNN으로 구현되는 제1 영역 검출부(220)는 입력 영상의 각 영역을 얼굴 분류 벡터, 경계 박스 회귀(Bounding box regression) 벡터 및 얼굴 랜드마크 위치 벡터로 분류할 수 있으며, 경계 박스 회귀 벡터를 이용하여 얼굴 후보 영역의 위치를 조절하고, Non-Maximum Suppression(이하 NMS) 알고리즘에 따라 서로 영역이 겹치는 얼굴 후보 영역들을 병합하여 얼굴 후보 영역의 수를 줄여 다수의 1차 얼굴 영역을 검출한다. 여기서 제1 영역 검출부(220)가 가장 구조가 단순한 구조를 갖는 것은 신속하게 1차 얼굴 영역을 검출할 수 있도록 하기 위함이다.
제1 영역 검출부(220)가 1차 얼굴 영역을 검출하면, 제1 영역 검출부(220)보다 복잡한 구조의 CNN으로 구현되는 제2 영역 검출부(230)가 다수의 1차 얼굴 영역 중 얼굴 영역이 아닌 영역을 제거하고, 경계 박스 회귀 벡터를 이용하여 얼굴 후보 영역의 위치를 조절하고, Non-Maximum Suppression(이하 NMS) 알고리즘에 따라 서로 영역이 겹치는 얼굴 후보 영역들을 병합하여 다수의 2차 얼굴 영역을 획득한다. 여기서 2차 얼굴 영역의 개수는 1차 얼굴 영역의 개수 이하로 획득될 수 있다.
그리고 제3 영역 검출부(240)는 2차 영역 검출부(230)와 유사하게 다수의 2차 얼굴 영역 중 얼굴 영역이 아닌 영역을 제거하고, 경계 박스 회귀 벡터를 이용하여 얼굴 후보 영역의 위치를 조절하며, NMS 알고리즘에 따라 서로 영역이 겹치는 얼굴 후보 영역들을 병합하여 최종 얼굴 영역 벡터와 함께 얼굴 랜드마크 위치 벡터를 획득한다.
상기한 바와 같이, 얼굴 특징점 추출부(300)는 얼굴 영역 추출부(200)와 유사하게 적어도 하나의 인공 신경망으로 구현될 수도 있으나, 트리(tree) 알고리즘을 이용하여 얼굴 특징점을 추출하도록 구현될 수도 있다. 트리 알고리즘을 이용한 얼굴 특징점 추출 방법은 최근 제안된 회귀 기반(regression-based) 얼굴 특징점 검출 방법으로, Hand-craft 방식의 알고리즘이다. 트리 알고리즘은 데이터를 랜덤하게 샘플링하여 다수의 결정 트리를 생성함으로써 랜덤 포레스트(random forest)를 획득하고, 획득된 랜덤 포레스트의 다수의 결정 트리들의 결과를 모아 다수결로 특징을 추출한다.
그리고 랜덤 포레스트에 의해 추출된 특징에 대해 회귀 트리 분류기(regression tree classifier)를 적용하여 목표값에 빠르게 수렴할 수 있도록 한다. 회귀 트리 분류기를 이용하여 빠르게 목표값에 수렴할 수 있도록 하므로, 캐스케이드(Cascade) 방식으로 다수 횟수로 리파인이 가능하다. 캐스케이드 방식에 따른 리파인 횟수가 증가함에 따라 검출되는 얼굴 특징점의 위치가 검증 진리(ground truth)에서 지정된 특징점의 위치와 유사하게 나타나게 된다.
도4 는 도1 의 스트레스 판별부를 구성하는 인공 신경망 일부 구조 예를 나타낸다.
상기한 바와 같이, 스트레스 판별부(500) 또한 인공 신경망으로 구현될 수 있다. 특히 본 실시예에서 스트레스 판별부(500)는 얼굴 영역 추출부(200)에서 추출한 얼굴 영역 벡터와 함께 얼굴 특징점 추출부(300)에서 추출한 얼굴 특징점 위치 벡터를 입력으로 인가받아 기지정된 패턴 추정 방식에 따라 인가된 얼굴 영역 벡터와 얼굴 특징점 위치 벡터의 특징을 분석하여 대상자의 스트레스 정도를 판별한다.
이때, 스트레스 판별부(500)는 도3 에 도시된 3개의 영역 검출부(220 ~ 240)의 구조와 유사하게 CNN으로 구현될 수도 있다. 그러나 CNN의 경우, 구조가 복잡해질수록 연산량이 기하급수적으로 증가할 뿐만 아니라 학습 속도가 느려지게 되며, 일정 수준 이상의 레이어에서는 정확도가 향상되지 않고 오히려 오버 피팅이나 학습 오류가 발생할 가능성이 증가하게 된다.
이러한 문제를 방지하기 위해서, 기지정된 컨볼루션 레이어(conv)를 컨볼루션 모듈(CM)로 그룹화하고, 각 컨볼루션 모듈(CM) 사이의 가산기(AD)가 숏컷 연결되는 ResNet(Residual Network)이 제안되어 있다. ResNet은 학습 시에 대응하는 컨볼루션 모듈(CMi) 이전의 인접한 컨볼루션 모듈(CMi-1)이 추출한 특성을 함께 고려하여 학습할 수 있으며, 이로 인해 신경망의 깊이가 매우 깊어진 경우에도, 패턴 추정 시에 왜곡을 발생하지 않으며, 우수한 성능을 나타낼 수 있다.
따라서 본 실시예에서 스트레스 판별부(500)는 학습 과정을 단순화하고 학습할 방향을 지정하기 용이한 ResNet를 이용하는 것으로 가정한다.
일반적으로 ResNet는 도4 의 (a)에 도시된 바와 같이, 각 컨볼루션 모듈(CMi)내의 컨볼루션 레이어(conv)의 크기를 동일하게 구성하지만, 본 실시예에서는 (b)에 도시된 바와 같이, 각 컨볼루션 모듈(CMi)내의 컨볼루션 레이어(conv)크기를 상이하게 구성한 병목 구조(Bottleneck architecture)로 구성함으로써, 특징 맵 수를 증가시키면서 내부 파라미터의 수는 감소시킬 수 있다. 이 경우 성능을 높이면서 연산량은 감소시킬 수 있다.
도5 는 본 발명의 일 실시예에 따른 스트레스 인식 방법을 나타낸다.
도1 내지 도4 를 참조하여 도5 의 본 실시예에 따른 스트레스 인식 방법을 설명하면, 우선 스트레스 측정 대상자가 촬영된 입력 영상을 획득한다(S10). 여기서 입력 영상은 통상의 카메라를 이용하여 획득된 일반 영상이다.
입력 영상이 획득되면, 인공 신경망으로 구현되고 영상에 포함된 얼굴 영역에 대한 패턴 추정 방식이 미리 학습된 얼굴 영역 추출부(200)가 입력 영상에서 얼굴이 포함된 영역을 추출한다(S20).
이때, 얼굴 영역 추출부(200)는 단계적으로 연결된 다수의 인공 신경망을 포함하여, 얼굴 영역을 빠르고 정확하게 추출하도록 구성될 수 있다. 또한 입력 영상의 크기를 다양하게 조절하여 영상 피라미드를 생성하여 단계적으로 연결된 다수의 인공 신경망으로 전달함으로써, 인공 신경망이 신속하게 얼굴 후보 영역을 탐색하도록 할 수 있다.
여기서 단계적으로 연결된 다수의 인공 신경망은 순차적으로 복잡한 구조를 가질 수 있으며, 각 인공 신경망은 CNN으로 구현되어 입력되는 영상의 각 영역을 얼굴 분류 벡터, 경계 박스 회귀(Bounding box regression) 벡터 및 얼굴 랜드마크 위치 벡터로 분류하고, 경계 박스 회귀 벡터를 이용하여 얼굴 후보 영역의 위치를 조절한 후, NMS 알고리즘에 따라 서로 영역이 겹치는 얼굴 후보 영역들을 병합하여 얼굴 후보 영역의 수를 줄임으로써, 얼굴 영역을 획득할 수 있다. 이때 얼굴 영역은 벡터의 형태로 획득될 수 있다. 또한 얼굴 영역과 함께 얼굴 랜드마크 위치가 함께 획득될 수도 있다.
한편, 얼굴 영역 추출부(200)에서 얼굴 영역이 추출되면, 획득된 얼굴 영역에서 얼굴 특징점 위치를 기지정된 알고리즘에 따라 추출한다(S30). 얼굴 특징점 위치는 일예로 트리 알고리즘을 이용하여 추출될 수 있다. 얼굴 특징점 위치 또한 벡터의 형태로 획득될 수 있다.
그리고 추출된 얼굴 영역과 얼굴 특징점 위치를 병합한다(S40). 여기서 얼굴 영역과 얼굴 특징점 위치는 단순 벡터 결합 방식으로 병합될 수 있다.
이후 미리 지정된 패턴 추정 방식에 따라 미리 학습된 인공 신경망이 추출된 얼굴 영역과 얼굴 특징점 위치를 기반으로 입력 영상에 포함된 대상자의 스트레스 수준을 판별한다(S50). 이때 스트레스 레벨을 기지정된 다수의 레벨로 구분하고, 대상자의 스트레스 수준을 구분된 다수의 스트레스 레벨 중 하나로 분류함으로써, 대상자의 스트레스 수준을 판별할 수 있다.
여기서 인공 신경망은 각 컨볼루션 모듈(CMi)이 병목 구조를 갖는 ResNet로 구현될 수 있다.
상기에서는 추출된 얼굴 영역과 얼굴 특징점 위치를 우선 병합한 후 스트레스 수준을 판별하는 것으로 설명하였으나, 경우에 따라서는 별도의 병합 과정을 거치지 않고, 얼굴 영역과 얼굴 특징점 위치를 그대로 입력으로 받아 스트레스를 판별할 수도 있다.
본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (11)

  1. 스트레스를 측정하고자 하는 대상자의 얼굴이 포함된 입력 영상을 인가받고, 미리 학습된 패턴 추정 방식에 따라 상기 입력 영상에서 얼굴 영역에 대한 얼굴 영역 벡터를 추출하는 얼굴 영역 추출부;
    상기 얼굴 영역 추출부에서 추출된 상기 얼굴 영역 벡터를 인가받고, 기지정된 트리 알고리즘에 따라 상기 얼굴 영역 벡터로부터 얼굴 특징점 벡터를 추출하는 얼굴 특징점 추출부; 및
    상기 얼굴 영역 벡터와 상기 얼굴 특징점 벡터를 인가받고, 미리 학습된 패턴 추정 방식에 따라 상기 얼굴 영역 벡터와 상기 얼굴 특징점 벡터로부터 상기 대상자의 스트레스 수준을 판별하는 스트레스 판별부; 를 포함하는 스트레스 인식 장치.
  2. 제1 항에 있어서, 상기 얼굴 영역 추출부는
    단계적으로 연결된 다수의 영역 검출부를 포함하고,
    상기 다수의 영역 검출부 각각은
    패턴 추정 방식이 미리 학습된 컨볼루션 신경망(Convolution Neural Network: 이하 CNN)을 포함하여, 입력되는 영상의 각 영역을 얼굴 분류 벡터, 경계 박스 회귀 벡터 및 얼굴 랜드마크 위치 벡터로 분류하는 스트레스 인식 장치.
  3. 제2 항에 있어서, 상기 다수의 영역 검출부 각각은
    경계 박스 회귀 벡터를 이용하여 얼굴 후보 영역의 위치를 조절한 후, NMS 알고리즘에 따라 서로 영역이 겹치는 얼굴 후보 영역들을 병합하여 얼굴 후보 영역의 수를 줄이는 스트레스 인식 장치.
  4. 제2 항에 있어서, 상기 얼굴 영역 추출부는
    상기 입력 영상의 크기를 조절하여 서로 다른 크기의 다수의 영상을 생성하여, 단계적으로 연결된 다수의 영역 검출부 중 가장 전단에 배치된 영역 검출부로 전달하는 스트레스 인식 장치.
  5. 제1 항에 있어서, 상기 얼굴 특징점 추출부는
    상기 트리 알고리즘에 따라 상기 얼굴 영역 벡터의 데이터를 랜덤하게 샘플링하여 생성된 다수의 결정 트리를 포함하는 랜덤 포레스트를 획득하고, 랜덤 포레스트에 의해 추출된 특징에 대해 회귀 트리 분류기를 이용하여 얼굴 특징점을 추출하고, 기지정된 횟수로 반복하여 얼굴 특징점을 추출하여 상기 얼굴 특징점 벡터를 획득하는 스트레스 인식 장치.
  6. 제1 항에 있어서, 상기 스트레스 판별부는
    각각 다수의 컨볼루션 레이어를 포함하는 다수의 컨볼루션 모듈과 상기 다수의 컨볼루션 모듈 사이에 배치되어, 이전 기설정된 개수의 컨볼류션 모듈에서 인가되는 연산 결과를 합하는 적어도 하나의 가산기를 포함하는 패턴 추정 방식이 미리 학습된 ResNet(Residual Network)로 구현되며,
    상기 다수의 컨볼루션 모듈 각각에 포함되는 다수의 컨볼루션 레이어 중 적어도 하나의 컨볼루션 레이어는 크기가 상이한 스트레스 인식 장치.
  7. 스트레스를 측정하고자 하는 대상자의 얼굴이 포함된 입력 영상을 획득하는 단계;
    미리 학습된 패턴 추정 방식에 따라 상기 입력 영상에서 얼굴 영역에 대한 얼굴 영역 벡터를 추출하는 단계;
    기지정된 트리 알고리즘에 따라 상기 얼굴 영역 벡터로부터 얼굴 특징점 벡터를 추출하는 단계; 및
    미리 학습된 패턴 추정 방식에 따라 상기 얼굴 영역 벡터와 상기 얼굴 특징점 벡터로부터 상기 대상자의 스트레스 수준을 판별하는 단계; 를 포함하는 스트레스 인식 방법.
  8. 제7 항에 있어서, 상기 얼굴 영역 벡터를 추출하는 단계는
    순차적으로 입력되는 영상에서 얼굴 영역을 검출하는 다수의 영역 검출 단계를 포함하고,
    상기 다수의 영역 검출 단계는 각각은
    미리 학습된 패턴 추정 방식에 따라 입력되는 영상의 각 영역을 얼굴 분류 벡터, 경계 박스 회귀 벡터 및 얼굴 랜드마크 위치 벡터로 분류하는 단계; 및
    상기 경계 박스 회귀 벡터를 이용하여 얼굴 후보 영역의 위치를 조절한 후, NMS 알고리즘에 따라 서로 영역이 겹치는 얼굴 후보 영역들을 병합하여 얼굴 후보 영역의 수를 줄이는 단계; 를 포함하는 스트레스 인식 방법.
  9. 제7 항에 있어서, 상기 얼굴 특징점 벡터를 추출하는 단계는
    상기 트리 알고리즘에 따라 상기 얼굴 영역 벡터의 데이터를 랜덤하게 샘플링하여 생성된 다수의 결정 트리를 포함하는 랜덤 포레스트를 획득하는 단계;
    상기 랜덤 포레스트에 의해 추출된 특징에 대해 회귀 트리 분류기를 이용하여 얼굴 특징점을 추출하는 단계; 및
    상기 랜덤 포레스트를 획득하는 단계와 얼굴 특징점을 추출하는 단계를 기지정된 횟수로 반복하여 상기 얼굴 특징점 벡터를 획득하는 단계; 를 포함하는 스트레스 인식 방법.
  10. 제7 항에 있어서, 상기 스트레스 수준을 판별하는 단계는
    스트레스 수준을 나타내는 다수의 스트레스 레벨을 지정하는 단계; 및
    상기 얼굴 영역 벡터와 상기 얼굴 특징점 벡터로부터 미리 학습된 패턴 추정 방식에 따라 상기 대상자의 스트레스 수준을 상기 다수의 스트레스 레벨 중 하나로 분류하여 판별하는 단계; 를 포함하는 스트레스 인식 방법.
  11. 제7 항에 있어서, 상기 스트레스 수준을 판별하는 단계는
    적어도 하나는 상이한 크기를 다수의 컨볼루션 레이어를 포함하는 다수의 컨볼루션 모듈과 상기 다수의 컨볼루션 모듈 사이에 배치되어, 이전 기설정된 개수의 컨볼류션 모듈에서 인가되는 연산 결과를 합하는 적어도 하나의 가산기를 포함하고, 패턴 추정 방식이 미리 학습된 ResNet(Residual Network)를 이용하여 상기 스트레스 수준을 판별을 판별하는 스트레스 인식 방법.
PCT/KR2019/003160 2019-02-14 2019-03-19 영상과 얼굴의 특징점을 이용한 스트레스 인식 장치 및 방법 Ceased WO2020166757A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190017408 2019-02-14
KR10-2019-0017408 2019-02-14

Publications (1)

Publication Number Publication Date
WO2020166757A1 true WO2020166757A1 (ko) 2020-08-20

Family

ID=72044849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/003160 Ceased WO2020166757A1 (ko) 2019-02-14 2019-03-19 영상과 얼굴의 특징점을 이용한 스트레스 인식 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2020166757A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006305260A (ja) * 2005-04-28 2006-11-09 Ichiro Hagiwara 表情診断支援装置
KR20140132864A (ko) * 2013-05-08 2014-11-19 김행우 스트레스 변화에 따른 신체 및 심리 변화의 동영상 이용 간이 측정 방법 및 이를 이용한 힐링서비스
KR20150093036A (ko) * 2014-02-06 2015-08-17 한국전자통신연구원 생체 정보 측정장치 및 측정방법
KR20170093470A (ko) * 2016-02-05 2017-08-16 삼성전자주식회사 스트레스 관리 서비스를 제공하기 위한 방법 및 그 전자 장치
JP2017176762A (ja) * 2016-03-31 2017-10-05 有限会社Ｔｒｉａｒｔ ストレス評価方法およびストレス評価システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006305260A (ja) * 2005-04-28 2006-11-09 Ichiro Hagiwara 表情診断支援装置
KR20140132864A (ko) * 2013-05-08 2014-11-19 김행우 스트레스 변화에 따른 신체 및 심리 변화의 동영상 이용 간이 측정 방법 및 이를 이용한 힐링서비스
KR20150093036A (ko) * 2014-02-06 2015-08-17 한국전자통신연구원 생체 정보 측정장치 및 측정방법
KR20170093470A (ko) * 2016-02-05 2017-08-16 삼성전자주식회사 스트레스 관리 서비스를 제공하기 위한 방법 및 그 전자 장치
JP2017176762A (ja) * 2016-03-31 2017-10-05 有限会社Ｔｒｉａｒｔ ストレス評価方法およびストレス評価システム

Similar Documents

Publication Publication Date Title
US12217176B2 (en) Automatic identification and classification of adversarial attacks
KR101937323B1 (ko) 위장 얼굴 판별 장치 및 방법
WO2013129825A1 (ko) 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN112989889B (zh) 一种基于姿态指导的步态识别方法
WO2021145502A1 (ko) 얼굴 및 스트레스 인식 장치 및 방법
CN114022686B (zh) 一种面向遮挡场景的行人再识别方法
KR101780676B1 (ko) 트레이닝 이미지를 이용하여 분류 트리를 구성함으로써 rejector를 학습하고 상기 rejector를 이용하여 테스트 이미지 상의 객체를 검출하는 방법
WO2005024707A1 (en) Apparatus and method for feature recognition
WO2013048160A1 (ko) 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2021040287A1 (ko) 사람 재식별 장치 및 방법
KR102483650B1 (ko) 사용자 인증 장치 및 방법
CN111968152B (zh) 一种动态身份识别方法及装置
CN110059579A (zh) 用于活体检验的方法和装置，电子设备和存储介质
WO2019132590A1 (ko) 영상 변환 방법 및 장치
WO2023109551A1 (zh) 一种活体检测方法、装置和计算机设备
CN113688657B (zh) 人脸识别方法、装置、电子设备及存储介质
WO2019088333A1 (ko) 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
KR101877683B1 (ko) 학습을 이용한 얼굴 인식 장치 및 방법
CN121482653A (zh) 一种无人机视角下的小目标检测方法
CN115761832A (zh) 人脸活体检测方法、装置、电子设备、车辆及存储介质
KR102518061B1 (ko) 얼굴 윤곽 추정을 통한 마스크 착용 여부 확인 방법 및 장치
WO2020175729A1 (ko) 가우시안 특징점맵과 회귀 기법을 이용한 얼굴 특징점 검출 장치 및 방법
KR20160033552A (ko) 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법
JPWO2008035411A1 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
CN111860100B (zh) 行人数量的确定方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19915368

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19915368

Country of ref document: EP

Kind code of ref document: A1