KR101843562B1 - Emotion detecting method using particular point - Google Patents

Emotion detecting method using particular point Download PDF

Info

Publication number
KR101843562B1
KR101843562B1 KR1020160077234A KR20160077234A KR101843562B1 KR 101843562 B1 KR101843562 B1 KR 101843562B1 KR 1020160077234 A KR1020160077234 A KR 1020160077234A KR 20160077234 A KR20160077234 A KR 20160077234A KR 101843562 B1 KR101843562 B1 KR 101843562B1
Authority
KR
South Korea
Prior art keywords
emotion
feature point
point group
change
measuring
Prior art date
Application number
KR1020160077234A
Other languages
Korean (ko)
Other versions
KR20180000026A (en
Inventor
송지성
박수조
김선호
류예샘
김수아
김희성
Original Assignee
한양대학교 에리카산학협력단
송지성
박수조
김선호
류예샘
김수아
김희성
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단, 송지성, 박수조, 김선호, 류예샘, 김수아, 김희성 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020160077234A priority Critical patent/KR101843562B1/en
Publication of KR20180000026A publication Critical patent/KR20180000026A/en
Application granted granted Critical
Publication of KR101843562B1 publication Critical patent/KR101843562B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06K9/00302—
    • G06K9/00275—
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

본 발명은 특징점을 이용한 감정 판단 방법을 제공한다.
본 발명의 일 측면에 따른 특징점을 이용한 감정 판단 방법은, 얼굴이 촬영된 화면 상에 복수의 특징점을 생성하는 특징점 생성 단계, 상기 특징점들을 연결하여 복수의 감정 도형을 생성하는 도형 생성 단계, 상기 특징점의 최초 위치 및 변화를 측정하는 특징점 측정 단계, 상기 감정 도형의 최초 형상 및 변화를 측정하는 감정 도형 측정 단계, 상기 감정 도형의 변화를 바탕으로 감정을 판단하는 판단 단계, 및 상기 판단 단계에서 판단된 감정 유형을 알리는 알림 단계를 포함한다.The present invention provides an emotion judgment method using minutiae points.
According to an aspect of the present invention, an emotion determination method using feature points includes a feature point generation step of generating a plurality of feature points on a screen where a face is captured, a figure generation step of generating a plurality of emotion figure by connecting the feature points, An emotion figure measuring step of measuring an initial shape and a change of the emotion figure, a judging step of judging emotion based on the change of the emotion figure, And an informing step of informing the type of emotion.

Description

특징점을 이용한 감정 판단 방법{EMOTION DETECTING METHOD USING PARTICULAR POINT}TECHNICAL FIELD [0001] The present invention relates to a method for determining an emotion using feature points,

본 발명은 감정 판단 방법에 관한 것으로서 더욱 상세하게는 특징점을 이용한 감정 판단 방법에 관한 것이다.
The present invention relates to an emotion determination method, and more particularly to an emotion determination method using a feature point.

사용자가 눈으로 보는 현실세계에 가상의 객체를 겹쳐 보여주는 기술을 '증강현실(Augmented Reality)'이라고 한다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.Augmented Reality is a technique for superimposing virtual objects on the real world seen by the user. It is called Mixed Reality (MR) because it combines real world and virtual world with additional information in real time and displays it as one image.

현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.Augmented reality, a concept that complements the real world with a virtual world, uses a virtual environment created by computer graphics, but the protagonist is a real environment. Computer graphics serve to provide additional information needed for the real world.

이러한 증강현실기술은 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을 제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다.Unlike the virtual reality technology, which consists of a virtual environment only, the augmented reality technology provides a mixed reality environment and a virtual object so that the user can see the real environment and provide better reality and additional information.

증강현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급 되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.Augmented reality technology is used for remote medical diagnosis, broadcasting, architectural design, manufacturing process management. In particular, smartphones have become popular in the commercialization stage in recent years, and various products are being developed in the game and mobile solution industry and education field.

또한, 외부인이 가정집을 방문할 때, 인터폰을 이용하여 방문자의 얼굴을 촬영할 수 있으나, 방문자가 수상한 사람인지 여부를 판단하기 어려운 문제가 있다.
Further, when an outsider visits a home, it is possible to photograph the face of the visitor using the interphone, but it is difficult to determine whether or not the visitor is a suspicious person.

본 발명은 특징점을 이용한 감정 판단 방법을 제공한다.
The present invention provides an emotion judgment method using minutiae points.

본 발명의 일 측면에 따른 특징점을 이용한 감정 판단 방법은, 얼굴이 촬영된 화면 상에 복수의 특징점을 생성하는 특징점 생성 단계, 상기 특징점들을 연결하여 복수의 감정 도형을 생성하는 도형 생성 단계, 상기 특징점의 최초 위치 및 변화를 측정하는 특징점 측정 단계, 상기 감정 도형의 최초 형상 및 변화를 측정하는 감정 도형 측정 단계, 상기 감정 도형의 변화를 바탕으로 감정을 판단하는 판단 단계, 및 상기 판단 단계에서 판단된 감정 유형을 알리는 알림 단계를 포함한다.According to an aspect of the present invention, an emotion determination method using feature points includes a feature point generation step of generating a plurality of feature points on a screen where a face is captured, a figure generation step of generating a plurality of emotion figure by connecting the feature points, An emotion figure measuring step of measuring an initial shape and a change of the emotion figure, a judging step of judging emotion based on the change of the emotion figure, And an informing step of informing the type of emotion.

여기서, 상기 특징점 생성 단계는 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성하는 제1특징점군 생성 단계를 포함할 수 있다.The feature point generation step may include a first feature point group generation step of generating a first feature point group including a plurality of feature points on eyebrows.

또한, 상기 특징점 생성 단계는 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성하는 제2특징점군 생성 단계를 포함할 수 있다.In addition, the feature point generation step may include a second feature point group generation step of generating a second feature point group including a plurality of feature points around the eyes.

또한, 상기 특징점 생성 단계는 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성하는 제3특징점군 생성 단계를 포함할 수 있다.The feature point generation step may include a third feature point group generation step of generating a third feature point group including a plurality of feature points on the nose.

또한, 상기 특징점 생성 단계는 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성하는 제4특징점군 생성 단계를 포함할 수 있다.In addition, the feature point generation step may include a fourth feature point group generation step of generating a fourth feature point group including a plurality of feature points around the lip.

또한, 상기 도형 생성 단계는 상기 제1특징점군과 상기 제2특징점군을 연결하여 3개의 감정 도형을 생성할 수 있다.Also, the figure generating step may generate three emotion figures by connecting the first feature point group and the second feature point group.

또한, 상기 도형 생성 단계는 상기 제2특징점군과 상기 제3특징점군을 연결하여 3개의 감정 도형을 생성할 수 있다.Also, the figure generating step may generate three emotion figures by connecting the second feature point group and the third feature point group.

또한, 상기 도형 생성 단계는 상기 제3특징점군과 상기 제4특징점군을 연결하여 5개의 감정 도형을 생성할 수 있다.In addition, the figure generating step may generate five emotion figures by connecting the third feature point group and the fourth feature point group.

또한, 상기 특징점 측정 단계는 특징점의 위치 변화를 측정하는 위치 측정 단계를 포함할 수 있다.The feature point measurement step may include a position measurement step of measuring a change in position of the feature point.

또한, 상기 특징점 측정 단계는 특징점들의 간격 변화를 측정하는 간격 측정 단계를 포함할 수 있다.In addition, the feature point measurement step may include an interval measurement step of measuring a change in interval of the feature points.

또한, 상기 감정 도형 측정 단계는 도형의 내각 변화를 측정하는 도형 내각 측정 단계를 포함할 수 있다.In addition, the emotional figure measuring step may include a figure cabinet measuring step of measuring the cabinet change of the figure.

또한, 상기 감정 도형 측정 단계는 도형의 면적 변화를 측정하는 도형 면적 측정 단계를 포함할 수 있다.In addition, the emotional shape measuring step may include a figure area measuring step of measuring an area change of the figure.

또한, 상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수정한 사람인지 여부를 판단하는 위험 판단 단계를 포함할 수 있다.The determining step may include a risk determining step of comparing the change of the emotional graph with the facial expression change pattern of the offenders stored in the database to determine whether the person is a person who made the modification.

또한, 상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 사람들의 표정 변화 패턴과 비교하여 슬픔 상태인지 여부를 판단하는 슬픔 판단 단계를 포함할 수 있다.The determining step may include a sadness determining step of determining whether a sad state is present by comparing a change of the emotional graph with a facial expression change pattern of people stored in the database.

또한, 상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 사람들의 표정 변화 패턴과 비교하여 기쁨 상태인지 여부를 판단하는 기쁨 판단 단계를 포함할 수 있다.The determining step may include a joy determining step of determining whether the joy state is determined by comparing the change of the emotion figure with the facial expression change pattern of the people stored in the database.

또한, 상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 사람들의 표정 변화 패턴과 비교하여 분노 상태인지 여부를 판단하는 분노 판단 단계를 포함할 수 있다.The determining step may include an anger determination step of determining whether an anger is in an anger state by comparing a change in an emotional graph with a facial expression change pattern of a person stored in a database.

또한, 상기 알림 단계는 수상한 사람으로 판단된 경우, 경고 신호를 생성하는 위험 알림 단계를 포함할 수 있다.In addition, the notification step may include a risk notification step of generating a warning signal when it is determined that the person is a suspicious person.

또한, 상기 알림 단계는 문자로 사용자의 감정상태를 나타내는 문자 알림 단계, 이모티콘으로 감정상태를 나타내는 이모티콘 알림 단계, 통화 상대방에게 소리로 감정상태를 나타내는 소리 알림 단계 중에서 적어도 어느 하나 이상을 포함할 수 있다.
In addition, the notification step may include at least one of a character notification step of characterizing the user's emotional state, an emoticon notification step of expressing the emotional state with the emoticon, and a sound informing step of expressing the emotional state with the voice of the calling partner .

상기와 같이 본 발명에 따르면 카메라에 의하여 촬영된 얼굴에 특징점을 생성하고, 특징점의 변화에 따라 감정을 판단하므로 수상한 사람인지 여부를 자동으로 인식할 수 있다.
As described above, according to the present invention, a feature point is generated on a face photographed by a camera, and an emotion is determined according to a change in a feature point, so that it is possible to automatically recognize whether the user is a suspicious person.

도 1은 본 발명의 제1 실시예에 따른 감정 판단 시스템을 도시한 구성도이다.
도 2는 본 발명의 제1 실시예에 따른 감정 판단 시스템에 의하여 얼굴에 표시된 특징점을 나타낸 도면이다.
도 3은 본 발명의 제1 실시예에 따른 감정 판단 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 제2 실시예에 따른 감정 판단 시스템을 도시한 구성도이다.
도 5는 본 발명의 제2 실시예에 따른 감정 판단 방법을 설명하기 위한 순서도이다.1 is a configuration diagram showing an emotion judgment system according to a first embodiment of the present invention.
2 is a view showing feature points displayed on a face by the emotion determination system according to the first embodiment of the present invention.
3 is a flowchart for explaining an emotion judgment method according to the first embodiment of the present invention.
FIG. 4 is a configuration diagram showing an emotion judgment system according to a second embodiment of the present invention.
5 is a flowchart for explaining an emotion judgment method according to a second embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 당업자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention can be variously modified and may have various embodiments, and specific embodiments will be described in detail with reference to the drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된항목들의 조합 또는 복수의 관련된 기재된항목들 중의 어느항목을 포함한다.For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하에서는 본 발명의 제1 실시예에 따른 감정 판단 시스템에 대해서 설명한다. Hereinafter, the emotion judgment system according to the first embodiment of the present invention will be described.

도 1은 본 발명의 제1 실시예에 따른 감정 판단 시스템을 도시한 구성도이고, 도 2는 본 발명의 제1 실시예에 따른 감정 판단 시스템에 의하여 얼굴에 표시된 특징점을 나타낸 도면이다.FIG. 1 is a configuration diagram showing an emotion determination system according to a first embodiment of the present invention, and FIG. 2 is a diagram showing feature points displayed on a face by the emotion determination system according to the first embodiment of the present invention.

도 1 및 도 2를 참조하여 설명하면, 본 제1 실시예에 따른 감정 판단 시스템(101)은 특징점 생성부(10), 도형 생성부(20), 특징점 측정부(30), 감정 도형 측정부(40), 판단부(50), 알림부(60)를 포함한다.1 and 2, the emotion determination system 101 according to the first embodiment includes a feature point generation unit 10, a figure generation unit 20, a feature point measurement unit 30, (40), a determination unit (50), and a notification unit (60).

특징점 생성부(10)는 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성한다. 특징점 생성부(10)는 눈썹, 눈 주변, 코, 입 주변에 특징점을 생성할 수 있다. 특징점 생성부(10)는 물체 인식 기술을 이용하여 사람의 얼굴의 각 부분을 인식하고 얼굴의 각 부분에 복수의 특징점을 생성할 수 있다. The feature point generation unit 10 generates a plurality of feature points on the face photographed by the camera. The feature point generation unit 10 can generate feature points around eyebrows, eyes, nose, and mouth. The feature point generation unit 10 can recognize each part of a face of a person using an object recognition technique and generate a plurality of feature points in each part of the face.

카메라는 인터콤에 연결된 카메라일 수 있으며, 스마트 기기에 설치된 카메라일 수 있다. 인터콤에 연결된 카메라일 경우 감정 판단 시스템은 가정 보안 시스템으로 이루어질 수 있다. 스마트 기기에 설치된 카메라일 경우 감정 판단 시스템(101)은 스마트폰의 어플리케이션으로 이루어질 수 있다.The camera may be a camera connected to an intercom, or may be a camera installed in a smart device. In case of a camera connected to the intercom, the emotion judgment system may be a home security system. In the case of a camera installed in a smart device, the emotion determination system 101 may be implemented as an application of a smart phone.

수상한 사람이 현관에 나타난 경우, 사용자는 스마트 기기의 카메라를 이용하여 수상한 사람을 촬영할 수 있으며, 감정 판단 시스템(101)은 카메라에 촬영된 사람이 위험한 인물인지 여부를 판단할 수 있다.When a suspicious person appears on the porch, the user can photograph a suspicious person using the camera of the smart device, and the emotion judgment system 101 can judge whether the person photographed by the camera is a dangerous person.

특징점 생성부(10)는 제1특징점군 생성 모듈(11), 제2특징점군 생성 모듈(12), 제3특징점군 생성 모듈(13), 제4특징점군 생성 모듈(14)을 포함한다. The feature point generation unit 10 includes a first feature point group generation module 11, a second feature point group generation module 12, a third feature point group generation module 13, and a fourth feature point group generation module 14.

제1특징점군 생성 모듈(11)은 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성한다. 제1특징점군은 눈썹의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The first feature point group generation module 11 generates a first feature point group including a plurality of feature points on eyebrows. The first feature point group may consist of four feature points formed at both ends of the eyebrow in the longitudinal direction.

제2특징점군 생성 모듈(12)은 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성한다. 제2특징점군은 눈의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The second feature point group generation module 12 generates a second feature point group including a plurality of feature points around the eyes. The second feature point group may consist of four feature points formed at both ends in the longitudinal direction of the eye.

제3특징점군 생성 모듈(13)은 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성한다. 제3특징점군은 코의 길이방향 하단에 위치하되 코의 폭방향 양쪽 단부에 위치하는 2개의 특징점으로 이루어질 수 있다.Third feature point group generation module 13 generates a third feature point group including a plurality of feature points on the nose. Third feature The point cloud can be composed of two feature points located at the lower end in the longitudinal direction of the nose and at both ends in the width direction of the nose.

제4특징점군 생성 모듈(14)은 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성한다. 제4특징점군은 입술의 길이방향 양쪽 단부와 윗입술과 아랫입술의 길이방향 중앙에 형성된 4개의 특징점으로 이루어질 수 있다.The fourth feature point group generation module 14 generates a fourth feature point group including a plurality of feature points around the lips. Fourth feature The point cloud group can be composed of both end parts in the longitudinal direction of the lip and four feature points formed in the longitudinal direction center of the upper lip and the lower lip.

도형 생성부(20)는 특징점들을 연결하여 복수의 감정 도형을 생성한다. 감정 도형은 특징점들을 연결하는 선에 의하여 형성되며, 도형 생성부(20)는 감정 도형들이 서로 겹치지 않게 형성한다. The figure generating unit 20 generates a plurality of emotion figures by connecting the feature points. The emotion figure is formed by lines connecting the feature points, and the figure generator 20 forms the emotion figures so that they do not overlap with each other.

도형 생성부(20)는 제1특징점군과 제2특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽(촬영된 얼굴 기준) 눈과 눈썹 사이에 사각형으로 이루어진 제1감정 도형(a)을 생성하고, 미간에 사각형으로 이루어진 제2감정 도형(b)을 생성하며, 왼쪽 눈과 눈썹 사이에 제3감정 도형(c)을 생성한다.The figure generator 20 connects the first feature point group and the second feature point group to generate three emotion diagrams. The figure generating unit 20 generates a first emotion figure a composed of a rectangle between the right eye and a eyebrow and generates a second emotion figure b composed of a rectangle between the eyes, And a third emotion figure (c) is generated between the eye and the eyebrow.

도형 생성부(20)는 제2특징점군과 제3특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(d)을 생성하고, 코가 위치하는 영역에 사각형으로 이루어진 제5감정 도형(e)을 생성하며, 왼쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(f)을 생성한다.The figure generator 20 connects the second feature point group and the third feature point group to generate three emotion diagrams. The figure generating unit 20 generates a fourth emotion figure d composed of a triangle between the right eye and the nose and a fifth emotion figure e composed of a quadrangle in a region where the nose is located, And generates a fourth emotion figure (f) consisting of a triangle between the noses.

또한, 도형 생성부(20)는 제3특징점군과 제4특징점군을 연결하여 5개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽 입술과 코를 연결하여 삼각형의 제4감정 도형(g)을 생성하고, 코의 양쪽 하단과 입술의 중앙을 연결하여 삼각형의 제5감정 도형(h)을 생성하며, 왼쪽 입술과 코를 연결하여 삼각형의 제6감정 도형(i)을 생성한다. 또한, 도형 생성부(20)는 오른쪽 윗입술과 아랫입술을 연결하여 제7감정 도형(j)을 생성하고, 왼쪽 윗입술과 아랫입술을 연결하여 제8감정 도형(k)을 생성 생성한다.Also, the graphic generator 20 connects the third characteristic point group and the fourth characteristic point group to generate five emotional graphics. The figure generating unit 20 generates the fourth emotion figure g of the triangle by connecting the right lips and the nose and connects the lower ends of the nose and the center of the lips to generate the fifth emotion figure h of the triangle , And connects the left lips and the nose to generate the sixth emotion figure (i) of the triangle. The figure generating unit 20 generates the seventh emotion figure j by connecting the upper right lips and the lower lips, and connects the upper left lips and the lower lips to generate the eighth emotion figure k.

특징점 측정부(30)는 특징점의 최초 위치 및 변화를 측정한다. 특징점 측정부(30)는 최초 설정된 특징점의 좌표와 간격을 측정할 수 있으며, 시간의 경과에 따른 특징점의 변화를 측정할 수 있다.The minutiae measuring unit 30 measures the initial position and change of the minutiae. The minutiae point measuring unit 30 can measure the coordinates and the interval of the initially set minutiae points and can measure the change of the minutiae points with the lapse of time.

특징점 측정부(30)는 위치 측정 모듈(31)과 간격 측정 모듈(32)을 포함한다. 위치 측정 모듈(31)은 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정한다. 위치 측정 모듈(31)은 특징점의 절대 위치 변화를 측정한다. 간격 측정 모듈(32)은 특징점들의 최초 간격과 시간의 경과에 따른 간격 변화를 측정한다. 간격 측정 모듈(32)은 특징점들의 상대 위치를 측정한다.The minutiae measuring unit 30 includes a position measuring module 31 and an interval measuring module 32. The position measurement module 31 measures the initial position of the feature points and the positional change with the lapse of time. The position measurement module 31 measures the absolute position change of the feature point. The interval measurement module 32 measures the initial interval of the minutiae and the interval variation with the lapse of time. The interval measurement module 32 measures the relative position of the feature points.

감정 도형 측정부(40)는 감정 도형의 최초 형상 및 시간의 경과에 따른 감정 도형의 변화를 측정한다. 감정 도형 측정부(40)는 도형 내각 측정 모듈(41), 도형 면적 측정 모듈(42)을 포함한다. 도형 내각 측정 모듈(41)은 감정 도형의 내각 변화를 측정하고, 도형 면적 측정 모듈(42)은 감정 도형의 면적 변화를 측정한다.The emotion figure measurement unit 40 measures the initial shape of the emotion figure and the change of the emotion figure with the lapse of time. The emotion figure measurement unit 40 includes a figure shape internal area measurement module 41 and a figure area measurement module 42. [ The figure cabinet measuring module 41 measures the cabinet change of the emotional figure, and the figure area measuring module 42 measures the area change of the emotional figure.

판단부(50)는 측정된 감정 도형과 특징점을 바탕으로 촬영된 얼굴의 감정을 판단한다. 판단부(50)는 특징점의 최초 위치와 변화를 바탕으로 데이터 베이스에에 저장된 특징점 유형과 비교하여 측정된 특징점의 유형을 분류한다. 데이터 베이스는 다양한 감정 상태에서 다수의 사람들의 특징점 유형이 저장되어 있는바, 판단부(50)는 측정된 특징점과 데이터 베이스에 저장된 자료를 비교하여 특징점의 유형을 분류한다.The determination unit 50 determines the emotion of the photographed face based on the measured emotion figure and the feature point. The determination unit 50 classifies the type of the measured feature point by comparing the feature point type stored in the database with the initial position and the change of the feature point. The database stores characteristic point types of a plurality of people in various emotion states, and the determination unit 50 compares the measured characteristic points with the data stored in the database to classify types of characteristic points.

판단부(50)는 감정 도형의 최초 형상과 변화를 바탕으로 데이터 베이스에 저장된 감정 도형 유형과 비교하여 측정된 감정 도형의 유형을 분류한다. 데이터 베이스에는 다양한 감정 상태에서 다수의 사람들의 감정 도형 유형이 저장되어 있는바, 판단부(50)는 측정된 감정 도형과 데이터 베이스에 저장된 자료를 비교하여 감정 도형의 유형을 분류한다.The determination unit 50 classifies the type of the measured emotion figure based on the initial shape and the change of the emotion figure, compared with the emotion figure type stored in the database. A plurality of people's emotional graphic types are stored in various emotional states in the database. The determination unit 50 classifies the types of emotional graphic by comparing the measured emotional graphic with data stored in the database.

판단부(50)는 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수상한 사람인지 여부를 판단하는 위험 판단 모듈(51)을 포함한다. 데이터 베이스에는 위험한 인물의 감정 도형과 특징점 유형이 저장되어 있으며, 위험 판단 모듈(51)은 측정된 특징점과 감정 도형을 통해서 위험 인물인지 여부를 판단한다.The judging unit 50 includes a risk judging module 51 for judging whether the suspect person is a suspicious person by comparing the emotion figure and the minutiae with the facial expression change patterns of the offenders stored in the database. In the database, an emotional figure and a characteristic point type of a dangerous person are stored, and the risk judgment module 51 determines whether the person is a dangerous person through the measured characteristic points and the emotional figure.

알림부(60)는 판단부(50)에서 판단된 감정 유형을 알린다. 알림부(60)는 디스플레이에 감정 유형을 표시할 수 있으며, 소리를 생성하여 감정 유형을 나타낼 수 있다. 알림부(60)는 수상한 사람으로 판단된 경우, 경고 신호를 생성하는 위험 알림 모듈(61)을 포함한다.The notification unit 60 informs the determination unit 50 of the type of emotion determined. The notification unit 60 can display the emotion type on the display and generate the sound to indicate the emotion type. The notification unit 60 includes a risk notification module 61 that generates a warning signal when it is determined that the person is a suspicious person.

이와 같이 본 실시예에 따르면 카메라에 의하여 촬영된 얼굴에 특징점을 생성하고, 특징점의 변화에 따라 감정을 판단하므로 수상한 사람인지 여부를 자동으로 인식할 수 있다.As described above, according to the present embodiment, a minutiae is generated on the face photographed by the camera, and the emotion is judged according to the change of the minutiae point, so that it is possible to automatically recognize whether the person is a suspicious person.

이하에서는 본 발명의 제1 실시예에 따른 감정 판단 방법에 대해서 설명한다. 도 3은 본 발명의 제1 실시예에 따른 감정 판단 방법을 설명하기 위한 순서도이다.Hereinafter, the emotion determination method according to the first embodiment of the present invention will be described. 3 is a flowchart for explaining an emotion judgment method according to the first embodiment of the present invention.

도 3을 참조하여 설명하면, 본 제1 실시예에 따른 감정 판단 방법은 특징점 생성 단계(S101), 도형 생성 단계(S102), 특징점 측정 단계(S103), 감정 도형 측정 단계(S104), 판단 단계(S105), 알림 단계(S106)를 포함한다. Referring to FIG. 3, the emotion determination method according to the first embodiment includes a minutia point generation step S101, a figure generation step S102, a minutia point measurement step S103, an emotional shape measurement step S104, (S105), and a notification step (S106).

특징점 생성 단계(S101)는 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성한다. 특징점 생성 단계(S101)는 눈썹, 눈 주변, 코, 입 주변에 특징점을 생성할 수 있다. 특징점 생성 단계(S101)는 물체 인식 기술을 이용하여 사람의 얼굴의 각 부분을 인식하고 얼굴의 각 부분에 복수의 특징점을 생성할 수 있다. The feature point creation step (S101) creates a plurality of feature points on the face captured by the camera. The minutia point creation step (S101) can generate minutiae on eyebrows, eyes, nose, and mouth. In the minutia point generation step (S101), each part of a person's face can be recognized using an object recognition technology, and a plurality of minutiae points can be generated in each part of a face.

특징점 생성 단계(S101)는 제1특징점군 생성 단계, 제2특징점군 생성 단계, 제3특징점군 생성 단계, 제4특징점군 생성 단계를 포함한다. The feature point generation step S101 includes a first feature point group generation step, a second feature point group generation step, a third feature point group generation step, and a fourth feature point group generation step.

제1특징점군 생성 단계는 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성한다. 제1특징점군은 눈썹의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The first feature point group generation step generates a first feature point group including a plurality of feature points on eyebrows. The first feature point group may consist of four feature points formed at both ends of the eyebrow in the longitudinal direction.

제2특징점군 생성 단계는 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성한다. 제2특징점군은 눈의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The second characteristic point group generation step generates a second characteristic point group including a plurality of characteristic points around the eyes. The second feature point group may consist of four feature points formed at both ends in the longitudinal direction of the eye.

제3특징점군 생성 단계는 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성한다. 제3특징점군은 코의 길이방향 하단에 위치하되 코의 폭방향 양쪽 단부에 위치하는 2개의 특징점으로 이루어질 수 있다.Third characteristic point group generation step generates a third characteristic point group composed of a plurality of characteristic points on the nose. Third feature The point cloud can be composed of two feature points located at the lower end in the longitudinal direction of the nose and at both ends in the width direction of the nose.

제4특징점군 생성 단계는 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성한다. 제4특징점군은 입술의 길이방향 양쪽 단부와 윗입술과 아랫입술의 길이방향 중앙에 형성된 4개의 특징점으로 이루어질 수 있다.The fourth feature point group generation step generates a fourth feature point group including a plurality of feature points around the lips. Fourth feature The point cloud group can be composed of both end parts in the longitudinal direction of the lip and four feature points formed in the longitudinal direction center of the upper lip and the lower lip.

도형 생성 단계(S102)는 특징점들을 연결하여 복수의 감정 도형을 생성한다. 감정 도형은 특징점들을 연결하는 선에 의하여 형성되며, 도형 생성부는 감정 도형들이 서로 겹치지 않게 형성한다. In the figure generation step (S102), a plurality of emotion diagrams are generated by connecting the minutiae. The emotion figure is formed by lines connecting the feature points, and the figure generator forms the emotion figures so that they do not overlap with each other.

도형 생성 단계(S102)는 제1특징점군과 제2특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성 단계(S102)는 오른쪽(촬영된 얼굴 기준) 눈과 눈썹 사이에 사각형으로 이루어진 제1감정 도형(a)을 생성하고, 미간에 사각형으로 이루어진 제2감정 도형(b)을 생성하며, 왼쪽 눈과 눈썹 사이에 제3감정 도형(c)을 생성한다.In the figure generation step (S102), three emotion figures are generated by connecting the first feature point group and the second feature point group. In the graphic form generation step (S102), a first emotion figure (a) composed of a quadrangle is formed between the right eye (based on the photographed face) and the eyebrows, a second emotion figure (b) And a third emotion figure (c) is generated between the eye and the eyebrow.

도형 생성 단계(S102)는 제2특징점군과 제3특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성 단계(S102)는 오른쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(d)을 생성하고, 코가 위치하는 영역에 사각형으로 이루어진 제5감정 도형(e)을 생성하며, 왼쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(f)을 생성한다.In the figure generation step (S102), the three feature points are generated by connecting the second feature point group and the third feature point group. In the figure generating step S102, a fourth emotion figure d composed of a triangle is formed between the right eye and the nose, a fifth emotion figure e composed of a quadrangle is formed in a region where the nose is located, And generates a fourth emotion figure (f) consisting of a triangle between the noses.

또한, 도형 생성 단계(S102)는 제3특징점군과 제4특징점군을 연결하여 5개의 감정 도형을 생성한다. 도형 생성 단계(S102)는 오른쪽 입술과 코를 연결하여 삼각형의 제4감정 도형(g)을 생성하고, 코의 양쪽 하단과 입술의 중앙을 연결하여 삼각형의 제5감정 도형(h)을 생성하며, 왼쪽 입술과 코를 연결하여 삼각형의 제6감정 도형(i)을 생성한다. 또한 도형 생성 단계(S102)는 오른쪽 윗입술과 아랫입술을 연결하여 제7감정 도형(j)을 생성하고, 왼쪽 윗입술과 아랫입술을 연결하여 제8감정 도형(k)을 생성 생성한다.In the graphic form generation step (S102), five emotion figures are generated by connecting the third feature point group and the fourth feature point group. The figure generating step S102 creates a fourth emotion figure g of a triangle by connecting the right lips and the nose and connects the lower ends of the nose and the center of the lips to generate a fifth emotion figure h of the triangle , And connects the left lips and the nose to generate the sixth emotion figure (i) of the triangle. In the graphic form generation step S102, the seventh emotion figure j is generated by connecting the right upper lip and the bottom lips, and the eighth emotion figure k is generated by connecting the left upper lip and the bottom lips.

특징점 측정 단계(S103)는 특징점의 최초 위치 및 변화를 측정한다. 특징점 측정 단계(S103)는 최초 설정된 특징점의 좌표와 간격을 측정할 수 있다. The feature point measurement step S103 measures the initial position and change of the feature point. The feature point measuring step S103 can measure the coordinates and the interval of the initially set feature points.

특징점 측정 단계(S103)는 위치 측정 단계와 간격 측정 단계를 포함한다. 위치 측정 단계는 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정한다. 위치 측정 단계는 특징점의 절대 위치 변화를 측정한다. 간격 측정 단계는 특징점들의 최초 간격과 시간의 경과에 따른 간격 변화를 측정한다. 간격 측정 단계는 특징점들의 상대 위치를 측정한다.The feature point measuring step S103 includes a position measuring step and an interval measuring step. The position measurement step measures the initial position of the feature points and the positional change with the lapse of time. The position measuring step measures the absolute position change of the feature point. The interval measurement step measures the initial interval of the feature points and the interval variation with the lapse of time. The interval measurement step measures the relative position of the feature points.

감정 도형 측정 단계(S104)는 감정 도형의 최초 형상 및 시간의 경과에 따른 감정 도형의 변화를 측정한다. 감정 도형 측정 단계(S104)는 도형 내각 측정 단계, 도형 면적 측정 단계를 포함한다. 도형 내각 측정 단계는 감정 도형의 내각 변화를 측정하고, 도형 면적 측정 단계는 감정 도형의 면적 변화를 측정한다.The emotion figure measurement step (S104) measures the initial shape of the emotion figure and the change of the emotion figure with time. The emotion graphic form measurement step S104 includes a figure shape cabinet measurement step, and a figure shape area measurement step. The figure cabinet measuring step measures the cabinet change of the emotion figure, and the figure area measuring step measures the area change of the emotion figure.

판단 단계(S105)는 측정된 감정 도형과 특징점을 바탕으로 촬영된 얼굴의 감정을 판단한다. 판단 단계(S105)는 특징점의 최초 위치와 변화를 바탕으로 데이터 베이스에에 저장된 특징점 유형과 비교하여 측정된 특징점의 유형을 분류한다. 데이터 베이스는 다양한 감정 상태에서 다수의 사람들의 특징점 유형이 저장되어 있는바, 판단 단계(S105)는 측정된 특징점과 데이터 베이스에 저장된 자료를 비교하여 특징점의 유형을 분류한다.The judgment step S105 judges the emotion of the photographed face on the basis of the measured emotion figure and the feature point. The judgment step S105 classifies the type of the minutiae measured by comparing the minutiae point type stored in the database with the initial position of the minutiae and the change. The database stores characteristic point types of a plurality of people in various emotional states. In the determination step (S105), types of characteristic points are classified by comparing measured characteristic points with data stored in a database.

판단 단계(S105)는 감정 도형의 최초 형상과 변화를 바탕으로 데이터 베이스에 저장된 감정 도형 유형과 비교하여 측정된 감정 도형의 유형을 분류한다. 데이터 베이스에는 다양한 감정 상태에서 다수의 사람들의 감정 도형 유형이 저장되어 있는바, 판단 단계(S105)는 측정된 감정 도형과 데이터 베이스에 저장된 자료를 비교하여 감정 도형의 유형을 분류한다.In the determination step (S105), the type of the emotion figure is compared with the emotion figure type stored in the database based on the initial shape and the change of the emotion figure. In the database, a plurality of emotional graphic types are stored in various emotional states. In the determination step (S105), the types of emotional graphic types are classified by comparing the measured emotional graphic with the data stored in the database.

판단 단계(S105)는 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수상한 사람인지 여부를 판단하는 위험 판단 단계를 포함한다. 데이터 베이스에는 위험한 인물의 감정 도형과 특징점 유형이 저장되어 있으며, 위험 판단 단계는 측정된 특징점과 감정 도형을 통해서 위험 인물인지 여부를 판단한다.The determination step S105 includes a risk determination step of determining whether the person is a suspicious person by comparing the emotion figure and the minutiae with the facial expression change patterns of the offenders stored in the database. In the database, the emotional figure and the characteristic point type of a dangerous person are stored, and the risk judgment step judges whether the person is a danger person through the measured characteristic point and the emotional figure.

알림 단계(S106)는 판단 단계(S106)에서 판단된 감정 유형을 나타낸다. 알림 단계(S106)는 수상한 사람으로 판단된 경우, 경고 신호를 생성하는 위험 알림 단계를 포함할 수 있다.The notification step (S106) indicates the type of emotion determined in the determination step (S106). The notification step S106 may include a risk notification step of generating a warning signal when it is determined that the user is a suspicious person.

이하에서는 본 발명의 제2 실시예에 따른 감정 판단 시스템에 대해서 설명한다. 도 4은 본 발명의 제2 실시예에 따른 감정 판단 시스템을 도시한 구성도이다.Hereinafter, an emotion judgment system according to a second embodiment of the present invention will be described. FIG. 4 is a block diagram showing an emotion judgment system according to a second embodiment of the present invention.

도 4를 참조하여 설명하면, 본 제2 실시예에 따른 감정 판단 시스템(102)은 특징점 생성부(10), 도형 생성부(20), 특징점 측정부(30), 감정 도형 측정부(40), 판단부(50), 알림부(60)를 포함한다.4, the emotion determination system 102 according to the second embodiment includes a feature point generation unit 10, a figure generation unit 20, a feature point measurement unit 30, an emotion figure measurement unit 40, A determination unit 50, and a notification unit 60.

특징점 생성부(10)는 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성한다. 특징점 생성부(10)는 눈썹, 눈 주변, 코, 입 주변에 특징점을 생성할 수 있다. 특징점 생성부(10)는 물체 인식 기술을 이용하여 사람의 얼굴의 각 부분을 인식하고 얼굴의 각 부분에 복수의 특징점을 생성할 수 있다. The feature point generation unit 10 generates a plurality of feature points on the face photographed by the camera. The feature point generation unit 10 can generate feature points around eyebrows, eyes, nose, and mouth. The feature point generation unit 10 can recognize each part of a face of a person using an object recognition technique and generate a plurality of feature points in each part of the face.

특징점 생성부(10)는 제1특징점군 생성 모듈(11), 제2특징점군 생성 모듈(12), 제3특징점군 생성 모듈(13), 제4특징점군 생성 모듈(14)을 포함한다. The feature point generation unit 10 includes a first feature point group generation module 11, a second feature point group generation module 12, a third feature point group generation module 13, and a fourth feature point group generation module 14.

제1특징점군 생성 모듈(11)은 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성한다. 제1특징점군은 눈썹의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The first feature point group generation module 11 generates a first feature point group including a plurality of feature points on eyebrows. The first feature point group may consist of four feature points formed at both ends of the eyebrow in the longitudinal direction.

제2특징점군 생성 모듈(12)은 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성한다. 제2특징점군은 눈의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The second feature point group generation module 12 generates a second feature point group including a plurality of feature points around the eyes. The second feature point group may consist of four feature points formed at both ends in the longitudinal direction of the eye.

제3특징점군 생성 모듈(13)은 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성한다. 제3특징점군은 코의 길이방향 하단에 위치하되 코의 폭방향 양쪽 단부에 위치하는 2개의 특징점으로 이루어질 수 있다.Third feature point group generation module 13 generates a third feature point group including a plurality of feature points on the nose. Third feature The point cloud can be composed of two feature points located at the lower end in the longitudinal direction of the nose and at both ends in the width direction of the nose.

제4특징점군 생성 모듈(14)은 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성한다. 제4특징점군은 입술의 길이방향 양쪽 단부와 윗입술과 아랫입술의 길이방향 중앙에 형성된 4개의 특징점으로 이루어질 수 있다.The fourth feature point group generation module 14 generates a fourth feature point group including a plurality of feature points around the lips. Fourth feature The point cloud group can be composed of both end parts in the longitudinal direction of the lip and four feature points formed in the longitudinal direction center of the upper lip and the lower lip.

도형 생성부(20)는 특징점들을 연결하여 복수의 감정 도형을 생성한다. 감정 도형은 특징점들을 연결하는 선에 의하여 형성되며, 도형 생성부(20)는 감정 도형들이 서로 겹치지 않게 형성한다. The figure generating unit 20 generates a plurality of emotion figures by connecting the feature points. The emotion figure is formed by lines connecting the feature points, and the figure generator 20 forms the emotion figures so that they do not overlap with each other.

도형 생성부(20)는 제1특징점군과 제2특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽(촬영된 얼굴 기준) 눈과 눈썹 사이에 사각형으로 이루어진 제1감정 도형(a)을 생성하고, 미간에 사각형으로 이루어진 제2감정 도형(b)을 생성하며, 왼쪽 눈과 눈썹 사이에 제3감정 도형(c)을 생성한다.The figure generator 20 connects the first feature point group and the second feature point group to generate three emotion diagrams. The figure generating unit 20 generates a first emotion figure a composed of a rectangle between the right eye and a eyebrow and generates a second emotion figure b composed of a rectangle between the eyes, And a third emotion figure (c) is generated between the eye and the eyebrow.

도형 생성부(20)는 제2특징점군과 제3특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(d)을 생성하고, 코가 위치하는 영역에 사각형으로 이루어진 제5감정 도형(e)을 생성하며, 왼쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(f)을 생성한다.The figure generator 20 connects the second feature point group and the third feature point group to generate three emotion diagrams. The figure generating unit 20 generates a fourth emotion figure d composed of a triangle between the right eye and the nose and a fifth emotion figure e composed of a quadrangle in a region where the nose is located, And generates a fourth emotion figure (f) consisting of a triangle between the noses.

또한, 도형 생성부(20)는 제3특징점군과 제4특징점군을 연결하여 5개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽 입술과 코를 연결하여 삼각형의 제4감정 도형(g)을 생성하고, 코의 양쪽 하단과 입술의 중앙을 연결하여 삼각형의 제5감정 도형(h)을 생성하며, 왼쪽 입술과 코를 연결하여 삼각형의 제6감정 도형(i)을 생성한다. 또한, 도형 생성부(20)는 오른쪽 윗입술과 아랫입술을 연결하여 제7감정 도형(j)을 생성하고, 왼쪽 윗입술과 아랫입술을 연결하여 제8감정 도형(k)을 생성 생성한다.Also, the graphic generator 20 connects the third characteristic point group and the fourth characteristic point group to generate five emotional graphics. The figure generating unit 20 generates the fourth emotion figure g of the triangle by connecting the right lips and the nose and connects the lower ends of the nose and the center of the lips to generate the fifth emotion figure h of the triangle , And connects the left lips and the nose to generate the sixth emotion figure (i) of the triangle. The figure generating unit 20 generates the seventh emotion figure j by connecting the upper right lips and the lower lips, and connects the upper left lips and the lower lips to generate the eighth emotion figure k.

특징점 측정부(30)는 특징점의 최초 위치 및 변화를 측정한다. 특징점 측정부(30)는 최초 설정된 특징점의 좌표와 간격을 측정할 수 있으며, 시간의 경과에 따른 특징점의 변화를 측정할 수 있다.The minutiae measuring unit 30 measures the initial position and change of the minutiae. The minutiae point measuring unit 30 can measure the coordinates and the interval of the initially set minutiae points and can measure the change of the minutiae points with the lapse of time.

특징점 측정부(30)는 위치 측정 모듈(31)과 간격 측정 모듈(32)을 포함한다. 위치 측정 모듈(31)은 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정한다. 위치 측정 모듈(31)은 특징점의 절대 위치 변화를 측정한다. 간격 측정 모듈(32)은 특징점들의 최초 간격과 시간의 경과에 따른 간격 변화를 측정한다. 간격 측정 모듈(32)은 특징점들의 상대 위치를 측정한다.The minutiae measuring unit 30 includes a position measuring module 31 and an interval measuring module 32. The position measurement module 31 measures the initial position of the feature points and the positional change with the lapse of time. The position measurement module 31 measures the absolute position change of the feature point. The interval measurement module 32 measures the initial interval of the minutiae and the interval variation with the lapse of time. The interval measurement module 32 measures the relative position of the feature points.

감정 도형 측정부(40)는 감정 도형의 최초 형상 및 시간의 경과에 따른 감정 도형의 변화를 측정한다. 감정 도형 측정부(40)는 도형 내각 측정 모듈(41), 도형 면적 측정 모듈(42)을 포함한다. 도형 내각 측정 모듈(41)은 감정 도형의 내각 변화를 측정하고, 도형 면적 측정 모듈(42)은 감정 도형의 면적 변화를 측정한다.The emotion figure measurement unit 40 measures the initial shape of the emotion figure and the change of the emotion figure with the lapse of time. The emotion figure measurement unit 40 includes a figure shape internal area measurement module 41 and a figure area measurement module 42. [ The figure cabinet measuring module 41 measures the cabinet change of the emotional figure, and the figure area measuring module 42 measures the area change of the emotional figure.

판단부(50)는 측정된 감정 도형과 특징점을 바탕으로 촬영된 얼굴의 감정을 판단한다. 판단부(50)는 특징점의 최초 위치와 변화를 바탕으로 데이터 베이스에에 저장된 특징점 유형과 비교하여 측정된 특징점의 유형을 분류한다. 데이터 베이스는 다양한 감정 상태에서 다수의 사람들의 특징점 유형이 저장되어 있는바, 판단부(50)는 측정된 특징점과 데이터 베이스에 저장된 자료를 비교하여 특징점의 유형을 분류한다.The determination unit 50 determines the emotion of the photographed face based on the measured emotion figure and the feature point. The determination unit 50 classifies the type of the measured feature point by comparing the feature point type stored in the database with the initial position and the change of the feature point. The database stores characteristic point types of a plurality of people in various emotion states, and the determination unit 50 compares the measured characteristic points with the data stored in the database to classify types of characteristic points.

판단부(50)는 감정 도형의 최초 형상과 변화를 바탕으로 데이터 베이스에 저장된 감정 도형 유형과 비교하여 측정된 감정 도형의 유형을 분류한다. 데이터 베이스에는 다양한 감정 상태에서 다수의 사람들의 감정 도형 유형이 저장되어 있는바, 판단부(50)는 측정된 감정 도형과 데이터 베이스에 저장된 자료를 비교하여 감정 도형의 유형을 분류한다.The determination unit 50 classifies the type of the measured emotion figure based on the initial shape and the change of the emotion figure, compared with the emotion figure type stored in the database. A plurality of people's emotional graphic types are stored in various emotional states in the database. The determination unit 50 classifies the types of emotional graphic by comparing the measured emotional graphic with data stored in the database.

판단부(50)는 위험 판단 모듈(51), 슬픔 판단 모듈(52), 기쁨 판단 모듈(53), 분노 판단 모듈(54)을 포함한다. The determination unit 50 includes a risk determination module 51, a sadness determination module 52, a joy determination module 53, and an anger determination module 54.

위험 판단 모듈(51)은 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수상한 사람인지 여부를 판단한다. 데이터 베이스에는 위험한 인물의 감정 도형과 특징점 유형이 저장되어 있으며, 위험 판단 모듈(51)은 측정된 특징점과 감정 도형을 통해서 위험 인물인지 여부를 판단한다.The risk judgment module 51 compares the emotion figure and the minutiae with the facial expression change patterns of the offenders stored in the database to judge whether the person is a suspicious person. In the database, an emotional figure and a characteristic point type of a dangerous person are stored, and the risk judgment module 51 determines whether the person is a dangerous person through the measured characteristic points and the emotional figure.

슬픔 판단 모듈(52)은 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 슬픔 상태인지 여부를 판단한다. 데이터 베이스에는 슬픔 상태에서의 감정 도형 유형이 저장되어 있으며, 슬픔 판단 모듈(52)은 측정된 특징점과 감정 도형을 통해서 슬픔 상태인지 여부를 판단한다.The grief determination module 52 compares the change of the emotion figure with the type of the emotion figure stored in the database to determine whether the state is a sad state. In the database, an emotion figure type in a sad state is stored, and the sadness determination module 52 determines whether it is a sad state through the measured feature points and the emotion figure.

기쁨 판단 모듈(53)은 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 기쁨 상태인지 여부를 판단한다. 데이터 베이스에는 기쁨 상태에서의 감정 도형 유형이 저장되어 있으며, 기쁨 판단 모듈(53)은 특징점과 감정 도형을 통해서 기쁨 상태인지 여부를 판단한다.The joy judgment module 53 compares the change of the emotion figure with the emotion figure type stored in the database to judge whether or not the joy state is present. The database stores the type of the emotion figure in the joy state, and the joy determination module 53 determines whether the joy state is through the feature point and the emotion figure.

분노 판단 모듈(54)은 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 분노 상태인지 여부를 판단한다. 데이터 베이스에는 분노 상태에서의 감정 도형 유형이 저장되어 있으며, 분노 판단 모듈(54)은 특징점과 감정 도형을 통해서 기쁨 상태인지 여부를 판단한다.The anger determination module 54 compares the change of the emotion figure with the emotion figure type stored in the database to determine whether or not the state is an anger state. The database stores an emotion figure type in the anger state, and the anger judgment module 54 determines whether the joy state is through the feature points and the emotion figure.

알림부(60)는 판단부(50)에서 판단된 감정 유형을 알린다. 알림부(60)는 디스플레이에 감정 유형을 표시할 수 있으며, 소리를 생성하여 감정 유형을 나타낼 수 있다. The notification unit 60 informs the determination unit 50 of the type of emotion determined. The notification unit 60 can display the emotion type on the display and generate the sound to indicate the emotion type.

알림부(60)는 위험 알림 모듈(61), 문자 표시 모듈(62), 이모티콘 표시 모듈(63), 소리 알림 모듈(64)을 포함할 수 있다. 위험 알림 모듈(61)은 촬영된 사람이 수상한 사람으로 판단된 경우 경고 신호를 생성한다. The notification unit 60 may include a risk notification module 61, a character display module 62, an emoticon display module 63, and a sound notification module 64. The danger notification module 61 generates a warning signal when it is determined that the photographed person is a suspicious person.

문자 표시 모듈(62)은 문자로 감정상태를 나타내며, 통화 또는 문자 메시지 전송 상대방의 스마트 기기의 화면에 문자로 나타낼 수 있다.The character display module 62 represents the emotional state as a character and can be displayed as a character on the screen of the smart device of the call or text message transmission partner.

이모티콘 표시 모듈(63)은 이모티콘으로 감정상태를 나타내며, 영상 통화 또는 문자 메시지 전송 시에 해당 감정을 나타내는 이모티콘을 스마트 기기에 표시할 수 있다.The emoticon display module 63 displays an emoticon with an emoticon, and can display an emoticon indicating a corresponding emotion on a smart device when transmitting a video call or a text message.

소리 알림 모듈(53)은 소리로 감정상태를 나타내며, 음성 통화 또는 영상 통화 시에 해당 감정을 나타내는 소리를 스마트 기기에 생성할 수 있다.The sound notification module 53 displays the emotion state by sound and can generate a sound representing the emotion in the smart device during a voice call or a video call.

이와 같이 본 실시예에 따르면 감정상태를 분석하여 위험을 알릴 수 있을 뿐만 아니라 상대방에게 사용자의 감정을 표시할 수 있으므로 보다 원활하게 의사 소통을 할 수 있다.As described above, according to the present embodiment, not only the risk can be noticed by analyzing the emotional state, but also the emotion of the user can be displayed to the other party, so that the communication can be smoothly performed.

이하에서는 본 발명의 제2 실시예에 따른 감정 판단 방법에 대해서 설명한다. 도 5은 본 발명의 제2 실시예에 따른 감정 판단 방법을 설명하기 위한 순서도이다.Hereinafter, the emotion determination method according to the second embodiment of the present invention will be described. 5 is a flowchart for explaining an emotion judgment method according to a second embodiment of the present invention.

도 5을 참조하여 설명하면, 본 제2 실시예에 따른 감정 판단 방법은 특징점 생성 단계(S201), 도형 생성 단계(S202), 특징점 측정 단계(S203), 감정 도형 측정 단계(S204), 판단 단계(S205), 알림 단계(S206)를 포함한다. 5, the emotion determination method according to the second embodiment includes a feature point generation step S201, a figure generation step S202, a feature point measurement step S203, an emotion figure measurement step S204, (S205), and a notification step (S206).

특징점 생성 단계(S201)는 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성한다. 특징점 생성 단계(S201)는 눈썹, 눈 주변, 코, 입 주변에 특징점을 생성할 수 있다. 특징점 생성 단계(S201)는 물체 인식 기술을 이용하여 사람의 얼굴의 각 부분을 인식하고 얼굴의 각 부분에 복수의 특징점을 생성할 수 있다. The feature point generation step (S201) generates a plurality of feature points on the face photographed by the camera. The minutia point generation step (S201) can generate minutiae points around eyebrows, eyes, nose, and mouth. In the minutia point creation step S201, each part of a person's face can be recognized using an object recognition technology, and a plurality of minutiae points can be generated in each part of a face.

특징점 생성 단계(S201)는 제1특징점군 생성 단계, 제2특징점군 생성 단계, 제3특징점군 생성 단계, 제4특징점군 생성 단계를 포함한다. The feature point generation step S201 includes a first feature point group generation step, a second feature point group generation step, a third feature point group generation step, and a fourth feature point group generation step.

제1특징점군 생성 단계는 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성한다. 제1특징점군은 눈썹의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The first feature point group generation step generates a first feature point group including a plurality of feature points on eyebrows. The first feature point group may consist of four feature points formed at both ends of the eyebrow in the longitudinal direction.

제2특징점군 생성 단계는 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성한다. 제2특징점군은 눈의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The second characteristic point group generation step generates a second characteristic point group including a plurality of characteristic points around the eyes. The second feature point group may consist of four feature points formed at both ends in the longitudinal direction of the eye.

제3특징점군 생성 단계는 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성한다. 제3특징점군은 코의 길이방향 하단에 위치하되 코의 폭방향 양쪽 단부에 위치하는 2개의 특징점으로 이루어질 수 있다.Third characteristic point group generation step generates a third characteristic point group composed of a plurality of characteristic points on the nose. Third feature The point cloud can be composed of two feature points located at the lower end in the longitudinal direction of the nose and at both ends in the width direction of the nose.

제4특징점군 생성 단계는 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성한다. 제4특징점군은 입술의 길이방향 양쪽 단부와 윗입술과 아랫입술의 길이방향 중앙에 형성된 4개의 특징점으로 이루어질 수 있다.The fourth feature point group generation step generates a fourth feature point group including a plurality of feature points around the lips. Fourth feature The point cloud group can be composed of both end parts in the longitudinal direction of the lip and four feature points formed in the longitudinal direction center of the upper lip and the lower lip.

도형 생성 단계(S202)는 특징점들을 연결하여 복수의 감정 도형을 생성한다. 감정 도형은 특징점들을 연결하는 선에 의하여 형성되며, 도형 생성부는 감정 도형들이 서로 겹치지 않게 형성한다. In the figure generation step S202, a plurality of emotion diagrams are generated by connecting the minutiae. The emotion figure is formed by lines connecting the feature points, and the figure generator forms the emotion figures so that they do not overlap with each other.

도형 생성 단계(S202)는 제1특징점군과 제2특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성 단계(S202)는 오른쪽(촬영된 얼굴 기준) 눈과 눈썹 사이에 사각형으로 이루어진 제1감정 도형(a)을 생성하고, 미간에 사각형으로 이루어진 제2감정 도형(b)을 생성하며, 왼쪽 눈과 눈썹 사이에 제3감정 도형(c)을 생성한다.In the figure generation step (S202), three emotion figures are generated by connecting the first feature point group and the second feature point group. In the figure generation step S202, a first emotion figure a composed of a quadrangle is formed between the right eye and a eyebrow, a second emotion figure b composed of a quadrangle is generated between the eyes, And a third emotion figure (c) is generated between the eye and the eyebrow.

도형 생성 단계(S202)는 제2특징점군과 제3특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성 단계(S202)는 오른쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(d)을 생성하고, 코가 위치하는 영역에 사각형으로 이루어진 제5감정 도형(e)을 생성하며, 왼쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(f)을 생성한다.In the figure generation step (S202), three emotion figures are generated by connecting the second feature point group and the third feature point group. In the figure generating step S202, a fourth emotion figure d composed of a triangle is formed between the right eye and the nose, a fifth emotion figure e composed of a rectangle is formed in a region where the nose is located, And generates a fourth emotion figure (f) consisting of a triangle between the noses.

또한, 도형 생성 단계(S202)는 제3특징점군과 제4특징점군을 연결하여 5개의 감정 도형을 생성한다. 도형 생성 단계(S202)는 오른쪽 입술과 코를 연결하여 삼각형의 제4감정 도형(g)을 생성하고, 코의 양쪽 하단과 입술의 중앙을 연결하여 삼각형의 제5감정 도형(h)을 생성하며, 왼쪽 입술과 코를 연결하여 삼각형의 제6감정 도형(i)을 생성한다. 또한 도형 생성 단계(S202)는 오른쪽 윗입술과 아랫입술을 연결하여 제7감정 도형(j)을 생성하고, 왼쪽 윗입술과 아랫입술을 연결하여 제8감정 도형(k)을 생성 생성한다.In the figure generation step (S202), five emotion figures are generated by connecting the third feature point group and the fourth feature point group. In the figure generation step S202, the right lip and the nose are connected to generate the fourth emotion figure g of the triangle, and the lower both ends of the nose are connected to the center of the lip to generate the fifth emotion figure h of the triangle , And connects the left lips and the nose to generate the sixth emotion figure (i) of the triangle. In the graphic form generation step S202, the seventh emotion figure j is generated by connecting the right upper lip and the bottom lip, and the eighth emotion figure k is generated by connecting the left upper lip and the bottom lip.

특징점 측정 단계(S203)는 특징점의 최초 위치 및 변화를 측정한다. 특징점 측정 단계(S203)는 최초 설정된 특징점의 좌표와 간격을 측정할 수 있다. The feature point measuring step (S203) measures the initial position and change of the feature point. The feature point measuring step (S203) can measure the coordinates and the interval of the initially set feature points.

특징점 측정 단계(S203)는 위치 측정 단계와 간격 측정 단계를 포함한다. 위치 측정 단계는 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정한다. 위치 측정 단계는 특징점의 절대 위치 변화를 측정한다. 간격 측정 단계는 특징점들의 최초 간격과 시간의 경과에 따른 간격 변화를 측정한다. 간격 측정 단계는 특징점들의 상대 위치를 측정한다.The feature point measurement step S203 includes a position measurement step and an interval measurement step. The position measurement step measures the initial position of the feature points and the positional change with the lapse of time. The position measuring step measures the absolute position change of the feature point. The interval measurement step measures the initial interval of the feature points and the interval variation with the lapse of time. The interval measurement step measures the relative position of the feature points.

감정 도형 측정 단계(S204)는 감정 도형의 최초 형상 및 시간의 경과에 따른 감정 도형의 변화를 측정한다. 감정 도형 측정 단계(S204)는 도형 내각 측정 단계, 도형 면적 측정 단계를 포함한다. 도형 내각 측정 단계는 감정 도형의 내각 변화를 측정하고, 도형 면적 측정 단계는 감정 도형의 면적 변화를 측정한다.The emotion figure measurement step (S204) measures the initial shape of the emotion figure and the change of the emotion figure with the passage of time. The emotion graphic shape measuring step S204 includes a figure shape measuring step and a figure area measuring step. The figure cabinet measuring step measures the cabinet change of the emotion figure, and the figure area measuring step measures the area change of the emotion figure.

판단 단계(S205)는 측정된 감정 도형과 특징점을 바탕으로 촬영된 얼굴의 감정을 판단한다. 판단 단계(S205)는 특징점의 최초 위치와 변화를 바탕으로 데이터 베이스에에 저장된 특징점 유형과 비교하여 측정된 특징점의 유형을 분류한다. 데이터 베이스는 다양한 감정 상태에서 다수의 사람들의 특징점 유형이 저장되어 있는바, 판단 단계(S205)는 측정된 특징점과 데이터 베이스에 저장된 자료를 비교하여 특징점의 유형을 분류한다.In the determination step S205, the emotion of the photographed face is determined based on the measured emotion figure and the feature point. The judgment step S205 classifies the type of the minutiae measured by comparing the minutiae point type stored in the database with the initial position of the minutiae and the change. The database stores characteristic point types of a plurality of people in various emotional states. In the determination step (S205), the types of characteristic points are classified by comparing measured characteristic points with data stored in a database.

판단 단계(S205)는 감정 도형의 최초 형상과 변화를 바탕으로 데이터 베이스에 저장된 감정 도형 유형과 비교하여 측정된 감정 도형의 유형을 분류한다. 데이터 베이스에는 다양한 감정 상태에서 다수의 사람들의 감정 도형 유형이 저장되어 있는바, 판단 단계(S205)는 측정된 감정 도형과 데이터 베이스에 저장된 자료를 비교하여 감정 도형의 유형을 분류한다.The determination step (S205) classifies the type of the emotion figure measured in comparison with the emotion figure type stored in the database based on the initial shape and the change of the emotion figure. In the database, a plurality of emotional graphic types are stored in various emotional states. In the determination step (S205), the types of the emotional graphic types are classified by comparing the measured emotional graphic with the data stored in the database.

판단 단계(S205)는 위험 판단 단계, 슬픔 판단 단계, 기쁨 판단 단계, 분노 판단 단계를 포함한다. The determination step S205 includes a risk determination step, a sadness determination step, a joy determination step, and an anger determination step.

위험 판단 단계는 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수상한 사람인지 여부를 판단하는 위험 판단 단계를 포함한다. 데이터 베이스에는 위험한 인물의 감정 도형과 특징점 유형이 저장되어 있으며, 위험 판단 단계는 측정된 특징점과 감정 도형을 통해서 위험 인물인지 여부를 판단한다.The risk judging step includes a risk judging step of judging whether the suspect person is a suspicious person by comparing the emotion figure and the minutiae with the facial expression change pattern of the criminals stored in the database. In the database, the emotional figure and the characteristic point type of a dangerous person are stored, and the risk judgment step judges whether the person is a danger person through the measured characteristic point and the emotional figure.

슬픔 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 슬픔 상태인지 여부를 판단한다. 데이터 베이스에는 슬픔 상태에서의 감정 도형 유형이 저장되어 있으며, 슬픔 판단 단계는 은 측정된 특징점과 감정 도형을 통해서 슬픔 상태인지 여부를 판단한다.The sadness determination step compares the change of the emotion figure with the emotion figure type stored in the database to determine whether the sad state is present. In the database, an emotion figure type in a sadness state is stored, and a sadness determination step determines whether a sad state is present through the measured feature points and the emotion figure.

기쁨 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 기쁨 상태인지 여부를 판단한다. 데이터 베이스에는 기쁨 상태에서의 감정 도형 유형이 저장되어 있으며, 기쁨 판단 단계는 특징점과 감정 도형을 통해서 기쁨 상태인지 여부를 판단한다.The joy determining step compares the change of the emotion figure with the type of the emotion figure stored in the database to determine whether or not the joy state is present. The database stores the type of the emotion figure in the joy state, and the joy determination step determines whether the joy state is through the feature point and the emotion figure.

분노 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 분노 상태인지 여부를 판단한다. 데이터 베이스에는 분노 상태에서의 감정 도형 유형이 저장되어 있으며, 분노 판단 단계는 특징점과 감정 도형을 통해서 기쁨 상태인지 여부를 판단한다.The anger determination step compares the change of the emotion figure with the emotion figure type stored in the database to determine whether or not the state is an anger state. In the database, an emotion figure type in the anger state is stored, and an anger determination step determines whether the joy state is through the feature point and the emotion figure.

알림 단계(S206)는 판단 단계(S206)에서 판단된 감정 유형을 나타낸다. 알림 단계(S206)는 디스플레이에 감정 유형을 표시할 수 있으며, 소리를 생성하여 감정 유형을 나타낼 수 있다. The notification step S206 represents the type of emotion determined in the determination step S206. The notification step S206 may display an emotion type on the display and generate a sound to indicate the emotion type.

알림 단계(S206)는 위험 알림 단계, 문자 표시 단계, 이모티콘 표시 단계, 소리 알림 단계를 포함할 수 있다. 위험 알림 단계는 촬영된 사람이 수상한 사람으로 판단된 경우 경고 신호를 생성한다. The notification step S206 may include a risk notification step, a character display step, an emoticon display step, and a sound notification step. The danger notification step generates a warning signal when the photographed person is judged to be a suspicious person.

문자 표시 단계는 문자로 감정상태를 나타내며, 통화 또는 문자 메시지 전송 상대방의 스마트 기기의 화면에 문자로 나타낼 수 있다.The character display step represents an emotional state as a character, and can be displayed as a character on the screen of the smart device of the communication destination of the call or text message.

이모티콘 표시 단계는 이모티콘으로 감정상태를 나타내며, 영상 통화 또는 문자 메시지 전송 시에 해당 감정을 나타내는 이모티콘을 스마트 기기에 표시할 수 있다.The emoticon display step may display an emotional state using an emoticon, and may display an emoticon indicating the emotional state on the smart device when a video call or a text message is transmitted.

소리 알림 단계는 소리로 감정상태를 나타내며, 음성 통화 또는 영상 통화 시에 해당 감정을 나타내는 소리를 스마트 기기에 생성할 수 있다.The sound notification step may represent a feeling state of sound, and may generate a sound indicating a corresponding feeling at the time of a voice call or a video call to the smart device.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms have been used, they have been used only in a general sense to easily describe the technical contents of the present invention and to facilitate understanding of the invention , And are not intended to limit the scope of the present invention. It is to be understood by those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

101, 102: 감정 판단 시스템
10: 특징점 생성부
11: 제1특징점군 생성 모듈
12: 제2특징점군 생성 모듈
13: 제3특징점군 생성 모듈
14: 제4특징점군 생성 모듈
20: 도형 생성부
30: 특징점 측정부
31: 위치 측정 모듈
32: 간격 측정 모듈
40: 감정 도형 측정부
41: 도형 내각 측정 모듈
42: 도형 면적 측정 모듈
50: 판단부
51: 위험 판단 모듈
52: 슬픔 판단 모듈
53: 기쁨 판단 모듈
54: 분노 판단 모듈
60: 알림부
61: 위험 알림 모듈
62: 문자 표시 모듈
63: 이모티콘 표시 모듈
64: 소리 알림 모듈101, 102: an emotion judgment system
10:
11: First feature point group generation module
12: second feature point group generation module
13: Third feature point group generation module
14: fourth feature point group generation module
20:
30: Feature point measuring unit
31: Position measurement module
32: Interval measurement module
40: Emotion figure measuring unit
41: Shape Cabinet Measurement Module
42: Shape Area Measurement Module
50:
51: Risk Judgment Module
52: Sadness judgment module
53: Pleasure judgment module
54: Anger judgment module
60: Notification section
61: Risk Notification Module
62: Character display module
63: Emoticone Display Module
64: Sound Notification Module

Claims (18)

특징점을 이용하여 감정을 판단하는 감정 판단 방법에 있어서,
얼굴이 촬영된 화면 상에 복수의 특징점을 생성하는 특징점 생성 단계;
상기 특징점들을 연결하여 복수의 감정 도형을 생성하는 도형 생성 단계;
특징점의 위치 변화를 측정하는 위치 측정 단계, 또는 특징점들의 간격 변화를 측정하는 간격 측정 단계를 포함하는 특징점 측정 단계;
상기 감정 도형의 최초 형상 및 변화를 측정하는 감정 도형 측정 단계;
상기 감정 도형의 변화를 바탕으로 감정을 판단하는 판단 단계; 및
상기 판단 단계에서 판단된 감정 유형을 알리는 알림 단계;
를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
An emotion judgment method for judging an emotion using a minutiae,
A minutiae point generating step of generating a plurality of minutiae points on a screen where a face is photographed;
A figure generating step of generating a plurality of emotional figures by connecting the feature points;
A minutiae measuring step of measuring a change in the position of the minutiae, or a minutiae measuring step of measuring a change in the interval of the minutiae;
An emotion figure measuring step of measuring an initial shape and a change of the emotion figure;
A judgment step of judging an emotion on the basis of the change of the emotion figure; And
An informing step of informing the type of emotion determined in the determining step;
The method of claim 1, further comprising:
제1항에 있어서,
상기 특징점 생성 단계는 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성하는 제1특징점군 생성 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
The method according to claim 1,
Wherein the feature point generation step includes a first feature point group generation step of generating a first feature point group including a plurality of feature points on eyebrows.
제2항에 있어서,
상기 특징점 생성 단계는 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성하는 제2특징점군 생성 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
3. The method of claim 2,
Wherein the feature point generation step includes a second feature point group generation step of generating a second feature point group including a plurality of feature points around the eyes.
제3항에 있어서,
상기 특징점 생성 단계는 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성하는 제3특징점군 생성 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
The method of claim 3,
Wherein the feature point generation step includes a third feature point group generation step of generating a third feature point group including a plurality of feature points on the nose.
제4항에 있어서,
상기 특징점 생성 단계는 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성하는 제4특징점군 생성 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
5. The method of claim 4,
Wherein the feature point generation step includes a fourth feature point group generation step of generating a fourth feature point group including a plurality of feature points around the lips.
제5항에 있어서,
상기 도형 생성 단계는 상기 제1특징점군과 상기 제2특징점군을 연결하여 3개의 감정 도형을 생성하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
6. The method of claim 5,
Wherein the figure generating step generates three emotion figures by connecting the first feature point group and the second feature point group.
제6항에 있어서,
상기 도형 생성 단계는 상기 제2특징점군과 상기 제3특징점군을 연결하여 3개의 감정 도형을 생성하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
The method according to claim 6,
Wherein the figure generating step generates three emotion figures by connecting the second feature point group and the third feature point group.
제7항에 있어서,
상기 도형 생성 단계는 상기 제3특징점군과 상기 제4특징점군을 연결하여 5개의 감정 도형을 생성하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
8. The method of claim 7,
Wherein the figure generating step generates five emotion figures by connecting the third feature point group and the fourth feature point group.
삭제delete 삭제delete 제8항에 있어서,
상기 감정 도형 측정 단계는 도형의 내각 변화를 측정하는 도형 내각 측정 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
9. The method of claim 8,
Wherein the step of measuring the emotional shape includes a step of measuring the internal angle of the figure.
제8항에 있어서,
상기 감정 도형 측정 단계는 도형의 면적 변화를 측정하는 도형 면적 측정 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
9. The method of claim 8,
Wherein the step of measuring the emotion figure includes a figure area measuring step of measuring an area change of the figure.
제8항에 있어서,
상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수정한 사람인지 여부를 판단하는 위험 판단 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
9. The method of claim 8,
Wherein the judging step includes a risk judging step of judging whether the person is a person who made a correction by comparing the change of the emotional figure with the facial expression change pattern of the criminals stored in the database.
제13항에 있어서,
상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 사람들의 표정 변화 패턴과 비교하여 슬픔 상태인지 여부를 판단하는 슬픔 판단 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
14. The method of claim 13,
Wherein the determining step comprises a sadness determining step of determining whether the sad state is a sad state by comparing the change of the sad figure with the facial expression change pattern of the people stored in the database.
제14항에 있어서,
상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 사람들의 표정 변화 패턴과 비교하여 기쁨 상태인지 여부를 판단하는 기쁨 판단 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
15. The method of claim 14,
Wherein the determining step includes a joy determining step of determining whether the joy state is determined by comparing the change of the emotion figure with the facial expression change pattern of the people stored in the database.
제15항에 있어서,
상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 사람들의 표정 변화 패턴과 비교하여 분노 상태인지 여부를 판단하는 분노 판단 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
16. The method of claim 15,
Wherein the determining step includes an anger determination step of determining whether an anger state is determined by comparing a change in an emotional graph with a facial expression change pattern of people stored in a database.
제16항에 있어서,
상기 알림 단계는 수상한 사람으로 판단된 경우, 경고 신호를 생성하는 위험 알림 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
17. The method of claim 16,
Wherein the notification step includes a risk notification step of generating a warning signal when it is determined that the user is a suspicious person.
제17항에 있어서,
상기 알림 단계는 문자로 사용자의 감정상태를 나타내는 문자 알림 단계, 이모티콘으로 감정상태를 나타내는 이모티콘 알림 단계, 통화 상대방에게 소리로 감정상태를 나타내는 소리 알림 단계 중에서 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
18. The method of claim 17,
The notification step may include at least one of a character notification step of characterizing the user's emotional state, an emoticon notification step of expressing the emotional state with the emoticon, and a sound informing step of expressing the emotional state of the communication partner with the voice communication partner A method of judging emotion using feature points.
KR1020160077234A 2016-06-21 2016-06-21 Emotion detecting method using particular point KR101843562B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160077234A KR101843562B1 (en) 2016-06-21 2016-06-21 Emotion detecting method using particular point

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160077234A KR101843562B1 (en) 2016-06-21 2016-06-21 Emotion detecting method using particular point

Publications (2)

Publication Number Publication Date
KR20180000026A KR20180000026A (en) 2018-01-02
KR101843562B1 true KR101843562B1 (en) 2018-04-02

Family

ID=61004569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160077234A KR101843562B1 (en) 2016-06-21 2016-06-21 Emotion detecting method using particular point

Country Status (1)

Country Link
KR (1) KR101843562B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240032569A (en) 2022-09-02 2024-03-12 한양대학교 산학협력단 Real-time user emotion judgment device based on body movement information

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101317047B1 (en) * 2012-07-23 2013-10-11 충남대학교산학협력단 Emotion recognition appatus using facial expression and method for controlling thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101317047B1 (en) * 2012-07-23 2013-10-11 충남대학교산학협력단 Emotion recognition appatus using facial expression and method for controlling thereof

Also Published As

Publication number Publication date
KR20180000026A (en) 2018-01-02

Similar Documents

Publication Publication Date Title
KR20180000027A (en) Emotion detecting system using particular point
KR102044241B1 (en) Terminal providing a video call service
US10997787B2 (en) 3D hand shape and pose estimation
US6885761B2 (en) Method and device for generating a person's portrait, method and device for communications, and computer product
US20230206531A1 (en) Avatar display device, avatar generating device, and program
CN103201763B (en) Attribute determining method, attribute determining device, program, recording medium and attribute are determined system
CN109902659A (en) Method and apparatus for handling human body image
CN105556508A (en) Devices, systems and methods of virtualizing a mirror
WO2013027893A1 (en) Apparatus and method for emotional content services on telecommunication devices, apparatus and method for emotion recognition therefor, and apparatus and method for generating and matching the emotional content using same
CN105447529A (en) Costume detection and attribute value identification method and system
CN108416235A (en) The anti-peeping method, apparatus of display interface, storage medium and terminal device
CN107958234A (en) Client-based face identification method, device, client and storage medium
JP2012058838A (en) Image processor, program, and image processing method
CN110705365A (en) Human body key point detection method and device, electronic equipment and storage medium
CN110956122A (en) Image processing method and device, processor, electronic device and storage medium
CN109766755A (en) Face identification method and Related product
CN105960663A (en) Information processing device, information processing method, and program
CN108491823A (en) Method and apparatus for generating eye recognition model
CN115222862B (en) Virtual human clothing generation method, device, equipment, medium and program product
CN111291151A (en) Interaction method and device and computer equipment
CN111861956A (en) Picture processing method and device, electronic equipment and medium
KR101843562B1 (en) Emotion detecting method using particular point
US10372989B2 (en) Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor
JP2017068627A (en) Image processing terminal and image processing server
Metsiritrakul et al. UP2U: program for raising awareness of phubbing problem with stimulating social interaction in public using augmented reality and computer vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant