KR20180000026A - Emotion detecting method using particular point - Google Patents
Emotion detecting method using particular point Download PDFInfo
- Publication number
- KR20180000026A KR20180000026A KR1020160077234A KR20160077234A KR20180000026A KR 20180000026 A KR20180000026 A KR 20180000026A KR 1020160077234 A KR1020160077234 A KR 1020160077234A KR 20160077234 A KR20160077234 A KR 20160077234A KR 20180000026 A KR20180000026 A KR 20180000026A
- Authority
- KR
- South Korea
- Prior art keywords
- emotion
- feature point
- point group
- measuring
- change
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G06K9/00302—
-
- G06K9/00275—
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 감정 판단 방법에 관한 것으로서 더욱 상세하게는 특징점을 이용한 감정 판단 방법에 관한 것이다.
The present invention relates to an emotion determination method, and more particularly to an emotion determination method using a feature point.
사용자가 눈으로 보는 현실세계에 가상의 객체를 겹쳐 보여주는 기술을 '증강현실(Augmented Reality)'이라고 한다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.Augmented Reality is a technique for superimposing virtual objects on the real world seen by the user. It is called Mixed Reality (MR) because it combines real world and virtual world with additional information in real time and displays it as one image.
현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.Augmented reality, a concept that complements the real world with a virtual world, uses a virtual environment created by computer graphics, but the protagonist is a real environment. Computer graphics serve to provide additional information needed for the real world.
이러한 증강현실기술은 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을 제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다.Unlike the virtual reality technology, which consists of a virtual environment only, the augmented reality technology provides a mixed reality environment and a virtual object so that the user can see the real environment and provide better reality and additional information.
증강현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급 되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.Augmented reality technology is used for remote medical diagnosis, broadcasting, architectural design, manufacturing process management. In particular, smartphones have become popular in the commercialization stage in recent years, and various products are being developed in the game and mobile solution industry and education field.
또한, 외부인이 가정집을 방문할 때, 인터폰을 이용하여 방문자의 얼굴을 촬영할 수 있으나, 방문자가 수상한 사람인지 여부를 판단하기 어려운 문제가 있다.
Further, when an outsider visits a home, it is possible to photograph the face of the visitor using the interphone, but it is difficult to determine whether or not the visitor is a suspicious person.
본 발명은 특징점을 이용한 감정 판단 방법을 제공한다.
The present invention provides an emotion judgment method using minutiae points.
본 발명의 일 측면에 따른 특징점을 이용한 감정 판단 방법은, 얼굴이 촬영된 화면 상에 복수의 특징점을 생성하는 특징점 생성 단계, 상기 특징점들을 연결하여 복수의 감정 도형을 생성하는 도형 생성 단계, 상기 특징점의 최초 위치 및 변화를 측정하는 특징점 측정 단계, 상기 감정 도형의 최초 형상 및 변화를 측정하는 감정 도형 측정 단계, 상기 감정 도형의 변화를 바탕으로 감정을 판단하는 판단 단계, 및 상기 판단 단계에서 판단된 감정 유형을 알리는 알림 단계를 포함한다.According to an aspect of the present invention, an emotion determination method using feature points includes a feature point generation step of generating a plurality of feature points on a screen where a face is captured, a figure generation step of generating a plurality of emotion figure by connecting the feature points, An emotion figure measuring step of measuring an initial shape and a change of the emotion figure, a judging step of judging emotion based on the change of the emotion figure, And an informing step of informing the type of emotion.
여기서, 상기 특징점 생성 단계는 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성하는 제1특징점군 생성 단계를 포함할 수 있다.The feature point generation step may include a first feature point group generation step of generating a first feature point group including a plurality of feature points on eyebrows.
또한, 상기 특징점 생성 단계는 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성하는 제2특징점군 생성 단계를 포함할 수 있다.In addition, the feature point generation step may include a second feature point group generation step of generating a second feature point group including a plurality of feature points around the eyes.
또한, 상기 특징점 생성 단계는 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성하는 제3특징점군 생성 단계를 포함할 수 있다.The feature point generation step may include a third feature point group generation step of generating a third feature point group including a plurality of feature points on the nose.
또한, 상기 특징점 생성 단계는 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성하는 제4특징점군 생성 단계를 포함할 수 있다.In addition, the feature point generation step may include a fourth feature point group generation step of generating a fourth feature point group including a plurality of feature points around the lip.
또한, 상기 도형 생성 단계는 상기 제1특징점군과 상기 제2특징점군을 연결하여 3개의 감정 도형을 생성할 수 있다.Also, the figure generating step may generate three emotion figures by connecting the first feature point group and the second feature point group.
또한, 상기 도형 생성 단계는 상기 제2특징점군과 상기 제3특징점군을 연결하여 3개의 감정 도형을 생성할 수 있다.Also, the figure generating step may generate three emotion figures by connecting the second feature point group and the third feature point group.
또한, 상기 도형 생성 단계는 상기 제3특징점군과 상기 제4특징점군을 연결하여 5개의 감정 도형을 생성할 수 있다.In addition, the figure generating step may generate five emotion figures by connecting the third feature point group and the fourth feature point group.
또한, 상기 특징점 측정 단계는 특징점의 위치 변화를 측정하는 위치 측정 단계를 포함할 수 있다.The feature point measurement step may include a position measurement step of measuring a change in position of the feature point.
또한, 상기 특징점 측정 단계는 특징점들의 간격 변화를 측정하는 간격 측정 단계를 포함할 수 있다.In addition, the feature point measurement step may include an interval measurement step of measuring a change in interval of the feature points.
또한, 상기 감정 도형 측정 단계는 도형의 내각 변화를 측정하는 도형 내각 측정 단계를 포함할 수 있다.In addition, the emotional figure measuring step may include a figure cabinet measuring step of measuring the cabinet change of the figure.
또한, 상기 감정 도형 측정 단계는 도형의 면적 변화를 측정하는 도형 면적 측정 단계를 포함할 수 있다.In addition, the emotional shape measuring step may include a figure area measuring step of measuring an area change of the figure.
또한, 상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수정한 사람인지 여부를 판단하는 위험 판단 단계를 포함할 수 있다.The determining step may include a risk determining step of comparing the change of the emotional graph with the facial expression change pattern of the offenders stored in the database to determine whether the person is a person who made the modification.
또한, 상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 사람들의 표정 변화 패턴과 비교하여 슬픔 상태인지 여부를 판단하는 슬픔 판단 단계를 포함할 수 있다.The determining step may include a sadness determining step of determining whether a sad state is present by comparing a change of the emotional graph with a facial expression change pattern of people stored in the database.
또한, 상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 사람들의 표정 변화 패턴과 비교하여 기쁨 상태인지 여부를 판단하는 기쁨 판단 단계를 포함할 수 있다.The determining step may include a joy determining step of determining whether the joy state is determined by comparing the change of the emotion figure with the facial expression change pattern of the people stored in the database.
또한, 상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 사람들의 표정 변화 패턴과 비교하여 분노 상태인지 여부를 판단하는 분노 판단 단계를 포함할 수 있다.The determining step may include an anger determination step of determining whether an anger is in an anger state by comparing a change in an emotional graph with a facial expression change pattern of a person stored in a database.
또한, 상기 알림 단계는 수상한 사람으로 판단된 경우, 경고 신호를 생성하는 위험 알림 단계를 포함할 수 있다.In addition, the notification step may include a risk notification step of generating a warning signal when it is determined that the person is a suspicious person.
또한, 상기 알림 단계는 문자로 사용자의 감정상태를 나타내는 문자 알림 단계, 이모티콘으로 감정상태를 나타내는 이모티콘 알림 단계, 통화 상대방에게 소리로 감정상태를 나타내는 소리 알림 단계 중에서 적어도 어느 하나 이상을 포함할 수 있다.
In addition, the notification step may include at least one of a character notification step of characterizing the user's emotional state, an emoticon notification step of expressing the emotional state with an emoticon, and a sound informing step of expressing the emotional state of the user with a voice .
상기와 같이 본 발명에 따르면 카메라에 의하여 촬영된 얼굴에 특징점을 생성하고, 특징점의 변화에 따라 감정을 판단하므로 수상한 사람인지 여부를 자동으로 인식할 수 있다.
As described above, according to the present invention, a feature point is generated on a face photographed by a camera, and an emotion is determined according to a change in a feature point, so that it is possible to automatically recognize whether the user is a suspicious person.
도 1은 본 발명의 제1 실시예에 따른 감정 판단 시스템을 도시한 구성도이다.
도 2는 본 발명의 제1 실시예에 따른 감정 판단 시스템에 의하여 얼굴에 표시된 특징점을 나타낸 도면이다.
도 3은 본 발명의 제1 실시예에 따른 감정 판단 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 제2 실시예에 따른 감정 판단 시스템을 도시한 구성도이다.
도 5는 본 발명의 제2 실시예에 따른 감정 판단 방법을 설명하기 위한 순서도이다.1 is a configuration diagram showing an emotion judgment system according to a first embodiment of the present invention.
2 is a view showing feature points displayed on a face by the emotion determination system according to the first embodiment of the present invention.
3 is a flowchart for explaining an emotion judgment method according to the first embodiment of the present invention.
FIG. 4 is a configuration diagram showing an emotion judgment system according to a second embodiment of the present invention.
5 is a flowchart for explaining an emotion judgment method according to a second embodiment of the present invention.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 당업자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention can be variously modified and may have various embodiments, and specific embodiments will be described in detail with reference to the drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된항목들의 조합 또는 복수의 관련된 기재된항목들 중의 어느항목을 포함한다.For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하에서는 본 발명의 제1 실시예에 따른 감정 판단 시스템에 대해서 설명한다. Hereinafter, the emotion judgment system according to the first embodiment of the present invention will be described.
도 1은 본 발명의 제1 실시예에 따른 감정 판단 시스템을 도시한 구성도이고, 도 2는 본 발명의 제1 실시예에 따른 감정 판단 시스템에 의하여 얼굴에 표시된 특징점을 나타낸 도면이다.FIG. 1 is a configuration diagram showing an emotion determination system according to a first embodiment of the present invention, and FIG. 2 is a diagram showing feature points displayed on a face by the emotion determination system according to the first embodiment of the present invention.
도 1 및 도 2를 참조하여 설명하면, 본 제1 실시예에 따른 감정 판단 시스템(101)은 특징점 생성부(10), 도형 생성부(20), 특징점 측정부(30), 감정 도형 측정부(40), 판단부(50), 알림부(60)를 포함한다.1 and 2, the
특징점 생성부(10)는 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성한다. 특징점 생성부(10)는 눈썹, 눈 주변, 코, 입 주변에 특징점을 생성할 수 있다. 특징점 생성부(10)는 물체 인식 기술을 이용하여 사람의 얼굴의 각 부분을 인식하고 얼굴의 각 부분에 복수의 특징점을 생성할 수 있다. The feature
카메라는 인터콤에 연결된 카메라일 수 있으며, 스마트 기기에 설치된 카메라일 수 있다. 인터콤에 연결된 카메라일 경우 감정 판단 시스템은 가정 보안 시스템으로 이루어질 수 있다. 스마트 기기에 설치된 카메라일 경우 감정 판단 시스템(101)은 스마트폰의 어플리케이션으로 이루어질 수 있다.The camera may be a camera connected to an intercom, or may be a camera installed in a smart device. In case of a camera connected to the intercom, the emotion judgment system may be a home security system. In the case of a camera installed in a smart device, the
수상한 사람이 현관에 나타난 경우, 사용자는 스마트 기기의 카메라를 이용하여 수상한 사람을 촬영할 수 있으며, 감정 판단 시스템(101)은 카메라에 촬영된 사람이 위험한 인물인지 여부를 판단할 수 있다.When a suspicious person appears on the porch, the user can photograph a suspicious person using the camera of the smart device, and the
특징점 생성부(10)는 제1특징점군 생성 모듈(11), 제2특징점군 생성 모듈(12), 제3특징점군 생성 모듈(13), 제4특징점군 생성 모듈(14)을 포함한다. The feature
제1특징점군 생성 모듈(11)은 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성한다. 제1특징점군은 눈썹의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The first feature point
제2특징점군 생성 모듈(12)은 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성한다. 제2특징점군은 눈의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The second feature point
제3특징점군 생성 모듈(13)은 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성한다. 제3특징점군은 코의 길이방향 하단에 위치하되 코의 폭방향 양쪽 단부에 위치하는 2개의 특징점으로 이루어질 수 있다.Third feature point
제4특징점군 생성 모듈(14)은 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성한다. 제4특징점군은 입술의 길이방향 양쪽 단부와 윗입술과 아랫입술의 길이방향 중앙에 형성된 4개의 특징점으로 이루어질 수 있다.The fourth feature point
도형 생성부(20)는 특징점들을 연결하여 복수의 감정 도형을 생성한다. 감정 도형은 특징점들을 연결하는 선에 의하여 형성되며, 도형 생성부(20)는 감정 도형들이 서로 겹치지 않게 형성한다. The
도형 생성부(20)는 제1특징점군과 제2특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽(촬영된 얼굴 기준) 눈과 눈썹 사이에 사각형으로 이루어진 제1감정 도형(a)을 생성하고, 미간에 사각형으로 이루어진 제2감정 도형(b)을 생성하며, 왼쪽 눈과 눈썹 사이에 제3감정 도형(c)을 생성한다.The
도형 생성부(20)는 제2특징점군과 제3특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(d)을 생성하고, 코가 위치하는 영역에 사각형으로 이루어진 제5감정 도형(e)을 생성하며, 왼쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(f)을 생성한다.The
또한, 도형 생성부(20)는 제3특징점군과 제4특징점군을 연결하여 5개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽 입술과 코를 연결하여 삼각형의 제4감정 도형(g)을 생성하고, 코의 양쪽 하단과 입술의 중앙을 연결하여 삼각형의 제5감정 도형(h)을 생성하며, 왼쪽 입술과 코를 연결하여 삼각형의 제6감정 도형(i)을 생성한다. 또한, 도형 생성부(20)는 오른쪽 윗입술과 아랫입술을 연결하여 제7감정 도형(j)을 생성하고, 왼쪽 윗입술과 아랫입술을 연결하여 제8감정 도형(k)을 생성 생성한다.Also, the
특징점 측정부(30)는 특징점의 최초 위치 및 변화를 측정한다. 특징점 측정부(30)는 최초 설정된 특징점의 좌표와 간격을 측정할 수 있으며, 시간의 경과에 따른 특징점의 변화를 측정할 수 있다.The
특징점 측정부(30)는 위치 측정 모듈(31)과 간격 측정 모듈(32)을 포함한다. 위치 측정 모듈(31)은 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정한다. 위치 측정 모듈(31)은 특징점의 절대 위치 변화를 측정한다. 간격 측정 모듈(32)은 특징점들의 최초 간격과 시간의 경과에 따른 간격 변화를 측정한다. 간격 측정 모듈(32)은 특징점들의 상대 위치를 측정한다.The
감정 도형 측정부(40)는 감정 도형의 최초 형상 및 시간의 경과에 따른 감정 도형의 변화를 측정한다. 감정 도형 측정부(40)는 도형 내각 측정 모듈(41), 도형 면적 측정 모듈(42)을 포함한다. 도형 내각 측정 모듈(41)은 감정 도형의 내각 변화를 측정하고, 도형 면적 측정 모듈(42)은 감정 도형의 면적 변화를 측정한다.The emotion
판단부(50)는 측정된 감정 도형과 특징점을 바탕으로 촬영된 얼굴의 감정을 판단한다. 판단부(50)는 특징점의 최초 위치와 변화를 바탕으로 데이터 베이스에에 저장된 특징점 유형과 비교하여 측정된 특징점의 유형을 분류한다. 데이터 베이스는 다양한 감정 상태에서 다수의 사람들의 특징점 유형이 저장되어 있는바, 판단부(50)는 측정된 특징점과 데이터 베이스에 저장된 자료를 비교하여 특징점의 유형을 분류한다.The
판단부(50)는 감정 도형의 최초 형상과 변화를 바탕으로 데이터 베이스에 저장된 감정 도형 유형과 비교하여 측정된 감정 도형의 유형을 분류한다. 데이터 베이스에는 다양한 감정 상태에서 다수의 사람들의 감정 도형 유형이 저장되어 있는바, 판단부(50)는 측정된 감정 도형과 데이터 베이스에 저장된 자료를 비교하여 감정 도형의 유형을 분류한다.The
판단부(50)는 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수상한 사람인지 여부를 판단하는 위험 판단 모듈(51)을 포함한다. 데이터 베이스에는 위험한 인물의 감정 도형과 특징점 유형이 저장되어 있으며, 위험 판단 모듈(51)은 측정된 특징점과 감정 도형을 통해서 위험 인물인지 여부를 판단한다.The judging
알림부(60)는 판단부(50)에서 판단된 감정 유형을 알린다. 알림부(60)는 디스플레이에 감정 유형을 표시할 수 있으며, 소리를 생성하여 감정 유형을 나타낼 수 있다. 알림부(60)는 수상한 사람으로 판단된 경우, 경고 신호를 생성하는 위험 알림 모듈(61)을 포함한다.The
이와 같이 본 실시예에 따르면 카메라에 의하여 촬영된 얼굴에 특징점을 생성하고, 특징점의 변화에 따라 감정을 판단하므로 수상한 사람인지 여부를 자동으로 인식할 수 있다.As described above, according to the present embodiment, a minutiae is generated on the face photographed by the camera, and the emotion is judged according to the change of the minutiae point, so that it is possible to automatically recognize whether the person is a suspicious person.
이하에서는 본 발명의 제1 실시예에 따른 감정 판단 방법에 대해서 설명한다. 도 3은 본 발명의 제1 실시예에 따른 감정 판단 방법을 설명하기 위한 순서도이다.Hereinafter, the emotion determination method according to the first embodiment of the present invention will be described. 3 is a flowchart for explaining an emotion judgment method according to the first embodiment of the present invention.
도 3을 참조하여 설명하면, 본 제1 실시예에 따른 감정 판단 방법은 특징점 생성 단계(S101), 도형 생성 단계(S102), 특징점 측정 단계(S103), 감정 도형 측정 단계(S104), 판단 단계(S105), 알림 단계(S106)를 포함한다. Referring to FIG. 3, the emotion determination method according to the first embodiment includes a minutia point generation step S101, a figure generation step S102, a minutia point measurement step S103, an emotional shape measurement step S104, (S105), and a notification step (S106).
특징점 생성 단계(S101)는 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성한다. 특징점 생성 단계(S101)는 눈썹, 눈 주변, 코, 입 주변에 특징점을 생성할 수 있다. 특징점 생성 단계(S101)는 물체 인식 기술을 이용하여 사람의 얼굴의 각 부분을 인식하고 얼굴의 각 부분에 복수의 특징점을 생성할 수 있다. The feature point creation step (S101) creates a plurality of feature points on the face captured by the camera. The minutia point creation step (S101) can generate minutiae on eyebrows, eyes, nose, and mouth. In the minutia point generation step (S101), each part of a person's face can be recognized using an object recognition technology, and a plurality of minutiae points can be generated in each part of a face.
특징점 생성 단계(S101)는 제1특징점군 생성 단계, 제2특징점군 생성 단계, 제3특징점군 생성 단계, 제4특징점군 생성 단계를 포함한다. The feature point generation step S101 includes a first feature point group generation step, a second feature point group generation step, a third feature point group generation step, and a fourth feature point group generation step.
제1특징점군 생성 단계는 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성한다. 제1특징점군은 눈썹의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The first feature point group generation step generates a first feature point group including a plurality of feature points on eyebrows. The first feature point group may consist of four feature points formed at both ends of the eyebrow in the longitudinal direction.
제2특징점군 생성 단계는 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성한다. 제2특징점군은 눈의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The second characteristic point group generation step generates a second characteristic point group including a plurality of characteristic points around the eyes. The second feature point group may consist of four feature points formed at both ends in the longitudinal direction of the eye.
제3특징점군 생성 단계는 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성한다. 제3특징점군은 코의 길이방향 하단에 위치하되 코의 폭방향 양쪽 단부에 위치하는 2개의 특징점으로 이루어질 수 있다.Third characteristic point group generation step generates a third characteristic point group composed of a plurality of characteristic points on the nose. Third feature The point cloud can be composed of two feature points located at the lower end in the longitudinal direction of the nose and at both ends in the width direction of the nose.
제4특징점군 생성 단계는 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성한다. 제4특징점군은 입술의 길이방향 양쪽 단부와 윗입술과 아랫입술의 길이방향 중앙에 형성된 4개의 특징점으로 이루어질 수 있다.The fourth feature point group generation step generates a fourth feature point group including a plurality of feature points around the lips. Fourth feature The point cloud group can be composed of both end parts in the longitudinal direction of the lip and four feature points formed in the longitudinal direction center of the upper lip and the lower lip.
도형 생성 단계(S102)는 특징점들을 연결하여 복수의 감정 도형을 생성한다. 감정 도형은 특징점들을 연결하는 선에 의하여 형성되며, 도형 생성부는 감정 도형들이 서로 겹치지 않게 형성한다. In the figure generation step (S102), a plurality of emotion diagrams are generated by connecting the minutiae. The emotion figure is formed by lines connecting the feature points, and the figure generator forms the emotion figures so that they do not overlap with each other.
도형 생성 단계(S102)는 제1특징점군과 제2특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성 단계(S102)는 오른쪽(촬영된 얼굴 기준) 눈과 눈썹 사이에 사각형으로 이루어진 제1감정 도형(a)을 생성하고, 미간에 사각형으로 이루어진 제2감정 도형(b)을 생성하며, 왼쪽 눈과 눈썹 사이에 제3감정 도형(c)을 생성한다.In the figure generation step (S102), three emotion figures are generated by connecting the first feature point group and the second feature point group. In the graphic form generation step (S102), a first emotion figure (a) composed of a quadrangle is formed between the right eye (based on the photographed face) and the eyebrows, a second emotion figure (b) And a third emotion figure (c) is generated between the eye and the eyebrow.
도형 생성 단계(S102)는 제2특징점군과 제3특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성 단계(S102)는 오른쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(d)을 생성하고, 코가 위치하는 영역에 사각형으로 이루어진 제5감정 도형(e)을 생성하며, 왼쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(f)을 생성한다.In the figure generation step (S102), the three feature points are generated by connecting the second feature point group and the third feature point group. In the figure generating step S102, a fourth emotion figure d composed of a triangle is formed between the right eye and the nose, a fifth emotion figure e composed of a quadrangle is formed in a region where the nose is located, And generates a fourth emotion figure (f) consisting of a triangle between the noses.
또한, 도형 생성 단계(S102)는 제3특징점군과 제4특징점군을 연결하여 5개의 감정 도형을 생성한다. 도형 생성 단계(S102)는 오른쪽 입술과 코를 연결하여 삼각형의 제4감정 도형(g)을 생성하고, 코의 양쪽 하단과 입술의 중앙을 연결하여 삼각형의 제5감정 도형(h)을 생성하며, 왼쪽 입술과 코를 연결하여 삼각형의 제6감정 도형(i)을 생성한다. 또한 도형 생성 단계(S102)는 오른쪽 윗입술과 아랫입술을 연결하여 제7감정 도형(j)을 생성하고, 왼쪽 윗입술과 아랫입술을 연결하여 제8감정 도형(k)을 생성 생성한다.In the graphic form generation step (S102), five emotion figures are generated by connecting the third feature point group and the fourth feature point group. The figure generating step S102 creates a fourth emotion figure g of a triangle by connecting the right lips and the nose and connects the lower ends of the nose and the center of the lips to generate a fifth emotion figure h of the triangle , And connects the left lips and the nose to generate the sixth emotion figure (i) of the triangle. In the graphic form generation step S102, the seventh emotion figure j is generated by connecting the right upper lip and the bottom lips, and the eighth emotion figure k is generated by connecting the left upper lip and the bottom lips.
특징점 측정 단계(S103)는 특징점의 최초 위치 및 변화를 측정한다. 특징점 측정 단계(S103)는 최초 설정된 특징점의 좌표와 간격을 측정할 수 있다. The feature point measurement step S103 measures the initial position and change of the feature point. The feature point measuring step S103 can measure the coordinates and the interval of the initially set feature points.
특징점 측정 단계(S103)는 위치 측정 단계와 간격 측정 단계를 포함한다. 위치 측정 단계는 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정한다. 위치 측정 단계는 특징점의 절대 위치 변화를 측정한다. 간격 측정 단계는 특징점들의 최초 간격과 시간의 경과에 따른 간격 변화를 측정한다. 간격 측정 단계는 특징점들의 상대 위치를 측정한다.The feature point measuring step S103 includes a position measuring step and an interval measuring step. The position measurement step measures the initial position of the feature points and the positional change with the lapse of time. The position measuring step measures the absolute position change of the feature point. The interval measurement step measures the initial interval of the feature points and the interval variation with the lapse of time. The interval measurement step measures the relative position of the feature points.
감정 도형 측정 단계(S104)는 감정 도형의 최초 형상 및 시간의 경과에 따른 감정 도형의 변화를 측정한다. 감정 도형 측정 단계(S104)는 도형 내각 측정 단계, 도형 면적 측정 단계를 포함한다. 도형 내각 측정 단계는 감정 도형의 내각 변화를 측정하고, 도형 면적 측정 단계는 감정 도형의 면적 변화를 측정한다.The emotion figure measurement step (S104) measures the initial shape of the emotion figure and the change of the emotion figure with time. The emotion graphic form measurement step S104 includes a figure shape cabinet measurement step, and a figure shape area measurement step. The figure cabinet measuring step measures the cabinet change of the emotion figure, and the figure area measuring step measures the area change of the emotion figure.
판단 단계(S105)는 측정된 감정 도형과 특징점을 바탕으로 촬영된 얼굴의 감정을 판단한다. 판단 단계(S105)는 특징점의 최초 위치와 변화를 바탕으로 데이터 베이스에에 저장된 특징점 유형과 비교하여 측정된 특징점의 유형을 분류한다. 데이터 베이스는 다양한 감정 상태에서 다수의 사람들의 특징점 유형이 저장되어 있는바, 판단 단계(S105)는 측정된 특징점과 데이터 베이스에 저장된 자료를 비교하여 특징점의 유형을 분류한다.The judgment step S105 judges the emotion of the photographed face on the basis of the measured emotion figure and the feature point. The judgment step S105 classifies the type of the minutiae measured by comparing the minutiae point type stored in the database with the initial position of the minutiae and the change. The database stores characteristic point types of a plurality of people in various emotional states. In the determination step (S105), types of characteristic points are classified by comparing measured characteristic points with data stored in a database.
판단 단계(S105)는 감정 도형의 최초 형상과 변화를 바탕으로 데이터 베이스에 저장된 감정 도형 유형과 비교하여 측정된 감정 도형의 유형을 분류한다. 데이터 베이스에는 다양한 감정 상태에서 다수의 사람들의 감정 도형 유형이 저장되어 있는바, 판단 단계(S105)는 측정된 감정 도형과 데이터 베이스에 저장된 자료를 비교하여 감정 도형의 유형을 분류한다.In the determination step (S105), the type of the emotion figure is compared with the emotion figure type stored in the database based on the initial shape and the change of the emotion figure. In the database, a plurality of emotional graphic types are stored in various emotional states. In the determination step (S105), the types of emotional graphic types are classified by comparing the measured emotional graphic with the data stored in the database.
판단 단계(S105)는 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수상한 사람인지 여부를 판단하는 위험 판단 단계를 포함한다. 데이터 베이스에는 위험한 인물의 감정 도형과 특징점 유형이 저장되어 있으며, 위험 판단 단계는 측정된 특징점과 감정 도형을 통해서 위험 인물인지 여부를 판단한다.The determination step S105 includes a risk determination step of determining whether the person is a suspicious person by comparing the emotion figure and the minutiae with the facial expression change patterns of the offenders stored in the database. In the database, the emotional figure and the characteristic point type of a dangerous person are stored, and the risk judgment step judges whether the person is a danger person through the measured characteristic point and the emotional figure.
알림 단계(S106)는 판단 단계(S106)에서 판단된 감정 유형을 나타낸다. 알림 단계(S106)는 수상한 사람으로 판단된 경우, 경고 신호를 생성하는 위험 알림 단계를 포함할 수 있다.The notification step (S106) indicates the type of emotion determined in the determination step (S106). The notification step S106 may include a risk notification step of generating a warning signal when it is determined that the user is a suspicious person.
이하에서는 본 발명의 제2 실시예에 따른 감정 판단 시스템에 대해서 설명한다. 도 4은 본 발명의 제2 실시예에 따른 감정 판단 시스템을 도시한 구성도이다.Hereinafter, an emotion judgment system according to a second embodiment of the present invention will be described. FIG. 4 is a block diagram showing an emotion judgment system according to a second embodiment of the present invention.
도 4를 참조하여 설명하면, 본 제2 실시예에 따른 감정 판단 시스템(102)은 특징점 생성부(10), 도형 생성부(20), 특징점 측정부(30), 감정 도형 측정부(40), 판단부(50), 알림부(60)를 포함한다.4, the
특징점 생성부(10)는 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성한다. 특징점 생성부(10)는 눈썹, 눈 주변, 코, 입 주변에 특징점을 생성할 수 있다. 특징점 생성부(10)는 물체 인식 기술을 이용하여 사람의 얼굴의 각 부분을 인식하고 얼굴의 각 부분에 복수의 특징점을 생성할 수 있다. The feature
특징점 생성부(10)는 제1특징점군 생성 모듈(11), 제2특징점군 생성 모듈(12), 제3특징점군 생성 모듈(13), 제4특징점군 생성 모듈(14)을 포함한다. The feature
제1특징점군 생성 모듈(11)은 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성한다. 제1특징점군은 눈썹의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The first feature point
제2특징점군 생성 모듈(12)은 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성한다. 제2특징점군은 눈의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The second feature point
제3특징점군 생성 모듈(13)은 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성한다. 제3특징점군은 코의 길이방향 하단에 위치하되 코의 폭방향 양쪽 단부에 위치하는 2개의 특징점으로 이루어질 수 있다.Third feature point
제4특징점군 생성 모듈(14)은 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성한다. 제4특징점군은 입술의 길이방향 양쪽 단부와 윗입술과 아랫입술의 길이방향 중앙에 형성된 4개의 특징점으로 이루어질 수 있다.The fourth feature point
도형 생성부(20)는 특징점들을 연결하여 복수의 감정 도형을 생성한다. 감정 도형은 특징점들을 연결하는 선에 의하여 형성되며, 도형 생성부(20)는 감정 도형들이 서로 겹치지 않게 형성한다. The
도형 생성부(20)는 제1특징점군과 제2특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽(촬영된 얼굴 기준) 눈과 눈썹 사이에 사각형으로 이루어진 제1감정 도형(a)을 생성하고, 미간에 사각형으로 이루어진 제2감정 도형(b)을 생성하며, 왼쪽 눈과 눈썹 사이에 제3감정 도형(c)을 생성한다.The
도형 생성부(20)는 제2특징점군과 제3특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(d)을 생성하고, 코가 위치하는 영역에 사각형으로 이루어진 제5감정 도형(e)을 생성하며, 왼쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(f)을 생성한다.The
또한, 도형 생성부(20)는 제3특징점군과 제4특징점군을 연결하여 5개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽 입술과 코를 연결하여 삼각형의 제4감정 도형(g)을 생성하고, 코의 양쪽 하단과 입술의 중앙을 연결하여 삼각형의 제5감정 도형(h)을 생성하며, 왼쪽 입술과 코를 연결하여 삼각형의 제6감정 도형(i)을 생성한다. 또한, 도형 생성부(20)는 오른쪽 윗입술과 아랫입술을 연결하여 제7감정 도형(j)을 생성하고, 왼쪽 윗입술과 아랫입술을 연결하여 제8감정 도형(k)을 생성 생성한다.Also, the
특징점 측정부(30)는 특징점의 최초 위치 및 변화를 측정한다. 특징점 측정부(30)는 최초 설정된 특징점의 좌표와 간격을 측정할 수 있으며, 시간의 경과에 따른 특징점의 변화를 측정할 수 있다.The
특징점 측정부(30)는 위치 측정 모듈(31)과 간격 측정 모듈(32)을 포함한다. 위치 측정 모듈(31)은 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정한다. 위치 측정 모듈(31)은 특징점의 절대 위치 변화를 측정한다. 간격 측정 모듈(32)은 특징점들의 최초 간격과 시간의 경과에 따른 간격 변화를 측정한다. 간격 측정 모듈(32)은 특징점들의 상대 위치를 측정한다.The
감정 도형 측정부(40)는 감정 도형의 최초 형상 및 시간의 경과에 따른 감정 도형의 변화를 측정한다. 감정 도형 측정부(40)는 도형 내각 측정 모듈(41), 도형 면적 측정 모듈(42)을 포함한다. 도형 내각 측정 모듈(41)은 감정 도형의 내각 변화를 측정하고, 도형 면적 측정 모듈(42)은 감정 도형의 면적 변화를 측정한다.The emotion
판단부(50)는 측정된 감정 도형과 특징점을 바탕으로 촬영된 얼굴의 감정을 판단한다. 판단부(50)는 특징점의 최초 위치와 변화를 바탕으로 데이터 베이스에에 저장된 특징점 유형과 비교하여 측정된 특징점의 유형을 분류한다. 데이터 베이스는 다양한 감정 상태에서 다수의 사람들의 특징점 유형이 저장되어 있는바, 판단부(50)는 측정된 특징점과 데이터 베이스에 저장된 자료를 비교하여 특징점의 유형을 분류한다.The
판단부(50)는 감정 도형의 최초 형상과 변화를 바탕으로 데이터 베이스에 저장된 감정 도형 유형과 비교하여 측정된 감정 도형의 유형을 분류한다. 데이터 베이스에는 다양한 감정 상태에서 다수의 사람들의 감정 도형 유형이 저장되어 있는바, 판단부(50)는 측정된 감정 도형과 데이터 베이스에 저장된 자료를 비교하여 감정 도형의 유형을 분류한다.The
판단부(50)는 위험 판단 모듈(51), 슬픔 판단 모듈(52), 기쁨 판단 모듈(53), 분노 판단 모듈(54)을 포함한다. The
위험 판단 모듈(51)은 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수상한 사람인지 여부를 판단한다. 데이터 베이스에는 위험한 인물의 감정 도형과 특징점 유형이 저장되어 있으며, 위험 판단 모듈(51)은 측정된 특징점과 감정 도형을 통해서 위험 인물인지 여부를 판단한다.The
슬픔 판단 모듈(52)은 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 슬픔 상태인지 여부를 판단한다. 데이터 베이스에는 슬픔 상태에서의 감정 도형 유형이 저장되어 있으며, 슬픔 판단 모듈(52)은 측정된 특징점과 감정 도형을 통해서 슬픔 상태인지 여부를 판단한다.The
기쁨 판단 모듈(53)은 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 기쁨 상태인지 여부를 판단한다. 데이터 베이스에는 기쁨 상태에서의 감정 도형 유형이 저장되어 있으며, 기쁨 판단 모듈(53)은 특징점과 감정 도형을 통해서 기쁨 상태인지 여부를 판단한다.The
분노 판단 모듈(54)은 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 분노 상태인지 여부를 판단한다. 데이터 베이스에는 분노 상태에서의 감정 도형 유형이 저장되어 있으며, 분노 판단 모듈(54)은 특징점과 감정 도형을 통해서 기쁨 상태인지 여부를 판단한다.The
알림부(60)는 판단부(50)에서 판단된 감정 유형을 알린다. 알림부(60)는 디스플레이에 감정 유형을 표시할 수 있으며, 소리를 생성하여 감정 유형을 나타낼 수 있다. The
알림부(60)는 위험 알림 모듈(61), 문자 표시 모듈(62), 이모티콘 표시 모듈(63), 소리 알림 모듈(64)을 포함할 수 있다. 위험 알림 모듈(61)은 촬영된 사람이 수상한 사람으로 판단된 경우 경고 신호를 생성한다. The
문자 표시 모듈(62)은 문자로 감정상태를 나타내며, 통화 또는 문자 메시지 전송 상대방의 스마트 기기의 화면에 문자로 나타낼 수 있다.The
이모티콘 표시 모듈(63)은 이모티콘으로 감정상태를 나타내며, 영상 통화 또는 문자 메시지 전송 시에 해당 감정을 나타내는 이모티콘을 스마트 기기에 표시할 수 있다.The
소리 알림 모듈(53)은 소리로 감정상태를 나타내며, 음성 통화 또는 영상 통화 시에 해당 감정을 나타내는 소리를 스마트 기기에 생성할 수 있다.The
이와 같이 본 실시예에 따르면 감정상태를 분석하여 위험을 알릴 수 있을 뿐만 아니라 상대방에게 사용자의 감정을 표시할 수 있으므로 보다 원활하게 의사 소통을 할 수 있다.As described above, according to the present embodiment, not only the risk can be noticed by analyzing the emotional state, but also the emotion of the user can be displayed to the other party, so that the communication can be smoothly performed.
이하에서는 본 발명의 제2 실시예에 따른 감정 판단 방법에 대해서 설명한다. 도 5은 본 발명의 제2 실시예에 따른 감정 판단 방법을 설명하기 위한 순서도이다.Hereinafter, the emotion determination method according to the second embodiment of the present invention will be described. 5 is a flowchart for explaining an emotion judgment method according to a second embodiment of the present invention.
도 5을 참조하여 설명하면, 본 제2 실시예에 따른 감정 판단 방법은 특징점 생성 단계(S201), 도형 생성 단계(S202), 특징점 측정 단계(S203), 감정 도형 측정 단계(S204), 판단 단계(S205), 알림 단계(S206)를 포함한다. 5, the emotion determination method according to the second embodiment includes a feature point generation step S201, a figure generation step S202, a feature point measurement step S203, an emotion figure measurement step S204, (S205), and a notification step (S206).
특징점 생성 단계(S201)는 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성한다. 특징점 생성 단계(S201)는 눈썹, 눈 주변, 코, 입 주변에 특징점을 생성할 수 있다. 특징점 생성 단계(S201)는 물체 인식 기술을 이용하여 사람의 얼굴의 각 부분을 인식하고 얼굴의 각 부분에 복수의 특징점을 생성할 수 있다. The feature point generation step (S201) generates a plurality of feature points on the face photographed by the camera. The minutia point generation step (S201) can generate minutiae points around eyebrows, eyes, nose, and mouth. In the minutia point creation step S201, each part of a person's face can be recognized using an object recognition technology, and a plurality of minutiae points can be generated in each part of a face.
특징점 생성 단계(S201)는 제1특징점군 생성 단계, 제2특징점군 생성 단계, 제3특징점군 생성 단계, 제4특징점군 생성 단계를 포함한다. The feature point generation step S201 includes a first feature point group generation step, a second feature point group generation step, a third feature point group generation step, and a fourth feature point group generation step.
제1특징점군 생성 단계는 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성한다. 제1특징점군은 눈썹의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The first feature point group generation step generates a first feature point group including a plurality of feature points on eyebrows. The first feature point group may consist of four feature points formed at both ends of the eyebrow in the longitudinal direction.
제2특징점군 생성 단계는 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성한다. 제2특징점군은 눈의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.The second characteristic point group generation step generates a second characteristic point group including a plurality of characteristic points around the eyes. The second feature point group may consist of four feature points formed at both ends in the longitudinal direction of the eye.
제3특징점군 생성 단계는 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성한다. 제3특징점군은 코의 길이방향 하단에 위치하되 코의 폭방향 양쪽 단부에 위치하는 2개의 특징점으로 이루어질 수 있다.Third characteristic point group generation step generates a third characteristic point group composed of a plurality of characteristic points on the nose. Third feature The point cloud can be composed of two feature points located at the lower end in the longitudinal direction of the nose and at both ends in the width direction of the nose.
제4특징점군 생성 단계는 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성한다. 제4특징점군은 입술의 길이방향 양쪽 단부와 윗입술과 아랫입술의 길이방향 중앙에 형성된 4개의 특징점으로 이루어질 수 있다.The fourth feature point group generation step generates a fourth feature point group including a plurality of feature points around the lips. Fourth feature The point cloud group can be composed of both end parts in the longitudinal direction of the lip and four feature points formed in the longitudinal direction center of the upper lip and the lower lip.
도형 생성 단계(S202)는 특징점들을 연결하여 복수의 감정 도형을 생성한다. 감정 도형은 특징점들을 연결하는 선에 의하여 형성되며, 도형 생성부는 감정 도형들이 서로 겹치지 않게 형성한다. In the figure generation step S202, a plurality of emotion diagrams are generated by connecting the minutiae. The emotion figure is formed by lines connecting the feature points, and the figure generator forms the emotion figures so that they do not overlap with each other.
도형 생성 단계(S202)는 제1특징점군과 제2특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성 단계(S202)는 오른쪽(촬영된 얼굴 기준) 눈과 눈썹 사이에 사각형으로 이루어진 제1감정 도형(a)을 생성하고, 미간에 사각형으로 이루어진 제2감정 도형(b)을 생성하며, 왼쪽 눈과 눈썹 사이에 제3감정 도형(c)을 생성한다.In the figure generation step (S202), three emotion figures are generated by connecting the first feature point group and the second feature point group. In the figure generation step S202, a first emotion figure a composed of a quadrangle is formed between the right eye and a eyebrow, a second emotion figure b composed of a quadrangle is generated between the eyes, And a third emotion figure (c) is generated between the eye and the eyebrow.
도형 생성 단계(S202)는 제2특징점군과 제3특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성 단계(S202)는 오른쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(d)을 생성하고, 코가 위치하는 영역에 사각형으로 이루어진 제5감정 도형(e)을 생성하며, 왼쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(f)을 생성한다.In the figure generation step (S202), three emotion figures are generated by connecting the second feature point group and the third feature point group. In the figure generating step S202, a fourth emotion figure d composed of a triangle is formed between the right eye and the nose, a fifth emotion figure e composed of a rectangle is formed in a region where the nose is located, And generates a fourth emotion figure (f) consisting of a triangle between the noses.
또한, 도형 생성 단계(S202)는 제3특징점군과 제4특징점군을 연결하여 5개의 감정 도형을 생성한다. 도형 생성 단계(S202)는 오른쪽 입술과 코를 연결하여 삼각형의 제4감정 도형(g)을 생성하고, 코의 양쪽 하단과 입술의 중앙을 연결하여 삼각형의 제5감정 도형(h)을 생성하며, 왼쪽 입술과 코를 연결하여 삼각형의 제6감정 도형(i)을 생성한다. 또한 도형 생성 단계(S202)는 오른쪽 윗입술과 아랫입술을 연결하여 제7감정 도형(j)을 생성하고, 왼쪽 윗입술과 아랫입술을 연결하여 제8감정 도형(k)을 생성 생성한다.In the figure generation step (S202), five emotion figures are generated by connecting the third feature point group and the fourth feature point group. In the figure generation step S202, the right lip and the nose are connected to generate the fourth emotion figure g of the triangle, and the lower both ends of the nose are connected to the center of the lip to generate the fifth emotion figure h of the triangle , And connects the left lips and the nose to generate the sixth emotion figure (i) of the triangle. In the graphic form generation step S202, the seventh emotion figure j is generated by connecting the right upper lip and the bottom lip, and the eighth emotion figure k is generated by connecting the left upper lip and the bottom lip.
특징점 측정 단계(S203)는 특징점의 최초 위치 및 변화를 측정한다. 특징점 측정 단계(S203)는 최초 설정된 특징점의 좌표와 간격을 측정할 수 있다. The feature point measuring step (S203) measures the initial position and change of the feature point. The feature point measuring step (S203) can measure the coordinates and the interval of the initially set feature points.
특징점 측정 단계(S203)는 위치 측정 단계와 간격 측정 단계를 포함한다. 위치 측정 단계는 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정한다. 위치 측정 단계는 특징점의 절대 위치 변화를 측정한다. 간격 측정 단계는 특징점들의 최초 간격과 시간의 경과에 따른 간격 변화를 측정한다. 간격 측정 단계는 특징점들의 상대 위치를 측정한다.The feature point measurement step S203 includes a position measurement step and an interval measurement step. The position measurement step measures the initial position of the feature points and the positional change with the lapse of time. The position measuring step measures the absolute position change of the feature point. The interval measurement step measures the initial interval of the feature points and the interval variation with the lapse of time. The interval measurement step measures the relative position of the feature points.
감정 도형 측정 단계(S204)는 감정 도형의 최초 형상 및 시간의 경과에 따른 감정 도형의 변화를 측정한다. 감정 도형 측정 단계(S204)는 도형 내각 측정 단계, 도형 면적 측정 단계를 포함한다. 도형 내각 측정 단계는 감정 도형의 내각 변화를 측정하고, 도형 면적 측정 단계는 감정 도형의 면적 변화를 측정한다.The emotion figure measurement step (S204) measures the initial shape of the emotion figure and the change of the emotion figure with the passage of time. The emotion graphic shape measuring step S204 includes a figure shape measuring step and a figure area measuring step. The figure cabinet measuring step measures the cabinet change of the emotion figure, and the figure area measuring step measures the area change of the emotion figure.
판단 단계(S205)는 측정된 감정 도형과 특징점을 바탕으로 촬영된 얼굴의 감정을 판단한다. 판단 단계(S205)는 특징점의 최초 위치와 변화를 바탕으로 데이터 베이스에에 저장된 특징점 유형과 비교하여 측정된 특징점의 유형을 분류한다. 데이터 베이스는 다양한 감정 상태에서 다수의 사람들의 특징점 유형이 저장되어 있는바, 판단 단계(S205)는 측정된 특징점과 데이터 베이스에 저장된 자료를 비교하여 특징점의 유형을 분류한다.In the determination step S205, the emotion of the photographed face is determined based on the measured emotion figure and the feature point. The judgment step S205 classifies the type of the minutiae measured by comparing the minutiae point type stored in the database with the initial position of the minutiae and the change. The database stores characteristic point types of a plurality of people in various emotional states. In the determination step (S205), the types of characteristic points are classified by comparing measured characteristic points with data stored in a database.
판단 단계(S205)는 감정 도형의 최초 형상과 변화를 바탕으로 데이터 베이스에 저장된 감정 도형 유형과 비교하여 측정된 감정 도형의 유형을 분류한다. 데이터 베이스에는 다양한 감정 상태에서 다수의 사람들의 감정 도형 유형이 저장되어 있는바, 판단 단계(S205)는 측정된 감정 도형과 데이터 베이스에 저장된 자료를 비교하여 감정 도형의 유형을 분류한다.The determination step (S205) classifies the type of the emotion figure measured in comparison with the emotion figure type stored in the database based on the initial shape and the change of the emotion figure. In the database, a plurality of emotional graphic types are stored in various emotional states. In the determination step (S205), the types of the emotional graphic types are classified by comparing the measured emotional graphic with the data stored in the database.
판단 단계(S205)는 위험 판단 단계, 슬픔 판단 단계, 기쁨 판단 단계, 분노 판단 단계를 포함한다. The determination step S205 includes a risk determination step, a sadness determination step, a joy determination step, and an anger determination step.
위험 판단 단계는 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수상한 사람인지 여부를 판단하는 위험 판단 단계를 포함한다. 데이터 베이스에는 위험한 인물의 감정 도형과 특징점 유형이 저장되어 있으며, 위험 판단 단계는 측정된 특징점과 감정 도형을 통해서 위험 인물인지 여부를 판단한다.The risk judging step includes a risk judging step of judging whether the suspect person is a suspicious person by comparing the emotion figure and the minutiae with the facial expression change pattern of the criminals stored in the database. In the database, the emotional figure and the characteristic point type of a dangerous person are stored, and the risk judgment step judges whether the person is a danger person through the measured characteristic point and the emotional figure.
슬픔 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 슬픔 상태인지 여부를 판단한다. 데이터 베이스에는 슬픔 상태에서의 감정 도형 유형이 저장되어 있으며, 슬픔 판단 단계는 은 측정된 특징점과 감정 도형을 통해서 슬픔 상태인지 여부를 판단한다.The grief determination step compares the change of the emotion figure with the type of the emotion figure stored in the database to determine whether the state is a sad state. In the database, an emotion figure type in a sadness state is stored, and a sadness determination step determines whether a sad state is present through the measured feature points and the emotion figure.
기쁨 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 기쁨 상태인지 여부를 판단한다. 데이터 베이스에는 기쁨 상태에서의 감정 도형 유형이 저장되어 있으며, 기쁨 판단 단계는 특징점과 감정 도형을 통해서 기쁨 상태인지 여부를 판단한다.The joy determining step compares the change of the emotion figure with the type of the emotion figure stored in the database to determine whether or not the joy state is present. The database stores the type of the emotion figure in the joy state, and the joy determination step determines whether the joy state is through the feature point and the emotion figure.
분노 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 분노 상태인지 여부를 판단한다. 데이터 베이스에는 분노 상태에서의 감정 도형 유형이 저장되어 있으며, 분노 판단 단계는 특징점과 감정 도형을 통해서 기쁨 상태인지 여부를 판단한다.The anger determination step compares the change of the emotion figure with the emotion figure type stored in the database to determine whether or not the state is an anger state. In the database, an emotion figure type in the anger state is stored, and an anger determination step determines whether the joy state is through the feature point and the emotion figure.
알림 단계(S206)는 판단 단계(S206)에서 판단된 감정 유형을 나타낸다. 알림 단계(S206)는 디스플레이에 감정 유형을 표시할 수 있으며, 소리를 생성하여 감정 유형을 나타낼 수 있다. The notification step S206 represents the type of emotion determined in the determination step S206. The notification step S206 may display an emotion type on the display and generate a sound to indicate the emotion type.
알림 단계(S206)는 위험 알림 단계, 문자 표시 단계, 이모티콘 표시 단계, 소리 알림 단계를 포함할 수 있다. 위험 알림 단계는 촬영된 사람이 수상한 사람으로 판단된 경우 경고 신호를 생성한다. The notification step S206 may include a risk notification step, a character display step, an emoticon display step, and a sound notification step. The danger notification step generates a warning signal when the photographed person is judged to be a suspicious person.
문자 표시 단계는 문자로 감정상태를 나타내며, 통화 또는 문자 메시지 전송 상대방의 스마트 기기의 화면에 문자로 나타낼 수 있다.The character display step represents an emotional state as a character, and can be displayed as a character on the screen of the smart device of the communication destination of the call or text message.
이모티콘 표시 단계는 이모티콘으로 감정상태를 나타내며, 영상 통화 또는 문자 메시지 전송 시에 해당 감정을 나타내는 이모티콘을 스마트 기기에 표시할 수 있다.The emoticon display step may display an emotional state using an emoticon, and may display an emoticon indicating the emotional state on the smart device when a video call or a text message is transmitted.
소리 알림 단계는 소리로 감정상태를 나타내며, 음성 통화 또는 영상 통화 시에 해당 감정을 나타내는 소리를 스마트 기기에 생성할 수 있다.The sound notification step may represent a feeling state of sound, and may generate a sound indicating a corresponding feeling at the time of a voice call or a video call to the smart device.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms have been used, they have been used only in a general sense to easily describe the technical contents of the present invention and to facilitate understanding of the invention , And are not intended to limit the scope of the present invention. It is to be understood by those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.
101, 102: 감정 판단 시스템
10: 특징점 생성부
11: 제1특징점군 생성 모듈
12: 제2특징점군 생성 모듈
13: 제3특징점군 생성 모듈
14: 제4특징점군 생성 모듈
20: 도형 생성부
30: 특징점 측정부
31: 위치 측정 모듈
32: 간격 측정 모듈
40: 감정 도형 측정부
41: 도형 내각 측정 모듈
42: 도형 면적 측정 모듈
50: 판단부
51: 위험 판단 모듈
52: 슬픔 판단 모듈
53: 기쁨 판단 모듈
54: 분노 판단 모듈
60: 알림부
61: 위험 알림 모듈
62: 문자 표시 모듈
63: 이모티콘 표시 모듈
64: 소리 알림 모듈101, 102: an emotion judgment system
10:
11: First feature point group generation module
12: second feature point group generation module
13: Third feature point group generation module
14: fourth feature point group generation module
20:
30: Feature point measuring unit
31: Position measurement module
32: Interval measurement module
40: Emotion figure measuring unit
41: Shape Cabinet Measurement Module
42: Shape Area Measurement Module
50:
51: Risk Judgment Module
52: Sadness judgment module
53: Pleasure judgment module
54: Anger judgment module
60: Notification section
61: Risk Notification Module
62: Character display module
63: Emoticone Display Module
64: Sound Notification Module
Claims (18)
얼굴이 촬영된 화면 상에 복수의 특징점을 생성하는 특징점 생성 단계;
상기 특징점들을 연결하여 복수의 감정 도형을 생성하는 도형 생성 단계;
상기 특징점의 최초 위치 및 변화를 측정하는 특징점 측정 단계;
상기 감정 도형의 최초 형상 및 변화를 측정하는 감정 도형 측정 단계;
상기 감정 도형의 변화를 바탕으로 감정을 판단하는 판단 단계; 및
상기 판단 단계에서 판단된 감정 유형을 알리는 알림 단계;
를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
An emotion judgment method for judging an emotion using a minutiae,
A minutiae point generating step of generating a plurality of minutiae points on a screen where a face is photographed;
A figure generating step of generating a plurality of emotional figures by connecting the feature points;
A minutiae point measuring step of measuring an initial position and a change of the minutiae;
An emotion figure measuring step of measuring an initial shape and a change of the emotion figure;
A judgment step of judging an emotion on the basis of the change of the emotion figure; And
An informing step of informing the type of emotion determined in the determining step;
The method of claim 1, further comprising:
상기 특징점 생성 단계는 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성하는 제1특징점군 생성 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
The method according to claim 1,
Wherein the feature point generation step includes a first feature point group generation step of generating a first feature point group including a plurality of feature points on eyebrows.
상기 특징점 생성 단계는 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성하는 제2특징점군 생성 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
3. The method of claim 2,
Wherein the feature point generation step includes a second feature point group generation step of generating a second feature point group including a plurality of feature points around the eyes.
상기 특징점 생성 단계는 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성하는 제3특징점군 생성 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
The method of claim 3,
Wherein the feature point generation step includes a third feature point group generation step of generating a third feature point group including a plurality of feature points on the nose.
상기 특징점 생성 단계는 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성하는 제4특징점군 생성 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
5. The method of claim 4,
Wherein the feature point generation step includes a fourth feature point group generation step of generating a fourth feature point group including a plurality of feature points around the lips.
상기 도형 생성 단계는 상기 제1특징점군과 상기 제2특징점군을 연결하여 3개의 감정 도형을 생성하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
6. The method of claim 5,
Wherein the figure generating step generates three emotion figures by connecting the first feature point group and the second feature point group.
상기 도형 생성 단계는 상기 제2특징점군과 상기 제3특징점군을 연결하여 3개의 감정 도형을 생성하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
The method according to claim 6,
Wherein the figure generating step generates three emotion figures by connecting the second feature point group and the third feature point group.
상기 도형 생성 단계는 상기 제3특징점군과 상기 제4특징점군을 연결하여 5개의 감정 도형을 생성하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
8. The method of claim 7,
Wherein the figure generating step generates five emotion figures by connecting the third feature point group and the fourth feature point group.
상기 특징점 측정 단계는 특징점의 위치 변화를 측정하는 위치 측정 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
9. The method of claim 8,
Wherein the feature point measurement step includes a position measurement step of measuring a change in the position of the feature point.
상기 특징점 측정 단계는 특징점들의 간격 변화를 측정하는 간격 측정 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
10. The method of claim 9,
Wherein the feature point measuring step includes an interval measuring step of measuring a change in the interval of the feature points.
상기 감정 도형 측정 단계는 도형의 내각 변화를 측정하는 도형 내각 측정 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
9. The method of claim 8,
Wherein the step of measuring the emotional shape includes a step of measuring the internal angle of the figure.
상기 감정 도형 측정 단계는 도형의 면적 변화를 측정하는 도형 면적 측정 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
9. The method of claim 8,
Wherein the step of measuring the emotion figure includes a figure area measuring step of measuring an area change of the figure.
상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수정한 사람인지 여부를 판단하는 위험 판단 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
9. The method of claim 8,
Wherein the judging step includes a risk judging step of judging whether the person is a person who made a correction by comparing the change of the emotional figure with the facial expression change pattern of the criminals stored in the database.
상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 사람들의 표정 변화 패턴과 비교하여 슬픔 상태인지 여부를 판단하는 슬픔 판단 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
14. The method of claim 13,
Wherein the determining step comprises a sadness determining step of determining whether the sad state is a sad state by comparing the change of the sad figure with the facial expression change pattern of the people stored in the database.
상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 사람들의 표정 변화 패턴과 비교하여 기쁨 상태인지 여부를 판단하는 기쁨 판단 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
15. The method of claim 14,
Wherein the determining step includes a joy determining step of determining whether the joy state is determined by comparing the change of the emotion figure with the facial expression change pattern of the people stored in the database.
상기 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 사람들의 표정 변화 패턴과 비교하여 분노 상태인지 여부를 판단하는 분노 판단 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
16. The method of claim 15,
Wherein the determining step includes an anger determination step of determining whether an anger state is determined by comparing a change in an emotional graph with a facial expression change pattern of people stored in a database.
상기 알림 단계는 수상한 사람으로 판단된 경우, 경고 신호를 생성하는 위험 알림 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
17. The method of claim 16,
Wherein the notification step includes a risk notification step of generating a warning signal when it is determined that the user is a suspicious person.
상기 알림 단계는 문자로 사용자의 감정상태를 나타내는 문자 알림 단계, 이모티콘으로 감정상태를 나타내는 이모티콘 알림 단계, 통화 상대방에게 소리로 감정상태를 나타내는 소리 알림 단계 중에서 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 방법.
18. The method of claim 17,
The notification step may include at least one of a character notification step of characterizing the user's emotional state, an emoticon notification step of expressing the emotional state with the emoticon, and a sound informing step of expressing the emotional state of the communication partner with the voice communication partner A method of judging emotion using feature points.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160077234A KR101843562B1 (en) | 2016-06-21 | 2016-06-21 | Emotion detecting method using particular point |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160077234A KR101843562B1 (en) | 2016-06-21 | 2016-06-21 | Emotion detecting method using particular point |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180000026A true KR20180000026A (en) | 2018-01-02 |
KR101843562B1 KR101843562B1 (en) | 2018-04-02 |
Family
ID=61004569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160077234A KR101843562B1 (en) | 2016-06-21 | 2016-06-21 | Emotion detecting method using particular point |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101843562B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240032569A (en) | 2022-09-02 | 2024-03-12 | 한양대학교 산학협력단 | Real-time user emotion judgment device based on body movement information |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101317047B1 (en) * | 2012-07-23 | 2013-10-11 | 충남대학교산학협력단 | Emotion recognition appatus using facial expression and method for controlling thereof |
-
2016
- 2016-06-21 KR KR1020160077234A patent/KR101843562B1/en active IP Right Grant
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240032569A (en) | 2022-09-02 | 2024-03-12 | 한양대학교 산학협력단 | Real-time user emotion judgment device based on body movement information |
Also Published As
Publication number | Publication date |
---|---|
KR101843562B1 (en) | 2018-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20180000027A (en) | Emotion detecting system using particular point | |
Cristani et al. | The visual social distancing problem | |
US11734844B2 (en) | 3D hand shape and pose estimation | |
CN109902659B (en) | Method and apparatus for processing human body image | |
US11887234B2 (en) | Avatar display device, avatar generating device, and program | |
US6885761B2 (en) | Method and device for generating a person's portrait, method and device for communications, and computer product | |
EP2426646B1 (en) | Image processing device, program, and image processing method | |
KR20190080377A (en) | Terminal providing a video call service | |
Min et al. | Support vector machine approach to fall recognition based on simplified expression of human skeleton action and fast detection of start key frame using torso angle | |
CN103201763B (en) | Attribute determining method, attribute determining device, program, recording medium and attribute are determined system | |
CN105027175B (en) | Method and apparatus based on the distance between each equipment modification function | |
CN105556508A (en) | Devices, systems and methods of virtualizing a mirror | |
CN107958234A (en) | Client-based face identification method, device, client and storage medium | |
CN108416235A (en) | The anti-peeping method, apparatus of display interface, storage medium and terminal device | |
JP2012058838A (en) | Image processor, program, and image processing method | |
KR20130022434A (en) | Apparatus and method for servicing emotional contents on telecommunication devices, apparatus and method for recognizing emotion thereof, apparatus and method for generating and matching the emotional contents using the same | |
CN109086729B (en) | Communication behavior detection method, device, equipment and storage medium | |
CN108491823A (en) | Method and apparatus for generating eye recognition model | |
CN110705365A (en) | Human body key point detection method and device, electronic equipment and storage medium | |
JP2020057111A (en) | Facial expression determination system, program and facial expression determination method | |
CN105960663A (en) | Information processing device, information processing method, and program | |
CN115222862B (en) | Virtual human clothing generation method, device, equipment, medium and program product | |
CN111291151A (en) | Interaction method and device and computer equipment | |
KR101843562B1 (en) | Emotion detecting method using particular point | |
Metsiritrakul et al. | UP2U: program for raising awareness of phubbing problem with stimulating social interaction in public using augmented reality and computer vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |