KR20180000027A

KR20180000027A - 특징점을 이용한 감정 판단 시스템

Info

Publication number: KR20180000027A
Application number: KR1020160077249A
Authority: KR
Inventors: 송지성; 박수조; 김선호; 류예샘; 김수아; 김희성
Original assignee: 한양대학교 에리카산학협력단; 송지성; 김희성; 류예샘; 김수아; 박수조; 김선호
Priority date: 2016-06-21
Filing date: 2016-06-21
Publication date: 2018-01-02

Abstract

본 발명은 특징점을 이용한 감정 판단 시스템을 제공한다.
본 발명의 일 측면에 따른 특징점을 이용한 감정 판단 시스템은 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성하는 특징점 생성부, 상기 특징점들을 연결하여 복수의 감정 도형을 생성하는 도형 생성부, 상기 특징점의 최초 위치 및 변화를 측정하는 특징점 측정부, 상기 감정 도형의 최초 형상 및 변화를 측정하는 감정 도형 측정부, 상기 감정 도형과 특징점의 측정을 바탕으로 감정을 판단하는 판단부, 및 상기 판단부에서 판단된 감정 유형을 알리는 알림부를 포함한다.

Description

특징점을 이용한 감정 판단 시스템{EMOTION DETECTING SYSTEM USING PARTICULAR POINT}

본 발명은 감정 판단 시스템에 관한 것으로서 더욱 상세하게는 특징점을 이용한 감정 판단 시스템에 관한 것이다.

사용자가 눈으로 보는 현실세계에 가상의 객체를 겹쳐 보여주는 기술을 '증강현실(Augmented Reality)'이라고 한다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.

현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.

이러한 증강현실기술은 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을 제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다.

증강현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급 되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.

또한, 외부인이 가정집을 방문할 때, 인터폰을 이용하여 방문자의 얼굴을 촬영할 수 있으나, 방문자가 수상한 사람인지 여부를 판단하기 어려운 문제가 있다.

본 발명은 특징점을 이용한 감정 판단 시스템을 제공한다.

본 발명의 일 측면에 따른 특징점을 이용한 감정 판단 시스템은 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성하는 특징점 생성부, 상기 특징점들을 연결하여 복수의 감정 도형을 생성하는 도형 생성부, 상기 특징점의 최초 위치 및 변화를 측정하는 특징점 측정부, 상기 감정 도형의 최초 형상 및 변화를 측정하는 감정 도형 측정부, 상기 감정 도형과 특징점의 측정을 바탕으로 감정을 판단하는 판단부, 및 상기 판단부에서 판단된 감정 유형을 알리는 알림부를 포함한다.

여기서, 상기 특징점 생성부는 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성하는 제1특징점군 생성 모듈을 포함할 수 있다.

또한, 상기 특징점 생성부는 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성하는 제2특징점군 생성 모듈을 포함할 수 있다.

또한, 상기 특징점 생성부는 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성하는 제3특징점군 생성 모듈을 포함할 수 있다.

또한, 상기 특징점 생성부는 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성하는 제4특징점군 생성 모듈을 포함할 수 있다.

또한, 상기 도형 생성부는 상기 제1특징점군과 상기 제2특징점군을 연결하여 3개의 감정 도형을 생성할 수 있다.

또한, 상기 도형 생성부는 상기 제2특징점군과 상기 제3특징점군을 연결하여 3개의 감정 도형을 생성 할 수 있다.

또한, 상기 도형 생성부는 상기 제3특징점군과 상기 제4특징점군을 연결하여 5개의 감정 도형을 생성 할 수 있다.

또한, 상기 특징점 측정부는 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정할 수 있다.

또한, 상기 특징점 측정부는 특징점들의 최 간격과 시간의 경과에 따른 간격 변화를 측정하는 간격 측정 모듈을 포함할 수 있다.

또한, 상기 감정 도형 측정부는 상기 감정 도형의 내각 변화를 측정하는 도형 내각 측정 모듈을 포함할 수 있다.

또한, 상기 감정 도형 측정부는 상기 감정 도형의 면적 변화를 측정하는 도형 면적 측정 모듈을 포함할 수 있다.

또한, 상기 판단부는 측정된 상기 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 감정 도형 유형과 비교하여 수상한 사람인지 여부를 판단하는 위험 판단 모듈을 포함할 수 있다.

또한, 상기 판단부는 상기 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 슬픔 상태인지 여부를 판단하는 슬픔 판단 모듈을 포함할 수 있다.

또한, 상기 판단부는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 기쁨 상태인지 여부를 판단하는 기쁨 판단 모듈을 포함할 수 있다.

또한, 상기 판단부는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 분노 상태인지 여부를 판단하는 분노 판단 모듈을 포함할 수 있다.

또한, 상기 알림부는 수상한 사람으로 판단된 경우, 경고 신호를 생성하는 위험 알림 모듈을 포함할 수 있다.

또한, 상기 알림부는 문자로 사용자의 감정상태를 나타내는 문자 표시 모듈, 이모티콘으로 감정상태를 나타내는 이모티콘 표시 모듈, 통화 상대방에게 소리로 감정상태를 나타내는 소리 알림 모듈 중에서 적어도 어느 하나 이상을 포함할 수 있다.

상기와 같이 본 발명에 따르면 카메라에 의하여 촬영된 얼굴에 특징점을 생성하고, 특징점의 변화에 따라 감정을 판단하므로 수상한 사람인지 여부를 자동으로 인식할 수 있다.

도 1은 본 발명의 제1 실시예에 따른 감정 판단 시스템을 도시한 구성도이다.
도 2는 본 발명의 제1 실시예에 따른 감정 판단 시스템에 의하여 얼굴에 표시된 특징점을 나타낸 도면이다.
도 3은 본 발명의 제1 실시예에 따른 감정 판단 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 제2 실시예에 따른 감정 판단 시스템을 도시한 구성도이다.
도 5는 본 발명의 제2 실시예에 따른 감정 판단 방법을 설명하기 위한 순서도이다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 당업자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된항목들의 조합 또는 복수의 관련된 기재된항목들 중의 어느항목을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하에서는 본 발명의 제1 실시예에 따른 감정 판단 시스템에 대해서 설명한다.

도 1은 본 발명의 제1 실시예에 따른 감정 판단 시스템을 도시한 구성도이고, 도 2는 본 발명의 제1 실시예에 따른 감정 판단 시스템에 의하여 얼굴에 표시된 특징점을 나타낸 도면이다.

도 1 및 도 2를 참조하여 설명하면, 본 제1 실시예에 따른 감정 판단 시스템(101)은 특징점 생성부(10), 도형 생성부(20), 특징점 측정부(30), 감정 도형 측정부(40), 판단부(50), 알림부(60)를 포함한다.

특징점 생성부(10)는 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성한다. 특징점 생성부(10)는 눈썹, 눈 주변, 코, 입 주변에 특징점을 생성할 수 있다. 특징점 생성부(10)는 물체 인식 기술을 이용하여 사람의 얼굴의 각 부분을 인식하고 얼굴의 각 부분에 복수의 특징점을 생성할 수 있다.

카메라는 인터콤에 연결된 카메라일 수 있으며, 스마트 기기에 설치된 카메라일 수 있다. 인터콤에 연결된 카메라일 경우 감정 판단 시스템은 가정 보안 시스템으로 이루어질 수 있다. 스마트 기기에 설치된 카메라일 경우 감정 판단 시스템(101)은 스마트폰의 어플리케이션으로 이루어질 수 있다.

수상한 사람이 현관에 나타난 경우, 사용자는 스마트 기기의 카메라를 이용하여 수상한 사람을 촬영할 수 있으며, 감정 판단 시스템(101)은 카메라에 촬영된 사람이 위험한 인물인지 여부를 판단할 수 있다.

특징점 생성부(10)는 제1특징점군 생성 모듈(11), 제2특징점군 생성 모듈(12), 제3특징점군 생성 모듈(13), 제4특징점군 생성 모듈(14)을 포함한다.

제1특징점군 생성 모듈(11)은 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성한다. 제1특징점군은 눈썹의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.

제2특징점군 생성 모듈(12)은 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성한다. 제2특징점군은 눈의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.

제3특징점군 생성 모듈(13)은 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성한다. 제3특징점군은 코의 길이방향 하단에 위치하되 코의 폭방향 양쪽 단부에 위치하는 2개의 특징점으로 이루어질 수 있다.

제4특징점군 생성 모듈(14)은 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성한다. 제4특징점군은 입술의 길이방향 양쪽 단부와 윗입술과 아랫입술의 길이방향 중앙에 형성된 4개의 특징점으로 이루어질 수 있다.

도형 생성부(20)는 특징점들을 연결하여 복수의 감정 도형을 생성한다. 감정 도형은 특징점들을 연결하는 선에 의하여 형성되며, 도형 생성부(20)는 감정 도형들이 서로 겹치지 않게 형성한다.

도형 생성부(20)는 제1특징점군과 제2특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽(촬영된 얼굴 기준) 눈과 눈썹 사이에 사각형으로 이루어진 제1감정 도형(a)을 생성하고, 미간에 사각형으로 이루어진 제2감정 도형(b)을 생성하며, 왼쪽 눈과 눈썹 사이에 제3감정 도형(c)을 생성한다.

도형 생성부(20)는 제2특징점군과 제3특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(d)을 생성하고, 코가 위치하는 영역에 사각형으로 이루어진 제5감정 도형(e)을 생성하며, 왼쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(f)을 생성한다.

또한, 도형 생성부(20)는 제3특징점군과 제4특징점군을 연결하여 5개의 감정 도형을 생성한다. 도형 생성부(20)는 오른쪽 입술과 코를 연결하여 삼각형의 제4감정 도형(g)을 생성하고, 코의 양쪽 하단과 입술의 중앙을 연결하여 삼각형의 제5감정 도형(h)을 생성하며, 왼쪽 입술과 코를 연결하여 삼각형의 제6감정 도형(i)을 생성한다. 또한, 도형 생성부(20)는 오른쪽 윗입술과 아랫입술을 연결하여 제7감정 도형(j)을 생성하고, 왼쪽 윗입술과 아랫입술을 연결하여 제8감정 도형(k)을 생성 생성한다.

특징점 측정부(30)는 특징점의 최초 위치 및 변화를 측정한다. 특징점 측정부(30)는 최초 설정된 특징점의 좌표와 간격을 측정할 수 있으며, 시간의 경과에 따른 특징점의 변화를 측정할 수 있다.

특징점 측정부(30)는 위치 측정 모듈(31)과 간격 측정 모듈(32)을 포함한다. 위치 측정 모듈(31)은 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정한다. 위치 측정 모듈(31)은 특징점의 절대 위치 변화를 측정한다. 간격 측정 모듈(32)은 특징점들의 최초 간격과 시간의 경과에 따른 간격 변화를 측정한다. 간격 측정 모듈(32)은 특징점들의 상대 위치를 측정한다.

감정 도형 측정부(40)는 감정 도형의 최초 형상 및 시간의 경과에 따른 감정 도형의 변화를 측정한다. 감정 도형 측정부(40)는 도형 내각 측정 모듈(41), 도형 면적 측정 모듈(42)을 포함한다. 도형 내각 측정 모듈(41)은 감정 도형의 내각 변화를 측정하고, 도형 면적 측정 모듈(42)은 감정 도형의 면적 변화를 측정한다.

판단부(50)는 측정된 감정 도형과 특징점을 바탕으로 촬영된 얼굴의 감정을 판단한다. 판단부(50)는 특징점의 최초 위치와 변화를 바탕으로 데이터 베이스에에 저장된 특징점 유형과 비교하여 측정된 특징점의 유형을 분류한다. 데이터 베이스는 다양한 감정 상태에서 다수의 사람들의 특징점 유형이 저장되어 있는바, 판단부(50)는 측정된 특징점과 데이터 베이스에 저장된 자료를 비교하여 특징점의 유형을 분류한다.

판단부(50)는 감정 도형의 최초 형상과 변화를 바탕으로 데이터 베이스에 저장된 감정 도형 유형과 비교하여 측정된 감정 도형의 유형을 분류한다. 데이터 베이스에는 다양한 감정 상태에서 다수의 사람들의 감정 도형 유형이 저장되어 있는바, 판단부(50)는 측정된 감정 도형과 데이터 베이스에 저장된 자료를 비교하여 감정 도형의 유형을 분류한다.

판단부(50)는 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수상한 사람인지 여부를 판단하는 위험 판단 모듈(51)을 포함한다. 데이터 베이스에는 위험한 인물의 감정 도형과 특징점 유형이 저장되어 있으며, 위험 판단 모듈(51)은 측정된 특징점과 감정 도형을 통해서 위험 인물인지 여부를 판단한다.

알림부(60)는 판단부(50)에서 판단된 감정 유형을 알린다. 알림부(60)는 디스플레이에 감정 유형을 표시할 수 있으며, 소리를 생성하여 감정 유형을 나타낼 수 있다. 알림부(60)는 수상한 사람으로 판단된 경우, 경고 신호를 생성하는 위험 알림 모듈(61)을 포함한다.

이와 같이 본 실시예에 따르면 카메라에 의하여 촬영된 얼굴에 특징점을 생성하고, 특징점의 변화에 따라 감정을 판단하므로 수상한 사람인지 여부를 자동으로 인식할 수 있다.

이하에서는 본 발명의 제1 실시예에 따른 감정 판단 방법에 대해서 설명한다. 도 3은 본 발명의 제1 실시예에 따른 감정 판단 방법을 설명하기 위한 순서도이다.

도 3을 참조하여 설명하면, 본 제1 실시예에 따른 감정 판단 방법은 특징점 생성 단계(S101), 도형 생성 단계(S102), 특징점 측정 단계(S103), 감정 도형 측정 단계(S104), 판단 단계(S105), 알림 단계(S106)를 포함한다.

특징점 생성 단계(S101)는 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성한다. 특징점 생성 단계(S101)는 눈썹, 눈 주변, 코, 입 주변에 특징점을 생성할 수 있다. 특징점 생성 단계(S101)는 물체 인식 기술을 이용하여 사람의 얼굴의 각 부분을 인식하고 얼굴의 각 부분에 복수의 특징점을 생성할 수 있다.

특징점 생성 단계(S101)는 제1특징점군 생성 단계, 제2특징점군 생성 단계, 제3특징점군 생성 단계, 제4특징점군 생성 단계를 포함한다.

제1특징점군 생성 단계는 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성한다. 제1특징점군은 눈썹의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.

제2특징점군 생성 단계는 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성한다. 제2특징점군은 눈의 길이방향 양쪽 단부에 형성된 4개의 특징점으로 이루어질 수 있다.

제3특징점군 생성 단계는 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성한다. 제3특징점군은 코의 길이방향 하단에 위치하되 코의 폭방향 양쪽 단부에 위치하는 2개의 특징점으로 이루어질 수 있다.

제4특징점군 생성 단계는 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성한다. 제4특징점군은 입술의 길이방향 양쪽 단부와 윗입술과 아랫입술의 길이방향 중앙에 형성된 4개의 특징점으로 이루어질 수 있다.

도형 생성 단계(S102)는 특징점들을 연결하여 복수의 감정 도형을 생성한다. 감정 도형은 특징점들을 연결하는 선에 의하여 형성되며, 도형 생성부는 감정 도형들이 서로 겹치지 않게 형성한다.

도형 생성 단계(S102)는 제1특징점군과 제2특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성 단계(S102)는 오른쪽(촬영된 얼굴 기준) 눈과 눈썹 사이에 사각형으로 이루어진 제1감정 도형(a)을 생성하고, 미간에 사각형으로 이루어진 제2감정 도형(b)을 생성하며, 왼쪽 눈과 눈썹 사이에 제3감정 도형(c)을 생성한다.

도형 생성 단계(S102)는 제2특징점군과 제3특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성 단계(S102)는 오른쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(d)을 생성하고, 코가 위치하는 영역에 사각형으로 이루어진 제5감정 도형(e)을 생성하며, 왼쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(f)을 생성한다.

또한, 도형 생성 단계(S102)는 제3특징점군과 제4특징점군을 연결하여 5개의 감정 도형을 생성한다. 도형 생성 단계(S102)는 오른쪽 입술과 코를 연결하여 삼각형의 제4감정 도형(g)을 생성하고, 코의 양쪽 하단과 입술의 중앙을 연결하여 삼각형의 제5감정 도형(h)을 생성하며, 왼쪽 입술과 코를 연결하여 삼각형의 제6감정 도형(i)을 생성한다. 또한 도형 생성 단계(S102)는 오른쪽 윗입술과 아랫입술을 연결하여 제7감정 도형(j)을 생성하고, 왼쪽 윗입술과 아랫입술을 연결하여 제8감정 도형(k)을 생성 생성한다.

특징점 측정 단계(S103)는 특징점의 최초 위치 및 변화를 측정한다. 특징점 측정 단계(S103)는 최초 설정된 특징점의 좌표와 간격을 측정할 수 있다.

특징점 측정 단계(S103)는 위치 측정 단계와 간격 측정 단계를 포함한다. 위치 측정 단계는 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정한다. 위치 측정 단계는 특징점의 절대 위치 변화를 측정한다. 간격 측정 단계는 특징점들의 최초 간격과 시간의 경과에 따른 간격 변화를 측정한다. 간격 측정 단계는 특징점들의 상대 위치를 측정한다.

감정 도형 측정 단계(S104)는 감정 도형의 최초 형상 및 시간의 경과에 따른 감정 도형의 변화를 측정한다. 감정 도형 측정 단계(S104)는 도형 내각 측정 단계, 도형 면적 측정 단계를 포함한다. 도형 내각 측정 단계는 감정 도형의 내각 변화를 측정하고, 도형 면적 측정 단계는 감정 도형의 면적 변화를 측정한다.

판단 단계(S105)는 측정된 감정 도형과 특징점을 바탕으로 촬영된 얼굴의 감정을 판단한다. 판단 단계(S105)는 특징점의 최초 위치와 변화를 바탕으로 데이터 베이스에에 저장된 특징점 유형과 비교하여 측정된 특징점의 유형을 분류한다. 데이터 베이스는 다양한 감정 상태에서 다수의 사람들의 특징점 유형이 저장되어 있는바, 판단 단계(S105)는 측정된 특징점과 데이터 베이스에 저장된 자료를 비교하여 특징점의 유형을 분류한다.

판단 단계(S105)는 감정 도형의 최초 형상과 변화를 바탕으로 데이터 베이스에 저장된 감정 도형 유형과 비교하여 측정된 감정 도형의 유형을 분류한다. 데이터 베이스에는 다양한 감정 상태에서 다수의 사람들의 감정 도형 유형이 저장되어 있는바, 판단 단계(S105)는 측정된 감정 도형과 데이터 베이스에 저장된 자료를 비교하여 감정 도형의 유형을 분류한다.

판단 단계(S105)는 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수상한 사람인지 여부를 판단하는 위험 판단 단계를 포함한다. 데이터 베이스에는 위험한 인물의 감정 도형과 특징점 유형이 저장되어 있으며, 위험 판단 단계는 측정된 특징점과 감정 도형을 통해서 위험 인물인지 여부를 판단한다.

알림 단계(S106)는 판단 단계(S106)에서 판단된 감정 유형을 나타낸다. 알림 단계(S106)는 수상한 사람으로 판단된 경우, 경고 신호를 생성하는 위험 알림 단계를 포함할 수 있다.

이하에서는 본 발명의 제2 실시예에 따른 감정 판단 시스템에 대해서 설명한다. 도 4은 본 발명의 제2 실시예에 따른 감정 판단 시스템을 도시한 구성도이다.

도 4를 참조하여 설명하면, 본 제2 실시예에 따른 감정 판단 시스템(102)은 특징점 생성부(10), 도형 생성부(20), 특징점 측정부(30), 감정 도형 측정부(40), 판단부(50), 알림부(60)를 포함한다.

판단부(50)는 위험 판단 모듈(51), 슬픔 판단 모듈(52), 기쁨 판단 모듈(53), 분노 판단 모듈(54)을 포함한다.

위험 판단 모듈(51)은 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수상한 사람인지 여부를 판단한다. 데이터 베이스에는 위험한 인물의 감정 도형과 특징점 유형이 저장되어 있으며, 위험 판단 모듈(51)은 측정된 특징점과 감정 도형을 통해서 위험 인물인지 여부를 판단한다.

슬픔 판단 모듈(52)은 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 슬픔 상태인지 여부를 판단한다. 데이터 베이스에는 슬픔 상태에서의 감정 도형 유형이 저장되어 있으며, 슬픔 판단 모듈(52)은 측정된 특징점과 감정 도형을 통해서 슬픔 상태인지 여부를 판단한다.

기쁨 판단 모듈(53)은 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 기쁨 상태인지 여부를 판단한다. 데이터 베이스에는 기쁨 상태에서의 감정 도형 유형이 저장되어 있으며, 기쁨 판단 모듈(53)은 특징점과 감정 도형을 통해서 기쁨 상태인지 여부를 판단한다.

분노 판단 모듈(54)은 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 분노 상태인지 여부를 판단한다. 데이터 베이스에는 분노 상태에서의 감정 도형 유형이 저장되어 있으며, 분노 판단 모듈(54)은 특징점과 감정 도형을 통해서 기쁨 상태인지 여부를 판단한다.

알림부(60)는 판단부(50)에서 판단된 감정 유형을 알린다. 알림부(60)는 디스플레이에 감정 유형을 표시할 수 있으며, 소리를 생성하여 감정 유형을 나타낼 수 있다.

알림부(60)는 위험 알림 모듈(61), 문자 표시 모듈(62), 이모티콘 표시 모듈(63), 소리 알림 모듈(64)을 포함할 수 있다. 위험 알림 모듈(61)은 촬영된 사람이 수상한 사람으로 판단된 경우 경고 신호를 생성한다.

문자 표시 모듈(62)은 문자로 감정상태를 나타내며, 통화 또는 문자 메시지 전송 상대방의 스마트 기기의 화면에 문자로 나타낼 수 있다.

이모티콘 표시 모듈(63)은 이모티콘으로 감정상태를 나타내며, 영상 통화 또는 문자 메시지 전송 시에 해당 감정을 나타내는 이모티콘을 스마트 기기에 표시할 수 있다.

소리 알림 모듈(53)은 소리로 감정상태를 나타내며, 음성 통화 또는 영상 통화 시에 해당 감정을 나타내는 소리를 스마트 기기에 생성할 수 있다.

이와 같이 본 실시예에 따르면 감정상태를 분석하여 위험을 알릴 수 있을 뿐만 아니라 상대방에게 사용자의 감정을 표시할 수 있으므로 보다 원활하게 의사 소통을 할 수 있다.

이하에서는 본 발명의 제2 실시예에 따른 감정 판단 방법에 대해서 설명한다. 도 5은 본 발명의 제2 실시예에 따른 감정 판단 방법을 설명하기 위한 순서도이다.

도 5을 참조하여 설명하면, 본 제2 실시예에 따른 감정 판단 방법은 특징점 생성 단계(S201), 도형 생성 단계(S202), 특징점 측정 단계(S203), 감정 도형 측정 단계(S204), 판단 단계(S205), 알림 단계(S206)를 포함한다.

특징점 생성 단계(S201)는 카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성한다. 특징점 생성 단계(S201)는 눈썹, 눈 주변, 코, 입 주변에 특징점을 생성할 수 있다. 특징점 생성 단계(S201)는 물체 인식 기술을 이용하여 사람의 얼굴의 각 부분을 인식하고 얼굴의 각 부분에 복수의 특징점을 생성할 수 있다.

특징점 생성 단계(S201)는 제1특징점군 생성 단계, 제2특징점군 생성 단계, 제3특징점군 생성 단계, 제4특징점군 생성 단계를 포함한다.

도형 생성 단계(S202)는 특징점들을 연결하여 복수의 감정 도형을 생성한다. 감정 도형은 특징점들을 연결하는 선에 의하여 형성되며, 도형 생성부는 감정 도형들이 서로 겹치지 않게 형성한다.

도형 생성 단계(S202)는 제1특징점군과 제2특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성 단계(S202)는 오른쪽(촬영된 얼굴 기준) 눈과 눈썹 사이에 사각형으로 이루어진 제1감정 도형(a)을 생성하고, 미간에 사각형으로 이루어진 제2감정 도형(b)을 생성하며, 왼쪽 눈과 눈썹 사이에 제3감정 도형(c)을 생성한다.

도형 생성 단계(S202)는 제2특징점군과 제3특징점군을 연결하여 3개의 감정 도형을 생성한다. 도형 생성 단계(S202)는 오른쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(d)을 생성하고, 코가 위치하는 영역에 사각형으로 이루어진 제5감정 도형(e)을 생성하며, 왼쪽 눈과 코 사이에 삼각형으로 이루어진 제4감정 도형(f)을 생성한다.

또한, 도형 생성 단계(S202)는 제3특징점군과 제4특징점군을 연결하여 5개의 감정 도형을 생성한다. 도형 생성 단계(S202)는 오른쪽 입술과 코를 연결하여 삼각형의 제4감정 도형(g)을 생성하고, 코의 양쪽 하단과 입술의 중앙을 연결하여 삼각형의 제5감정 도형(h)을 생성하며, 왼쪽 입술과 코를 연결하여 삼각형의 제6감정 도형(i)을 생성한다. 또한 도형 생성 단계(S202)는 오른쪽 윗입술과 아랫입술을 연결하여 제7감정 도형(j)을 생성하고, 왼쪽 윗입술과 아랫입술을 연결하여 제8감정 도형(k)을 생성 생성한다.

특징점 측정 단계(S203)는 특징점의 최초 위치 및 변화를 측정한다. 특징점 측정 단계(S203)는 최초 설정된 특징점의 좌표와 간격을 측정할 수 있다.

특징점 측정 단계(S203)는 위치 측정 단계와 간격 측정 단계를 포함한다. 위치 측정 단계는 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정한다. 위치 측정 단계는 특징점의 절대 위치 변화를 측정한다. 간격 측정 단계는 특징점들의 최초 간격과 시간의 경과에 따른 간격 변화를 측정한다. 간격 측정 단계는 특징점들의 상대 위치를 측정한다.

감정 도형 측정 단계(S204)는 감정 도형의 최초 형상 및 시간의 경과에 따른 감정 도형의 변화를 측정한다. 감정 도형 측정 단계(S204)는 도형 내각 측정 단계, 도형 면적 측정 단계를 포함한다. 도형 내각 측정 단계는 감정 도형의 내각 변화를 측정하고, 도형 면적 측정 단계는 감정 도형의 면적 변화를 측정한다.

판단 단계(S205)는 측정된 감정 도형과 특징점을 바탕으로 촬영된 얼굴의 감정을 판단한다. 판단 단계(S205)는 특징점의 최초 위치와 변화를 바탕으로 데이터 베이스에에 저장된 특징점 유형과 비교하여 측정된 특징점의 유형을 분류한다. 데이터 베이스는 다양한 감정 상태에서 다수의 사람들의 특징점 유형이 저장되어 있는바, 판단 단계(S205)는 측정된 특징점과 데이터 베이스에 저장된 자료를 비교하여 특징점의 유형을 분류한다.

판단 단계(S205)는 감정 도형의 최초 형상과 변화를 바탕으로 데이터 베이스에 저장된 감정 도형 유형과 비교하여 측정된 감정 도형의 유형을 분류한다. 데이터 베이스에는 다양한 감정 상태에서 다수의 사람들의 감정 도형 유형이 저장되어 있는바, 판단 단계(S205)는 측정된 감정 도형과 데이터 베이스에 저장된 자료를 비교하여 감정 도형의 유형을 분류한다.

판단 단계(S205)는 위험 판단 단계, 슬픔 판단 단계, 기쁨 판단 단계, 분노 판단 단계를 포함한다.

위험 판단 단계는 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 표정 변화 패턴과 비교하여 수상한 사람인지 여부를 판단하는 위험 판단 단계를 포함한다. 데이터 베이스에는 위험한 인물의 감정 도형과 특징점 유형이 저장되어 있으며, 위험 판단 단계는 측정된 특징점과 감정 도형을 통해서 위험 인물인지 여부를 판단한다.

슬픔 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 슬픔 상태인지 여부를 판단한다. 데이터 베이스에는 슬픔 상태에서의 감정 도형 유형이 저장되어 있으며, 슬픔 판단 단계는 은 측정된 특징점과 감정 도형을 통해서 슬픔 상태인지 여부를 판단한다.

기쁨 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 기쁨 상태인지 여부를 판단한다. 데이터 베이스에는 기쁨 상태에서의 감정 도형 유형이 저장되어 있으며, 기쁨 판단 단계는 특징점과 감정 도형을 통해서 기쁨 상태인지 여부를 판단한다.

분노 판단 단계는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 분노 상태인지 여부를 판단한다. 데이터 베이스에는 분노 상태에서의 감정 도형 유형이 저장되어 있으며, 분노 판단 단계는 특징점과 감정 도형을 통해서 기쁨 상태인지 여부를 판단한다.

알림 단계(S206)는 판단 단계(S206)에서 판단된 감정 유형을 나타낸다. 알림 단계(S206)는 디스플레이에 감정 유형을 표시할 수 있으며, 소리를 생성하여 감정 유형을 나타낼 수 있다.

알림 단계(S206)는 위험 알림 단계, 문자 표시 단계, 이모티콘 표시 단계, 소리 알림 단계를 포함할 수 있다. 위험 알림 단계는 촬영된 사람이 수상한 사람으로 판단된 경우 경고 신호를 생성한다.

문자 표시 단계는 문자로 감정상태를 나타내며, 통화 또는 문자 메시지 전송 상대방의 스마트 기기의 화면에 문자로 나타낼 수 있다.

이모티콘 표시 단계는 이모티콘으로 감정상태를 나타내며, 영상 통화 또는 문자 메시지 전송 시에 해당 감정을 나타내는 이모티콘을 스마트 기기에 표시할 수 있다.

소리 알림 단계는 소리로 감정상태를 나타내며, 음성 통화 또는 영상 통화 시에 해당 감정을 나타내는 소리를 스마트 기기에 생성할 수 있다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

101, 102: 감정 판단 시스템
10: 특징점 생성부
11: 제1특징점군 생성 모듈
12: 제2특징점군 생성 모듈
13: 제3특징점군 생성 모듈
14: 제4특징점군 생성 모듈
20: 도형 생성부
30: 특징점 측정부
31: 위치 측정 모듈
32: 간격 측정 모듈
40: 감정 도형 측정부
41: 도형 내각 측정 모듈
42: 도형 면적 측정 모듈
50: 판단부
51: 위험 판단 모듈
52: 슬픔 판단 모듈
53: 기쁨 판단 모듈
54: 분노 판단 모듈
60: 알림부
61: 위험 알림 모듈
62: 문자 표시 모듈
63: 이모티콘 표시 모듈
64: 소리 알림 모듈

Claims

특징점을 이용하여 감정을 판단하는 감정 판단 시스템에 있어서,
카메라에 의하여 촬영된 얼굴에 복수의 특징점을 생성하는 특징점 생성부;
상기 특징점들을 연결하여 복수의 감정 도형을 생성하는 도형 생성부;
상기 특징점의 최초 위치 및 변화를 측정하는 특징점 측정부;
상기 감정 도형의 최초 형상 및 변화를 측정하는 감정 도형 측정부;
상기 감정 도형과 특징점의 측정을 바탕으로 감정을 판단하는 판단부; 및
상기 판단부에서 판단된 감정 유형을 알리는 알림부;
를 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제1항에 있어서,
상기 특징점 생성부는 눈썹에 복수개의 특징점으로 이루어진 제1특징점군을 생성하는 제1특징점군 생성 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제2항에 있어서,
상기 특징점 생성부는 눈 주변에 복수개의 특징점으로 이루어진 제2특징점군을 생성하는 제2특징점군 생성 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제3항에 있어서,
상기 특징점 생성부는 코 상에 복수개의 특징점으로 이루어진 제3특징점군을 생성하는 제3특징점군 생성 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제4항에 있어서,
상기 특징점 생성부는 입술의 둘레에 복수개의 특징점으로 이루어진 제4특징점군을 생성하는 제4특징점군 생성 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제5항에 있어서,
상기 도형 생성부는 상기 제1특징점군과 상기 제2특징점군을 연결하여 3개의 감정 도형을 생성하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제6항에 있어서,
상기 도형 생성부는 상기 제2특징점군과 상기 제3특징점군을 연결하여 3개의 감정 도형을 생성하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제7항에 있어서,
상기 도형 생성부는 상기 제3특징점군과 상기 제4특징점군을 연결하여 5개의 감정 도형을 생성하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제8항에 있어서,
상기 특징점 측정부는 특징점들의 최초 위치와 시간의 경과에 따른 위치 변화를 측정하는 위치 측정 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제9항에 있어서,
상기 특징점 측정부는 특징점들의 최 간격과 시간의 경과에 따른 간격 변화를 측정하는 간격 측정 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제8항에 있어서,
상기 감정 도형 측정부는 상기 감정 도형의 내각 변화를 측정하는 도형 내각 측정 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제11항에 있어서,
상기 감정 도형 측정부는 상기 감정 도형의 면적 변화를 측정하는 도형 면적 측정 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제12항에 있어서,
상기 판단부는 측정된 상기 감정 도형과 특징점을 데이터 베이스에 저장된 범죄자들의 감정 도형 유형과 비교하여 수상한 사람인지 여부를 판단하는 위험 판단 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제13항에 있어서,
상기 판단부는 상기 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 슬픔 상태인지 여부를 판단하는 슬픔 판단 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제14항에 있어서,
상기 판단부는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 기쁨 상태인지 여부를 판단하는 기쁨 판단 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제15항에 있어서,
상기 판단부는 감정 도형의 변화를 데이터 베이스에 저장된 감정 도형 유형과 비교하여 분노 상태인지 여부를 판단하는 분노 판단 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제16항에 있어서,
상기 알림부는 수상한 사람으로 판단된 경우, 경고 신호를 생성하는 위험 알림 모듈을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.
제16항에 있어서,
상기 알림부는 문자로 사용자의 감정상태를 나타내는 문자 표시 모듈, 이모티콘으로 감정상태를 나타내는 이모티콘 표시 모듈, 통화 상대방에게 소리로 감정상태를 나타내는 소리 알림 모듈 중에서 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 특징점을 이용한 감정 판단 시스템.