KR101434336B1 - 표정을 통해 인식된 감정에 기초한 소리 재생 시스템 - Google Patents

Abstract

본 발명의 표정을 통해 인식된 감정에 기초한 소리 재생 시스템은 한명 이상의 피사체를 촬영하는 하나 이상의 카메라; 카메라로부터 출력되는 영상에서 피사체 안면을 출력하는 안면 출력 수단; 안면 출력 수단에서 출력된 피사체 안면의 굴곡을 검출하고, 미리 저장된 굴곡 패턴인 기쁜 감정 패턴, 슬픈 감정 패턴 및 화난 감정 패턴과의 일치도를 산출하여 일치도가 가장 높은 굴곡 패턴에 해당하는 감정 패턴을 피사체의 현재 감정 상태로 인식하는 감정 인식 수단; 외부 서버를 통해 피사체가 현재 위치하는 장소의 계절, 기상상태, 기온 및 습도 정보를 전송받아 불쾌지수를 산출하는 환경 정보 처리 수단; 감정 인식 수단에서 인식된 피사체의 현재 감정 상태와 환경 정보 처리 수단에서 산출된 피사체가 현재 위치하는 장소의 불쾌지수에 기초하여 미리 설정된 알고리즘을 통해 피사체의 감정을 기쁜 감정, 슬픈 감정 또는 화난 감정으로 판단하는 제1 감정 판단 수단; 제1 감정 판단 수단에서 판단된 피사체의 감정을 누적 저장하여 가장 많이 저장된 감정을 현재 장소에 위치하는 한명 이상의 피사체에 대한 감정으로 판단하는 제2 감정 판단 수단; 기쁜 감정, 슬픈 감정 및 화난 감정에 대응되는 하나 이상의 음악이 미리 저장되는 음향 저장 수단; 제2 감정 판단 수단에서 판단된 감정에 대응되는 음악을 음향 저장 수단에서 선곡하는 음향 선곡 수단; 및 음향 선곡 수단에서 선곡된 음악을 재생하는 음향 재생 수단;을 포함한다.

Description

표정을 통해 인식된 감정에 기초한 소리 재생 시스템{.}

본 발명은 표정을 통해 인식된 감정에 기초한 소리 재생 시스템에 관한 것으로, 보다 상세하게는 피사체 안면의 굴곡을 검출하여 굴곡 패턴에 따라 피사체의 감정을 분석하고, 피사체가 현재 위치하는 장소의 불쾌지수를 산출하여 굴곡 패턴에 따라 분석된 피사체의 감정과 현재 위치하는 장소의 불쾌지수를 알고리즘에 적용하여 최종 판단된 피사체의 감정에 대응되는 음악을 선곡하여 재생하는 표정을 통해 인식된 감정에 기초한 소리 재생 시스템에 관한 것이다.

일반적으로 백화점, 카페 및 공원과 같은 공공시설에서의 소리 재생은 관리자 또는 기획자가 미리 선정한 음악과 소리를 순서대로 재생하기 때문에 공공시설을 이용하는 고객의 감정에 대응되지 않는 음악과 소리가 재생되어 공공시설에서의 여가시설을 통해 심신의 안정을 희망하는 고객에게 만족감을 주지 못하는 문제점이 있었다.

예를 들어, 고객의 감정이 기쁘고 즐거운데 발라드 음악과 비가 내리는 소리가 재생된다면, 고객에게는 이와 같은 소리들이 공해와 스트레스로 느껴지기 때문에 해당 공공시설을 이용하는 고객들은 불만족을 느끼게 되고, 공공시설은 이용고객의 감소를 초래하게 된다는 문제점이 있었다.

이와 관련하여, 한국등록특허 제0698411호에서는 업종별 매장전문방송 운영 시스템과 그 운영 방법 및 그방법이 기록된 저장 매체가 개시되어 있으나, 이는 이용자가 별도의 회원단말기를 구비하여 자신에게 적합한 방송을 직접 선택하여 청취해야 하는 불편함이 있는 문제점이 있었다.

상술한 바와 같은 문제점을 해결하기 위해 안출된 본 발명의 목적은 한명 이상의 피사체 안면의 굴곡을 검출하여 굴곡 패턴에 따라 피사체의 감정을 분석하고, 피사체가 현재 위치하는 장소의 불쾌지수를 산출하여, 굴곡 패턴에 따라 분석된 피사체의 감정과 현재 위치하는 장소의 불쾌지수를 알고리즘에 적용하여 최종 판단된 피사체의 감정을 누적 저장하며, 가장 많이 저장된 감정을 현재 장소에 위치하는 한명 이상의 피사체에 대한 감정으로 판단하고, 이에 대응되는 음악을 선곡하여 재생함으로써 공공시설을 이용하는 고객에게 심리적 만족감을 제공할 수 있는 표정을 통해 인식된 감정에 기초한 소리 재생 시스템을 제공하기 위함이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명의 표정을 통해 인식된 감정에 기초한 소리 재생 시스템은, 한명 이상의 피사체를 촬영하는 적외선 기능이 포함된 하나 이상의 3차원 깊이 인식 카메라(3D Depth Camera); 상기 카메라로부터 출력되는 영상에서 피사체 안면을 출력하는 안면 출력 수단; 안면 출력 수단에서 출력된 피사체 안면의 굴곡을 검출하고, 미리 저장된 굴곡 패턴인 기쁜 감정 패턴, 슬픈 감정 패턴 및 화난 감정 패턴과의 일치도를 산출하여 일치도가 가장 높은 굴곡 패턴에 해당하는 감정 패턴을 피사체의 현재 감정 상태로 인식하는 감정 인식 수단; 외부 서버를 통해 피사체가 현재 위치하는 장소의 계절, 기상상태, 기온 및 습도 정보를 전송받아 불쾌지수를 산출하는 환경 정보 처리 수단; 감정 인식 수단에서 인식된 피사체의 현재 감정 상태와 환경 정보 처리 수단에서 산출된 피사체가 현재 위치하는 장소의 불쾌지수에 기초하여 미리 설정된 알고리즘을 통해 피사체의 감정을 기쁜 감정, 슬픈 감정 또는 화난 감정으로 판단하는 제1 감정 판단 수단; 제1 감정 판단 수단에서 판단된 피사체의 감정을 누적 저장하여 가장 많이 저장된 감정을 현재 장소에 위치하는 한명 이상의 피사체에 대한 감정으로 판단하는 제2 감정 판단 수단; 기쁜 감정, 슬픈 감정 및 화난 감정에 대응되는 하나 이상의 음악이 미리 저장되는 음향 저장 수단; 제2 감정 판단 수단에서 판단된 감정에 대응되는 음악을 음향 저장 수단에서 선곡하는 음향 선곡 수단; 및 음향 선곡 수단에서 선곡된 음악을 재생하는 음향 재생 수단;을 포함하는 것을 특징으로 하고, 음향 선곡 수단에서 선곡된 음악의 순서는 선곡된 순서대로 지정되거나 관리자를 통해 별도로 지정될 수 있는 것을 특징으로 한다.

삭제

이상 살펴본 바와 같은 본 발명에 따르면, 한명 이상의 피사체 안면의 굴곡을 검출하여 굴곡 패턴에 따라 피사체의 감정을 분석하고, 피사체가 현재 위치하는 장소의 불쾌지수를 산출하여, 굴곡 패턴에 따라 분석된 피사체의 감정과 현재 위치하는 장소의 불쾌지수를 알고리즘에 적용하여 최종 판단된 피사체의 감정을 누적 저장하며, 가장 많이 저장된 감정을 현재 장소에 위치하는 한명 이상의 피사체에 대한 감정으로 판단하고, 이에 대응되는 음악을 선곡하여 재생함으로써 공공시설을 이용하는 고객에게 심리적 만족감을 제공할 수 있는 표정을 통해 인식된 감정에 기초한 소리 재생 시스템을 제공할 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 표정을 통해 인식된 감정에 기초한 소리 재생 시스템에 대한 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 실시예들에 의하여 발명의 명칭을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.

본 발명의 바람직한 실시예에 따른 표정을 통해 인식된 감정에 기초한 소리 재생 시스템은 도 1에 도시된 바와 같이, 카메라(100), 안면 출력 수단(200), 감정 인식 수단(300), 환경 정보 처리 수단(400), 제1 감정 판단 수단(500), 제2 감정 판단 수단(600), 음향 저장 수단(700), 음향 선곡 수단(800) 및 음향 재생 수단(900)을 포함한다.

카메라(100)는 한명 이상의 피사체를 촬영하는 것으로 공공시설에 하나 이상 구비된다. 이와 같은, 카메라(100)는 3차원 깊이 인식 카메라(3D Depth Camera)를 사용하여 피사체를 3차원으로 촬영함으로써, 후술할 감정 인식 수단(300)에서 피사체 안면의 굴곡을 검출할 때 굴곡의 깊이를 정확하게 검출하여 피사체의 표정에서 발생되는 굴곡에 따른 감정이 정확하게 판단되도록 하는 것이 바람직하다.

또한, 카메라(100)에는 적외선 기능이 추가되어 어두운 환경에서도 피사체 안면의 굴곡이 정확하게 촬영되도록 하는 것이 바람직하다.

안면 출력 수단(200)은 카메라(100)로부터 출력되는 영상에서 피사체 안면을 출력하는 것으로, 여기서, 피사체의 안면은 하라이크(haar like) 특징 정보를 기초로 출력한다.

이와 같이, 출력된 피사체의 안면은 후술할 감정 인식 수단(300)에서 안면의 굴곡을 검출하여 피사체의 감정을 인식하는데 적용된다.

감정 인식 수단(300)은 안면 출력 수단(200)에서 출력된 피사체의 안면의 굴곡을 검출하고, 미리 저장된 굴곡 패턴인 기쁜 감정 패턴, 슬픈 감정 패턴 및 화난 감정 패턴과의 일치도를 산출하여 일치도가 가장 높은 굴곡 패턴에 해당하는 감정 패턴을 피사체의 현재 감정 상태로 인식한다.

환경 정보 처리 수단(400)은 외부 서버를 통해 피사체가 현재 위치하는 장소의 계절, 기상상태, 기온 및 습도 정보를 전송받아 산출된 불쾌지수와 불쾌지수를 산출하는 것으로, 여기서, 기온 및 습도 정보는 공공시설 내에 위치한 기온 측정 수단과 습도 측정 수단을 통해 실시간으로 측정된 기온과 습도가 외부 서버에 전달되고, 계절과 기상상태는 기상청과 연결된 통신수단을 통해 실시간으로 외부 서버에 전달된다.

또한, 불쾌지수는 일반적으로 기상정보에 활용되는 불쾌지수 산출 공식을 사용한다.

제1 감정 판단 수단(500)은 감정 인식 수단(300)에서 인식된 피사체의 현재 감정 상태와 환경 정보 처리 수단(400)에서 산출된 피사체가 현재 위치하는 장소의 불쾌지수에 기초하여 미리 설정된 알고리즘을 통해 피사체의 감정을 기쁜 감정, 슬픈 감정 또는 화난 감정으로 판단한다.

예를 들어, 감정 인식 수단(300)에서 피사체의 현재 감정 상태가 기쁜 감정 패턴으로 인식되고, 환경 정보 처리 수단(400)에서 피사체가 현재 위치하는 장소의 불쾌지수가 매우 높다고 산출될 경우에는 피사체의 감정 상태가 기쁜 감정 패턴이지만 불쾌지수가 매우 높아 기쁜 감정이 짧은 시간내에 화난 감정으로 바뀔 수 있으므로, 제1 감정 판단 수단(500)에서 최종적으로 화난 감정으로 판단하게 된다. 이와 같은, 기준은 앞서 설명한 바와 같이 미리 설정된 알고리즘을 통해 판단되게 되며, 이러한 판단 기준은 관리자가 변경할 수 있다.

제2 감정 판단 수단(600)은 제1 감정 판단 수단(500)에서 판단된 피사체의 감정을 누적 저장하여 가장 많이 저장된 감정을 현재 장소에 위치하는 한명 이상의 피사체에 대한 감정으로 판단한다.

이와 같이, 제2 감정 판단 수단(600)에서 피사체의 감정을 누적 저장하여 가장 많이 저장된 감정을 한명 이상의 피사체에 대한 감정으로 판단하는 것은, 본 발명이 적용되는 장소가 공공시설인 만큼 한명의 고객이 느끼는 감정보다는 다수의 고객이 느끼고 있는 감정이 현재 공공시설의 분위기와 환경에 대해 고객이 느끼는 감정이라 할 수 있기 때문이다.

음향 저장 수단(700)은 기쁜 감정, 슬픈 감정 및 화난 감정에 대응되는 하나 이상의 음악이 미리 저장된다. 예를 들어, 기쁜 감정에는 흥을 돋구는 댄스음악이나 경쾌한 소리가 저장되고, 슬픈 감정에는 조용한 분위기를 연출하는 발라드 음악이나 시끄럽지 않은 소리가 저장되고, 화난 감정에는 심신을 안정시켜주는 클래식 음악이 저장될 수 있다.

음향 선곡 수단(800)은 제2 감정 판단 수단(600)에서 판단된 감정에 대응되는 음악을 음향 저장 수단(700)에서 선곡한다. 예를 들어, 제2 감정 판단 수단(600)에서 판단된 한명 이상의 피사체에 대한 감정이 화난 감정일 경우에는 음향 저장 수단(700)에 저장된 클래식 음악을 선곡한다.

또한, 음향 선곡 수단(800)에서 선곡된 음악의 순서는 선곡된 순서대로 지정되거나 또는 관리자를 통해 별도로 지정될 수 있다. 예를 들어, 5분 전에는 제2 감정 판단 수단(600)에서 한명 이상의 피사체에 대한 감정이 화난 감정으로 판단되어 음향 선곡 수단(800)을 통해 클래식 음악이 선곡되어 후술할 음향 재생 수단(900)을 통해 재생되고 있는 도중에 제2 감정 판단 수단(600)에서 판단된 한명 이상의 피사체에 대한 감정이 기쁜 감정으로 변경될 경우에는 음향 선곡 수단(800)을 통해 댄스 음악이 선곡될 것이므로, 먼저 선곡된 클래식 음악의 재생이 완료된 후, 음향 재생 수단(900)을 통해 댄스 음악이 재생된다.

그러나, 클래식 음악에 대한 재생 시간이 많이 남아있을 경우에는 현재 한명 이상의 피사체에 대해 판단된 기쁜 감정에 신속하게 대응하기 위해 관리자가 별도로 현재 재생되고 있는 클래식 음악을 종료하고 댄스 음악을 재생시킬 수 있다.

음향 재생 수단(900)은 음향 선곡 수단(800)에서 선곡된 음악을 재생하는 음향 재생 수단(900);을 포함한다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 카메라 200 : 안면 출력 수단
300 : 감정 인식 수단 400 : 환경 정보 처리 수단
500 : 제1 감정 판단 수단 600 : 제2 감정 판단 수단
700 : 음향 저장 수단 800 : 음향 선곡 수단
900 : 음향 재생 수단

Claims (2)

1. 한명 이상의 피사체를 촬영하는 적외선 기능이 포함된 하나 이상의 3차원 깊이 인식 카메라(3D Depth Camera)(100);
   상기 카메라(100)로부터 출력되는 영상에서 상기 피사체 안면을 출력하는 안면 출력 수단(200);
   상기 안면 출력 수단(200)에서 출력된 상기 피사체 안면의 굴곡을 검출하고, 미리 저장된 굴곡 패턴인 기쁜 감정 패턴, 슬픈 감정 패턴 및 화난 감정 패턴과의 일치도를 산출하여 일치도가 가장 높은 굴곡 패턴에 해당하는 감정 패턴을 상기 피사체의 현재 감정 상태로 인식하는 감정 인식 수단(300);
   외부 서버를 통해 상기 피사체가 현재 위치하는 장소의 계절, 기상상태, 기온 및 습도 정보를 전송받아 불쾌지수를 산출하는 환경 정보 처리 수단(400);
   상기 감정 인식 수단(300)에서 인식된 상기 피사체의 현재 감정 상태와 상기 환경 정보 처리 수단(400)에서 산출된 상기 피사체가 현재 위치하는 장소의 불쾌지수에 기초하여 미리 설정된 알고리즘을 통해 상기 피사체의 감정을 기쁜 감정, 슬픈 감정 또는 화난 감정으로 판단하는 제1 감정 판단 수단(500);
   상기 제1 감정 판단 수단(500)에서 판단된 상기 피사체의 감정을 누적 저장하여 가장 많이 저장된 감정을 현재 장소에 위치하는 한명 이상의 피사체에 대한 감정으로 판단하는 제2 감정 판단 수단(600);
   상기 기쁜 감정, 상기 슬픈 감정 및 상기 화난 감정에 대응되는 하나 이상의 음악이 미리 저장되는 음향 저장 수단(700);
   상기 제2 감정 판단 수단(600)에서 판단된 감정에 대응되는 음악을 상기 음향 저장 수단(700)에서 선곡하는 음향 선곡 수단(800); 및
   상기 음향 선곡 수단(800)에서 선곡된 음악을 재생하는 음향 재생 수단(900);을 포함하는 것을 특징으로 하고,
   상기 음향 선곡 수단(800)에서 선곡된 음악의 순서는 선곡된 순서대로 지정되거나 관리자를 통해 별도로 지정될 수 있는 것을 특징으로 하는 표정을 통해 인식된 감정에 기초한 소리 재생 시스템.
   
2. 삭제

Images