KR20110095083A

KR20110095083A - 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템 및 방법

Info

Publication number: KR20110095083A
Application number: KR1020100018578A
Authority: KR
Inventors: 윤재민
Original assignee: 윤재민
Priority date: 2010-02-16
Filing date: 2010-03-02
Publication date: 2011-08-24
Also published as: KR101108114B1

Abstract

본 발명은 애완견의 짖는 소리로부터 감정을 인식하여 대화를 생성하는 애완견 연속 소리 분석 및 감정표현, 대화 생성시스템 및 방법에 관한 것으로, 특히 애완견의 연속적인 짖는 소리로부터 애완견의 현재 감정을 인식하고, 애완견의 현재 감정과 이에 대응하는 인간의 대화를 생성하여 표시할 수 있는 애완견 연속 소리 분석 및 감정표현, 대화 생성시스템 및 방법에 관한 것이다.
이를 위하여, 본 발명은 애완견의 소리와 소리 구간 사이의 시간을 연속적으로 검출해서 저장하는 소리연속 검출부; 상기 소리연속 검출부가 저장한 소리 정보와 소리감정 DB에 저장되어 있는 감정별 소리벡터를 비교해서 애완견의 감정을 추론하는 소리 인식부; 상기 소리 인식부가 추론한 애완견의 감정에 대응하는 동작을 생성하는 동작 생성부; 상기 동작 생성부가 생성한 애완견의 감정에 대응하는 인간의 대화를 생성하는 대화 생성부; 상기 소리 인식부와 대화 생성부가 생성한 애완견의 감정과 인간의 대화를 표시하는 디스플레이부; 애완견에게 명령을 내리는 명령부; 및 애완견의 환경을 설정하는 환경 설정부를 포함하여 구성되는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템을 제공한다.

Description

애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템 및 방법{SYSTEM AND METHOD FOR ANALYZING CONTINUOUS SOUND, EXPRESSING EMOTION AND PRODUCING COMMUNICATION ABOUT PET DOG}

본 발명은 애완견의 짖는 소리로부터 감정을 인식하여 대화를 생성하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템 및 방법에 관한 것으로, 더욱 상세하게는 애완견의 연속적인 짖는 소리로부터 애완견의 현재 감정을 인식하고, 애완견의 현재 감정과 이에 대응하는 인간의 대화를 생성하여 표시할 수 있는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템 및 방법에 관한 것이다.

세상에는 많은 소리가 존재한다. 아기울음 소리, 전화벨 소리, 도어벨 소리, 알람, 동물 소리 등 끊임없이 외부에서 만들어진 소리가 우리의 고막으로 흘러들어오고 있고, 타의든 자의든 우리는 소리를 자체적으로 만들어 내기도 한다.

소리를 이해하고 활용하는 것은 인간 삶의 시작에서부터 마지막까지 함께한다. 소리를 통한 소통이 어려워지면 세상과의 소통에 문제가 생기고 심하면 세상과 단절되거나 고립된다.

가깝게는 아기 울음소리를 이해하면서 아기가 원하는 욕구를 소통하고, 멀게는 전화 벨소리를 못 듣는 청각 장애자를 위해서 전화 벨소리를 사운드가 아닌 텍스트(Text)로 문자화하여 보여주면서 소통에서 소외되어 있는 사람들의 삶의 질을 높일 수 있다.

본 발명은 다양한 소리 중에서 강아지의 짖는 소리를 분석해서 감정에 따라 애니메이션과 대화글, 음성으로 표현하여 소통할 수 있는 애완견 연속 소리 분석 및 감정표현, 대화 생성시스템 및 방법에 관한 것이다.

기존 발명(대한민국 특허출원 제10-2005-45887호)은 애완견의 성대진동으로부터 애완견의 감정상태를 읽어 들였는데, 상기 발명은 애완견의 성대 진동을 이용하여 어떻게 감정을 읽어들이는지에 대한 구체적인 방법이 결여되어 있다.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 애완견의 짖는 소리를 연속적으로 입력받아서 아날로그 신호를 디지털 신호로 바꾸고 디지털 신호에서 애완견의 소리를 검출하여 애완견 감정 분석 알고리즘에 의해서 감정을 추출함으로써, 감정 인식에 대한 오류를 줄이고 감정에 따른 감정 동작과 대화를 생성할 수 있는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템 및 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 파악된 애완견의 감정에 대응하여 사용자가 명령어를 텍스트로 입력한 후 음성으로 녹음해서 재생함으로써, 애완견의 현재 감정 상태에 따른 유효 적절한 명령을 애완견에게 신속, 정확하게 전달할 수 있는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.

이와 같은 목적을 달성하기 위한 본 발명의 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템은 애완견의 소리와 소리 구간 사이의 시간 간격인 소리 정보를 연속적으로 검출해서 저장하는 소리연속 검출부; 상기 소리연속 검출부가 저장한 소리 정보와 소리벡터 감정DB에 저장되어 있는 감정별 소리벡터를 비교해서 애완견의 감정을 추론하는 소리 인식부; 상기 소리 인식부가 추론한 애완견의 감정에 대응하는 동작을 생성하는 동작 생성부; 상기 동작 생성부가 생성한 애완견의 감정에 대응하는 인간의 대화를 생성하는 대화 생성부; 상기 대화 생성부가 생성한 애완견의 감정과 인간의 대화를 표시하는 디스플레이부; 및 애완견의 환경을 설정하는 환경 설정부를 포함하여 구성되는 것을 특징으로 한다.

여기서, 애완견에게 명령을 내리는 명령부를 더 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 명령부는, 사람의 명령을 녹음하는 명령 녹음부 및 상기 명령 녹음부가 명령별로 녹음한 사람의 음성을 출력하는 명령 플레이부를 포함하여 구성되는 것을 특징으로 한다.

바람직하게는, 상기 명령 녹음부는 미리 제시된 명령어에 사람이 음성을 입력하거나, 명령어를 텍스트(Text)로 입력하고 명령어에 해당하는 음성을 녹음하는 것을 특징으로 한다.

바람직하게는, 상기 명령 플레이부는 사람의 음성으로 녹음된 명령 파일이 버튼 터치로 실행되어 스피커를 통해서 표출되는 것을 특징으로 한다.

또한, 상기 명령부는 이리와(Come), 저리가(Go), 악수(Hand Shake or Shake), 앉아라(Sit), 서(Stand), 굴러(Roll), 기어(Crawl), 돌아(Spin), 기다려(Wait) 중에서 선택된 하나 이상의 명령을 내리는 것을 특징으로 한다.

그리고, 상기 소리연속 검출부는 연속적으로 검출된 소리를 시간순서로 정렬하고, 1차 검출된 소리, 1차 검출된 소리와 2차 검출된 소리의 시간 간격, 2차 검출된 소리, 2차 검출된 소리와 3차 검출된 소리의 시간 간격, 3차 검출된 소리 순서로 임의의 n차까지 계속적으로 소리를 벡터형태로 저장하는 것을 특징으로 한다.

바람직하게는, 상기 소리 인식부는 소리연속 검출부가 저장한 소리벡터 정보와 소리벡터감정B에 저장되어 있는 감정별 소리벡터와의 패턴을 비교해서 감정을 추론하는 것을 특징으로 한다.

이때, 상기 소리 인식부는 검출된 소리를 프레임별 영교차율과 에너지의 벡터값 형태로 표시하는 것을 특징으로 한다.

더욱 바람직하게는, 상기 소리연속 검출부가 검출한 애완견의 소리를 주파수 형태로 연속적으로 표시하는 소리파형 출력부가 더 구성되는 것을 특징으로 한다.

또한, 상기 소리 인식부는 요구(Demand), 반가움(Joy), 호기심(Curiosity), 외로움(Solitude), 경고(Warning), 화남(Woof), 두려움(Fear) 중에서 선택된 하나 이상의 감정을 인식하는 것을 특징으로 한다.

여기서, 상기 소리벡터 감정DB에는 대표감정 분류값, 소리벡터 주파수벡터 및 소리간격 시간벡터가 저장되는 것을 특징으로 한다.

그리고, 상기 동작 생성부는 동작 DB에 저장되어 있는 2차원 이미지 파일형태를 연속적으로 플레이하여 3차원 동작효과를 내거나 3차원 동작 애니메이션 파일을 구동시키는 것을 특징으로 한다.

또한, 상기 대화 생성부는 소리 인식부가 분석한 애완견의 감정과 환경 설정부가 설정한 애완견의 설정환경에 따라 사람의 대화로 통역하는 것을 특징으로 한다.

이때, 상기 대화 생성부는 사람의 대화로 통역할 때 애완견의 종류(Species), 성별(Sex), 나이(Age), 흥미(Interest), 성격(Character) 중에서 선택된 하나 이상의 조건에 따라 대화를 설정한 DB를 이용하는 것을 특징으로 한다.

바람직하게는, 상기 대화 생성부는 사람의 글자로 된 문장형태, 사람의 음성형태 중에서 하나의 대화표시 형태를 선택할 수 있는 것을 특징으로 한다.

대안적으로, 상기 대화 생성부는 현재시간, 날씨 중에서 선택된 하나 이상의 조건에 따라 대화를 설정한 DB를 이용하는 것을 특징으로 한다.

그리고, 상기 환경 설정부는 애완견의 종류, 성별, 나이, 흥미, 성격, 대화표시 형태 중에서 선택된 하나 이상의 조건을 설정할 수 있는 것을 특징으로 한다.

또한, 상기 디스플레이부는 애완견의 감정동작, 대화문장, 대화음성을 출력할 수 있는 것을 특징으로 한다.

한편, 본 발명의 애완견 연속 소리 분석 및 감정 표현, 대화 생성 방법은 애완견의 짖는 소리를 입력받아서 아날로그 신호를 디지털 신호로 변환하는 데 2 단계; 상기 변환된 디지털 신호로부터 애완견의 소리와 시간 간격을 연속적으로 검출하는 제 3 단계; 상기 검출된 애완견의 소리와 시간 간격으로부터 애완견 감정 분석 알고리즘에 의해 애완견의 감정을 추출하는 제 4 단계; 상기 추출된 감정과 환경 설정값에 의해 인간의 대화문장 및 대화음성을 생성하는 제 5 단계; 및 상기 생성된 애완견의 감정, 인간의 대화문장 및 대화음성을 표시하는 제 6 단계를 포함하여 구성되는 것을 특징으로 한다.

여기서, 명령 입력을 시작하는 제 1a 단계; 명령어를 텍스트로 입력하는 제 2a 단계; 상기 입력된 명령어를 음성으로 녹음하는 제 3a 단계; 상기 녹음된 음성을 재생하는 제 4a 단계; 및 상기 녹음된 음성을 저장하는 제 5a 단계를 더 포함하여 구성되는 것을 특징으로 한다.

바람직하게는, 상기 제 3 단계는 연속적으로 검출된 소리를 시간순서로 정렬하고, 1차 검출된 소리, 1차 검출된 소리와 2차 검출된 소리의 시간 간격, 2차 검출된 소리, 2차 검출된 소리와 3차 검출된 소리의 시간 간격, 3차 검출된 소리 순서로 임의의 n차까지 계속적으로 소리를 벡터형태로 저장하는 것을 특징으로 한다.

이때, 상기 제 3 단계는 검출된 소리를 프레임별 영교차율과 에너지의 벡터값 형태로 표시하는 것을 특징으로 한다.

이와 같이 구성된 본 발명의 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템 및 방법은 첫째, 애완견의 연속적인 짖는 소리로부터 애완견의 소리를 실시간 검출하여 데이터 베이스를 구축하면서, 동시에 상기 데이터베이스와 감정 데이터베이스를 비교하여 감정을 분석하기 때문에 단순히 한번의 짖는 소리로 감정을 분석하는 방법 보다 더욱 정확하게 애완견의 감정을 분석할 수 있고, 둘째 분석된 애완견의 현재 감정 상태에 따른 유효 적절한 명령을 애완견에게 신속, 정확하게 내릴 수 있는 유용한 효과를 발휘한다.

도 1은 본 발명에 따른 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템의 구성을 나타내는 블록도;
도 2는 본 발명의 바람직한 실시예에 따른 대기화면 구동부를 나타내는 흐름도;
도 3은 본 발명의 바람직한 실시예에 따른 소리 인식부를 나타내는 흐름도;
도 3a는 애완견의 일반적인 소리입력 파형을 나타내는 화면,
도 3b 및 도 3c는 본 발명의 바람직한 실시예에 따른 애완견의 소리입력 파형을 나타내는 화면;
도 3d는 본 발명의 소리벡터감정DB에 저장된 감정별 소리 및 시간 간격정보를 시각적으로 나타내는 화면;
도 3e는 본 발명의 소리벡터감정DB에 저장된 감정별 소리 및 시간정보를 벡터표현으로 나타내는 화면;
도 3f는 본 발명의 바람직한 실시예에 따른 동작 생성부에서의 애완견의 감정별 동작을 표현하기 위한 2차원 애완견 동작 이미지를 나타내는 화면;
도 4는 본 발명의 바람직한 실시예에 따른 명령 녹음부를 나타내는 흐름도;
도 4a는 본 발명의 바람직한 실시예에 따른 명령 플레이부를 나타내는 흐름도;
도 5는 본 발명의 바람직한 실시예에 따른 환경 설정부를 나타내는 화면;
도 6은 본 발명에 따른 애완견 연속 소리 분석 및 감정 표현, 대화 생성 방법을 나타내는 흐름도;
도 7은 본 발명에 따른 애완견 연속 소리 분석 및 감정 표현, 대화 생성 방법의 일 실시예를 나타내는 흐름도;
도 8, 도 8a 내지 도 8e는 본 발명의 일 실시예에 따른 구동 화면이다.

이하, 본 발명의 목적이 구체적으로 실현될 수 있는 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.

도 1은 본 발명에 따른 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템의 구성을 나타내는 블록도이다.

본 발명의 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템은 도 1에 도시된 바와 같이 소리연속 검출부(100), 소리 인식부(200), 동작 생성부(300), 대화 생성부(400), 디스플레이부(500) 및 환경 설정부(700)를 포함하여 구성된다.

소리연속 검출부(100)는 애완견의 소리 정보, 즉 짖는 소리와 짖는 소리 구간 사이의 시간 간격을 연속적으로 검출해서 저장하며, 일반적으로 소리를 검출하는 방법들과는 차별화되도록 연속적으로 검출된 소리를 시간순서로 정렬하고, 1차 검출된 소리(sound1), 1차 검출된 소리와 2차 검출된 소리의 시간 간격(delay1), 2차 검출된 소리(sound2), 2차 검출된 소리와 3차 검출된 소리의 시간 간격(delay2), 3차 검출된 소리(sound3) 순으로 임의의 n차까지 계속적으로 소리를 벡터 형태로 저장한다.

이에 따라, 본 발명은 상기 소리연속 검출부(100)에 의해 애완견의 연속적인 짖는 소리로부터 애완견의 소리를 실시간 검출하여 감정을 분석하기 때문에 단순히 한번의 짖는 소리로 감정을 분석하는 방법 보다 더욱 정확하게 애완견의 감정을 분석할 수 있는 것이다.

상기 소리연속 검출부(100)는 강아지의 짖는 소리에 대한 소리 정보를 검출하기 위해 입력된 아날로그 신호를 디지털 신호로 변환한 다음, 변환된 디지털 신호로부터 짖는 소리와 소리 구간 사이의 시간 간격인 소리 정보를 검출한다.

소리 인식부(200)는 상기 소리연속 검출부(100)에서 검출된 소리벡터 정보와 소리벡터 감정DB(210)에 저장되어 있는 감정별 소리벡터와 패턴을 비교해서 감정을 추론하는데, 일반적으로 많이 이용하는 DTW(Dynamic Time Warping), HMM(Hidden Marcov Model), ANN(Artificial Neural Network), Fuzzy 등의 패턴 비교 알고리즘을 단독으로 또는 두 개 이상 사용하여 가장 유사한 감정을 판단함으로써 소리 인식을 수행한다.

상기 소리 인식부(200)는 애완견의 감정을 요구(Demand), 반가움(Joy), 호기심(Curiosity), 외로움(Solitude), 경고(Warning), 화남(Woof), 두려움(Fear) 등의 감정 중에서 선택적으로 추론할 수 있다.

여기서, 상기 소리 인식부(200)는 전술한 감정별 소리벡터가 저장되어 있는 소리벡터 감정DB(210) 및 소리파형 출력부(220)를 포함하여 구성되며, 소리벡터 감정DB(210)는 대표감정 분류값, 소리주파수 벡터, 소리간격 시간벡터가 저장되고, 소리파형 출력부(220)는 입력되는 애완견의 소리를 파형 형태로 연속적으로 출력한다.

동작 생성부(300)는 상기 소리 인식부(200)에서 추론한 감정에 따른 동작을 생성하는 곳으로, 동작 DB(310)에 저장되어 있는 2차원 이미지 파일형태를 연속적으로 플레이하여 3차원 동작 효과를 내거나 3차원 동작 애니메이션 파일을 구동시켜서 동작을 생성할 수 있다.

대화 생성부(400)는 상기 소리 인식부(200)에서 분석된 현재 애완견 감정과 후술할 환경 설정부(700)에서 설정한 현재 애완견의 설정 환경에 의해 사람의 대화로 통역하게 되는데, 통역하는 방법은 현재 애완견의 종류(Species), 성별(Sex), 나이(Age), 흥미(Interest), 성격(Character)과 같은 조건에 따라 대화를 설정한 대화 및 대화음성DB(410)를 이용한다.

이를 간단하게 정리하면 하기의 표 1과 같이 구분된다.

감정구분	애완견종류	성별	나이	흥미	성격	의미	영문대화	음성파일
반가움(Joy)	Labrador Letriever	M	3	Sleep	Happy	아, 즐겁다.	Pleasurable, yeah!	Joy01.wav
요구(Demand)	Boxer	M	2	Travel	Nervous	배고파요.	I am dying with hunger.	Dem04.wav
호기심(Curiosity)	Poodle	F	5	Travel	Fierce	이봐, 이것좀 봐!	Look here!	Cur07.wav
외로움(Solitude)	Bulldog	M	2	Sleep	Gentle	너무 외로워. 울고 싶어져.	I'm so lonely. I feel near tears.	Sol23.wav
경계(Warning)	Beagle	M	1	Play	Nervous	가까이 오지마.	Don't come up nears.	War03.wav
화남(Woof)	Yorkshire Terrier	M	1	Play	Nervous	으르릉	I am seeing red.	Woo17.wav

또한, 본 발명의 다른 실시예로서 상기 대화 생성부(400)는 애완견의 감정과 현재 애완견의 설정 환경에 더하여, 현재시간이나 날씨 등의 다른 조건에 의해서 규칙기반으로 사람의 대화를 생성할 수 있다.

디스플레이부(500)는 상기 소리 인식부(200), 동작 생성부(300) 및 대화 생성부(400)가 추론하거나 생성한 애완견의 감정동작과 대화문장, 대화음성을 출력한다.

이에 더하여, 본 발명은 애완견에게 명령을 내리는 명령부(600)를 더 포함하여 구성될 수 있으며, 명령부(600)는 명령 녹음부(610), 명령 플레이부(620) 및 명령DB(630)를 포함하여 구성되고, 명령 녹음부(610)는 사람의 명령을 녹음하고, 명령 플레이부(620)는 상기 명령 녹음부에서 명령별로 녹음된 사람의 음성을 플레이한다.

구체적으로, 상기 명령 녹음부(610)는 미리 제시된 명령어에 사람이 음성을 입력하거나, 명령어를 텍스트(Text)로 입력하면 상기 명령어에 해당하는 음성이 녹음되며, 상기 명령 플레이부(620)는 사람의 음성으로 녹음된 명령 파일이 버튼 터치에 의해 실행되어 스피커를 통해서 표출된다.

이때, 사람이 개에게 내릴 수 있는 명령은 이리와(Come), 저리가(Go), 악수(Hand Shake or Shake), 앉아(Sit), 서(Stand), 굴러(Roll), 기어(Crawl), 돌아(Spin), 기다려(Wait) 중에서 선택할 수 있으며, 이외에도 필요에 따라 다양한 명령을 애완견에게 할 수 있는데, 상기 명령 녹음부(610)는 입력할 명령의 종류를 선택하고 자신의 음성으로 상기 선택한 명령에 따라 명령을 직접 음성 입력할 수도 있다.

이에 따라, 본 발명은 상기 명령 녹음부(610)와 명령 플레이부(620)에 의해 애완견의 현재 감정 상태에 따른 유효 적절한 명령을 애완견에게 신속, 정확하게 전달할 수 있는 것이다.

환경 설정부(700)는 애완견의 종류(Species), 성별(Sex), 나이(Age), 흥미(Interest), 성격(Character) 및 대화표시 형태와 같은 조건을 선택할 수 있으며, 상기 대화표시 형태는 사람의 글자로 된 문장형태, 사람의 음성형태 중 하나를 선택할 수 있다.

도 2는 본 발명의 바람직한 실시예에 따른 대기화면 구동부를 나타내는 흐름도이다.

도 2에 도시된 바와 같이, 대기화면 상태에서 애완견이 표시되고(S100), 상기 화면상의 애완견을 손가락으로 터치하면(S200) 예를 들어 애완견이 즐거운 동작을 하는 등의 특정 랜덤 동작을 표시한다(S300). 또한, 화면상의 감정인식, 명령, 환경설정 메뉴 중에서 하나를 누르면(S400a, S400b, S400c) 해당 메뉴가 표시되는 화면으로 이동한다(S500a, S500b, S500c).

도 3은 본 발명의 바람직한 실시예에 따른 소리 인식부를 나타내는 흐름도이다.

도 3에 도시된 바와 같이, 애완견의 짖는 소리가 들리면 전술한 감정인식 메뉴로 이동해서 화면상의 분석시작 버튼을 누른다(S600). 분석시작 버튼을 누르면 현재 입력되는 애완견의 소리를 주파수 형태(사운드 파형)로 연속적으로 표시하고 감정분석을 실시한다(S700, S800a, S800b). 이때 해당 소리에 애완견의 감정이 포함되었다면 소리벡터 감정DB(210)로부터 대표감정을 추출하고(S900, S1000), 이 대표감정을 전달하여 동작DB(310)를 참고해서 감정표현 동작을 하게 된다(S1000a, S1000b). 또한, 해당 대표감정에 할당된 인간의 대화를 대화 및 대화음성DB(410)에서 추출하여 대화를 표현한다(S1100, S1100a).

여기서, 애완견의 소리가 입력될 때 감정분석과 아울러 입력된 소리는 녹음되며(S800c), 녹음된 소리는 언제든지 플레이될 수 있다.

또한, 소리 인식부(200)는 분석시작 버튼을 누르지 않았을 때에는 애완견 대기동작 상태가 되는데(S1200), 이때 손가락으로 화면상의 애완견을 터치하면(S1300) 특정 동작(예: 즐거운 동작)을 표시한다(S1300a). 이와는 달리 분석시작 버튼을 누른 후에 애완견의 연속 소리로부터 감정값이 전달되면 전술한 순서대로 해당 감정동작을 표현한다.

도 3a는 애완견의 일반적인 소리입력 파형을 도시한 화면이다.

도 3a에 도시된 바와 같이 애완견이 한번 짖을 때마다 입력 파형은 거의 포물선 형태로 표시된다. 그러나, 애완견이 한번 짖는 것만으로 애완견의 감정을 구분하기는 현실적으로 거의 불가능하다.

도 3b 및 도 3c는 본 발명의 바람직한 실시예에 따른 소리입력 파형을 나타내는 화면이다.

도 3b 및 도 3c에 도시된 바와 같이 애완견의 감정을 제대로 구분하기 위해서는 애완견이 짖는 소리와 짖는 소리 사이의 시간 간격(소리 정보)을 파악해야 되며, 상기 소리연속 검출부(100)가 검출하는 애완견의 소리는 다음과 같은 벡터로 구성된다.

Vector1 = sound1 delay1 sound2 delay2 sound3 delay3 .... soundn delayn

이러한 소리벡터는 소리연속 검출부(100)의 끝점검출 조건에 따라 같은 입력 소리라도 다른 벡터로 표현될 수 있기 때문에, 가능한한 동일한 끝점검출 조건이 적용되어야 하며, 미리 저장되어 있는 소리벡터감정DB(210)에도 동일한 끝점 검출 조건에서 테스트한 샘플이 제공되어야 한다.

도 3d는 소리벡터감정DB(210)에 저장된 감정별 소리 및 시간 간격정보를 시각적으로 도시한 화면이다. 예를 들자면, 외로움(Solitude 0001, Solitude0002 등)이라는 감정에 대해서 다양한 소리 정보가 저장되어 있음을 시각적으로 알 수 있다.

도 3e는 소리벡터감정DB(210)에 저장된 감정별 소리 및 시간정보를 벡터표현으로 도시한 화면이다. 예를 들자면, 외로움 0001번째 소리벡터는 소리 발생빈도와 시간지연구간 횟수를 포함하여 벡터 형태로 표시할 수 있다. 여기서 S06은 소리가 6번 발생한 것을 말하며, D05는 시간지연구간이 5번 발생함을 말한다. S347은 애완견의 한 번 짖음이 347msec동안 지속됨을 말하고, D3784는 애완견의 소리와 소리 사이의 시간지연구간이 3784msec임을 나타낸다.

Solitude

0001:S06,D05}S347}D3784}S139}D1799}S1300}D2438}S336}D637}S197}D5932}S1056}

또한, 상기 S347는 벡터 형태로 애완견이 한 번 짖음을 프레임(Frame)별 영교차율(ZCR)과 에너지(Energy)의 벡터값 형태로 표시할 수 있다. 즉, 아래와 같이 나타낸다.

S347:

전체프레임개수}1프레임의ZCR}2프레임의ZCR}…..}22프레임의ZCR}1프레임의Energy}2프레임의Energy}….. }22프레임의에너지}

상기 정보는 다시 아래와 같이 수치화하여 표시할 수 있다.

S347: F22}53}114}134}156}168}162}145}145}146}130}158}168}140}135}141}169}187}193}206}183}112}50}321323}1027545}1836237}…….

이때, F22는 애완견의 한 번 짖음이 22프레임(frame)으로 구성됨을 말하고,

53}114}134}156}168}162}145}145} …은 프레임(Frame)별 영교차율(ZCR)값 22개를 말하며,

321323}1027545}1836237}……는 프레임(Frame)별 에너지(Energy)값이 22개임을 나타낸다.

도 3f는 본 발명의 바람직한 실시예에 따른 동작 생성부(300)에서의 애완견의 감정별 동작을 표현하기 위한 2차원 애완견 동작 이미지를 나타낸다. 반가움(Joy), 경계(Warning), 화남(Woof) 동작에 대해서 20~30개 이상의 이미지를 연속적으로 표시하여 하나의 감정 동작을 표현하게 된다.

도 4는 본 발명의 바람직한 실시예에 따른 명령 녹음부(610)를 나타내는 흐름도이고, 도 4a은 본 발명의 바람직한 실시예에 따른 명령 플레이부를 나타내는 흐름도이다.

도 4에 도시된 바와 같이 명령입력 버튼을 눌러서 명령어를 입력하고(S1400), 명령음성을 녹음할 수 있으며(S1500), 녹음된 명령음성을 재생해볼 수도 있다(S1600). 최종적으로 녹음된 명령음성은 저장된다(S1700).

도 4a를 참조하면 녹음된 명령어 버튼(예를 들어 Come, Go, Hand Shake 등)을 눌러서(S1800) 명령DB(630)를 통하여 해당 명령어에 할당된 음성명령을 출력할 수 있다(S1900).

도 5는 본 발명의 바람직한 실시예에 따른 환경 설정부를 나타내는 화면으로, 환경 설정 버튼(예를 들어 종류(Species), 성별(Sex), 나이(Age), 흥미(Interest), 성격(Character)을 눌러서(S2000) 애완견에 대한 각종 환경 조건(예를 들어 라브라도 리트리버(LabradorRetriever)/닥스훈트(Dachshund)/요크셔테리어(Yorkshire Terrier)/저먼 셰퍼드 도그(German Shepherd Dog)/골든 리트리버(Golden Retriever)/비글(Beagle)/복서(Boxer)/푸들(Poodle)/시추(Shih Tzu)/불독(Bulldog), 수컷/암컷(Male/Female), 나이(1~40), 잠(Sleep)/여행(Travel)/놀기(Play), 행복함(Happy)/온화함(Gentle)/신경질적임(Nervous)/사나움(Fierce)) 등을 입력할 수 있다(S2100).

도 6은 본 발명에 따른 애완견 연속 소리 분석 및 감정 표현, 대화 생성 방법을 나타내는 흐름도이고, 도 7은 본 발명에 따른 애완견 연속 소리 분석 및 감정 표현, 대화 생성 방법의 일 실시예를 나타내는 흐름도이다.

한편, 본 발명의 애완견 연속 소리 분석 및 감정 표현, 대화 생성 방법은 도 6에 도시된 바와 같이, 애완견의 소리 정보를 입력받아서 애완견의 감정이나 인간의 대화를 표시하기 위해 제 1 단계에서 제 6 단계까지의 단계(S1~S6)를 포함하여 구성되며, 구체적으로 살펴보면 제 1 단계(S1)는 애완견의 짖는 소리를 대기한다.

그리고, 제 2 단계(S2)는 상기 제 1 단계(S1)에서의 대기 중에 애완견의 짖는 소리를 입력받아서 애완견의 감정을 추출하기 위해 아날로그 신호를 디지털 신호로 변환하고, 제 3 단계(S3)는 상기 제 2 단계(S2)에서 변환된 애완견의 짖는 디지털 신호로부터 애완견의 소리 정보, 즉 애완견의 소리와 각 소리 사이의 시간 간격을 연속적으로 검출한다.

다음으로, 제 4 단계(S4)는 상기 제 3 단계(S3)에서 검출된 소리 정보로부터 애완견 감정 분석 알고리즘에 의해 애완견의 감정을 추출하며, 제 5 단계(S5)는 상기 제 4 단계(S4)에서 추출된 애완견의 감정과 기 설정된 환경 설정값에 의해 인간의 대화(대화문장 및 대화음성)를 생성한다.

마지막으로, 제 6 단계(S6)는 상기 제 5 단계(S5)에서 생성된 애완견의 감정, 인간의 대화(대화문장 및 대화음성)를 표시한다.

한편, 본 발명은 상기 애완견의 감정, 인간의 대화문장 및 대화음성을 표시하는 것에 더하여, 도 7에 도시된 바와 같이 애완견에게 명령을 내리기 위해 제 1a 단계에서 제 5a 단계까지의 단계(S1a~S5a)를 포함하여 구성될 수 있으며, 구체적으로 살펴보면 제 1a 단계(S1a)는 명령 입력을 시작한다.

그리고, 제 2a 단계(S2a)는 제 1a 단계(S1a)에서 명령 입력이 시작되면 명령어를 텍스트(Text) 형태로 입력하고, 제 3a 단계(S3a)는 상기 제 2a 단계(S2a)에서 입력된 명령어를 음성으로 녹음한다.

다음으로, 제 4a 단계(S4a)는 상기 제 3a 단계(S3a)에서 녹음된 음성을 재생하며, 마지막으로 제 5a 단계(S5a)는 상기 제 4a 단계(S4a)에서 녹음된 음성을 저장한다.

도 8, 도 8a 내지 도 8e는 본 발명의 일 실시예에 따른 구동 화면(아이폰/아이팟 터치 상의 구동 화면)이다.

도 8은 본 발명인 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템이 적용된 메인화면으로, 상위 화면으로 복귀하는 홈(HOME) 버튼, 애완견이 짖을 때 애완견의 소리인식 및 감정분석을 시작하는 화면으로 전환하는 싱크(THINK) 버튼, 애완견에게 명령을 내리는 화면으로 전환하는 커맨드(COMMAND) 버튼, 애완견에 대한 환경을 설정하는 화면으로 전환하는 마이 독(MY DOG) 버튼 및 각종 도움말을 제공하는 화면으로 전환하는 헬프(HELP) 버튼이 화면 하부에 일렬로 배치되어 화면상의 터치로 해당 메뉴가 실행된다.

도 8a는 소리인식 화면으로 상기 메인화면 하단의 싱크(THINK) 버튼을 누르는 경우 전환되는 화면이며, 소리인식을 시작하는 상단 씽크(Think) 버튼을 누르면 입력되는 강아지 소리가 파형 형태로 표시되고, 감정분석을 시작(Think Start 표시, 적용화면은 도 8b 소리 및 동작, 대화표현 화면의 좌측 화면 참조)하여 인식된 애완견의 감정에 해당하는 동작이 구동되고 인간의 대화글이 텍스트(Text)형태로 표시된다(적용화면은 도 8b 소리 및 동작, 대화표현 화면의 중앙 화면 참조). 상기 대화글 Text(I'm dying with hunger!)는 한국어, 영어, 일본어 등 다양한 언어로 표현할 수가 있다. 일정한 감정동작을 표시한 후에는 동작을 중지하고, 다시 애완견의 감정을 입력받는 상태로 되돌아가게 된다(적용화면은 도 8b 소리 및 동작, 대화표현 화면의 좌측 화면 참조).

상단 씽크(Think) 버튼을 눌러서 소리를 인식하기 시작하면 애완견의 소리를 저장할 수 있으며, 해당 저장된 소리를 플레이하기 위해서는 플레이(Play) 버튼(적용화면은 도 8c 소리 및 동작, 대화표현 화면의 좌측 화면 참조)을 누르면, 상단 씽크(Think) 버튼을 누름과 동시에 저장하기 시작한 애완견 소리를 플레이하게 된다.

또, 파일(Files) 버튼을 눌러 저장된 애완견 소리파일을 선택하여(적용화면은 도 8ba 소리 및 동작, 대화표현 화면의 중앙 화면 참조) 플레이(Play) 버튼을 누르면 해당 사운드를 들어볼 수도 있다.

도 8d은 애완견에게 명령을 내리는 화면으로 이리와(Come), 저리가(Go), 악수(Hand Shake or Shake), 앉아(Sit), 서(Stand), 굴러(Roll), 기어(Crawl), 돌아(Spin), 기다려(Wait)와 같은 명령어 버튼이 구비되며, 도 8e는 환경설정 화면으로 종류(Species), 성별(Sex), 나이(Age), 흥미(Interest), 성격(Character) 메뉴가 구비되고, 해당 메뉴 상의 환경 조건들(라브라도 리트리버(Labrador Retriever), 수컷(Male), 나이(1), 여행(Travel), 온화함(Gentle)이 선택된 예를 나타내는 화면으로, 화면상의 터치로 해당 메뉴가 실행된다.

본 발명의 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템 및 방법은 상세한 설명을 통해 해당 프로그램을 다운로드 받아서 구현하는 아이폰/아이팟 터치에 적용된 예를 기재하였으나, 해당 프로그램이 설치된 전용 단말기 내지 스마트폰과 같은 각종 휴대용 통신 단말기를 사용하거나 종래 널리 보편화되어 있는 각종 게임기 등에 본 발명이 적용될 수 있음은 당업자에게 자명한 사항이라 할 것이다.

이와 같이 본 발명에 따른 바람직한 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술분야에 있어 통상의 지식을 가진 자에게는 자명한 것이다.

그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하며, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수 있다.

100...소리연속 검출부 200...소리 인식부
210...소리벡터 감정DB 220...소리파형 출력부
300...동작 생성부 310...동작 DB
400...대화 생성부 410...대화 및 대화음성DB
500...디스플레이부 600...명령부
610...명령 녹음부 620...명령 플레이부
630...명령DB 700...환경 설정부

Claims

애완견의 소리와 소리 구간 사이의 시간 간격인 소리 정보를 연속적으로 검출해서 저장하는 소리연속 검출부;
상기 소리연속 검출부가 저장한 소리 정보와 소리벡터 감정DB에 저장되어 있는 감정별 소리벡터를 비교해서 애완견의 감정을 추론하는 소리 인식부;
상기 소리 인식부가 추론한 애완견의 감정에 대응하는 동작을 생성하는 동작 생성부;
상기 동작 생성부가 생성한 애완견의 감정에 대응하는 인간의 대화를 생성하는 대화 생성부;
상기 대화 생성부가 생성한 애완견의 감정과 인간의 대화를 표시하는 디스플레이부; 및
애완견의 환경을 설정하는 환경 설정부를 포함하여 구성되는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 1 항에 있어서,
애완견에게 명령을 내리는 명령부를 더 포함하여 구성되는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 2 항에 있어서,
상기 명령부는,
사람의 명령을 녹음하는 명령 녹음부 및 상기 명령 녹음부가 명령별로 녹음한 사람의 음성을 출력하는 명령 플레이부를 포함하여 구성되는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 3 항에 있어서,
상기 명령 녹음부는 미리 제시된 명령어에 사람이 음성을 입력하거나, 명령어를 텍스트(Text)로 입력하고 명령어에 해당하는 음성을 녹음하는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 3 항 또는 제 4 항에 있어서,
상기 명령 플레이부는 사람의 음성으로 녹음된 명령 파일이 버튼 터치로 실행되어 스피커를 통해서 표출되는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 2 항에 있어서,
상기 명령부는 이리와(Come), 저리가(Go), 악수(Hand Shake or Shake), 앉아(Sit), 서(Stand), 굴러(Roll), 기어(Crawl), 돌아(Spin), 기다려(Wait) 중에서 선택된 하나 이상의 명령을 내리는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 1 항에 있어서,
상기 소리연속 검출부는 연속적으로 검출된 소리를 시간순서로 정렬하고, 1차 검출된 소리, 1차 검출된 소리와 2차 검출된 소리의 시간 간격, 2차 검출된 소리, 2차 검출된 소리와 3차 검출된 소리의 시간 간격, 3차 검출된 소리 순서로 임의의 n차까지 계속적으로 소리를 벡터형태로 저장하는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 7 항에 있어서,
상기 소리 인식부는 소리연속 검출부가 저장한 소리벡터 정보와 소리벡터감정DB에 저장되어 있는 감정별 소리벡터와의 패턴을 비교해서 감정을 추론하는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 7 항 또는 제 8 항에 있어서,
상기 소리 인식부는 검출된 소리를 프레임별 영교차율과 에너지의 벡터값 형태로 표시하는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 1 항에 있어서,
상기 소리연속 검출부가 검출한 애완견의 소리를 주파수 형태로 연속적으로 표시하는 소리파형 출력부가 더 구성되는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 1 항에 있어서,
상기 소리 인식부는 요구(Demand), 반가움(Joy), 호기심(Curiosity), 외로움(Solitude), 경고(Warning), 화남(Woof), 두려움(Fear) 중에서 선택된 하나 이상의 감정을 인식하는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 1 항에 있어서,
상기 소리벡터 감정DB에는 대표감정 분류값, 소리벡터 주파수벡터 및 소리간격 시간벡터가 저장되는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 1 항에 있어서,
상기 동작 생성부는 동작 DB에 저장되어 있는 2차원 이미지 파일형태를 연속적으로 플레이하여 3차원 동작효과를 내거나 3차원 동작 애니메이션 파일을 구동시키는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 1 항에 있어서,
상기 대화 생성부는 소리 인식부가 분석한 애완견의 감정과 환경 설정부가 설정한 애완견의 설정환경에 따라 사람의 대화로 통역하는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 14 항에 있어서,
상기 대화 생성부는 사람의 대화로 통역할 때 애완견의 종류(Species), 성별(Sex), 나이(Age), 흥미(Interest), 성격(Character) 중에서 선택된 하나 이상의 조건에 따라 대화를 설정한 DB를 이용하는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 14 항에 있어서,
상기 대화 생성부는 사람의 글자로 된 문장형태, 사람의 음성형태 중에서 하나의 대화표시 형태를 선택할 수 있는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 15 항 또는 제 16 항에 있어서,
상기 대화 생성부는 현재시간, 날씨 중에서 선택된 하나 이상의 조건에 따라 대화를 설정한 DB를 이용하는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 1 항에 있어서,
상기 환경 설정부는 애완견의 종류, 성별, 나이, 흥미, 성격, 대화표시 형태 중에서 선택된 하나 이상의 조건을 설정할 수 있는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
제 1 항에 있어서,
상기 디스플레이부는 애완견의 감정동작, 대화문장, 대화음성을 출력할 수 있는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 시스템.
애완견의 짖는 소리를 대기하는 제 1 단계;
애완견의 짖는 소리를 입력받아서 아날로그 신호를 디지털 신호로 변환하는 데 2 단계;
상기 변환된 디지털 신호로부터 애완견의 소리와 시간 간격을 연속적으로 검출하는 제 3 단계;
상기 검출된 애완견의 소리와 시간 간격으로부터 애완견 감정 분석 알고리즘에 의해 애완견의 감정을 추출하는 제 4 단계;
상기 추출된 감정과 환경 설정값에 의해 인간의 대화문장 및 대화음성을 생성하는 제 5 단계; 및
상기 생성된 애완견의 감정, 인간의 대화문장 및 대화음성을 표시하는 제 6 단계를 포함하여 구성되는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 방법.
제 20 항에 있어서,
명령 입력을 시작하는 제 1a 단계;
명령어를 텍스트로 입력하는 제 2a 단계;
상기 입력된 명령어를 음성으로 녹음하는 제 3a 단계;
상기 녹음된 음성을 재생하는 제 4a 단계; 및
상기 녹음된 음성을 저장하는 제 5a 단계를 더 포함하여 구성되는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 방법.
제 20 항 또는 제 21 항에 있어서,
상기 제 3 단계는 연속적으로 검출된 소리를 시간순서로 정렬하고, 1차 검출된 소리, 1차 검출된 소리와 2차 검출된 소리의 시간 간격, 2차 검출된 소리, 2차 검출된 소리와 3차 검출된 소리의 시간 간격, 3차 검출된 소리 순서로 임의의 n차까지 계속적으로 소리를 벡터형태로 저장하는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 방법.
제 22 항에 있어서,
상기 제 3 단계는 검출된 소리를 프레임별 영교차율과 에너지의 벡터값 형태로 표시하는 것을 특징으로 하는 애완견 연속 소리 분석 및 감정 표현, 대화 생성 방법.