WO2018084379A1 - Apparatus and method for measuring reliability of speaker - Google Patents

Apparatus and method for measuring reliability of speaker Download PDF

Info

Publication number
WO2018084379A1
WO2018084379A1 PCT/KR2017/000601 KR2017000601W WO2018084379A1 WO 2018084379 A1 WO2018084379 A1 WO 2018084379A1 KR 2017000601 W KR2017000601 W KR 2017000601W WO 2018084379 A1 WO2018084379 A1 WO 2018084379A1
Authority
WO
WIPO (PCT)
Prior art keywords
talker
voice data
reliability
processor
keyword
Prior art date
Application number
PCT/KR2017/000601
Other languages
French (fr)
Korean (ko)
Inventor
백성욱
양수연
이미영
권순일
전석봉
박성호
정재형
구본우
박준렬
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR10-2016-0145922 priority Critical
Priority to KR1020160145922A priority patent/KR101864824B1/en
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Publication of WO2018084379A1 publication Critical patent/WO2018084379A1/en

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/04Training, enrolment or model building
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals

Abstract

The present invention comprises: a memory in which a program for measuring the reliability of voice data is stored; and a processor which executes the program stored in the memory. In this regard, the processor, when the program is executed, extracts characteristics and keywords from the voice data, extracts a plurality of elements corresponding to a speaker who generates the voice data based on the characteristics and keywords, analyses correlations between the plurality of elements, and calculates the reliability of the speaker. The elements include one or more of a keyword, emotional onomatopoeia, background sound, and a gender, an age group, and a mental state of a speaker.

Description

발화자에 대한 신뢰도 측정 장치 및 방법Apparatus and method for measuring reliability of talker
본 발명은 발화자에 대한 신뢰도 측정 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for measuring reliability of a talker.
경찰서 또는 소방서 등과 같은 비상 센터로 접수되는 긴급 신고 전화 중 장난 전화와 같은 허위 신고가 증가하고 있다. 이러한 허위 신고에 의해 비상 센터에서는 긴급하게 인력 및 장비를 투입하는 일이 잦아지고 있으며, 이를 통한 물질적인 피해 및 인명 피해가 발행할 수 있다.False reports such as mischief are increasing among emergency report calls received by emergency centers such as police or fire departments. Due to such false reports, emergency centers frequently use human resources and equipment, which can cause material and human damage.
최근에는 신고자의 상황을 판단하고, 허위 신고 여부를 판단할 수 있는 자동화된 신뢰도 측정 방법을 사용하고 있다. 이러한 종래의 긴급 신고 전화에 대한 신뢰도 측정 방법은 주파수 성분에 기반하여 추출되는 특징 또는 신고자의 상태 정보 등을 이용하여 발화자의 신뢰도를 판단할 수 있다. 이러한 방법은 정확도가 높지 않다는 문제가 있다. 또한, 이러한 방법은 단편적인 내용만을 추출할 수 있으므로, 발화자의 상황을 판단하는데 한계가 있다.Recently, an automated reliability measurement method is used to determine the status of the reporter and to determine whether the report is a false report. In the conventional method for measuring reliability of an emergency call, the reliability of the talker may be determined using features or caller status information extracted based on frequency components. This method has a problem that the accuracy is not high. In addition, since this method can extract only the fragmentary content, there is a limit in determining the situation of the talker.
이와 관련되어, 한국 공개특허공보 제10-1188142호(발명의 명칭: "비상센터로 걸려오는 장난전화를 처리하는 시스템, 서버 및 방법")는 비상센터로 걸려오는 장난전화의 전화번호에 해당하는 휴대단말기가 등록된 휴대단말기인지 미등록 휴대 단말기인지를 구분하여 장난전화를 처리할 수 있는 시스템, 서버 및 방법을 개시하고 있다.In this regard, Korean Patent Laid-Open Publication No. 10-1188142 (name of the invention: "system, server, and method for processing a prank call to an emergency center") corresponds to the telephone number of a prank call to an emergency center. Disclosed are a system, a server, and a method for processing a prank call by distinguishing whether a portable terminal is a registered portable terminal or an unregistered portable terminal.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 발화자의 음성 데이터로부터 추출된 복수의 요소의 관계에 기초하여 해당 발화자의 신뢰도를 측정하는 장치 및 방법을 제공한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the prior art, and provides an apparatus and method for measuring the reliability of a corresponding speaker based on a relationship of a plurality of elements extracted from the speaker's voice data.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the present embodiment is not limited to the technical problem as described above, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 발화자에 대한 신뢰도 측정 장치는 음성 데이터에 대한 신뢰도 측정 프로그램이 저장된 메모리 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 프로세서는 프로그램의 실행에 따라, 음성 데이터로부터 특징 및 키워드를 추출하고 특징 및 키워드에 기초하여 음성 데이터를 발화하는 발화자에 대응하는 복수의 요소를 추출하며, 복수의 요소 간의 상관관계를 분석하여 발화자에 대한 신뢰도를 산출한다. 그리고 요소는 키워드, 감정의성어, 배경음, 발화자의 성별, 발화자의 연령대 및 발화자의 심리 상태 중 적어도 하나 이상을 포함한다.As a technical means for achieving the above technical problem, the reliability measuring apparatus for the talker according to the first aspect of the present invention includes a memory for storing the reliability measurement program for the voice data and a processor for executing the program stored in the memory. At this time, the processor extracts a feature and a keyword from the voice data according to the execution of the program, extracts a plurality of elements corresponding to the talker who speaks the voice data based on the feature and the keyword, and analyzes the correlation between the plurality of elements. Calculate the confidence of the talker. The element may include at least one of a keyword, an emotional word, a background sound, a gender of the talker, an age group of the talker, and a psychological state of the talker.
또한, 본 발명의 제 2 측면에 따른 신뢰도 측정 장치의 발화자에 대한 신뢰도 측정 방법은 발화자에 대응하는 음성 데이터로부터 특징을 추출하는 단계; 발화자에 대응하는 음성 데이터로부터 키워드를 추출하는 단계; 특징 및 키워드에 기초하여 발화자에 대응하는 복수의 요소를 추출하는 단계; 및 복수의 요소 간의 상관관계를 분석하여 발화자에 대한 신뢰도를 산출하는 단계를 포함한다. 이때, 요소는 키워드, 감정의성어, 배경음, 발화자의 성별, 발화자의 연령대 및 발화자의 심리 상태 중 적어도 하나 이상을 포함한다.In addition, the reliability measurement method for the talker of the reliability measuring apparatus according to the second aspect of the present invention comprises the steps of: extracting a feature from the speech data corresponding to the talker; Extracting a keyword from voice data corresponding to the talker; Extracting a plurality of elements corresponding to the talker based on the feature and the keyword; And calculating a reliability of the talker by analyzing correlations between the plurality of elements. In this case, the element includes at least one or more of a keyword, an emotional word, a background sound, a gender of the talker, an age group of the talker, and a psychological state of the talker.
본 발명은 긴급 신고 전화로부터 실시간으로 발화자의 신뢰도를 산출할 수 있다. 본 발명은 신고 전화 중 허위 신고 또는 허위 신고를 의심할 내용이 포함되어 있는 경우, 빠르게 감지할 수 있다. 본 발명은 허위 신고를 미리 감지할 수 있으므로 불필요한 인력 투입을 방지할 수 있어 효율적이며, 예산 절감 효과가 있다.The present invention can calculate the reliability of the talker in real time from the emergency call. The present invention can be quickly detected when a false call or false report is included in a report call. Since the present invention can detect false reports in advance, it is possible to prevent unnecessary personnel input, which is efficient and has a budget saving effect.
도 1은 본 발명의 일 실시예에 따른 신뢰도 측정 장치의 블록도이다. 1 is a block diagram of an apparatus for measuring reliability according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 복수의 발화자에 대한 음성 데이터의 예시도이다.2 is an exemplary diagram of voice data for a plurality of talkers according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 신뢰도 측정 프로그램의 예시도이다.3 is an exemplary view of a reliability measurement program according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 요소에 대한 예시도이다.4 is an exemplary view of an element according to an embodiment of the invention.
도 5는 본 발명의 일 실시예에 따른 요소에 대한 예시도이다.5 is an exemplary diagram of elements in accordance with one embodiment of the present invention.
도 6는 본 발명의 일 실시예에 따른 제 1 음성 데이터 및 제 2 음성 데이터로부터 추출된 요소에 대한 예시도이다.6 is an exemplary diagram of elements extracted from first voice data and second voice data according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따른 성별 매핑 테이블, 연령대별 매핑 테이블 및 심리별 매핑 테이블의 예시도이다.7 is an exemplary diagram of a gender mapping table, an age-specific mapping table, and a psychological mapping table according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따른 배경음별 매핑 테이블 및 감정의성어별 매핑 테이블의 예시도이다.8 is an exemplary diagram of a background sound mapping table and an emotional word mapping table according to an embodiment of the present invention.
도 9은 본 발명의 일 실시예에 따른 키워드 및 연령대에 대한 상관관계의 예시도이다.9 is a diagram illustrating a correlation between a keyword and an age group according to an embodiment of the present invention.
도 10는 본 발명의 일 실시예에 따른 키워드 및 연령에 대한 상관관계의 예시도이다.10 is a diagram illustrating a correlation between a keyword and an age according to an embodiment of the present invention.
도 11은 본 발명의 다른 실시예에 따른 요소에 대한 예시도이다.11 is an illustration of elements according to another embodiment of the invention.
도 12 및 도 13은 본 발명의 다른 실시예에 따른 영어 음성 데이터의 예시도이다. 12 and 13 are exemplary views of English voice data according to another embodiment of the present invention.
도 14는 본 발명의 다른 실시예에 따른 영어 음성 데이터로부터 추출되는 요소의 예시도이다.14 is an exemplary diagram of elements extracted from English voice data according to another embodiment of the present invention.
도 15 내지 도 17은 본 발명의 다른 실시예에 따른 "keyword" 요소 및 "age" 요소에 대한 상관관계의 예시도이다.15 to 17 are exemplary diagrams of correlations for a "keyword" element and an "age" element according to another embodiment of the present invention.
도 18은 본 발명의 다른 실시예에 따른 성별 매핑 테이블 및 연령대별 매핑 테이블의 예시도이다.18 is an exemplary diagram of a gender mapping table and an age-specific mapping table according to another embodiment of the present invention.
도 19는 본 발명의 다른 실시예에 따른 심리별 매핑 테이블, 배경음별 매핑 테이블 및 감정의성어별 매핑 테이블의 예시도이다.19 is an exemplary diagram of a psychological mapping table, a background sound mapping table, and an emotional word mapping table according to another embodiment of the present invention.
도 20은 본 발명의 일 실시예에 따른 신뢰도 측정 장치의 발화자에 대한 신뢰도 측정 방법에 대한 순서도이다.20 is a flowchart illustrating a method for measuring reliability of a talker in a reliability measuring apparatus according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" to another part, this includes not only "directly connected" but also "electrically connected" with another element in between. . In addition, when a part is said to "include" a certain component, which means that it may further include other components, except to exclude other components unless otherwise stated.
다음은 도 1 내지 도 10을 참조하여 본 발명의 일 실시예에 따른 신뢰도 측정 장치(100)를 설명한다.Next, a reliability measuring apparatus 100 according to an embodiment of the present invention will be described with reference to FIGS. 1 to 10.
도 1은 본 발명의 일 실시예에 따른 신뢰도 측정 장치(100)의 블록도이다.1 is a block diagram of an apparatus 100 for measuring reliability according to an embodiment of the present invention.
신뢰도 측정 장치(100)는 발화자의 음성 데이터(150)를 이용하여 해당 발화자의 신뢰도를 측정한다. 이때, 신뢰도 측정 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.The reliability measuring apparatus 100 measures the reliability of the talker by using the voice data 150 of the talker. In this case, the reliability measuring apparatus 100 includes a memory 110 and a processor 120.
메모리(110)는 음성 데이터(150)에 대한 신뢰도 측정 프로그램(300)이 저장된다. 이때, 메모리(110)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.The memory 110 stores the reliability measurement program 300 for the voice data 150. In this case, the memory 110 refers to a nonvolatile storage device that maintains stored information even when power is not supplied, and a volatile storage device that requires power to maintain stored information.
또한, 신뢰도 측정 장치(100)는 데이터베이스(160)를 더 포함할 수 있다. 이때, 데이터베이스(160)는 도 1과 같이 신뢰도 측정 장치(100)와 연결된 것이거나, 신뢰도 측정 장치(100) 내에 서비스로 추가된 것일 수 있으나, 이에 한정된 것은 아니다.In addition, the reliability measuring apparatus 100 may further include a database 160. In this case, the database 160 may be connected to the reliability measuring apparatus 100 as shown in FIG. 1 or may be added as a service in the reliability measuring apparatus 100, but is not limited thereto.
음성 데이터(150)는 발화자가 발화한 음성 신호 또는 발화자의 주변 배경의 음성 신호를 포함할 수 있다.The voice data 150 may include a voice signal spoken by the talker or a voice signal in the surrounding background of the talker.
또한, 음성 데이터(150)는 한 명 이상의 발화자를 통하여 발화된 음성 신호를 포함할 수 있다. 이때, 음성 데이터(150)에 복수의 발화자의 음성 신호가 포함된 경우, 프로세서(120)는 음성 데이터(150)를 전처리하여, 각각의 발화자에 대응하는 음성 신호를 추출하여 분석 대상 음성 데이터를 생성할 수 있다.Also, the voice data 150 may include a voice signal spoken through one or more talkers. In this case, when the voice data 150 includes voice signals of a plurality of talkers, the processor 120 preprocesses the voice data 150 to extract voice signals corresponding to the respective talkers to generate analysis target voice data. can do.
도 2는 본 발명의 일 실시예에 따른 복수의 발화자에 대한 음성 데이터의 예시도이다.2 is an exemplary diagram of voice data for a plurality of talkers according to an embodiment of the present invention.
예를 들어, 음성 데이터(150)는 긴급 신고 센터에 신고자가 전화로 신고를 하는 내용을 포함하는 음성 데이터일 수 있다. 이때, 해당 음성 데이터(150)의 발화자는 신고자와 해당 신고를 접수하는 접수자일 수 있다.For example, the voice data 150 may be voice data including contents of the caller reporting to the emergency report center by telephone. At this time, the talker of the voice data 150 may be a reporter and a receiver who receives the report.
또한, 음성 데이터(150)는 발화자의 언어에 기반한 것일 수 있다. 예를 들어, 발화자가 한국어를 발화하는 경우, 음성 데이터(150)는 한국어 음성 데이터일 수 있다. 또한, 발화자가 영어를 발화하는 경우, 음성 데이터(150)는 영어 음성 데이터일 수 있으나, 이에 한정되는 것은 아니다.In addition, the voice data 150 may be based on the language of the talker. For example, when the talker speaks Korean, the voice data 150 may be Korean voice data. In addition, when the talker speaks English, the voice data 150 may be English voice data, but is not limited thereto.
즉, 신뢰도 측정 장치(100)는 신뢰도 측정 장치(100)가 설치된 위치에서 발화자들이 주로 사용하는 언어에 기초하여 구축될 수 있다. 또한, 신뢰도 측정 장치(100)는 하나 이상의 언어에 대한 신뢰도를 측정하도록 구축될 수 있으나, 이에 한정된 것은 아니다. 이하에서는 도 2 내지 도 10을 참조하여 한국어 음성 데이터를 예로 들어 설명한다. That is, the reliability measuring apparatus 100 may be constructed based on a language mainly used by the talkers at the location where the reliability measuring apparatus 100 is installed. In addition, the reliability measuring apparatus 100 may be constructed to measure reliability of one or more languages, but is not limited thereto. Hereinafter, the Korean voice data will be described as an example with reference to FIGS. 2 to 10.
프로세서(120)는 전화 또는 신고를 위한 별도의 장치를 통한 신고자 및 접수자 간의 대화를 포함하는 음성 데이터(150)를 실시간으로 수신하거나, 신고자 및 접수자 간의 대화를 녹음한 음성 데이터를 수신할 수 있다. The processor 120 may receive voice data 150 including a conversation between a caller and a receiver through a separate device for calling or reporting in real time, or may receive voice data recording a conversation between the caller and the receiver.
그리고 프로세서(120)는 수신한 음성 데이터로부터 복수의 문장(sentence)를 추출할 수 있다. The processor 120 may extract a plurality of sentences from the received voice data.
프로세서(120)는 음성 데이터(150)로부터 신고자의 음성 데이터 및 접수자의 음성 데이터를 분리할 수 있다. 이때, 프로세서(120)는 추출된 복수의 문장 각각에 대하여 신고자의 음성인지 접수자의 음성인지를 판단하고, 이를 이용하여 신고자의 음성 데이터 및 접수자의 음성 데이터를 분리할 수 있다. 또는, 프로세서(120)는 유사한 음성의 음성 데이터를 클러스터링하여, 신고자의 음성 데이터 및 접수자의 음성 데이터를 분리할 수 있으나, 이에 한정되는 것은 아니다. The processor 120 may separate the caller's voice data and the receiver's voice data from the voice data 150. In this case, the processor 120 may determine whether the voice of the caller or the voice of the caller is determined for each of the extracted plurality of sentences, and separate the voice data of the caller and the voice data of the caller by using the extracted sentences. Alternatively, the processor 120 may cluster voice data of a similar voice to separate voice data of the notifier and voice data of the receiver, but is not limited thereto.
도 2의 (a)의 음성 데이터는 도 2의 (b)와 같은 신고자의 음성 데이터 및 도 2의 (c)와 같은 접수자의 음성 데이터로 분리할 수 있다. 그리고 프로세서(120)는 접수자의 음성 데이터 및 신고자의 음성 데이터에 각각에 대하여 신뢰도를 측정하거나, 신고자의 음성 데이터를 선택하여 신뢰도를 측정할 수 있다.The voice data of FIG. 2A may be divided into voice data of the notifier as shown in FIG. 2B and voice data of the receiver as shown in FIG. 2C. The processor 120 may measure the reliability of each of the acceptor's voice data and the caller's voice data, or select the caller's voice data to measure the reliability.
한편, 프로세서(120)는 음성 데이터(150)에 대한 신뢰도 측정 프로그램(300)에 기초하여 음성 데이터(150)에 대하여 신뢰도를 측정할 수 있다.Meanwhile, the processor 120 may measure reliability of the voice data 150 based on the reliability measurement program 300 for the voice data 150.
도 3은 본 발명의 일 실시예에 따른 신뢰도 측정 프로그램(300)의 예시도이다.3 is an exemplary view of a reliability measurement program 300 according to an embodiment of the present invention.
신뢰도 측정 프로그램(300)은 특징 추출 모듈(310), 키워드 추출 모듈(320), 요소 추출 모듈(330) 및 신뢰도 판단 모듈(340)을 포함할 수 있다.The reliability measurement program 300 may include a feature extraction module 310, a keyword extraction module 320, an element extraction module 330, and a reliability determination module 340.
구체적으로 프로세서(120)는 특징 추출 모듈(310)을 통하여 음성 데이터(150)로부터 특징을 추출할 수 있다. 예를 들어, 프로세서(120)는 음성 데이터(150)로부터 기본 주파수(fundamental frequency) 또는 포먼트 주파수(formant frequency)를 특징으로 추출할 수 있다. 또한, 프로세서(120)는 음성 데이터(150)로부터 발화자의 발화 속도 및 발화자의 묵음 정보를 특징으로 추출할 수 있다. 이때, 묵음 정보는 음성 데이터(150)에 포함되는 묵음 구간의 빈도 또는 묵음 구간의 길이를 포함할 수 있다.In detail, the processor 120 may extract a feature from the voice data 150 through the feature extraction module 310. For example, the processor 120 may extract a fundamental frequency or a formant frequency from the voice data 150. In addition, the processor 120 may extract the speech speed of the talker and silence information of the talker from the voice data 150. In this case, the silence information may include the frequency of the silent section or the length of the silent section included in the voice data 150.
또한, 프로세서(120)는 특징 추출 모듈(310) 및 주파수 정보에 기초하여 음성 데이터(150)로부터 발화자의 발화 정보를 추가적인 특징으로 추출할 수 있다.In addition, the processor 120 may extract the talker's speech information as an additional feature from the voice data 150 based on the feature extraction module 310 and the frequency information.
이때, 발화 정보는 발화자가 동일 음절 또는 동일 단어를 발화한 횟수를 포함할 수 있다. 또는 발화 정보는 해당 발화자의 발성의 강도, 해당 발화자의 음절 별 발성 길이의 규칙성 및 특정 음절에 대한 반복 발화 여부 등을 포함할 수 있다. In this case, the speech information may include the number of times the talker utters the same syllable or the same word. Alternatively, the speech information may include the intensity of the utterance of the corresponding utterance, the regularity of the length of the utterance for each syllable of the narrator, and whether the utterance is repeated for a specific syllable.
예를 들어, 프로세서(120)는 음성 데이터(150)로부터 해당 발화자가 동일한 단어 또는 동일한 음절을 반복하여 발화하는 여부를 판단할 수 있다. 그리고 프로세서(120)는 해당 발화자가 동일한 단어 또는 동일한 음절을 반복하여 발화하는 경우, 해당 단어 또는 음절을 추출하고, 해당 단어 또는 음절의 반복 횟수를 계산하여 발화 정보로 추출할 수 있다.For example, the processor 120 may determine whether the corresponding talker repeatedly speaks the same word or the same syllable from the voice data 150. When the corresponding talker repeatedly speaks the same word or the same syllable, the processor 120 may extract the corresponding word or syllable, calculate the number of repetitions of the corresponding word or syllable, and extract the information as spoken information.
프로세서(120)는 키워드 추출 모듈(320)을 통하여, 음성 데이터(150)를 텍스트로 변환할 수 있다. 그리고 프로세서(120)는 키워드 추출 모듈(320)을 통하여, 변환된 텍스트에 기초하여 음성 데이터로부터 단어를 추출할 수 있다.The processor 120 may convert the voice data 150 into text through the keyword extraction module 320. The processor 120 may extract a word from the voice data based on the converted text through the keyword extraction module 320.
이때, 키워드 추출 모듈(320)은 데이터베이스(160)에 포함된 세부 데이터베이스인 키워드 데이터베이스(350)에 기초하여 음성 데이터로부터 단어를 추출할 수 있다. 또한, 키워드 추출 모듈(320)은 별도의 STT(speech to text) 라이브러리 및 형태소 분석기(morphological analyzer)에 기초하여 음성 데이터(150)를 텍스트로 변환하고, 단어를 추출할 수 있으나, 이에 한정된 것은 아니다. In this case, the keyword extraction module 320 may extract a word from the voice data based on the keyword database 350 which is a detailed database included in the database 160. In addition, the keyword extraction module 320 may convert the voice data 150 into text and extract a word based on a separate speech to text (STT) library and a morphological analyzer, but is not limited thereto. .
음성 데이터(150)로부터 특징 및 단어가 추출되면 프로세서(120)는 요소 추출 모듈(330)을 통하여, 추출된 특징 및 단어에 기초하여 복수의 요소를 추출할 수 있다. 그리고 프로세서(120)는 요소 추출 모듈(330)을 통하여, 각 요소 간의 상관관계를 산출할 수 있다. 이때, 요소 및 요소 간의 상관관계는 도 3을 참조하여 상세하게 설명한다.When features and words are extracted from the voice data 150, the processor 120 may extract a plurality of elements based on the extracted features and words through the element extraction module 330. The processor 120 may calculate correlations between the elements through the element extraction module 330. At this time, the correlation between the elements and the elements will be described in detail with reference to FIG.
도 4는 본 발명의 일 실시예에 따른 요소에 대한 예시도이다.4 is an exemplary view of an element according to an embodiment of the invention.
도 4를 참조하면, 프로세서(120)는 음성 데이터(150)로부터 6개의 요소를 추출할 수 있다. 이때, 프로세서(120)는 각 요소 간의 상관관계를 산출할 수 있다. 상관관계는 하나 이상의 요소에 대한 분석을 통하여 산출될 수 있다. 또한, 상관관계는 정수 또는 실수로 표현할 수 있다. 이때, 분석은 통계적 분석일 수도 있으며, 휴리스틱 분석일 수도 있으나, 이에 한정된 것은 아니다.Referring to FIG. 4, the processor 120 may extract six elements from the voice data 150. In this case, the processor 120 may calculate a correlation between the elements. Correlation can be calculated through analysis of one or more factors. Correlation can also be expressed as an integer or a real number. In this case, the analysis may be a statistical analysis or a heuristic analysis, but is not limited thereto.
또한, 각 요소는 도 4와 같이 그래프(graph) 구조에서 정점(vertex)으로 표현될 수 있다. 복수의 요소 간의 관계는 그래프의 정점 간의 간선(edge)으로 표현될 수 있다. 이때, 간선은 상관관계의 정도를 나타내는 가중치(weight)를 포함할 수 있다.In addition, each element may be represented as a vertex in a graph structure as shown in FIG. 4. The relationship between the plurality of elements may be represented by an edge between the vertices of the graph. In this case, the edge may include a weight indicating a degree of correlation.
예를 들어, 복수의 요소 간의 관계는 점선 또는 실선으로 표현될 수 있다. 도 4를 참조하면, 제 5 요소와 상관관계가 있는 다른 요소는 점섬으로 표시될 수 있다. 또한, 제 6 요소와 상관관계가 있는 다른 요소는 실선으로 표시될 수 있다.For example, the relationship between the plurality of elements may be represented by a dotted line or a solid line. Referring to FIG. 4, other elements that correlate with the fifth element may be represented by point islands. Also, other elements that correlate with the sixth element may be indicated by solid lines.
도 4를 참조하면 제 1 요소는 제 5 요소 및 제 6 요소와 상관관계가 존재할 수 있다. 이때, 제 1 요소와 제 5 요소 간의 상관관계 및 제 1 요소와 제 6 요소는 각각 가중치(W51, W61)를 포함할 수 있다. 또한, 제 1 요소는 제 2 요소, 제 3 요소 및 제 4 요소와 상관관계가 존재하지 않을 수 있다. 이때, 상관관계가 존재하지 않은 것을 의미하는 가중치는 0이 될 수 있다.Referring to FIG. 4, the first element may have a correlation with the fifth element and the sixth element. In this case, the correlation between the first element and the fifth element and the first element and the sixth element may include weights W51 and W61, respectively. In addition, the first element may not have a correlation with the second element, the third element, and the fourth element. At this time, the weight meaning that there is no correlation may be zero.
또한, 제 2 요소 및 제 3 요소는 제 6 요소 및 제 5 요소와 각각 상관관계에 대응하는 가중치(W52, W62, W53, W63)가 존재할 수 있다. 또한, 제 4 요소는 제 6 요소와 상관관계에 대응하는 가중치(W64)가 존재하며, 제 5 요소는 제 1 요소, 제 2 요소, 제 3 요소 및 제 6 요소와의 상관관계에 대응하는 가중치(W51, W52, W53, W65)가 존재할 수 있다. 그리고 제 6 요소는 제 1 요소, 제 2 요소, 제 3 요소, 제 4 요소 및 제 5 요소와 상관관계에 대응하는 가중치(W61, W62, W63, W64, W65)가 존재할 수 있다.In addition, the second element and the third element may have weights W52, W62, W53, and W63 corresponding to correlations with the sixth and fifth elements, respectively. In addition, the fourth element has a weight W64 corresponding to the correlation with the sixth element, and the fifth element has a weight corresponding to the correlation with the first element, the second element, the third element, and the sixth element. (W51, W52, W53, W65) may be present. The sixth element may have weights W61, W62, W63, W64, and W65 corresponding to correlations with the first element, the second element, the third element, the fourth element, and the fifth element.
도 5는 본 발명의 일 실시예에 따른 요소에 대한 예시도이다.5 is an exemplary diagram of elements in accordance with one embodiment of the present invention.
예를 들어, 도 5를 참조하면 제 1 요소는 성별이 될 수 있다. 또한, 제 2 요소는 연령대가 될 수 있으며, 제 3 요소는 심리 특히 당황이 될 수 있다. 제 4 요소는 배경음, 제 5 요소는 감정의성어, 제 6 요소는 키워드가 될 수 있다.For example, referring to FIG. 5, the first element may be gender. Also, the second element can be age, and the third element can be psychological, especially embarrassing. The fourth element may be a background sound, the fifth element may be an emotional word, and the sixth element may be a keyword.
한편, 프로세서(120)는 요소 추출 모듈(330)을 통하여, 음성 데이터로부터 요소를 추출할 수 있다. 이때, 요소 추출 모듈(330)은 세부 모듈로 성별 판단 모듈(331), 연령 판단 모듈(332), 심리 판단 모듈(333), 키워드 분석 모듈(334), 감정의성어 추출 모듈(335) 및 배경음 추출 모듈(336)을 포함할 수 있다. 그러므로 프로세서(120)는 발화자의 신뢰도를 측정하기 위하여 추출해야 하는 요소에 따라, 요소 추출 모듈(330)의 세부 모듈을 선택하여 사용하거나, 추가하여 사용할 수 있다.Meanwhile, the processor 120 may extract an element from voice data through the element extraction module 330. At this time, the element extraction module 330 is a detailed module, sex determination module 331, age determination module 332, psychological determination module 333, keyword analysis module 334, emotional words extraction module 335 and background sound extraction Module 336 may be included. Therefore, the processor 120 may select or use a detailed module of the element extraction module 330 according to an element to be extracted in order to measure the reliability of the talker.
구체적으로 프로세서(120)는 음성 데이터(150)로부터 추출된 특징 및 성별 판단 모듈(331)을 통하여 발화자의 성별을 추정할 수 있다. 이때, 성별 판단 모듈(331)은 기생성된 성별 판단 모델에 기초하여 특징으로부터 발화자의 성별을 추정할 수 있다.In detail, the processor 120 may estimate the gender of the talker through the feature and gender determination module 331 extracted from the voice data 150. In this case, the gender determination module 331 may estimate the gender of the talker from the feature based on the generated sex determination model.
성별 판단 모델은 성별이 판별된 기수집된 복수의 사용자의 음성 데이터에 기초하여 생성된 것이다.The gender determination model is generated based on voice data of a plurality of collected users whose gender has been determined.
구체적으로 프로세서(120)는 기수집된 복수의 사용자의 음성 데이터에서 특징을 추출할 수 있다. 이때, 특징은 앞에서 설명한 바와 같이 기본 주파수 및 포먼트 주파수일 수 있다. 그리고 프로세서(120)는 기 수집된 복수의 사용자의 특징에 기초하여 성별 판단 모델을 모델링할 수 있다. 또는, 프로세서(120)는 기 수집된 복수의 사용자의 특징에 기초하여 각 성별에 대응하는 성도(vocal tract) 길이를 정규화하여 성별 판단 모델을 생성 할 수 있다.In detail, the processor 120 may extract a feature from voice data of a plurality of collected users. In this case, the feature may be a fundamental frequency and a formant frequency as described above. In addition, the processor 120 may model a gender determination model based on the features of the plurality of pre-collected users. Alternatively, the processor 120 may generate a gender determination model by normalizing a vocal tract length corresponding to each gender based on the collected features of the plurality of users.
또한, 프로세서(120)는 음성 데이터(150)로부터 추출된 특징 및 연령 판단 모듈(332)에 기초하여 해당 발화자의 연령 또는 연령대를 추정할 수 있다. 이때, 프로세서(120)는 특징에 포함된 포먼트 주파수, 묵음 구간의 빈도 수 및 발성 속도 들을 이용하여 해당 발화자의 연령 또는 연령대를 추정할 수 있다. 예를 들어, 연령대는 어린이, 성인 및 노인으로 구분될 수 있다. 이때, 어린이는 만 12세 미만을 의미하며, 성인은 만 13세 이상 만 64세 미만을 의미하며, 노인은 만 65세 이상을 의미할 수 있으나, 이에 한정된 것은 아니다.In addition, the processor 120 may estimate the age or age group of the corresponding talker based on the feature and age determination module 332 extracted from the voice data 150. In this case, the processor 120 may estimate the age or age group of the corresponding talker by using the formant frequency, the frequency of the silence section, and the speech speeds included in the feature. For example, age groups can be divided into children, adults, and the elderly. At this time, the child means less than 12 years old, the adult means more than 13 years old and less than 64 years old, the elderly may mean more than 65 years old, but is not limited thereto.
또한, 연령 판단 모듈(332)은 기생성된 연령대 판단 모델에 기초하여 특징으로부터 발화자의 연령대를 추정할 수 있다. 이때, 프로세서(120)는 앞에서 성별 판단 모델을 생성하는 과정과 유사하게 각 연령대에 대응하여 기수집된 음성 데이터로부터 추출된 주파수 또는 각 연령대에 대응하는 성도(vocal tract) 길이를 정규화하여 성별 판단 모델을 생성 할 수 있다.In addition, the age determination module 332 may estimate the age range of the talker from the feature based on the generated age range determination model. In this case, the processor 120 normalizes the frequency extracted from the voice data collected for each age group or the vocal tract length corresponding to each age group, similarly to the process of generating the gender determination model. Can create
프로세서(120)는 심리 판단 모듈(333) 및 음성 데이터(150)로부터 추출된 특징에 기초하여 발화자의 심리 상태를 추정할 수 있다. 이때, 심리 판단 모듈(333)은 발화자의 심리를 평정(neutral) 및 당황(panic)으로 구분할 수 있다. The processor 120 may estimate the psychological state of the talker based on the feature extracted from the psychological judgment module 333 and the voice data 150. In this case, the psychological judgment module 333 may divide a speaker's psychology into a rating and a panic.
예를 들어, 프로세서(120)는 심리 판단 모듈(333)을 통하여 기본 주파수, 포먼트 주파수 및 묵음 정보에 기초하여 심리 상태를 추정할 수 있다. 또한, 프로세서(120)는 심리 판단 모듈(333)을 통하여 특징에 포함된 발화 정보에 기초하여 심리 상태를 추정할 수 있다. For example, the processor 120 may estimate the mental state based on the fundamental frequency, the formant frequency, and the silence information through the psychological determination module 333. In addition, the processor 120 may estimate the mental state based on the speech information included in the feature through the psychological determination module 333.
또는, 프로세서(120)는 심리 판단 모듈(333)을 통하여 특징 및 단어에 기초하여, 음성 데이터에 포함된 수정 빈도를 추출할 수 있다. 그리고 프로세서(120)는 수정 빈도를 이용하여 발화자의 심리를 판단할 수 있다. 이때, 프로세서(120)는 앞서 설명한 키워드 추출 모듈(320)을 통하여 추출된 단어 중 키워드 데이터베이스(350)에 저장된 발언을 수정하는 단어가 포함된 경우, 이를 수정 키워드로 판단할 수 있다. 그리고 프로세서(120)는 수정 키워드의 발생 개수를 수정 빈도로 추출할 수 있다.Alternatively, the processor 120 may extract the modification frequency included in the voice data based on the feature and the word through the psychological determination module 333. The processor 120 may determine the psychology of the talker using the modification frequency. In this case, the processor 120 may determine the corrected keyword when a word for correcting the speech stored in the keyword database 350 is included among the words extracted through the keyword extraction module 320 described above. The processor 120 may extract the number of occurrences of the modified keyword as the modification frequency.
프로세서(120)는 추출된 단어, 키워드 분석 모듈(334) 및 키워드 데이터베이스(350)를 이용하여 음성 데이터(150)로부터 키워드를 추출할 수 있다. 이때, 키워드는 음성 데이터(150)에 포함된 위치 또는 장소를 추정할 수 있는 단어가 될 수 있다. 또는, 키워드는 음성 데이터(150)에 포함된 발화자의 상황 또는 상태(context)를 감지할 수 있는 단어가 될 수 있다.The processor 120 may extract a keyword from the voice data 150 using the extracted word, the keyword analysis module 334, and the keyword database 350. In this case, the keyword may be a word for estimating a location or a place included in the voice data 150. Alternatively, the keyword may be a word capable of detecting the situation or context of the talker included in the voice data 150.
프로세서(120)는 단어 및 감정의성어 추출 모듈(335)을 통하여 음성 데이터에 포함된 감정의성어를 추출할 수 있다. 이때, 감정의성어 추출 모듈(335)은 데이터베이스(160)에 저장된 감정의성어 데이터베이스(360)에 기초하여 추출된 단어로부터 감정의성어를 추출할 수 있다.The processor 120 may extract the emotional words included in the voice data through the word and emotional word extraction module 335. In this case, the emotional word extraction module 335 may extract the emotional word from the extracted words based on the emotional word database 360 stored in the database 160.
또한, 프로세서(120)는 배경음 추출 모듈(335)을 통하여 음성 데이터(150)로부터 배경음을 추출할 수 있다. 이때, 배경음은 음성 데이터(150)에서 발화자의 음성 신호를 제거한 음성 신호로부터 산출될 수 있다.In addition, the processor 120 may extract the background sound from the voice data 150 through the background sound extraction module 335. In this case, the background sound may be calculated from the voice signal from which the voice signal of the talker is removed from the voice data 150.
예를 들어, 배경음 추출 모듈(335)은 기수집된 배경음의 음성 신호를 분석하여 음성 신호 별 배경음을 매칭하고 데이터베이스(160)에 저장할 수 있다. 배경음 추출 모듈(335)은 데이터베이스(160)에 저장된 배경음에 기초하여 음성 데이터(150)에 포함된 배경음을 추출하고, 배경음의 종류를 추정할 수 있다. 이때, 배경음의 종류는 차소리, 지하철 소리, 엘리베이터 소리 및 쇼핑 센터 내의 소음 등이 될 수 있으나, 이에 한정된 것은 아니다.For example, the background sound extraction module 335 may analyze the voice signals of the collected background sounds, match the background sounds for each voice signal, and store the same in the database 160. The background sound extraction module 335 may extract the background sound included in the voice data 150 based on the background sound stored in the database 160, and estimate the type of the background sound. In this case, the type of background sound may be a car sound, a subway sound, an elevator sound, or a noise in a shopping center, but is not limited thereto.
이와 같이, 프로세서(120)는 요소 추출 모듈(330)을 통하여 발화자로부터 복수의 요소를 추출할 수 있다.As such, the processor 120 may extract a plurality of elements from the talker through the element extraction module 330.
도 6는 본 발명의 일 실시예에 따른 제 1 음성 데이터 및 제 2 음성 데이터로부터 추출된 요소에 대한 예시도이다. 6 is an exemplary diagram of elements extracted from first voice data and second voice data according to an embodiment of the present invention.
예를 들어, 도 6의 (a)를 참조하면, 프로세서(120)는 제 1 음성 데이터로부터 성별로 "여성"을 추출하고, 연령대로 "어린이"를 추출하고 심리로 "당황", 배경음으로 "차소리", 감정의성어로 "에구구(노인/고통)", 키워드로 "차소리"를 추출할 수 있다.For example, referring to FIG. 6A, the processor 120 extracts "female" by gender from the first voice data, extracts "child" according to age, and "embarrassed" by the psychological background, " "Sounding sound", "Egu phrase (elderly / pain)" as an emotional word, and "car sound" as keywords.
또한, 도 6의 (b)를 참조하면, 프로세서(120)는 제 2 음성 데이터로부터 성별로 "여성"을 추출하고, 연령대로 "성인"을 추출하고 심리로 "당황", 배경음으로 "차소리", 감정의성어로 "으악", 키워드로 "엘리베이터"를 추출할 수 있다. In addition, referring to FIG. 6B, the processor 120 extracts "female" by gender from the second voice data, extracts "adult" by age, and "challenges" by psychology, and "chasing" by background sounds. "," Ugh "as an emotional word," Elevator "can be extracted as a keyword.
한편, 프로세서(120)는 추출된 요소를 이용하여 음성 데이터(150)에 대한 신뢰도를 산출할 수 있다. 이때, 프로세서(120)는 신뢰도 판단 모듈(340)을 통하여 복수의 요소 간의 가중치를 산출할 수 있다. 그리고 프로세서(120)는 신뢰도 측정 모듈(340)을 통하여 복수의 요소 간의 가중치 및 논리적 타당성에 기초하여 추출되는 스코어를 이용하여 신뢰도를 산출할 수 있다.Meanwhile, the processor 120 may calculate reliability of the voice data 150 using the extracted elements. In this case, the processor 120 may calculate weights between the plurality of elements through the reliability determination module 340. The processor 120 may calculate the reliability using the score extracted based on the weight and logical validity among the plurality of elements through the reliability measuring module 340.
예를 들어, 제 1 음성 데이터 및 제 2 음성 데이터로부터 각각 6개의 요소가 추출되면, 프로세서(120)는 각 요소의 스코어를 산출할 수 있다. 이때, 프로세서(120)는 데이터베이스(160)에 저장된 가중치 데이터베이스(380)에 기초하여 각 요소 간의 가중치를 추출할 수 있다. 가중치 데이터베이스(380)는 각 요소에 포함될 수 있는 데이터 간의 매핑 여부에 기초하여 생성된 매핑 데이터베이스(370)에 기초하여 생성될 수 있다. For example, if six elements are extracted from each of the first and second voice data, the processor 120 may calculate a score of each element. In this case, the processor 120 may extract weights between the elements based on the weight database 380 stored in the database 160. The weight database 380 may be generated based on the mapping database 370 generated based on mapping between data that may be included in each element.
또한, 프로세서(120)는 키워드 및 다른 요소 간의 논리적 타당성 또는 감정의성어 및 다른 요소 간의 논리적 타당성을 판단할 수 있다. 이때, 논리적 타당성은 미리 정의된 것으로 신뢰성 측정 장치(100)의 관리자 또는 전문가를 통하여 수집된 것일 수 있다.In addition, the processor 120 may determine logical validity between keywords and other elements or logical validity between emotional words and other elements. In this case, the logical validity may be predefined and collected through an administrator or an expert of the reliability measurement apparatus 100.
그리고 프로세서(120)는 논리적 타당성에 기초하여 각 요소별 스코어를 산출할 수 있다. 프로세서(120)는 산출된 스코어 및 가중치에 기초하여 해당 음성 데이터(150)에 대응하는 신뢰도를 산출할 수 있다. 임의의 두 요소 간의 스코어는 논리적 타당성이 있으면 양수가 되도록 설정하며, 논리적 타당성이 없으면 음수가 되도록 설정하고, 논리적 타당성을 판단할 수 없는 경우 0이 되도록 설정할 수 있다.The processor 120 may calculate a score for each element based on logical validity. The processor 120 may calculate a reliability corresponding to the voice data 150 based on the calculated score and the weight. The score between any two elements may be set to be positive if there is a logical validity, to be negative if there is no logical validity, and to be zero if the logical validity cannot be determined.
예를 들어, 프로세서(120)는 임의의 두 요소 간의 논리적 타당성이 있으면 스코어를 "1"로 설정할 수 있다. 또한, 프로세서(120)는 논리적 타당성이 없으면 스코어를 "-1"로 설정할 수 있으며, 논리적 타당성을 판단할 수 없으면 스코어를 "0"으로 설정할 수 있으나, 이에 한정된 것은 아니다. For example, processor 120 may set the score to "1" if there is a logical validity between any two elements. In addition, the processor 120 may set the score to "-1" if there is no logical validity, and may set the score to "0" if the logical validity cannot be determined, but is not limited thereto.
그리고 프로세서(120)는 키워드 및 다른 요소 간의 스코어와 감정의성어 및 다른 요소 간의 스코어를 산출하고, 이를 통하여 해당 음성 데이터(150)에 대응하는 신뢰도를 산출할 수 있다. 이때, 프로세서(120)는 각 스코어의 합을 이용하여 신뢰도를 산출할 수 있다. The processor 120 may calculate a score between the keyword and other elements, a score between the emotional words, and another element, and calculate a reliability corresponding to the corresponding voice data 150. In this case, the processor 120 may calculate the reliability using the sum of the scores.
한편, 매핑 데이터베이스(370)는 성별 매핑 테이블, 연령대별 매핑 테이블, 심리별 매핑 테이블, 배경음별 매핑 테이블 및 감정의성어별 매핑 테이블 등을 포함할 수 있다.The mapping database 370 may include a gender mapping table, an age group mapping table, a psychological mapping table, a background sound mapping table, and an emotional sex mapping table.
성별 매핑 테이블은 키워드와 성별, 및 감정의성어와 성별 간의 논리적 타당성에 기초하여 설정된 것일 수 있다. 또한, 연령대별 매핑 테이블은 연령대와 키워드, 및 연령대와 감정의성어 간의 논리적 타당성에 기초하여 설정된 것이다. 심리별 매핑 테이블은 심리와 키워드, 및 심리와 감정의성어 간의 논리적 타당성에 기초하여 설정된 것이며, 배경음 매핑 테이블은 배경음과 키워드 간의 논리적 타당성에 기초하여 설정된 것이고, 감정의성어 매핑 테이블은 감정의성어 및 키워드 간의 논리적 타당성에 기초하여 설정된 것이다.The gender mapping table may be set based on the logical validity between the keyword and the gender and the emotional words and the gender. In addition, the age-specific mapping table is set based on the logical validity between the age group and keywords, and the age group and the emotional words. The psychological mapping table is set based on the logical validity between psychology and keywords and psychological and emotional words, and the background sound mapping table is set on the basis of logical validity between background sounds and keywords. It is set based on validity.
도 7은 본 발명의 일 실시예에 따른 성별 매핑 테이블, 연령대별 매핑 테이블 및 심리별 매핑 테이블의 예시도이다. 또한, 도 8은 본 발명의 일 실시예에 따른 배경음별 매핑 테이블 및 감정의성어별 매핑 테이블의 예시도이다.7 is an exemplary diagram of a gender mapping table, an age-specific mapping table, and a psychological mapping table according to an embodiment of the present invention. 8 is an exemplary diagram of a background sound mapping table and an emotional word mapping table according to an embodiment of the present invention.
예를 들어, 도 7의 (a) 및 도 7의 (b)를 참조하면 프로세서(120)는 기수집된 음성 데이터에 기초하여 성별 매핑 테이블 및 연령대별 매핑 테이블을 생성할 수 있다. 또한, 도 7의 (c)를 참조하면 프로세서는 기수집된 음성 데이터에 기초하여 심리별 매핑 테이블을 생성할 수 있다. For example, referring to FIGS. 7A and 7B, the processor 120 may generate a gender mapping table and an age-specific mapping table based on the collected voice data. In addition, referring to FIG. 7C, the processor may generate a psychological mapping table based on the collected voice data.
이때, 성별 매핑 테이블은 성별과 키워드, 및 성별과 감정의성어 간의 스코어를 정의한 것이다. 성별 매핑 테이블은 성별에 따라 적합한 키워드 및 감성의성어와, 부적합한 키워드 및 감성의성어를 포함할 수 있다. 예를 들어, 성별 매핑 테이블은 성별이 남성의 경우, "으악" 및 "허걱"과 같은 감정의성어가 적합하다고 판단하고, 이에 따라 스코어가 설정된 것일 수 있다. 또한, 매핑 테이블은 여성의 경우, "누나", "아내"와 같은 키워드가 부적합하다고 판단하고, 이에 따라 스코어가 설정된 것일 수 있다. In this case, the gender mapping table defines scores between gender and keywords and gender and emotional words. The gender mapping table may include suitable keywords and emotional words according to gender, and inappropriate keywords and emotional words. For example, when the gender is male, the gender mapping table may determine that emotional words such as "evil" and "gastard" are appropriate, and thus scores may be set. In addition, the mapping table may determine that keywords such as "older sister" and "wife" are inappropriate for a female, and thus, a score may be set.
연령대별 매핑 테이블은 연령대와 키워드, 및 연령대와 감정의성어 간의 매핑 여부 또는 스코어를 정의한 것이다. 심리별 매핑 테이블은 심리와 키워드, 및 심리와 감정의성어 간의 스코어를 정의한 것이다.The mapping table for each age group defines whether or not the scores are mapped between age groups and keywords, and age groups and emotional words. The psychological mapping table defines scores between psychology and keywords and psychological and emotional words.
또한, 매핑 테이블은 성별에 따른 키워드 또는 감성의성어의 스코어를 수치화하여 포함할 수 있다. 만약, 스코어가 음수인 경우 두 요소 간의 스코어는 부적합한 관계임을 나타낼 수 있다. 또한, 스코어가 양수인 경우 두 요소 간의 스코어는 적합한 관계임을 나타낼 수 있다. 또한, 스코어가 0인 경우, 두 요소 간의 스코어가 없음을 나타낼 수 있다. In addition, the mapping table may numerically include scores of keywords or emotional words according to gender. If the score is negative, the score between the two elements may indicate an inappropriate relationship. In addition, when the score is positive, the score between the two elements may indicate a suitable relationship. In addition, when the score is 0, it may indicate that there is no score between the two elements.
예를 들어, 논리적으로 타당하여 논리적으로 적합한 관계인 경우, 두 요소 간의 스코어를 1로 설정하고, 논리적으로 타당하지 않아 부적합한 관계인 경우, 두 요소 간의 스코어를 -1로 설정하며, 두 요소 간에 관계가 없을 경우 0으로 설정할 수 있다. For example, if the relationship is logically valid and logically appropriate, set the score between the two elements to 1; if the relationship is not logically valid and the relationship is inappropriate, set the score between the two elements to -1; In this case, it can be set to 0.
또한, 도 8의 (a) 및 도 8의 (b)를 참조하면 프로세서(120)는 기수집된 음성 데이터에 기초하여 배경음별 매핑 테이블 및 감정의성어별 매핑 테이블을 생성할 수 있다. 이때, 배경음별 매핑 테이블은 배경음과 키워드, 및 배경음과 감정의성어 간의 스코어를 정의한 것이다.In addition, referring to FIGS. 8A and 8B, the processor 120 may generate a background sound mapping table and an emotional word mapping table based on the collected voice data. In this case, the background sound mapping table defines scores between the background sound and the keyword, and the background sound and the emotional words.
한편, 프로세서(120)는 매핑 테이블 및 가중치 데이터베이스에 기초하여 해당 음성 데이터에 대응하는 신뢰도를 산출할 수 있다. The processor 120 may calculate a reliability corresponding to the corresponding speech data based on the mapping table and the weight database.
예를 들어, 프로세서(120)는 매핑 테이블에 기초하여 각 요소 간의 가중치를 산출할 수 있다. 이때, 가중치는 매핑 테이블에 저장된 각 요소별로 설정된 스코어에 기초하여 산출될 수 있다. 그리고 프로세서(120)는 산출된 가중치를 가중치 데이터베이스(380)에 저장할 수 있다. 프로세서(120)는 가중치 데이터베이스(380)에 기초하여 음성 데이터로부터 추출된 요소 간의 상관관계를 산출할 수 있다.For example, the processor 120 may calculate a weight between each element based on the mapping table. In this case, the weight may be calculated based on a score set for each element stored in the mapping table. The processor 120 may store the calculated weight in the weight database 380. The processor 120 may calculate correlations between elements extracted from the voice data based on the weight database 380.
도 9은 본 발명의 일 실시예에 따른 키워드 및 연령대에 대한 상관관계의 예시도이다. 9 is a diagram illustrating a correlation between a keyword and an age group according to an embodiment of the present invention.
도 9을 참조하면 프로세서(120)는 특정 음성 데이터로부터 키워드로 "소방관 아저씨", "멍멍이" 및 "엄마"를 추출하고, 연령대로 "어린이"를 추출할 수 있다. Referring to FIG. 9, the processor 120 may extract “fireman uncle”, “dogs”, and “mother” as keywords from specific voice data, and extract “children” according to ages.
이때, 연령대 "어린이"인 발화자가 사용하는 키워드로 "소방관 아저씨", "멍멍이" 및 "엄마" 등은 타당하다고 판단할 수 있다. 그러므로 프로세서(120)는 연령대 "어린이"인 경우, 추출되는 키워드가 "소방관 아저씨", "멍멍이" 및 "엄마" 등이면, 해당 키워드가 논리적으로 타당하다고 판단할 수 있다.At this time, as a keyword used by a talker who is an age group of "children", "fireman uncle", "dogs" and "mom" may be determined to be valid. Therefore, when the age group is "child", if the extracted keyword is "fireman uncle", "dogs" and "mom", it can determine that the keyword is logically valid.
그리고 프로세서(120)는 특정 음성 데이터로부터 추출된 키워드 "엄마" 및 연령대 "어린이"는 논리적으로 타당하므로 스코어로 1을 산출할 수 있다. 같은 방법으로 프로세서(120)는 해당 음성 데이터로부터 추출된 다른 키워드와 연령대의 스코어를 산출할 수 있다. 그리고 프로세서(120)는 각 스코어의 합에 기초하여 해당 음성 데이터의 신뢰도로 산출할 수 있다. In addition, the processor 120 may calculate 1 as a score because the keyword "mom" and the age group "child" extracted from the specific voice data are logically valid. In the same manner, the processor 120 may calculate scores of other keywords and age groups extracted from the corresponding voice data. The processor 120 may calculate the reliability of the corresponding speech data based on the sum of the scores.
또한, 도 10는 본 발명의 일 실시예에 따른 키워드 및 연령에 대한 상관관계의 예시도이다.10 is a diagram illustrating a correlation between a keyword and an age according to an embodiment of the present invention.
도 10를 참조하면, 프로세서(120)는 다른 음성 데이터로부터 키워드로 "낙뢰", "헐", "엄마" 및 "사고"를 추출하고, 연령대로 "노인"을 추출할 수 있다. Referring to FIG. 10, the processor 120 may extract “lightning”, “hull”, “mother” and “accident” as keywords from other voice data, and extract “elderly person” according to age.
이때, 연령대 "노인"인 발화자가 사용하는 키워드로 "낙뢰" 및 "사고"는 논리적으로 타당하다고 판단할 수 있다. "헐" 및 "엄마"는 논리적으로 타당하지 않다고 판단할 수 있다. At this time, it may be determined that "lightning" and "accident" are logically valid as keywords used by a talker who is an age group "elderly". It can be determined that "hull" and "mother" are not logically valid.
프로세서(120)는 특정 음성 데이터로부터 추출된 키워드 "엄마" 및 연령대 "노인"은 논리적으로 타당하지 않으므로 스코어로 -1을 산출할 수 있다. 이와 같은 방법으로 프로세서(120)는 각 키워드와 연령대의 스코어를 산출할 수 있다. 프로세서(120)는 각 스코어의 합을 해당 음성 데이터의 키워드 및 연령대에 대응하는 신뢰도로 산출할 수 있다. The processor 120 may calculate -1 as a score because the keyword "mom" and the age group "elderly person" extracted from the specific voice data are not logically valid. In this manner, the processor 120 may calculate scores for each keyword and age group. The processor 120 may calculate the sum of each score as reliability corresponding to the keyword and age group of the corresponding voice data.
한편, 프로세서(120)는 음성 데이터(150)로부터 산출된 해당 발화자에 대한 신뢰도에 기초하여 해당 발화자의 신뢰 여부를 판단할 수 있다. Meanwhile, the processor 120 may determine whether the corresponding talker is trusted based on the reliability of the corresponding talker calculated from the voice data 150.
예를 들어, 프로세서(120)는 산출된 신뢰도 및 미리 정해진 임계값을 비교할 수 있다. 이때, 미리 정해진 임계값은 신뢰도 측정 장치(100)의 관리자 또는 전문가가 미리 정한 값일 수 있다. 이때, 미리 정해진 임계값은 0이 될 수 있으나, 이에 한정된 것은 아니다.For example, the processor 120 may compare the calculated reliability and a predetermined threshold. In this case, the predetermined threshold value may be a value predetermined by an administrator or an expert of the reliability measuring apparatus 100. In this case, the predetermined threshold may be 0, but is not limited thereto.
프로세서(120)는 산출된 신뢰도가 미리 정해진 임계값 이상인 경우, 해당 발화자를 신뢰할 수 있다고 판단할 수 있다. 이와 반대로 산출된 신뢰도가 미리 정해진 임계값 미만인 경우 프로세서(120)는 해당 발화자를 신뢰할 수 없다고 판단할 수 있다.When the calculated reliability is greater than or equal to a predetermined threshold, the processor 120 may determine that the talker can be trusted. In contrast, when the calculated reliability is less than a predetermined threshold, the processor 120 may determine that the talker cannot be trusted.
예를 들어, 프로세서(120)는 제 1 음성 데이터로부터 요소로 "여성", "어린이", "당황", "차소리", "에구구(노인/고통)" 및 "차사고"를 추출할 수 있다. 이때, 제 5 요소인 "에구구"와 "어린이"의 가중치가 "-3"이고, 제 6 요소인 "당황" 및 "차소리"의 가중치가 각 1이므로, 프로세서(120)는 제 1 음성 데이터에 대응하는 발화자의 신뢰도로 1을 산출할 수 있다. 같은 방법으로 도 6의 (b)를 참조하면, 프로세서(120)는 제 2 음성 데이터에 대응하는 발화자의 신뢰도로 -4를 산출할 수 있다. For example, the processor 120 may extract "female", "child", "embarrassed", "chasing", "egu phrase (elderly / pain)" and "car accident" as elements from the first voice data. . At this time, since the weights of the fifth element "egugu" and "child" are "-3", and the weights of the sixth element "embarrassment" and "chasing" are 1, respectively, the processor 120 performs the first voice data. 1 may be calculated based on the reliability of the talker corresponding to. Referring to FIG. 6B in the same manner, the processor 120 may calculate -4 as the reliability of the talker corresponding to the second voice data.
그리고 미리 정해진 임계값이 0인 경우, 프로세서(120)는 제 1 음성 데이터에 대응하는 발화자를 신뢰할 수 있는 발화자로 판단할 수 있다. 프로세서(120)는 제 2 음성 데이터에 대응하는 발화자를 신뢰할 수 없는 발화자로 판단할 수 있다.When the predetermined threshold is 0, the processor 120 may determine that the talker corresponding to the first voice data is a reliable talker. The processor 120 may determine that the talker corresponding to the second voice data is an unreliable talker.
또한, 프로세서(120)는 각 신뢰도의 값의 크기에 기초하여 신뢰하는 정도를 판단할 수 있다. In addition, the processor 120 may determine the degree of trust based on the magnitude of each reliability value.
예를 들어, 제 1 음성 데이터의 신뢰도가 "1"이고, 제 3음성 데이터의 신뢰도가 "4"이라면, 프로세서(120)는 제 1 음성 데이터보다 제 3 음성 데이터를 신뢰한다고 판단할 수 있다. For example, if the reliability of the first voice data is "1" and the reliability of the third voice data is "4", the processor 120 may determine that the third voice data is more reliable than the first voice data.
한편, 프로세서(120)는 해당 발화자의 신뢰도가 미리 정해진 임계값 이하로 해당 발화자가 신뢰할 수 없는 발화자로 판단 된 경우, 해당 발화자로부터 추가적인 음성 데이터를 수집할 수 있다. 예를 들어, 프로세서(120)는 데이터베이스(160)에 저장된 발화자의 신뢰도를 확인하기 위한 질문 리스트에 기초하여, 추가적인 질문을 수행할 수 있다. 그리고 프로세서(120)는 이를 통하여 추가적인 음성 데이터를 수집할 수 있다.On the other hand, the processor 120 may collect additional voice data from the talker when the talker is determined to be an untrusted talker when the reliability of the talker is less than or equal to a predetermined threshold. For example, the processor 120 may perform additional questions based on a question list for confirming the reliability of the talker stored in the database 160. In addition, the processor 120 may collect additional voice data.
프로세서(120)는 추가적인 음성 데이터에 대응하는 신뢰도를 재산출 할 수 있다. 그리고 프로세서(120)는 재산출된 신뢰도를 이용하여 해당 발화자의 신뢰여부를 판단할 수 있다. 이때, 해당 발화자가 다시 신뢰할 수 없는 발화자로 판단된 경우, 프로세서(120)는 앞에서 설명한 신뢰도 재산출 과정을 반복하여 진행할 수 있다.The processor 120 may re-define the reliability corresponding to the additional voice data. In addition, the processor 120 may determine whether the corresponding talker is trusted using the recalculated reliability. At this time, when it is determined that the talker is an unreliable talker, the processor 120 may repeat the above-described reliability recalculation process.
한편, 추가 실시 예로 음성 데이터가 영어, 일어 등과 같은 앞에서 설명한 한국어가 아닌 외국어인 경우, 신뢰도 측정 장치(100)는 해당 언어에 기초하여 발화자의 신뢰도를 측정할 수 있다. 이하에서는 도 11 내지 도 19를 참조하여 영어 음성 데이터를 예로 들어 본 발명의 다른 실시예에 따른 신뢰도 측정 장치(100)를 설명한다. Meanwhile, in a further embodiment, when the voice data is a foreign language other than the above-described Korean language such as English, Japanese, etc., the reliability measuring apparatus 100 may measure the reliability of the talker based on the corresponding language. Hereinafter, the reliability measuring apparatus 100 according to another exemplary embodiment of the present invention will be described with reference to FIGS. 11 to 19.
도 11은 본 발명의 다른 실시예에 따른 요소에 대한 예시도이다.11 is an illustration of elements according to another embodiment of the invention.
영어 음성 데이터로부터 추출되는 6개의 요소는 "gender", "age", "psychology", "background noise", "emotion onomatopoeia" 및 "keyword"일 수 있다. 이때, 영어 음성 데이터로부터 추출되는 각 요소는 도 4와 같은 한국어 음성 데이터로부터 추출되는 요소에 각각 대응되는 것일 수 있다.The six elements extracted from the English voice data may be "gender", "age", "psychology", "background noise", "emotion onomatopoeia" and "keyword". In this case, each element extracted from the English voice data may correspond to an element extracted from the Korean voice data as shown in FIG. 4.
도 12 및 도 13는 본 발명의 다른 실시예에 따른 영어 음성 데이터의 예시도이다.  12 and 13 are exemplary views of English voice data according to another embodiment of the present invention.
예를 들어, 도 12를 참조하면, 영어 음성 데이터는 신고 전화일 수 있다. 그리고 영어 음성 데이터는 신고자인 "Caller"와 접수자인 "Operator"간의 대화가 포함되는 것일 수 있다. For example, referring to FIG. 12, the English voice data may be a calling phone. The English voice data may include a conversation between the caller "Caller" and the acceptor "Operator".
도 13를 참조하면, 프로세서(120)는 영어 음성 데이터로부터 6개의 요소를 추출할 수 있다. 이때, 프로세서(120)는 앞에서 설명한 특징 추출 모듈(310), 키워드 추출 모듈(320) 및 요소 추출 모듈(330)을 이용할 수 있다. 이때, 특징 추출 모듈(310), 키워드 추출 모듈(320) 및 요소 추출 모듈(330)은 영어 음성 데이터를 처리할 수 있도록 생성된 것이거나, 다양한 언어의 음성 데이터를 지원하도록 생성된 것일 수 있다.Referring to FIG. 13, the processor 120 may extract six elements from English voice data. In this case, the processor 120 may use the feature extraction module 310, the keyword extraction module 320, and the element extraction module 330 described above. In this case, the feature extraction module 310, the keyword extraction module 320, and the element extraction module 330 may be generated to process English voice data, or may be generated to support voice data of various languages.
구체적으로 프로세서(120)는 영어 음성 데이터에서 문장을 추출할 수 있다. 그리고 프로세서(120)는 추출된 문장을 발화자를 신고자인지 접수자인지 식별할 수 있다. 그리고 프로세서(120)는 발화자가 식별된 문장에 대하여 6개의 요소를 추출할 수 있다. 그리고 프로세서(120)는 추출된 각 요소 간의 상관관계를 가중치로 산출할 수 있다. In detail, the processor 120 may extract a sentence from English voice data. The processor 120 may identify whether the caller is the caller or the receiver. The processor 120 may extract six elements with respect to the sentence in which the talker is identified. The processor 120 may calculate the correlation between the extracted elements as weights.
도 14는 본 발명의 다른 실시예에 따른 영어 음성 데이터로부터 추출되는 요소의 예시도이다.14 is an exemplary diagram of elements extracted from English voice data according to another embodiment of the present invention.
도 14의 (a)를 참조하면, 프로세서(120)는 제 1 영어 음성 데이터로부터 "gender"로 "woman"을 추출하고, "age"로 "old woman", "psychology"로 "panic", "background noise"로 "No sound"를 추출할 수 있다. "emotion onomatopoeia"로 "Owie"를 추출하고, "keyword"로 "sick" 추출할 수 있다. 프로세서(120)는 제 1 영어 음성 데이터로부터 추출된 요소에 대응하는 가중치를 산출할 수 있다. 이때, 가중치는 데이터베이스(160)에 저장된 가중치 데이터베이스(380)에 기초하여 산출될 수 있다.Referring to FIG. 14A, the processor 120 extracts "woman" as "gender" from the first English voice data, "old woman" as "age", "panic", "as" psychology ", and the like. "No sound" can be extracted as "background noise". You can extract "Owie" with "emotion onomatopoeia" and "sick" with "keyword". The processor 120 may calculate a weight corresponding to the element extracted from the first English voice data. In this case, the weight may be calculated based on the weight database 380 stored in the database 160.
그리고 프로세서(120)는 앞에서 설명한 신뢰도 판단 모듈(340)에 기초하여 제 1 영어 음성 데이터로부터 추출된 요소에 대한 논리적 타당성에 기초하여 각 요소 별 스코어를 산출할 수 있다. 그리고 프로세서(120)는 각 요소에 대한 가중치 및 스코어에 기초하여, 제 1 영어 음성 데이터에 대한 신뢰도를 산출할 수 있다. 예를 들어, 프로세서(120)는 제 1 영어 음성 데이터의 신뢰도로 "4"를 산출할 수 있다.The processor 120 may calculate a score for each element based on the logical validity of the element extracted from the first English voice data based on the reliability determination module 340 described above. The processor 120 may calculate a reliability of the first English voice data based on the weight and the score of each element. For example, the processor 120 may calculate "4" as the reliability of the first English voice data.
도 14의 (b)를 참조하면, 프로세서(120)는 제 2 영어 음성 데이터로부터 "gender"로 "woman"을 추출하고, "age"로 "adult", "psychology"로 "panic", "background noise"로 "car sound"를 추출할 수 있다. "emotion onomatopoeia"로 "Ark"를 추출하고, "keyword"로 "elevator" 추출할 수 있다. 프로세서(120)는 제 2 영어 음성 데이터로부터 추출된 요소에 대응하는 가중치를 산출할 수 있다.Referring to FIG. 14B, the processor 120 extracts “woman” as “gender” from the second English voice data, “adult” as “age”, “panic” as “psychology”, and “background”. "car sound" can be extracted with "noise". You can extract "Ark" with "emotion onomatopoeia" and "elevator" with "keyword". The processor 120 may calculate a weight corresponding to the element extracted from the second English voice data.
또한, 프로세서(120)는 제 2 영어 음성 데이터로부터 추출된 요소에 대한 논리적 타당성에 기초하여 각 요소 별 스코어를 산출할 수 있다. 그리고 프로세서(120)는 각 요소에 대한 가중치 및 스코어에 기초하여, 제 2 영어 음성 데이터에 대한 신뢰도를 산출할 수 있다. 예를 들어, 프로세서(120)는 제 1 음성 데이터의 신뢰도로 ?-4"를 산출할 수 있다. In addition, the processor 120 may calculate a score for each element based on a logical validity of the elements extracted from the second English voice data. The processor 120 may calculate a reliability of the second English voice data based on the weight and the score of each element. For example, the processor 120 may calculate? -4 ″ based on the reliability of the first voice data.
한편, 영어 음성 데이터에 대한 논리적 타당성은 영어 음성 데이터에 기초하여 생성된 매핑 테이블을 이용하여 판단될 수 있다. 이때, 영어 음성 데이터에 기초한 매핑 테이블은 영어 음성 데이터를 분석하여 생성된 것으로, 성별 매핑 테이블, 연령대별 매핑 테이블, 심리별 매핑 테이블, 배경음별 매핑 테이블 및 감성의성어별 매핑 테이블을 포함할 수 있다. Meanwhile, the logical validity of the English voice data may be determined using a mapping table generated based on the English voice data. In this case, the mapping table based on the English voice data is generated by analyzing the English voice data, and may include a gender mapping table, an age mapping table, a psychological mapping table, a background sound mapping table, and an emotional word mapping table.
도 15 내지 도 17은 본 발명의 다른 실시예에 따른 "keyword" 요소 및 "age" 요소에 대한 상관관계의 예시도이다.15 to 17 are exemplary diagrams of correlations for a "keyword" element and an "age" element according to another embodiment of the present invention.
"keyword" 요소 및 "age" 요소에 대한 상관관계에 따른 매핑 테이블은 도 15와 같을 수 있다. 이때, 매핑 테이블의 값은 논리적 타당성에 기초하여 산출된 스코어일 수 있다.The mapping table according to the correlation of the "keyword" element and the "age" element may be as shown in FIG. 15. In this case, the value of the mapping table may be a score calculated based on logical validity.
도 16를 참조하면, "keyword" 요소가 "child"이고, "age" 요소가 "child"이면, 논리적 타당성이 있으므로, 스코어는 "1"이 될 수 있다. 또한, 도 17를 참조하면, "keyword" 요소가 "mommy"이고, "age" 요소가 "old man"이면, 논리적 타당성이 있으므로, 스코어는 "-1"이 될 수 있다.Referring to FIG. 16, when the "keyword" element is "child" and the "age" element is "child", since the logical validity is present, the score may be "1". In addition, referring to FIG. 17, if the "keyword" element is "mommy" and the "age" element is "old man", since the logical validity, the score may be "-1".
도 18은 본 발명의 다른 실시예에 따른 성별 매핑 테이블 및 연령대별 매핑 테이블의 예시도이다.18 is an exemplary diagram of a gender mapping table and an age-specific mapping table according to another embodiment of the present invention.
이때, 성별 매핑 테이블은 "gender" 요소에 대응하는 것이며, 연령대별 매핑 테이블은 "age" 요소에 대응하는 것일 수 있다.In this case, the gender mapping table may correspond to the "gender" element, and the age-specific mapping table may correspond to the "age" element.
예를 들어, 도 13을 참조하면, 성별 매핑 테이블은 "gender" 요소와 "emotion onomatopoeia" 요소 간의 매핑 관계 및 "gender" 요소와 "keyword" 요소 간의 매핑 관계가 포함될 수 있다. 또한, 연령대별 매핑 테이블은 "age" 요소와 "emotion onomatopoeia" 요소 간의 매핑 관계 및 "age" 요소와 "keyword" 요소 간의 매핑 관계가 포함될 수 있다. For example, referring to FIG. 13, the gender mapping table may include a mapping relationship between a “gender” element and an “emotion onomatopoeia” element and a mapping relationship between a “gender” element and a “keyword” element. In addition, the mapping table for each age group may include a mapping relationship between the "age" element and the "emotion onomatopoeia" element and a mapping relationship between the "age" element and the "keyword" element.
도 19는 본 발명의 일 실시예에 따른 심리별 매핑 테이블, 배경음별 매핑 테이블 및 감정의성어별 매핑 테이블의 예시도이다.19 is an exemplary diagram of a psychological mapping table, a background sound mapping table, and an emotional word mapping table according to an embodiment of the present invention.
이때, 심리별 매핑 테이블은 "psychology" 요소에 대응하는 것이며, 배경음별 매핑 테이블은 "background noise" 요소에 대응하는 것일 수 있다. 또한, 감성의성어별 매핑 테이블은 "emotion onomatopoeia" 요소에 대응하는 것일 수 있다.In this case, the psychological mapping table may correspond to the "psychology" element, and the background sound mapping table may correspond to the "background noise" element. In addition, the mapping table for each emotional word may correspond to an "emotion onomatopoeia" element.
예를 들어, 도 19를 참조하면, 심리별 매핑 테이블은 "psychology"요소와 "emotion onomatopoeia"요소 간의 매핑 관계 및 "psychology"요소와 "keyword"요소 간의 매핑 관계를 포함할 수 있다. 또한, 배경음별 매핑 테이블은 "background noise"요소와 "keyword"요소 간의 매핑 관계를 포함할 수 있으며, 배경음별 매핑 테이블은 "emotion onomatopoeia"요소와 "keyword"요소 간의 매핑 관계를 포함할 수 있다. For example, referring to FIG. 19, the psychological mapping table may include a mapping relationship between a "psychology" element and an "emotion onomatopoeia" element and a mapping relationship between a "psychology" element and a "keyword" element. Also, the background-tone mapping table may include a mapping relationship between the "background noise" element and the "keyword" element, and the background-tone mapping table may include a mapping relationship between the "emotion onomatopoeia" element and the "keyword" element.
다음은 도 20을 참조하여 본 발명의 일 실시예에 따른 신뢰도 측정 장치(100)의 발화자에 대한 신뢰도 측정 방법을 설명한다. Next, a reliability measurement method for a talker of the reliability measurement apparatus 100 according to an embodiment of the present invention will be described with reference to FIG.
도 20은 본 발명의 일 실시예에 따른 신뢰도 측정 장치(100)의 발화자에 대한 신뢰도 측정 방법에 대한 순서도이다. 20 is a flowchart illustrating a method for measuring reliability of a talker of a reliability measuring apparatus 100 according to an embodiment of the present invention.
신뢰도 측정 장치(100)는 발화자에 대응하는 음성 데이터(150)로부터 특징을 추출한다(S500). The reliability measuring apparatus 100 extracts a feature from the voice data 150 corresponding to the talker (S500).
또한, 신뢰도 측정 장치(100)는 발화자에 대응하는 음성 데이터(150)로부터 키워드를 추출한다(S510).In addition, the reliability measuring apparatus 100 extracts a keyword from the voice data 150 corresponding to the talker (S510).
신뢰도 측정 장치(100)는 특징 및 키워드에 기초하여 발화자에 대응하는 복수의 요소를 추출한다(S520). The reliability measuring apparatus 100 extracts a plurality of elements corresponding to the talker based on the feature and the keyword (S520).
그리고 신뢰도 측정 장치(100)는 복수의 요소 간의 상관관계를 분석한다(S530). 또한, 신뢰도 측정 장치(100)는 상관관계에 기초하여 발화자에 대한 신뢰도를 산출한다(S540). 이때, 신뢰도는 데이터베이스(160)에 기초하여 각 요소 간의 가중치를 추출하여 산출될 수 있다. The reliability measuring apparatus 100 analyzes the correlation between the plurality of elements (S530). In addition, the reliability measuring apparatus 100 calculates the reliability of the talker based on the correlation (S540). In this case, the reliability may be calculated by extracting weights between the elements based on the database 160.
또한, 신뢰도를 산출한 이후, 신뢰도 측정 장치(100)는 신뢰도 및 미리 정해진 임계값을 비교하여 발화자의 신뢰 여부를 판단할 수 있다. In addition, after calculating the reliability, the reliability measuring apparatus 100 may compare the reliability and a predetermined threshold value to determine whether the talker is trusted.
그리고 신뢰도 측정 장치(100)는 신뢰도가 미리 정해진 임계값 미만인 경우, 해당 발화자를 신뢰할 수 없는 발화자로 판단할 수 있다. 또한, 신뢰도 측정 장치(100)는 신뢰도가 미리 정해진 임계값 이상인 경우, 해당 발화자를 신뢰할 수 있는 발화자로 판단할 수 있다. When the reliability is less than a predetermined threshold, the reliability measuring apparatus 100 may determine that the talker is an unreliable talker. In addition, when the reliability is greater than or equal to a predetermined threshold, the reliability measuring apparatus 100 may determine the corresponding talker as a reliable talker.
이때, 신뢰도 측정 장치(100)는 발화자가 신뢰할 수 없는 발화자로 판단되는 경우, 발화자에 대응하는 음성 데이터를 재수집할 수 있다. 그리고 신뢰도 측정 장치(100)는 재수집된 음성 데이터에 기초하여, 특징 및 키워드를 추출하고, 복수의 요소를 추출하며, 이를 이용하여 신뢰도를 산출하는 것을 반복하여 수행할 수 있다. In this case, when the reliability measurer 100 determines that the talker is an unreliable talker, the reliability measurement apparatus 100 may re-collect voice data corresponding to the talker. In addition, the reliability measuring apparatus 100 may repeatedly perform the feature and keyword extraction, the plurality of elements, and the calculation of reliability based on the re-collected voice data.
본 발명의 일 실시예에 따른 발화자에 대한 신뢰도 측정 장치(100) 및 신뢰도 측정 방법은 긴급 신고 전화로부터 실시간으로 발화자의 신뢰도를 산출할 수 있다. 발화자에 대한 신뢰도 측정 장치(100) 및 신뢰도 측정 방법은 신고 전화 중 허위 신고 또는 허위 신고를 의심할 내용이 포함되어 있는 경우, 빠르게 감지할 수 있다. 발화자에 대한 신뢰도 측정 장치(100) 및 신뢰도 측정 방법은 허위 신고를 미리 감지할 수 있으므로 불필요한 인력 투입을 방지할 수 있어 효율적이며, 예산 절감 효과가 있다.The reliability measurement apparatus 100 and the reliability measurement method for the talker according to an embodiment of the present invention may calculate the reliability of the talker in real time from an emergency call. The reliability measuring apparatus 100 and the reliability measuring method for the talker can be quickly detected when the false call or false report is included in the report call. Since the reliability measuring apparatus 100 and the reliability measuring method for the talker can detect false reports in advance, it is possible to prevent unnecessary manpower input and thus, it is efficient and has a budget saving effect.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. One embodiment of the present invention can also be implemented in the form of a recording medium containing instructions executable by a computer, such as a program module executed by the computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer readable medium may include a computer storage medium. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.Although the methods and systems of the present invention have been described in connection with specific embodiments, some or all of their components or operations may be implemented using a computer system having a general purpose hardware architecture.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present invention is intended for illustration, and it will be understood by those skilled in the art that the present invention may be easily modified in other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is shown by the following claims rather than the above description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. do.

Claims (12)

  1. 발화자에 대한 신뢰도 측정 장치에 있어서, In the reliability measuring apparatus for the talker,
    음성 데이터에 대한 신뢰도 측정 프로그램이 저장된 메모리 및 Memory storing the reliability measurement program for the voice data and
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되, Including a processor for executing a program stored in the memory,
    상기 프로세서는 상기 프로그램의 실행에 따라, 음성 데이터로부터 특징 및 키워드를 추출하고 상기 특징 및 상기 키워드에 기초하여 상기 음성 데이터를 발화하는 발화자에 대응하는 복수의 요소를 추출하며, 상기 복수의 요소 간의 상관관계를 분석하여 상기 발화자에 대한 신뢰도를 산출하되,The processor extracts a feature and a keyword from voice data according to the execution of the program, extracts a plurality of elements corresponding to a talker who speaks the voice data based on the feature and the keyword, and correlates between the plurality of elements. Analyzing the relationship to calculate the confidence of the talker,
    상기 요소는 키워드, 감정의성어, 배경음, 상기 발화자의 성별, 상기 발화자의 연령대 및 상기 발화자의 심리 상태 중 적어도 하나 이상을 포함하는, 신뢰도 측정 장치.And the element includes at least one of a keyword, an emotional word, a background sound, a gender of the talker, an age group of the talker, and a psychological state of the talker.
  2. 제 1 항에 있어서, The method of claim 1,
    상기 특징은 상기 음성 데이터에 기초하여 추출된 기본 주파수(fundamental frequency), 포먼트 주파수(formant frequency), 묵음 정보, 발화 정보 상기 발화자의 발화 속도 중 하나 이상을 포함하되, The feature may include one or more of a fundamental frequency, a formant frequency, silence information, and speech information, based on the speech data, the speech rate of the speaker.
    상기 묵음 정보는 상기 음성 데이터에 포함된 묵음 구간 빈도 또는 묵음 구간 길이를 포함하고,The silence information includes the silence interval frequency or the silence interval length included in the voice data,
    상기 발화 정보는 상기 발화자의 음절 별 발성 길이 또는 상기 발화자가 동일 음절을 발화한 횟수를 포함하는, 신뢰도 측정 장치.The speech information includes a speech length for each syllable of the talker or a number of times the talker speaks the same syllable.
  3. 제 1 항에 있어서, The method of claim 1,
    데이터베이스를 더 포함하고, Include more databases,
    상기 프로세서는 상기 데이터베이스에 기초하여 추출된 상기 각 요소 간의 가중치에 기초하여 상기 신뢰도를 산출하는, 신뢰도 측정 장치.And the processor calculates the reliability based on the weights between the respective elements extracted based on the database.
  4. 제 1 항에 있어서, The method of claim 1,
    상기 프로세서는 상기 신뢰도 및 미리 정해진 임계값을 비교하여 상기 발화자의 신뢰 여부를 판단하는, 신뢰도 측정 장치. And the processor determines the reliability of the talker by comparing the reliability with a predetermined threshold value.
  5. 제 4 항에 있어서, The method of claim 4, wherein
    상기 프로세서는 상기 신뢰도가 미리 정해진 임계값 미만인 경우, 상기 발화자에 대응하는 음성 데이터를 재수집하고, 상기 재수집된 음성 데이터에 대하여 상기 발화자에 대한 신뢰도를 재산출하는, 신뢰도 측정 장치. And the processor re-collects voice data corresponding to the talker when the reliability is less than a predetermined threshold, and regenerates reliability of the talker with respect to the re-collected voice data.
  6. 제 1 항에 있어서, The method of claim 1,
    상기 음성 데이터는 신고자 및 접수자의 대화에 기초하여 생성된 것이되, The voice data is generated based on the dialogue between the notifier and the acceptor,
    상기 프로세서는 상기 음성 데이터로부터 상기 접수자에 대응하는 음성 데이터를 추출하고, 상기 접수자에 대응하는 음성 데이터에 기초하여 상기 신고자의 신뢰도를 산출하는 것인, 신뢰도 측정 장치. And the processor extracts voice data corresponding to the acceptor from the voice data and calculates the reliability of the caller based on the voice data corresponding to the acceptor.
  7. 제 1 항에 있어서, The method of claim 1,
    상기 음성 데이터는 실시간 전화 음성 데이터인, 신뢰도 측정 장치. And said voice data is real-time telephone voice data.
  8. 신뢰도 측정 장치의 발화자에 대한 신뢰도 측정 방법에 있어서, In the reliability measurement method for the talker of the reliability measuring device,
    상기 발화자에 대응하는 음성 데이터로부터 특징을 추출하는 단계;Extracting a feature from voice data corresponding to the talker;
    상기 발화자에 대응하는 음성 데이터로부터 키워드를 추출하는 단계;Extracting a keyword from voice data corresponding to the talker;
    상기 특징 및 상기 키워드에 기초하여 상기 발화자에 대응하는 복수의 요소를 추출하는 단계; 및 Extracting a plurality of elements corresponding to the talker based on the feature and the keyword; And
    상기 복수의 요소 간의 상관관계를 분석하여 상기 발화자에 대한 신뢰도를 산출하는 단계를 포함하되,Calculating a reliability of the talker by analyzing correlations between the plurality of elements,
    상기 요소는 키워드, 감정의성어, 배경음, 상기 발화자의 성별, 상기 발화자의 연령대 및 상기 발화자의 심리 상태 중 적어도 하나 이상을 포함하는, 신뢰도 측정 방법.Wherein the element comprises at least one of a keyword, an emotional word, a background sound, a gender of the talker, an age group of the talker, and a psychological state of the talker.
  9. 제 8 항에 있어서, The method of claim 8,
    상기 발화자에 대한 신뢰도를 산출하는 단계는, Calculating the reliability of the talker,
    상기 각 요소 간의 가중치를 추출하고, 상기 가중치에 기초하여 상기 신뢰도를 산출하는 것인, 신뢰도 측정 방법. And extracting a weight between the elements, and calculating the reliability based on the weights.
  10. 제 8 항에 있어서, The method of claim 8,
    상기 발화자에 대한 신뢰도를 산출하는 단계 이후에, 상기 신뢰도 및 미리 정해진 임계값을 비교하여 상기 발화자의 신뢰 여부를 판단하는 단계를 더 포함하는, 신뢰도 측정 방법.And after calculating the reliability of the talker, comparing the reliability with a predetermined threshold value and determining whether the talker has confidence.
  11. 제 10 항에 있어서, The method of claim 10,
    상기 발화자의 신뢰 여부를 판단하는 단계 이후에, After determining whether the talker is trusted,
    상기 신뢰도가 미리 정해진 임계값 미만인 경우, 상기 발화자에 대응하는 음성 데이터를 재수집하고, If the reliability is less than a predetermined threshold, voice data corresponding to the talker is recollected,
    상기 재수집된 음성 데이터에 기초하여, 상기 특징을 추출하는 단계, 상기 키워드를 추출하는 단계, 상기 복수의 요소를 추출하는 단계 및 상기 신뢰도를 산출하는 단계를 반복 수행하는, 신뢰도 측정 방법.And extracting the feature, extracting the keyword, extracting the plurality of elements, and calculating the reliability based on the recollected speech data.
  12. 제 8 항 내지 제 11 항 중 어느 한 항에 기재된 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium having recorded thereon a program for performing the method according to any one of claims 8 to 11 on a computer.
PCT/KR2017/000601 2016-11-03 2017-01-18 Apparatus and method for measuring reliability of speaker WO2018084379A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2016-0145922 2016-11-03
KR1020160145922A KR101864824B1 (en) 2016-11-03 2016-11-03 Apparatus and method for reliability measurement of speaker

Publications (1)

Publication Number Publication Date
WO2018084379A1 true WO2018084379A1 (en) 2018-05-11

Family

ID=62076929

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/000601 WO2018084379A1 (en) 2016-11-03 2017-01-18 Apparatus and method for measuring reliability of speaker

Country Status (2)

Country Link
KR (1) KR101864824B1 (en)
WO (1) WO2018084379A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10992805B1 (en) 2020-01-27 2021-04-27 Motorola Solutions, Inc. Device, system and method for modifying workflows based on call profile inconsistencies

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009175336A (en) * 2008-01-23 2009-08-06 Seiko Epson Corp Database system of call center, and its information management method and information management program
KR20110043600A (en) * 2008-06-17 2011-04-27 보이스센스 리미티드 Speaker characterization through speech analysis
KR20110127029A (en) * 2010-05-18 2011-11-24 경희대학교 산학협력단 Method for estimating degree of subjective well-being based on language of user
KR101449856B1 (en) * 2013-06-18 2014-10-13 경희대학교 산학협력단 Method for estimating user emotion based on call speech
KR20160040954A (en) * 2014-10-06 2016-04-15 에스케이텔레콤 주식회사 Method and Apparatus for Determining Emergency Disaster Report

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160060243A (en) * 2014-11-19 2016-05-30 한국전자통신연구원 Apparatus and method for customer interaction service

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009175336A (en) * 2008-01-23 2009-08-06 Seiko Epson Corp Database system of call center, and its information management method and information management program
KR20110043600A (en) * 2008-06-17 2011-04-27 보이스센스 리미티드 Speaker characterization through speech analysis
KR20110127029A (en) * 2010-05-18 2011-11-24 경희대학교 산학협력단 Method for estimating degree of subjective well-being based on language of user
KR101449856B1 (en) * 2013-06-18 2014-10-13 경희대학교 산학협력단 Method for estimating user emotion based on call speech
KR20160040954A (en) * 2014-10-06 2016-04-15 에스케이텔레콤 주식회사 Method and Apparatus for Determining Emergency Disaster Report

Also Published As

Publication number Publication date
KR101864824B1 (en) 2018-06-05
KR20180049689A (en) 2018-05-11

Similar Documents

Publication Publication Date Title
WO2015068947A1 (en) System for analyzing speech content on basis of extraction of keywords from recorded voice data, indexing method using system and method for analyzing speech content
WO2015005679A1 (en) Voice recognition method, apparatus, and system
WO2020207035A1 (en) Crank call interception method, apparatus, and device, and storage medium
US20140214403A1 (en) System and method for improving voice communication over a network
WO2020153572A1 (en) Method and apparatus for training sound event detection model
CN102623011A (en) Information processing apparatus, information processing method, information processing system, and program
WO2018070668A1 (en) System for automatically evaluating complex performance of hybrid speech recognition
WO2018084379A1 (en) Apparatus and method for measuring reliability of speaker
WO2020034526A1 (en) Quality inspection method, apparatus, device and computer storage medium for insurance recording
WO2015023035A1 (en) Preposition error correcting method and device performing same
WO2020151317A1 (en) Voice verification method and apparatus, computer device, and storage medium
WO2021010744A1 (en) Method and device for analyzing sales conversation based on speech recognition
WO2014106979A1 (en) Method for recognizing statistical voice language
JP2019095552A (en) Voice analysis system, voice analysis device, and voice analysis program
WO2020027372A1 (en) Voice interpretation device
WO2015111772A1 (en) Method for determining alcohol consumption, and recording medium and terminal for carrying out same
WO2018088664A1 (en) Device for automatically detecting morpheme part of speech tagging corpus error by using rough sets, and method therefor
WO2014200187A1 (en) Apparatus for learning vowel reduction and method for same
WO2017104875A1 (en) Emotion recognition method using voice tone and tempo information, and apparatus therefor
WO2020213785A1 (en) System for automatically generating text-based sentences on basis of deep learning to achieve improvement related to infinity of utterance patterns
CN111292723A (en) Voice recognition system
WO2015147363A1 (en) Method for determining alcohol use by comparison of frequency frame of difference signal, and recording medium and device for implementing same
WO2019208859A1 (en) Method for generating pronunciation dictionary and apparatus therefor
WO2018097620A1 (en) Method for abnormal sound source detection and apparatus for performing same
Tahon et al. Laughter detection for on-line human-robot interaction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17867955

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17867955

Country of ref document: EP

Kind code of ref document: A1