KR101252995B1 - Method and system for managing speaker speech database using speaker recognition on mobile terminal - Google Patents

Method and system for managing speaker speech database using speaker recognition on mobile terminal Download PDF

Info

Publication number
KR101252995B1
KR101252995B1 KR1020110133629A KR20110133629A KR101252995B1 KR 101252995 B1 KR101252995 B1 KR 101252995B1 KR 1020110133629 A KR1020110133629 A KR 1020110133629A KR 20110133629 A KR20110133629 A KR 20110133629A KR 101252995 B1 KR101252995 B1 KR 101252995B1
Authority
KR
South Korea
Prior art keywords
voice
suspect
information
data
call
Prior art date
Application number
KR1020110133629A
Other languages
Korean (ko)
Inventor
소병민
유하진
양일호
김명재
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Priority to KR1020110133629A priority Critical patent/KR101252995B1/en
Application granted granted Critical
Publication of KR101252995B1 publication Critical patent/KR101252995B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/08—Use of distortion metrics or a particular distance between probe pattern and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

PURPOSE: A speaker voice DB(DataBase) management method and a system thereof are provided to effectively collect a voice of a suspect by collecting and managing the voice of the suspect received from portable terminals. CONSTITUTION: A speaker comparing module(340) extracts voice data from communication data and confirms a suspect corresponding to the voice data by comparing the voice data with other voice data stored in a DB server. A data management module(350) updates a DB by using voice and personal data of a confirmed suspect. A program storage module(300) stores a program for operating a voice collecting server, a program for managing the voice data or the personal data stored in the DB, and a program for comparing the voice data extracted from the communication data. [Reference numerals] (122) Voice collecting server; (124) Database server; (300) Program storage module; (310) Memory; (320) Input-output unit; (340) Speaker comparing module; (350) Data management module; (360) DB management module; (370) Control module; (380) Suspect information storage unit; (390) Voice data storage unit; (AA) Mobile communication network;

Description

이동 단말기 상에서의 화자 인식을 이용한 화자 음성 데이터베이스 관리 방법 및 시스템{Method and System for Managing Speaker Speech Database using Speaker Recognition on mobile terminal}Method and System for Managing Speaker Speech Database using Speaker Recognition on mobile terminal}

본 발명은 이동 단말기 상에서의 화자 인식을 이용한 화자 음성 데이터베이스 관리 방법 및 시스템에 관한 것이다. 특히 본 발명은 다수의 이동 단말로부터 용의자의 음성 데이터를 수집하여 데이터베이스를 구축하여 관리하는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for managing a speaker voice database using speaker recognition on a mobile terminal. In particular, the present invention relates to a method and system for constructing and managing a database by collecting voice data of a suspect from a plurality of mobile terminals.

사용자를 인증하는 방법으로서 얼굴 인식 방법, 지문 인식 방법, 화자 인식 방법 등 다양한 방법이 사용되고 있다. 이 중 화자 인식 방법은 입력되는 사용자의 음성에서 주파수, 성량 등의 특징을 추출한 뒤, 사전에 저장된 사용자별 음성 특징과 비교함으로써 사용자를 인증하는 방식이다. 이와 같은 화자 인식 방법은 전화 통화가 많이 이용되는 분야에서 상대방의 신분 확인을 위하여 많이 사용되고 있다. As a method of authenticating a user, various methods such as a face recognition method, a fingerprint recognition method, and a speaker recognition method are used. Among them, the speaker recognition method is a method of authenticating a user by extracting features such as frequency and quantity from an input voice of a user and comparing them with previously stored voice features of the user. This speaker recognition method is widely used to identify the other party in a field where telephone calls are frequently used.

한편, 최근 발생되고 있는 각종 범죄에는 전화가 이용되고 있다. 전화를 이용하면 얼굴을 노출하지 않고 상대방에게 요구 사항을 전달할 수 있으므로, 범죄자들은 통신 수단으로서 전화를 많이 이용하고 있다.On the other hand, telephones are used for various crimes that have recently occurred. Since telephones can communicate requirements to the other party without exposing their faces, criminals often use telephones as a means of communication.

전화를 이용한 범죄 용의자의 신분 확인을 위해서는 사전에 범죄자의 음성을 수집하여 데이터베이스를 구축하여야 한다. 전화를 통한 범죄 용의자의 음성 확보를 위해서 사용자는 범죄 용의자와의 통화시 전화기의 녹음 버튼을 입력해야 한다. 사용자가 범죄 용의자와의 통화 시작시 녹음 버튼을 입력하지 않으면 범죄 용의자의 음성 정보를 확보할 수 없으며, 데이터베이스를 구축할 수도 없다.In order to verify the identity of a criminal suspect by telephone, a database of the criminal's voice must be collected in advance. In order to secure the voice of the criminal suspect through the telephone, the user must input the recording button of the telephone when talking with the criminal suspect. If a user does not input a recording button at the start of a conversation with a criminal suspect, voice information of the criminal suspect cannot be obtained and a database cannot be built.

그러나, 실제로 범죄 용의자와의 음성 통화는 갑작스럽게 발생되므로, 범죄 용의자의 음성 확보를 위한 녹음을 수행하는 것이 수월하지 않은 문제점이 있다. 이와 같은 문제점을 해결하기 위해서는, 모든 음성 통화가 진행되는 경우 녹음 버튼을 입력하는 불편함도 발생된다.However, since a voice call with a criminal suspect is actually made suddenly, there is a problem that it is not easy to perform recording to secure the voice of the criminal suspect. In order to solve this problem, it is also inconvenient to input the recording button when all voice calls are in progress.

또한, 범죄 용의자와의 음성 녹음이 완료되면, 녹음된 통화 내역을 경찰서로 가지고 가서 제출하며, 경찰서에서는 제출된 통화 내역 중 범죄 용의자의 음성을 추출한 후, 사전에 저장된 데이터베이스의 음성과 비교하여 범죄 용의자의 신분을 확인한다. 이와 같이 경찰서로 이동하여 녹음된 통화 내역을 제출하고, 범죄 용의자의 음성을 추출하여 비교하는 과정에서 시간이 많이 소모되는 문제점도 있다.When the voice recording with the criminal suspect is completed, the recorded call history is taken to the police station for submission, and the police station extracts the voice of the criminal suspect from the submitted call history, and compares it with the voice of a previously stored database. Check your identity. As such, there is a problem that a lot of time is consumed in the process of submitting the recorded call history and extracting and comparing the voice of the criminal suspect.

이와 같은 문제점을 해결하기 위하여, 본 발명이 이루고자 하는 기술적 과제는 다수의 이동 단말로부터 용의자의 음성 데이터를 수집하여 데이터베이스를 구축하여 관리하는 방법 및 시스템을 제공하는 것이다.In order to solve such a problem, the present invention is to provide a method and system for collecting and building a database by collecting voice data of a suspect from a plurality of mobile terminals.

본 발명의 실시예에 따른 용의자 음성 신고 방법은 통화를 수행한 용의자의 음성을 신고하는 방법으로서, (a) 용의자와의 통화 내용을 저장하여 통화 데이터를 생성하는 단계; (b) 녹음된 다수의 통화 데이터 중 신고를 위한 통화 데이터를 선별하는 단계; (c) 선별된 통화 데이터로부터 음성 특징을 추출하는 단계; (d) 추출된 음성 특징으로부터 화자를 분할하여, 용의자의 음성을 선별하는 단계; 및 (e) 용의자의 인적 정보를 입력하여 이동통신망으로 송출하는 단계를 포함한다.According to an embodiment of the present invention, a suspect voice reporting method includes: (a) generating call data by storing contents of a call with a suspect; (b) selecting call data for reporting from among the plurality of recorded call data; (c) extracting voice features from the selected call data; (d) dividing the speaker from the extracted speech features to screen the suspect's speech; And (e) inputting the suspect's personal information and sending it to the mobile communication network.

또한, 본 발명의 실시예에 따른 용의자 음성 정보 저장 방법은 이동 단말로부터 수신되는 용의자의 음성 정보를 저장하는 방법으로서, (a) 이동 단말로부터 용의자의 인적 정보와 음성 정보가 포함된 신고 데이터를 수신하는 단계; (b) 신고 데이터로부터 용의자의 인적 정보를 추출하는 단계; (c) 사전에 구축된 데이터베이스에 저장되어 있는 다수의 용의자 정보로부터 추출된 인적 정보와 유사한 용의자 정보가 존재하는지 여부를 확인하는 단계; (d) 추출된 인적 정보와 유사한 용의자 정보에 매핑되어 있는 음성 데이터를 호출하여, 신고 데이터에 포함된 음성 정보와 비교하는 단계; (e) 사전에 구축된 데이터베이스에 저장되어 있는 음성 데이터와 신고 데이터에 포함된 음성 정보를 비교하는 단계; 및 (f) 신고 데이터에 포함된 용의자 인적 정보 및 음성 정보를 업데이트하거나 생성하는 단계를 포함한다.In addition, the suspect voice information storage method according to an embodiment of the present invention is a method for storing the voice information of the suspect received from the mobile terminal, (a) receiving the report data containing the suspect's personal information and voice information from the mobile terminal; Making; (b) extracting the suspect's personal information from the notification data; (c) checking whether there is suspect information similar to human information extracted from a plurality of suspect information stored in a previously built database; (d) calling voice data mapped to the suspect information similar to the extracted human information, and comparing the voice data with the voice information included in the report data; (e) comparing the voice data stored in the previously built database with the voice information included in the report data; And (f) updating or generating the suspect personal information and voice information included in the notification data.

또한, 본 발명의 실시예에 따른 용의자 정보 제공 방법은 사전에 구축된 음성 수집 시스템을 통하여 용의자 정보를 제공하는 방법으로서, (a) 용의자 정보 및 음성 정보가 포함된 음성 분석 요청을 수신하는 단계; (b) 음성 분석 요청에 포함된 용의자 정보 및 음성 정보를 음성 수집 시스템에 저장된 용의자 정보 및 음성 정보와 각각 비교하는 단계; 및 (c) 유사도가 높은 순서로 용의자 정보를 정렬하여 출력하는 단계를 포함한다.In addition, the method for providing suspect information according to an embodiment of the present invention includes a method for providing suspect information through a pre-established voice collection system, comprising: (a) receiving a voice analysis request including suspect information and voice information; (b) comparing the suspect information and the voice information included in the voice analysis request with the suspect information and the voice information stored in the voice collection system, respectively; And (c) sorting and outputting the suspect information in the order of high similarity.

또한, 본 발명의 실시예에 따른 음성 수집 시스템은 이동 단말로부터 수신되는 용의자의 음성 정보를 수집하여 관리하는 시스템으로서, 용의자의 인적 정보 및 음성 정보를 저장하는 데이터베이스 서버; 및 이동 단말로부터 수신되는 통화 데이터로부터 용의자의 음성 정보 및 인적 정보를 추출하고, 추출된 음성 정보 및 인적 정보를 데이터베이스 서버에 저장시키는 음성 수집 서버를 포함한다.In addition, the voice collection system according to an embodiment of the present invention is a system for collecting and managing the voice information of the suspect received from the mobile terminal, the database server for storing the personal information and voice information of the suspect; And a voice collection server that extracts the suspect's voice information and the human information from the call data received from the mobile terminal and stores the extracted voice information and the human information in a database server.

또한, 본 발명의 실시예에 따른 이동 단말은 화자 인식 기능을 이용하여 통화를 수행한 용의자의 음성 특징을 수집하는 이동 단말로서, 용의자와의 음성 통화 내용을 녹음하는 녹음 모듈; 녹음된 음성 통화 내용을 이동 단말의 내부에 저장시키거나 삭제하여 관리하는 통화 관리 모듈; 녹음된 음성 통화 내용에서 용의자의 음성 특징을 추출하는 특징 추출 모듈; 추출된 음성 특징을 기준으로 용의자와 신고자의 음성 구간을 분할하는 화자 분할 모듈; 신고자로부터 용의자의 인적 정보나 신고 사유를 입력받는 입출력 모듈; 및 통화 데이터를 이동통신망으로 송출하는 통신 모듈을 포함한다. In addition, the mobile terminal according to an embodiment of the present invention is a mobile terminal for collecting a voice feature of a suspect who has made a call using a speaker recognition function, recording module for recording the voice call content with the suspect; A call management module for storing or deleting the recorded voice call contents in the mobile terminal; A feature extraction module for extracting a suspect's voice feature from the recorded voice call content; A speaker division module for dividing a voice section of the suspect and the caller based on the extracted voice feature; An input / output module for receiving the suspect's personal information or the reason for the report from the reporter; And a communication module for transmitting the call data to the mobile communication network.

본 발명에 의하여 다수의 이동 단말로부터 수신되는 용의자의 음성을 수집하여 데이터베이스를 구축하고 관리할 수 있게 됨에 따라, 기존의 방법으로는 쉽게 확보할 수 없었던 범죄 용의자의 음성을 수집할 수 있으며, 음성 수집 시스템을 통하여 범죄 용의자의 음성을 관리함으로써 전화를 통해 이루어지는 범죄 수사에 도움을 줄 수 있으며, 범죄 발생도 예방할 수 있는 효과가 있다.According to the present invention, since the voices of suspects received from a plurality of mobile terminals can be collected and constructed and managed, a voice of a criminal suspect, which cannot be easily obtained by the existing method, can be collected. By managing the voice of the criminal suspects through the system can help in the investigation of crimes over the phone, it is also effective to prevent the occurrence of crimes.

도 1은 본 발명의 실시예에 따른 용의자 음성 데이터베이스 관리 시스템을 간략하게 나타낸 구성도,
도 2는 본 발명의 실시예에 따른 이동 단말의 내부 구성을 간략하게 나타낸 블록 구성도,
도 3은 본 발명의 실시예에 따른 음성 수집 서버 및 데이터베이스 서버의 내부 구성을 간략하게 나타낸 블록 구성도,
도 4는 본 발명의 실시예에 따라 녹음된 통화 내역에서 음성 특징을 추출하고 화자를 분할하는 절차를 설명하기 위한 도면,
도 5는 본 발명의 실시예에 따른 통화 데이터 저장 방법을 설명하기 위한 순서도,
도 6은 본 발명의 실시예에 따른 용의자 음성 신고 방법을 설명하기 위한 순서도,
도 7은 본 발명의 실시예에 따른 용의자 정보 저장 방법을 설명하기 위한 순서도,
도 8은 본 발명의 실시예에 따른 용의자 정보 제공 방법을 설명하기 위한 순서도이다.1 is a schematic diagram showing a suspect voice database management system according to an embodiment of the present invention;
2 is a block diagram schematically illustrating an internal configuration of a mobile terminal according to an embodiment of the present invention;
3 is a block diagram schematically illustrating the internal configuration of a voice collection server and a database server according to an embodiment of the present invention;
4 is a diagram illustrating a procedure of extracting a voice feature and dividing a speaker according to an embodiment of the present invention;
5 is a flowchart illustrating a call data storage method according to an embodiment of the present invention;
6 is a flowchart illustrating a suspect voice report method according to an embodiment of the present invention;
7 is a flowchart illustrating a method for storing suspect information according to an embodiment of the present invention;
8 is a flowchart illustrating a method for providing suspect information according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, except to exclude other components unless otherwise stated. Also, the terms " part, "" module," and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

도 1은 본 발명의 실시예에 따른 용의자 음성 데이터베이스 관리 시스템을 간략하게 나타낸 구성도이다.1 is a block diagram schematically showing a suspect voice database management system according to an embodiment of the present invention.

본 발명의 실시예에 따른 음성 데이터베이스 관리 시스템은 신고자(100)의 이동 단말(102), 이동통신망(110), 음성 수집 시스템(120)을 포함한다.Voice database management system according to an embodiment of the present invention includes a mobile terminal 102, the mobile communication network 110, the voice collection system 120 of the caller (100).

신고자(100)는 이동 단말(102)을 이용하여 용의자와 통화하고, 통화된 내역으로부터 음성 특징을 추출하여 이동통신망(110)을 통해 음성 수집 시스템(120)으로 전달한다. 이를 위하여 이동 단말(102)은 용의자와의 통화 내역을 저장하고, 저장된 통화 내역에서 추출된 음성 특징이 포함된 통화 데이터를 음성 수집 시스템(120)으로 전송한다. 이를 위한 이동 단말(102)의 구성 및 기능에 대해서는 도 2를 통하여 상세하게 설명하기로 한다.The caller 100 calls the suspect using the mobile terminal 102, extracts the voice feature from the talk history, and transmits the voice feature to the voice collection system 120 through the mobile communication network 110. To this end, the mobile terminal 102 stores the call history with the suspect and transmits the call data including the voice feature extracted from the stored call history to the voice collection system 120. The configuration and function of the mobile terminal 102 for this purpose will be described in detail with reference to FIG.

이동통신망(110)은 이동 단말(102)로 이동통신 서비스나 무선 인터넷 서비스를 제공하는 망으로서, 이동 단말(102)로부터 수신되는 통화 데이터를 음성 수집 시스템(120)으로 전송한다. 또한, 본 발명의 실시예에 따라 음성 수집 시스템(120)에서 확인된 용의자 정보를 이동 단말(102)로 전달할 수도 있다.The mobile communication network 110 is a network providing a mobile communication service or a wireless Internet service to the mobile terminal 102, and transmits call data received from the mobile terminal 102 to the voice collection system 120. In addition, according to an embodiment of the present invention, the suspect information confirmed in the voice collection system 120 may be transmitted to the mobile terminal 102.

음성 수집 시스템(120)은 이동 단말(102)로부터 수신되는 통화 데이터로부터 음성 특징을 추출하여 저장하고, 추출된 음성 특징을 이용하여 화자를 구별하는 역할을 수행한다. 이를 위하여 음성 수집 시스템(120)은 음성 수집 서버(122) 및 데이터베이스 서버(124)를 포함한다.The voice collection system 120 extracts and stores a voice feature from the call data received from the mobile terminal 102 and uses the extracted voice feature to distinguish a speaker. To this end, the voice collection system 120 includes a voice collection server 122 and a database server 124.

음성 수집 서버(122)는 이동통신망(110)으로부터 통화 데이터를 수신하고, 수신된 통화 데이터에서 음성 특징을 추출하며, 추출된 음성 특징을 이용하여 화자를 식별하는 기능을 수행한다. 또한 식별된 용의자 정보를 이동 단말(102)이나 음성 수집 시스템(120)의 운영자에게 제공하는 역할을 수행한다.The voice collection server 122 receives call data from the mobile communication network 110, extracts a voice feature from the received call data, and performs a function of identifying a speaker using the extracted voice feature. It also serves to provide the identified suspect information to the operator of the mobile terminal 102 or the voice collection system 120.

데이터베이스 서버(124)는 용의자 정보와 각 용의자의 음성 데이터를 저장하는 기능을 수행한다. The database server 124 stores the suspect information and the voice data of each suspect.

이와 같은 음성 수집 시스템(120)의 구성 및 기능에 대해서도 도 3을 통하여 상세하게 설명하기로 한다.The configuration and function of the voice collection system 120 will also be described in detail with reference to FIG. 3.

도 2는 본 발명의 실시예에 따른 이동 단말의 내부 구성을 간략하게 나타낸 블록 구성도이다.2 is a block diagram schematically illustrating an internal configuration of a mobile terminal according to an embodiment of the present invention.

본 발명의 실시예에 따른 이동 단말(102)은 녹음 모듈(200), 통화 관리 모듈(210), 특징 추출 모듈(220), 화자 분할 모듈(230), 입출력 모듈(240) 및 통신 모듈(250)을 포함한다.Mobile terminal 102 according to an embodiment of the present invention is a recording module 200, call management module 210, feature extraction module 220, speaker segmentation module 230, input and output module 240 and communication module 250 ).

녹음 모듈(200)은 이동 단말(102)을 이용하여 수신자와 발신자의 음성 통화가 이루어지는 경우, 수신자와 발신자의 음성을 녹음하는 기능을 수행한다. 이 때, 수신자와 발신자 사이의 모든 음성 통화가 녹음되도록 설정하는 것이 바람직하다.The recording module 200 performs a function of recording the voice of the receiver and the caller when the voice call of the receiver and the caller is made using the mobile terminal 102. At this time, it is preferable to set so that all voice calls between the receiver and the caller are recorded.

통화 관리 모듈(210)은 수신자와 발신자 사이의 통화가 녹음된 데이터를 관리하는 기능을 수행한다. The call management module 210 manages the recorded data of the call between the receiver and the caller.

통화 관리 모듈(210)에서는 최근에 이루어진 통화 중 가장 최근의 몇 건만의 녹음 데이터를 내부에 저장시키고, 그 이전의 녹음 데이터는 삭제하여 메모리를 관리한다. 그리고, 사용자로부터 입출력 모듈(240)을 통해 신고하기 기능이 실행되면, 음성 수집 시스템(130)으로 선택된 녹음 데이터를 전송하여 신고할 수 있도록 지원한다.The call management module 210 manages the memory by storing only the most recent recorded data of the latest made call and deleting the previous recorded data therein. In addition, when a report function is executed by the user through the input / output module 240, the user may transmit the selected recording data to the voice collection system 130 to report the report.

특징 추출 모듈(220)은 녹음된 통화 내역에서 음성 특징을 추출하는 기능을 수행한다. 이를 위하여 특징 추출 모듈(220)은 신고하기 기능 등을 통해 신고되는 통화 녹음 파일에서 MFCC(Mel Frequency Cepstral Coefficient) 특징과 같은 음성 특징을 추출한다.The feature extraction module 220 extracts a voice feature from the recorded call history. To this end, the feature extraction module 220 extracts a voice feature, such as a Mel Frequency Cepstral Coefficient (MFCC) feature, from a call recording file that is reported through a report function.

화자 분할 모듈(230)은 추출된 음성 특징을 기준으로 발신자와 수신자의 음성 구간을 찾아내어 분할하는 기능을 수행한다. 여기서, 음성 특징을 추출하여 화자를 분할하는 절차에 대해서는 도 4를 통하여 상세하게 설명하기로 한다.The speaker dividing module 230 finds and divides voice sections of the caller and receiver based on the extracted voice feature. Here, a procedure of dividing the speaker by extracting the voice feature will be described in detail with reference to FIG. 4.

입출력 모듈(240)은 사용자로부터 명령을 입력받거나, 사용자에게 화면이나 음성을 출력하는 기능을 수행한다. 또한, 사용자로부터 용의자의 이름이나 휴대폰 번호와 같은 인적 정보, 신고 사유와 같은 기타 정보 등을 입력받는다.The input / output module 240 receives a command from a user or outputs a screen or a voice to the user. In addition, the user receives personal information such as the suspect's name or mobile phone number, and other information such as the reason for reporting.

통신 모듈(250)은 통화 데이터를 이동통신망(110)으로 송출하는 기능을 수행한다. 이 때, 통화 데이터에는 화자 분할 모듈(230)을 통해 확인된 음성 특징 및 음성 데이터와 함께 입출력 모듈(240)을 통해 입력된 용의자 인적 정보 및 기타 정보를 함께 송출한다.The communication module 250 transmits call data to the mobile communication network 110. In this case, together with the voice feature and the voice data identified through the speaker division module 230, the suspect data and other information input through the input / output module 240 are transmitted to the call data.

도 3은 본 발명의 실시예에 따른 음성 수집 서버 및 데이터베이스 서버의 내부 구성을 간략하게 나타낸 블록 구성도이다.3 is a block diagram schematically showing the internal configuration of the voice collection server and the database server according to an embodiment of the present invention.

본 발명의 실시예에 따른 음성 수집 서버(122)는 프로그램 저장 모듈(300), 메모리(310), 입출력부(320), 네트워크 인터페이스 카드(NIC: Network Interface Card, 이하 'NIC'라 칭함)(330), 화자 비교 모듈(340), 정보 관리 모듈(350), 데이터베이스 관리 모듈(360) 및 제어 모듈(370)을 포함한다.Voice collection server 122 according to an embodiment of the present invention is a program storage module 300, memory 310, input and output unit 320, a network interface card (NIC) (hereinafter referred to as "NIC") ( 330, a speaker comparison module 340, an information management module 350, a database management module 360, and a control module 370.

프로그램 저장 모듈(300)은 수신된 통화 데이터의 음성 특징을 비교하는 프로그램, 데이터베이스 서버(124)에 저장된 데이터의 관리 및 업데이트를 위한 프로그램, 데이터베이스 서버(124)의 데이터 입출력 제어를 위한 데이터베이스 관리 프로그램 등 음성 수집 서버(122)를 운용하기 위한 각종 프로그램이 저장되어 있는 부분이다.The program storage module 300 may include a program for comparing voice characteristics of the received call data, a program for managing and updating data stored in the database server 124, a database management program for controlling data input / output of the database server 124, and the like. The various programs for operating the voice collection server 122 are stored.

메모리(310)는 제어 모듈(370)에서 처리되는 데이터를 임시로 저장하는 부분이다. 즉, 메모리(310)는 인터넷망(110)을 통해 수신되는 통화 데이터를 임시로 저장하다가 화자 비교 모듈(340)에 의해 용의자 정보가 확인되면 데이터베이스 서버(124)로 전달하는 역할을 수행한다. The memory 310 temporarily stores data processed by the control module 370. That is, the memory 310 temporarily stores the call data received through the Internet network 110 and delivers the suspect information to the database server 124 when the suspect information is confirmed by the speaker comparison module 340.

입출력부(320)는 음성 수집 서버(122)를 운영하는 관리자가 용의자 정보 등을 입력할 수 있는 키보드, 마우스 등의 입력 장치가 구현되는 부분이다. 또한, 입출력부(320)에는 관리자에게 추출된 용의자 정보나, 음성 수집 서버(122)의 운영 상태 등을 제공하기 위한 모니터가 구현된다.The input / output unit 320 is a part in which an input device such as a keyboard or a mouse can be implemented by an administrator operating the voice collection server 122 to input suspect information. In addition, the input / output unit 320 is implemented with a monitor for providing the suspect information extracted to the administrator, the operating state of the voice collection server 122, and the like.

NIC(330)는 음성 수집 서버(122)와 이동통신망(110) 사이의 데이터 송수신을 위한 통신 인터페이스를 제공하는 통신 모듈이다. 즉, NIC(330)는 이동통신망(110)을 통해 이동 단말(102)로부터 전달된 통화 데이터를 제어 모듈(370)로 전달하고, 제어 모듈(370)을 통해 수신된 용의자 정보 등을 이동통신망(110)으로 전달하는 역할을 수행한다.The NIC 330 is a communication module that provides a communication interface for transmitting and receiving data between the voice collection server 122 and the mobile communication network 110. That is, the NIC 330 transmits the call data transmitted from the mobile terminal 102 to the control module 370 through the mobile communication network 110, and transfers suspect information received through the control module 370 to the mobile communication network ( 110) to serve.

화자 비교 모듈(340)은 NIC(330)를 통해 수신된 통화 데이터로부터 음성 특징을 확인하고, 확인된 음성 특징을 데이터베이스 서버(124)에 저장된 용의자의 음성 데이터와 비교하는 역할을 수행한다. 이를 위하여 화자 비교 모듈(340)은 통화 데이터에 포함된 인적 정보나 기타 정보를 기반으로 가장 유사하다고 판단되는 용의자 정보 및 해당 용의자의 음성 데이터를 찾아, 수신된 음성 특징 데이터와 비교하여 유사도를 계산한다.The speaker comparison module 340 checks the voice feature from the call data received through the NIC 330 and compares the confirmed voice feature with voice data of the suspect stored in the database server 124. To this end, the speaker comparison module 340 finds the suspect information and the voice data of the suspect, which are determined to be the most similar, based on human information or other information included in the call data, and compares the received voice feature data with the received voice feature data to calculate similarity. .

정보 관리 모듈(350)은 화자 비교 모듈(340)에 의해 유사한 용의자가 확인되면, 통화 데이터에 포함된 음성 정보, 인적 정보 및 기타 정보 등을 업데이트하는 역할을 수행한다. 즉, 정보 관리 모듈(350)은 화자 비교 모듈(340)에 의해 계산된 유사도가 사전에 설정된 임계치 이상인 경우, 해당 용의자 정보나 음성 데이터를 업데이트하고, 누락된 인적 정보, 신고 사유, 신고 횟수 등을 추가하는 기능을 수행한다. 또한, 정보 관리 모듈(350)은 화자 비교 모듈(340)에 의해 계산된 유사도가 사전에 설정된 임계치 이하인 경우, 새로운 용의자 정보를 생성하고, 수신된 통화 데이터의 정보를 저장하는 기능을 수행한다.When the similar suspect is confirmed by the speaker comparison module 340, the information management module 350 updates voice information, personal information, and other information included in the call data. That is, if the similarity calculated by the speaker comparison module 340 is greater than or equal to a preset threshold, the information management module 350 updates the suspect information or voice data, and checks for missing personal information, report reason, and report frequency. Perform the function of adding. In addition, when the similarity calculated by the speaker comparison module 340 is equal to or less than a preset threshold, the information management module 350 generates new suspect information and stores information of the received call data.

데이터베이스 관리 모듈(360)은 데이터베이스 서버(124)에 저장된 각종 정보 데이터의 입출력을 관리한다. 즉, 데이터베이스 관리 모듈(360)은 제어 모듈(370)을 통하여 통화 데이터의 저장 요청이 있으면, 용의자 정보 저장부(380) 및 음성 데이터 저장부(390)로 용의자 정보 및 음성 데이터를 저장시키는 역할을 수행한다. 또한, 제어 모듈(370)로부터 저장된 용의자 정보 및 음성 데이터의 제공 요청이 전달되면, 해당 데이터베이스로부터 요청된 데이터를 호출하여 제공하는 역할을 수행한다.The database management module 360 manages input / output of various pieces of information data stored in the database server 124. That is, the database management module 360 stores the suspect information and the voice data in the suspect information storage unit 380 and the voice data storage unit 390 when there is a request for storing the call data through the control module 370. To perform. In addition, when a request for providing stored suspect information and voice data is transmitted from the control module 370, the controller 370 calls and provides the requested data from the corresponding database.

제어 모듈(370)은 음성 수집 서버(122) 전반을 제어하며, 본 발명의 실시예에 따라, 통화 데이터가 수신되면 화자 비교 모듈(340)로 제공하며, 데이터베이스 서버(124)로부터 사전에 저장된 용의자 정보 및 음성 데이터를 호출하여 화자 비교 모듈(340)로 제공하는 역할을 수행한다. 그리고 화자 비교 모듈(340)에서의 비교 결과를 입출력부(320)나 이동통신망(110)으로 제공하는 역할을 수행한다. 또한, 제어 모듈(370)은 정보 관리 모듈(350)로부터 용의자 정보나 음성 데이터의 저장 요청이 수신되면, 수신된 용의자 정보 및 음성 데이터를 데이터베이스 관리 모듈(360)을 통해 데이터베이스 서버(124)로 전달하는 기능을 수행한다.The control module 370 controls the entire voice collection server 122 and, according to an embodiment of the present invention, provides the speaker comparison module 340 when the call data is received and stores the suspect in advance from the database server 124. Calls information and voice data to provide to the speaker comparison module 340. And it performs a role of providing the comparison result in the speaker comparison module 340 to the input and output unit 320 or the mobile communication network (110). In addition, when a request for storing suspect information or voice data is received from the information management module 350, the control module 370 transmits the received suspect information and voice data to the database server 124 through the database management module 360. It performs the function.

본 발명의 실시예에 따른 데이터베이스 서버(124)는 용의자 정보 저장부(380) 및 음성 데이터 저장부(390)를 포함한다.The database server 124 according to the embodiment of the present invention includes a suspect information storage unit 380 and a voice data storage unit 390.

용의자 정보 저장부(380)는 용의자 정보를 저장하는 영역으로서, 용의자의 인적 정보, 신고 사유, 신고 횟수 등이 저장되며, 음성 데이터 저장부(390)는 저장된 용의자의 음성 특징이 포함된 음성 데이터가 저장된다. 이를 위하여 용의자 정보 저장부(380)와 음성 데이터 저장부(390)의 데이터는 서로 매핑되어 저장된다. The suspect information storage unit 380 is an area for storing suspect information. The suspect information storage unit 380 stores personal information of the suspect, the reason for the report, the frequency of the report, and the like. The voice data storage unit 390 stores the suspect data including voice characteristics. Stored. To this end, data of the suspect information storage unit 380 and the voice data storage unit 390 are mapped to each other and stored.

도 4는 본 발명의 실시예에 따라 녹음된 통화 내역에서 음성 특징을 추출하고 화자를 분할하는 절차를 설명하기 위한 도면이다.4 is a diagram illustrating a procedure of extracting a voice feature and dividing a speaker according to an embodiment of the present invention.

신고자의 이동 단말(102)에 저장되는 통화 데이터의 실제 구성은 4A와 같다. 전체 녹음된 데이터에서는 시간별로 음성 특징을 뽑는다. 이 때, 첫 무음(silence)이 나오기 전까지 음성 특징들을 사용하여 제1 화자 모델을 생성한다. 4B에서는 수신자의 음성이 제1 화자 모델로 생성된다. The actual configuration of the call data stored in the caller's mobile terminal 102 is equal to 4A. In the entire recorded data, voice features are extracted over time. At this time, the first speaker model is generated using the voice features until the first silence is produced. In 4B, the receiver's voice is generated in the first speaker model.

그리고 이후 나오는 음성 특징 중 제1 화자 모델과 임계점 이상의 유사도를 보이는 부분을 동일한 화자의 음성이라고 판단하여 표기(Tagging)한다. 이에 따라 4C와 같이 수신자의 음성이 제1 화자 모델로 표기된다.Then, the part of the voice feature coming after the similarity between the first speaker model and the critical point is determined as the voice of the same speaker and tagged. Accordingly, the voice of the receiver is represented by the first speaker model as in 4C.

다음으로 제1 화자 모델과 임계점 이상의 유사도를 보이지 않는 음성 특징 중 무음 부분을 제외한 부분을 제2 화자 모델로 생성한다. 이에 따라 4D와 같이 발신자가 제2 화자 모델로 생성된다.Next, a part of the voice feature that does not exhibit similarity above the threshold and the first speaker model except for the silent part is generated as the second speaker model. Accordingly, the caller is generated as the second speaker model as in 4D.

그리고, 이후 나오는 음성 특징 중 제2 화자 모델과 임계점 이상의 유사도를 보이는 부분을 동일한 화자의 음성이라고 판단하여 표기하며, 이에 따라 4E와 같이 발신자의 음성이 제2 화자 모델로 표기된다.In addition, the part of the voice feature coming after the second speaker model having a similarity or more than a critical point is determined as the voice of the same speaker, and accordingly, the voice of the caller is represented by the second speaker model as shown in 4E.

본 발명의 실시예에 따른 화자 분할 방법은 발신자와 수신의 음성이 겹쳐지는 부분을 최대한 제외하고, 순수하게 발신자의 음성이나 수신자의 음성만이 존재하는 영역을 이용한다.The speaker segmentation method according to the embodiment of the present invention utilizes an area in which only the caller's voice or the callee's voice is present, except for the overlapping part of the caller and the caller's voice.

여기서, 본 발명을 구현함에 있어서, 4E와 같은 형태로 신고자에게 녹음 데이터 화면을 제공하고, 신고자가 듣고자 하는 부분을 선택하면 해당되는 화자 모델의 음성을 재생시켜 신고자가 확인할 수 있도록 입출력 모듈(240)을 구현할 수 있다.Here, in the implementation of the present invention, providing a recording data screen to the caller in the form of 4E, and if the caller selects the part to listen, the input and output module 240 so that the caller can check by playing the voice of the corresponding speaker model ) Can be implemented.

도 5는 본 발명의 실시예에 따른 통화 데이터 저장 방법을 설명하기 위한 순서도이다.5 is a flowchart illustrating a call data storage method according to an embodiment of the present invention.

본 발명의 실시예에 따라 이동 단말(102)을 통해 발신자와 수신자 사이의 통화가 시작되면, 녹음 모듈(200)에서는 통화 시작과 동시에 통화 내용의 녹음을 시작한다(S500).When the call between the caller and the receiver is started through the mobile terminal 102 according to an embodiment of the present invention, the recording module 200 starts recording of the call content at the same time as the call starts (S500).

발신자와 수신자 사이의 통화가 종료되면, 녹음 모듈(200)은 통화 내용의 녹음을 종료한다(S510).When the call between the caller and the receiver ends, the recording module 200 ends recording of the call contents (S510).

통화가 종료되면 통화 관리 모듈(210)은 저장된 통화 데이터의 개수를 확인한다(S520). 저장된 통화 데이터의 개수가 최대 저장 데이터 수보다 많으면(S530), 통화 관리 모듈(210)은 저장된 통화 데이터 중에서 가장 오래된 통화 데이터를 삭제한 후(S540), 녹음 모듈(200)에 의해 녹음된 통화 데이터를 저장시킨다.When the call ends, the call management module 210 checks the number of stored call data (S520). If the number of stored call data is greater than the maximum number of stored data (S530), after the call management module 210 deletes the oldest call data among the stored call data (S540), the call data recorded by the recording module 200 Save it.

그러나, 저장된 통화 데이터의 개수가 최대 저장 데이터 수보다 적은 경우에는 기존의 녹음 데이터를 삭제하는 과정 없이 녹음 모듈(200)에 의해 녹음된 통화 데이터를 저장시킨다(S550).However, when the number of stored call data is less than the maximum number of stored data, the call data recorded by the recording module 200 is stored without deleting the existing recording data (S550).

도 6은 본 발명의 실시예에 따른 용의자 음성 신고 방법을 설명하기 위한 순서도이다.6 is a flowchart illustrating a suspect voice report method according to an embodiment of the present invention.

신고자가 이동통신망(110)을 통해 범죄 용의자를 신고하려는 경우, 이동 단말(102)에 녹음된 다수의 통화 데이터 중 신고를 위한 통화 데이터를 선별한다(S600).When the caller intends to report the suspected crime through the mobile communication network 110, the call data for the report is selected from the plurality of call data recorded in the mobile terminal 102 (S600).

신고자에 의해 통화 데이터가 선별되면, 특징 추출 모듈(220)은 녹음된 통화 데이터로부터 음성 특징을 추출하고(S610), 추출된 음성 특징을 이용하여 통화 내용의 화자를 분할한다. 이에 따라, 4E와 같은 형태의 녹음 데이터 화면이 신고자에게 제공된다(S620).When the call data is selected by the caller, the feature extraction module 220 extracts a voice feature from the recorded call data (S610) and divides the speaker of the call content by using the extracted voice feature. Accordingly, the recording data screen of the form as 4E is provided to the notifier (S620).

신고자가 분할된 화자 중에서 신고할 화자를 선택하면(S630), 입출력 모듈(260)을 통해 인적 사항이나, 신고 사유 등의 기타 정보를 입력할 수 있는 화면이 제공된다. 신고자가 인적 사항 및 기타 정보를 입력하면(S640), 입력된 인적 사항이나 기타 정보, 통화 내역 등이 포함된 통화 데이터가 이동통신망(110)을 통해 음성 수집 시스템(120)으로 전송된다. 여기서, 인적 사항이나 기타 정보, 통화 내역 등이 포함된 통화 데이터를 신고 데이터라 칭한다(S650).When the caller selects a talker to report from among the divided speakers (S630), a screen for inputting personal information or other information such as report reason is provided through the input / output module 260. When the reporter enters personal information and other information (S640), call data including the input personal information or other information, call history, etc. is transmitted to the voice collection system 120 through the mobile communication network 110. Here, the call data including personal information, other information, call history, etc. is called report data (S650).

도 7은 본 발명의 실시예에 따른 용의자 정보 저장 방법을 설명하기 위한 순서도이다.7 is a flowchart illustrating a method of storing suspect information according to an embodiment of the present invention.

음성 수집 서버(122)는 이동 단말(102)로부터 신고 데이터가 수신되면(S700), 수신된 신고 데이터로부터 인정 사항 정보를 추출하여 확인한다(S710).When the report data is received from the mobile terminal 102 (S700), the voice collection server 122 extracts and confirms the recognition item information from the received report data (S710).

그리고, 추출된 인적 사항 정보를 사전에 용의자 정보 저장부(380)에 저장된 인적 정보와 비교하여, 유사한 용의자 정보가 존재하는지 여부를 확인한다(S720). Then, the extracted personal information is compared with the personal information stored in the suspect information storage 380 in advance, and it is checked whether similar suspect information exists (S720).

사전에 용의자 정보 저장부(380)에 저장된 용의자 정보 중 수신된 인적 사항 정보와 유사한 용의자 정보가 존재함이 확인되면(S730), 화자 비교 모듈(340)은 해당 용의자 정보에 매핑되어 있는 음성 데이터를 음성 데이터 저장부(390)로부터 호출한 뒤, 신고 데이터에 포함된 음성 데이터와의 음성 특징을 비교한다(S740).If it is confirmed that suspect information similar to the received personal information is present among the suspect information stored in the suspect information storage unit 380 in advance (S730), the speaker comparison module 340 may determine the voice data mapped to the suspect information. After calling from the voice data storage unit 390, the voice feature is compared with the voice data included in the report data (S740).

또한, 화자 비교 모듈(340)은 음성 데이터 저장부(390)에 저장된 모든 음성 데이터와 신고 데이터에 포함된 음성 데이터와의 음성 특징을 비교한다(S750).In addition, the speaker comparison module 340 compares voice features of all voice data stored in the voice data storage 390 with voice data included in the report data (S750).

S740 단계 및 S750 단계를 통하여 신고 데이터에 포함된 음성 데이터와 사전에 데이터베이스부(124)에 저장된 데이터를 비교한 결과, 사전에 설정된 임계치 이상의 유사도를 보이는 데이터가 존재하는 경우(S760), 수신된 신고 데이터를 이용하여 용의자 정보 저장부(380)에 저장된 용의자 정보를 업데이트한다(S770).When the voice data included in the report data is compared with the data stored in the database unit 124 in advance through the steps S740 and S750, and there is data showing similarity or more than a preset threshold (S760), the received report is received. The suspect information stored in the suspect information storage unit 380 is updated using the data (S770).

그러나, S740 단계 및 S750 단계를 통하여 신고 데이터에 포함된 음성 데이터와 사전에 데이터베이스부(124)에 저장된 데이터를 비교한 결과, 사전에 설정된 임계치 이상의 유사도를 보이는 데이터가 존재하지 않음이 확인되면, 용의자 정보 저장부(380)에 새로운 용의자 정보를 생성한 후, 수신된 신고 데이터 내용을 생성된 용의자 정보에 저장시킨다(S780).However, as a result of comparing the voice data included in the report data with the data stored in the database unit 124 in advance through steps S740 and S750, when it is confirmed that there is no data showing a similarity more than a preset threshold, the suspect is After generating new suspect information in the information storage unit 380, the received report data content is stored in the generated suspect information (S780).

도 8은 본 발명의 실시예에 따른 용의자 정보 제공 방법을 설명하기 위한 순서도이다.8 is a flowchart illustrating a method for providing suspect information according to an embodiment of the present invention.

본 발명의 실시예에 따라 음성 수집 시스템(120)이 구축된 후, 이동 단말(102) 또는 음성 수집 서버(122)의 운영자로부터 음성 분석 요청이 수신되면(S800), 음성 수집 서버(122)는 수신된 음성 분석 요청 데이터에 포함된 용의자 정보 및 음성 데이터를 확인한다(S810).After the voice collection system 120 is constructed in accordance with an embodiment of the present invention, if a voice analysis request is received from the operator of the mobile terminal 102 or the voice collection server 122 (S800), the voice collection server 122 is The suspect information and the voice data included in the received voice analysis request data are checked (S810).

화자 비교 모듈(340)은 확인된 용의자 정보 및 음성 데이터를 사전에 용의자 정보 저장부(380) 및 음성 데이터 저장부(390)에 저장된 다수의 용의자 정보 및 음성 데이터와 각각 비교한다(S820).The speaker comparison module 340 compares the identified suspect information and voice data with a plurality of suspect information and voice data stored in the suspect information storage 380 and the voice data storage 390 in advance (S820).

그리고, 비교 결과에 따라 음성 데이터의 유사도가 높은 순서로 용의자 정보를 정렬하여 출력시킨다. 이와 같이 정렬된 용의자 정보는 음성 수집 서버(122)의 입출력부(320)를 통해 디스플레이되거나, 이동 단말(102)로 송출될 수 있다(S830).According to the comparison result, the suspect information is arranged and output in the order of high similarity of the voice data. The suspect information arranged in this manner may be displayed through the input / output unit 320 of the voice collection server 122 or may be transmitted to the mobile terminal 102 (S830).

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. The embodiments of the present invention described above are not only implemented by the apparatus and method but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded, The embodiments can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (12)

통화를 수행한 용의자의 음성을 이동 단말을 이용하여 신고하고, 상기 용의자의 음성 정보를 저장하는 방법에 있어서,
(a) 상기 용의자와의 통화 내용을 저장하여 통화 데이터를 생성하는 단계;
(b) 녹음된 다수의 통화 데이터 중 신고를 위한 통화 데이터를 선별하는 단계;
(c) 선별된 통화 데이터로부터 음성 특징을 추출하는 단계;
(d) 상기 추출된 음성 특징으로부터 화자를 분할하여, 상기 용의자의 음성을 선별하는 단계;
(e) 상기 용의자의 인적 정보를 입력하여 이동통신망으로 송출하는 단계; 및
(f) 상기 이동 단말로부터 수신되는 용의자의 음성 정보를 저장하는 단계를 포함하며,
상기 단계 (d)는,
(d1) 상기 (c) 단계에서 추출된 음성 특징 중 첫 무음이 나오기 전까지의 음성 특징을 선택하는 단계;
(d2) 상기 선택된 음성 특징을 제1 화자 모델로 생성하는 단계;
(d3) 상기 통화 데이터의 음성 특징 중 상기 제1 화자 모델과 임계점 이상의 유사도를 보이는 부분을 제1 화자 모델로 표기하는 단계;
(d4) 상기 통화 데이터의 음성 특징 중 상기 제1 화자 모델과 임계점 이상의 유사도를 보이지 않는 음성 특징 중 무음 부분을 제외한 부분을 제2 화자 모델로 생성하는 단계;
(d5) 상기 통화 데이터의 음성 특징 중 상기 제2 화자 모델과 임계점 이상의 유사도를 보이는 부분을 제2 화자 모델로 표기하는 단계; 및
(d6) 상기 제1 화자 모델 또는 상기 제2 화자 모델 중 상기 용의자의 음성을 선별하는 단계를 포함하며
상기 단계 (f)는,
(f1) 상기 이동 단말로부터 상기 용의자의 인적 정보와 음성 정보가 포함된 신고 데이터를 수신하는 단계;
(f2) 상기 신고 데이터로부터 상기 용의자의 인적 정보를 추출하는 단계;
(f3) 사전에 구축된 데이터베이스에 저장되어 있는 다수의 용의자 정보로부터 상기 추출된 인적 정보와 유사한 용의자 정보가 존재하는지 여부를 확인하는 단계;
(f4) 상기 추출된 인적 정보와 유사한 용의자 정보에 매핑되어 있는 음성 데이터를 호출하여, 상기 신고 데이터에 포함된 음성 정보와 비교하는 단계;
(f5) 사전에 구축된 데이터베이스에 저장되어 있는 음성 데이터와 상기 신고 데이터에 포함된 음성 정보를 비교하는 단계; 및
(f6) 상기 신고 데이터에 포함된 용의자 인적 정보 및 음성 정보를 업데이트하거나 생성하는 단계를 포함하는 용의자 음성 신고 및 저장 방법. In the method for reporting the suspect's voice using the mobile terminal, and storing the suspect's voice information,
(a) storing call contents with the suspect to generate call data;
(b) selecting call data for reporting from among the plurality of recorded call data;
(c) extracting voice features from the selected call data;
(d) dividing a speaker from the extracted voice feature to select a voice of the suspect;
(e) inputting the suspect's personal information and transmitting it to a mobile communication network; And
(f) storing voice information of the suspect received from the mobile terminal,
The step (d)
(d1) selecting a voice feature of the voice feature extracted in the step (c) until the first silence comes out;
(d2) generating the selected voice feature as a first speaker model;
(d3) marking, by a first speaker model, a portion of the voice feature of the call data that exhibits a similarity between the first speaker model and a threshold point or more;
(d4) generating, as a second speaker model, a portion of the voice features of the call data except for the non-silent part of the voice features having no similarity above the critical point with the first speaker model;
(d5) marking, by a second speaker model, a part of the voice feature of the call data that exhibits a similarity between the second speaker model and a threshold point or more; And
(d6) selecting a voice of the suspect from the first speaker model or the second speaker model;
The step (f)
(f1) receiving notification data including personal information and voice information of the suspect from the mobile terminal;
(f2) extracting personal information of the suspect from the notification data;
(f3) checking whether there is suspect information similar to the extracted human information from a plurality of suspect information stored in a previously built database;
(f4) calling voice data mapped to suspect information similar to the extracted human information and comparing the voice data with the voice information included in the report data;
(f5) comparing the voice data stored in the previously built database with the voice information included in the report data; And
(f6) updating or generating the suspect human information and the voice information included in the report data. 제1항에 있어서,
상기 단계 (a)는,
(a1) 상기 용의자와의 통화가 시작됨과 동시에 통화 내용의 녹음을 시작하는 단계;
(a2) 상기 용의자와의 통화가 종료되면 상기 통화 내용의 녹음을 종료하여 통화 데이터를 생성하는 단계;
(a3) 사전에 저장된 통화 데이터의 개수를 확인하여, 상기 저장된 통화 데이터의 개수가 사전에 설정된 최대 저장 데이터의 수보다 많은지 여부를 확인하는 단계;
(a4) 사전에 저장된 통화 데이터의 개수가 상기 최대 저장 데이터 수보다 많으면 저장된 통화 데이터 중 가장 오래된 통화 데이터를 삭제하는 단계; 및
(a5) 상기 단계 (a2) 단계에서 생성된 통화 데이터를 저장하는 단계
를 포함하는 용의자 음성 신고 및 저장 방법.The method of claim 1,
The step (a)
(a1) starting a call with the suspect and simultaneously recording a call;
(a2) generating a call data by ending recording of the call when the call with the suspect ends;
(a3) checking the number of call data stored in advance, and checking whether the number of the stored call data is greater than the maximum number of preset stored data;
(a4) deleting the oldest call data among the stored call data if the number of previously stored call data is greater than the maximum stored data number; And
(a5) storing the call data generated in step (a2)
Suspect voice report and storage method comprising a. 삭제delete 제1항에 있어서,
상기 단계 (d6)는,
상기 녹음 데이터에서 상기 제1 화자 모델과 상기 제2 화자 모델을 표시하고, 사용자로부터 제1 화자 모델 또는 제2 화자 모델이 선택되면 해당 음성 특징을 재생하는 것을 특징으로 하는 용의자 음성 신고 및 저장 방법. The method of claim 1,
Step (d6) is,
And displaying the first speaker model and the second speaker model in the recording data, and reproducing a corresponding voice feature when a first speaker model or a second speaker model is selected by a user. 삭제delete 제1항에 있어서,
상기 단계 (f6)는,
(f61) 상기 단계 (d) 또는 (e) 단계에서 사전에 설정된 임계치 이상의 유사도를 보이는 음성 정보가 존재하는 경우, 상기 신고 데이터에 포함된 용의자 인적 정보 및 음성 정보를 업데이트하는 단계; 및
(f62) 상기 단계 (d) 또는 (e) 단계에서 사전에 설정된 임계치 이상의 유사도를 보이는 음성 정보가 존재하지 않는 경우, 새로운 용의자 정보를 생성하고, 생성된 용의자 정보에 상기 신고 데이터에 포함된 용의자 인적 정보 및 음성 정보를 저장하는 단계
를 포함하는 용의자 음성 정보 신고 및 저장 방법.The method of claim 1,
Step (f6) is,
(f61) updating the suspect personal information and the voice information included in the report data when there is voice information having a similarity or higher than a preset threshold in the step (d) or (e); And
(f62) If there is no voice information showing similarity above a predetermined threshold in step (d) or (e), new suspect information is generated, and the suspect person included in the report data is generated in the suspect information. Storing information and voice information
Suspect voice information reporting and storage method comprising a. 제1항에 있어서,
(g) 사전에 구축된 음성 수집 시스템을 통하여 용의자 정보를 제공하는 단계를 더 포함하며,
상기 단계 (g)는,
(g1) 용의자 정보 및 음성 정보가 포함된 음성 분석 요청을 수신하는 단계;
(g2) 상기 음성 분석 요청에 포함된 용의자 정보 및 음성 정보를 상기 음성 수집 시스템에 저장된 용의자 정보 및 음성 정보와 각각 비교하는 단계; 및
(g3) 유사도가 높은 순서로 상기 용의자 정보를 정렬하여 출력하는 단계
를 포함하는 음성 수집 시스템을 이용한 용의자 정보 신고 및 저장 방법.The method of claim 1,
(g) providing the suspect information through a pre-established voice collection system,
Step (g) is,
(g1) receiving a voice analysis request including suspect information and voice information;
(g2) comparing suspect information and voice information included in the voice analysis request with suspect information and voice information stored in the voice collection system, respectively; And
(g3) sorting and outputting the suspect information in the order of high similarity;
Suspect information reporting and storage method using a voice collection system comprising a. 이동 단말로부터 수신되는 용의자의 음성 정보를 수집하여 관리하는 시스템에 있어서,
상기 용의자의 인적 정보 및 음성 정보를 저장하는 데이터베이스 서버; 및
상기 이동 단말로부터 수신되는 통화 데이터로부터 상기 용의자의 음성 정보 및 인적 정보를 추출하고, 상기 추출된 음성 정보 및 인적 정보를 상기 데이터베이스 서버에 저장시키는 음성 수집 서버를 포함하며,
상기 데이터베이스 서버는,
상기 용의자의 인적 정보, 신고 사유, 신고 횟수를 저장하는 용의자 정보 저장부; 및
상기 용의자의 음성 특징이 포함된 음성 정보를 저장하는 음성 데이터 저장부를 포함하며,
상기 음성 수집 서버는,
상기 통화 데이터로부터 음성 정보를 추출하고, 상기 추출된 음성 정보를 상기 데이터베이스 서버에 저장된 음성 정보와 비교하여 수신된 음성 정보에 해당하는 용의자를 확인하는 화자 비교 모듈;
상기 화자 비교 모듈에 의해 확인된 용의자의 음성 정보 및 인적 정보를 이용하여, 상기 데이터베이스를 업데이트하여 관리하는 정보 관리 모듈;
상기 통화 데이터로부터 추출된 음성 정보를 비교하는 프로그램, 상기 데이터베이스에 저장된 인적 정보나 음성 정보를 관리하는 프로그램 및 상기 음성 수집 서버를 운용하기 위한 프로그램을 저장하는 프로그램 저장 모듈;
상기 음성 수집 서버에서 처리되는 데이터를 임시로 저장하는 메모리;
상기 음성 수집 서버의 관리자로부터 상기 용의자의 인적 정보를 입력받거나, 추출된 인적 정보나 상기 음성 수집 서버의 운영 상태를 제공하는 입출력부;
상기 이동 단말로부터 수신되는 통화 데이터를 수신하거나, 상기 음성 수집 서버에서 확인된 용의자의 인적 정보를 상기 이동 단말로 전달하는 네트워크 인터페이스 카드;
상기 데이터베이스 서버에 저장된 인적 정보나 음성 정보의 입출력을 관리하는 데이터베이스 관리 모듈; 및
상기 통화 데이터로부터 추출된 음성 정보를 상기 화자 비교 모듈로 제공하거나, 상기 화자 비교 모듈을 통해 확인된 용의자의 인적 정보를 상기 입출력부, 이동통신망 또는 상기 데이터베이스 서버로 제공하는 상기 음성 수집 서버의 전반적인 제어를 수행하는 제어 모듈을 포함하는 음성 수집 시스템.In the system for collecting and managing the voice information of the suspect received from the mobile terminal,
A database server for storing human and voice information of the suspect; And
And a voice collection server extracting voice information and human information of the suspect from call data received from the mobile terminal, and storing the extracted voice information and human information in the database server.
The database server,
A suspect information storage unit for storing the suspect's personal information, a reason for the report, and the number of times of the report; And
A voice data storage unit for storing voice information including voice features of the suspect;
The voice collection server,
A speaker comparison module that extracts voice information from the call data and compares the extracted voice information with voice information stored in the database server to identify a suspect corresponding to the received voice information;
An information management module for updating and managing the database by using voice information and human information of the suspect identified by the speaker comparison module;
A program storage module for storing a program for comparing voice information extracted from the call data, a program for managing human information or voice information stored in the database, and a program for operating the voice collection server;
A memory for temporarily storing data processed by the voice collection server;
An input / output unit configured to receive human information of the suspect from an administrator of the voice collection server or to provide extracted human information or an operating state of the voice collection server;
A network interface card for receiving call data received from the mobile terminal or transferring personal information of the suspect confirmed by the voice collection server to the mobile terminal;
A database management module managing input / output of human information or voice information stored in the database server; And
Overall control of the voice collection server providing voice information extracted from the call data to the speaker comparison module or providing the human information of the suspect confirmed through the speaker comparison module to the input / output unit, the mobile communication network, or the database server. Speech collection system comprising a control module for performing the. 삭제delete 삭제delete 삭제delete 제8항에 있어서,
상기 이동 단말은,
상기 용의자와의 음성 통화 내용을 녹음하는 녹음 모듈;
녹음된 음성 통화 내용을 상기 이동 단말의 내부에 저장시키거나 삭제하여 관리하는 통화 관리 모듈;
상기 녹음된 음성 통화 내용에서 상기 용의자의 음성 특징을 추출하는 특징 추출 모듈;
추출된 상기 음성 특징을 기준으로 상기 용의자와 신고자의 음성 구간을 분할하는 화자 분할 모듈;
상기 신고자로부터 상기 용의자의 인적 정보나 신고 사유를 입력받는 입출력 모듈; 및
통화 데이터-여기서, 상기 통화 데이터는 상기 음성 특징, 인적 정보, 신고 사유 중 하나 이상이 포함됨-를 이동통신망으로 송출하는 통신 모듈
을 포함하는 음성 수집 시스템.9. The method of claim 8,
The mobile terminal,
A recording module for recording a voice call with the suspect;
A call management module for storing or deleting recorded voice call contents in the mobile terminal;
A feature extraction module for extracting a voice feature of the suspect from the recorded voice call content;
A speaker division module for dividing a voice section of the suspect and the caller based on the extracted voice feature;
An input / output module for receiving the suspect's personal information or a reason for reporting from the reporter; And
A communication module for transmitting call data, wherein the call data includes one or more of the voice feature, personal information, and reason for reporting to a mobile communication network
Voice collection system comprising a.
KR1020110133629A 2011-12-13 2011-12-13 Method and system for managing speaker speech database using speaker recognition on mobile terminal KR101252995B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110133629A KR101252995B1 (en) 2011-12-13 2011-12-13 Method and system for managing speaker speech database using speaker recognition on mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110133629A KR101252995B1 (en) 2011-12-13 2011-12-13 Method and system for managing speaker speech database using speaker recognition on mobile terminal

Publications (1)

Publication Number Publication Date
KR101252995B1 true KR101252995B1 (en) 2013-04-15

Family

ID=48442808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110133629A KR101252995B1 (en) 2011-12-13 2011-12-13 Method and system for managing speaker speech database using speaker recognition on mobile terminal

Country Status (1)

Country Link
KR (1) KR101252995B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101618512B1 (en) 2015-05-06 2016-05-09 서울시립대학교 산학협력단 Gaussian mixture model based speaker recognition system and the selection method of additional training utterance

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060057698A (en) * 2004-11-24 2006-05-29 삼성전자주식회사 Apparatus and method for reporting emergency state during call service in portable wireless terminal
KR20100036893A (en) * 2008-09-30 2010-04-08 삼성전자주식회사 Speaker cognition device using voice signal analysis and method thereof
KR20100048583A (en) * 2008-10-31 2010-05-11 안주영 Cellular phone and method for recording voice and certified public authentic

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060057698A (en) * 2004-11-24 2006-05-29 삼성전자주식회사 Apparatus and method for reporting emergency state during call service in portable wireless terminal
KR20100036893A (en) * 2008-09-30 2010-04-08 삼성전자주식회사 Speaker cognition device using voice signal analysis and method thereof
KR20100048583A (en) * 2008-10-31 2010-05-11 안주영 Cellular phone and method for recording voice and certified public authentic

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101618512B1 (en) 2015-05-06 2016-05-09 서울시립대학교 산학협력단 Gaussian mixture model based speaker recognition system and the selection method of additional training utterance

Similar Documents

Publication Publication Date Title
US10182148B2 (en) Method and system for filtering undesirable incoming telephone calls
US8391445B2 (en) Caller identification using voice recognition
US10069966B2 (en) Multi-party conversation analyzer and logger
KR101881058B1 (en) Method, apparatus and system for voice verification
US8392196B2 (en) System and method for tracking persons of interest via voiceprint
WO2021184837A1 (en) Fraudulent call identification method and device, storage medium, and terminal
US9854439B2 (en) Device and method for authenticating a user of a voice user interface and selectively managing incoming communications
CN104159229B (en) Incoming call processing method and device
KR100811077B1 (en) Individual security system using of a mobile phone and method of the same
US10257350B2 (en) Playing back portions of a recorded conversation based on keywords
US9344565B1 (en) Systems and methods of interactive voice response speed control
WO2005120016A1 (en) Telephone apparatus
JP4769904B1 (en) Recording communication system, recording communication apparatus, recording communication method, and recording communication program
KR101252995B1 (en) Method and system for managing speaker speech database using speaker recognition on mobile terminal
JP6757095B1 (en) A storage medium that stores information processing systems, information processing methods, and information processing programs.
CN104348948B (en) Information processing method and electronic equipment
CN113518152B (en) Telephone number identification method and system and electronic equipment
JP2010212860A (en) Message transmission system
US20230254411A1 (en) Group calling system, group calling method, and program
KR20090078210A (en) Apparatus and method for recording conversation in a portable terminal
KR20100062172A (en) Mothod for analyzing voice and method for providing alarm message using analyzing voice and apparatus thereof
JP4412491B2 (en) Terminal control method, portable information terminal, and server device
JP5746920B2 (en) Server device and speaker confirmation system
KR100420773B1 (en) A system and method for providing voice information service during real time calling, using voice recognition
JP2021044665A (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160302

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170316

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180323

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190329

Year of fee payment: 7