KR102580407B1 - System and method for non-identification of voice signals - Google Patents
System and method for non-identification of voice signals Download PDFInfo
- Publication number
- KR102580407B1 KR102580407B1 KR1020210150584A KR20210150584A KR102580407B1 KR 102580407 B1 KR102580407 B1 KR 102580407B1 KR 1020210150584 A KR1020210150584 A KR 1020210150584A KR 20210150584 A KR20210150584 A KR 20210150584A KR 102580407 B1 KR102580407 B1 KR 102580407B1
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- data
- voice signal
- text
- keywords
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 18
- 238000013503 de-identification Methods 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims description 68
- 238000000605 extraction Methods 0.000 claims description 24
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 230000000873 masking effect Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
사용자의 음성에서 사용자 식별이 가능한 개인정보 등이 존재하는 특정부분을 비식별화 처리하여 개인정보의 외부유출을 방지할 수 있는 음성신호의 비식별화시스템이 제공된다. 음성신호 비식별화시스템은, 사용자단말기에서 전송된 음성을 변환한 데이터에서 사용자 개인정보에 대응되는 부분을 비식별화 처리하여 음성데이터를 생성하고, 이를 기계음의 음성신호로 변환하여 출력한다.A voice signal de-identification system is provided that can prevent external leakage of personal information by de-identifying specific parts of the user's voice that contain personal information that can identify the user. The voice signal de-identification system generates voice data by de-identifying the part corresponding to the user's personal information in the data converted from the voice transmitted from the user terminal, converts it into a voice signal of machine sound, and outputs it.
Description
본 발명은 음성신호 비식별화시스템에 관한 것으로, 특히 사용자로부터 입력된 음성신호에서 사용자 식별이 가능한 개인정보 등이 존재하는 특정부분을 비식별화 처리하여 개인정보의 외부유출을 방지할 수 있는 음성신호 비식별화시스템 및 그 방법에 관한 것이다. The present invention relates to a voice signal de-identification system, and in particular, a voice signal that can prevent external leakage of personal information by de-identifying a specific part of the voice signal input from the user that contains personal information that can identify the user. It relates to a signal de-identification system and method.
음성 비식별화는 음성 데이터로부터 개인을 특정해 낼 수 있는 민감한 개인정보를 보호하도록 하는 것이다. 이러한 음성 비식별화는 콜센터 등에서 고객이 음성으로 자신의 주민번호나 전화번호를 인증하는 경우에 사용되고 있다. Voice de-identification protects sensitive personal information that can identify individuals from voice data. This voice de-identification is used in call centers, etc. when customers authenticate their resident registration number or phone number by voice.
종래의 음성 비식별화 방식으로 암호 알고리즘에 음성을 입력하여 암호화된 음성을 얻어내는 방식을 많이 사용하였다. 이러한 방식은 암호 알고리즘이 노출될 경우, 암호화된 음성을 누구나 해독할 수 있는 문제가 있다. As a conventional voice de-identification method, a method of obtaining an encrypted voice by inputting the voice into an encryption algorithm was widely used. This method has the problem that if the encryption algorithm is exposed, anyone can decrypt the encrypted voice.
최근, 음성에 key를 입력값으로 하여 암호화된 음성을 얻어내고, 암호문에 key를 입력하여 원래 평문으로 복호화하는 암호화 방식이 주를 이루었다. 이러한 방식은 암호화 알고리즘이 노출되더라도 key 값을 알지 못하면 복호화할 수 없기 때문에 안전하다는 장점을 가지고 있다.Recently, the main encryption method has been to obtain encrypted voice by inputting a key to the voice, and inputting the key to the ciphertext to decrypt it into the original plaintext. This method has the advantage of being safe because even if the encryption algorithm is exposed, it cannot be decrypted without knowing the key value.
그러나 이러한 암호화 방식은 대칭키를 상호 전달하는 과정에 제3자의 네트워크 공격으로 인해 대칭키가 노출되었을 때 암호문이 쉽게 복호화되어 음성데이터가 유출됨으로써 사용자의 개인정보가 외부에 노출되는 문제가 있다.However, this encryption method has the problem that when the symmetric key is exposed due to a network attack by a third party during the process of mutually transferring the symmetric key, the ciphertext is easily decrypted and the voice data is leaked, exposing the user's personal information to the outside.
본 발명은 사용자로부터 입력된 음성신호에서 사용자 식별이 가능한 개인정보 등이 존재하는 특정부분을 비식별화 처리하여 개인정보의 외부유출을 방지할 수 있는 음성신호 비식별화시스템 및 그 방법을 제공하고자 하는 데 있다. The present invention aims to provide a voice signal de-identification system and method that can prevent external leakage of personal information by de-identifying a specific part of the voice signal input from the user that contains personal information that can identify the user. There is something to do.
본 발명의 실시예에 따른 음성신호 비식별화시스템은, 사용자단말기에서 전송된 음성을 변환하여 텍스트데이터를 생성하고, 상기 텍스트데이터에서 사용자 개인정보에 대응되는 부분을 비식별화 처리하여 음성데이터를 생성하는 음성/텍스트 변환모듈; 및 상기 음성데이터를 기계음의 음성신호로 변환하여 출력하는 텍스트/음성 변환모듈을 포함한다.The voice signal de-identification system according to an embodiment of the present invention converts the voice transmitted from the user terminal to generate text data, and de-identifies the part of the text data corresponding to the user's personal information to generate voice data. Generating voice/text conversion module; And a text/voice conversion module that converts the voice data into a voice signal of a machine sound and outputs it.
본 발명의 실시예에 따른 음성신호 비식별화방법은, 사용자단말기로부터 전송된 음성을 변환하여 텍스트데이터를 생성하는 단계; 상기 텍스트데이터의 다수의 키워드 중에서 사용자의 개인정보에 대응되는 하나 이상의 키워드를 추출하는 단계; 추출된 키워드를 특수문자로 마스킹하는 단계; 상기 텍스트데이터와 마스킹 된 키워드를 결합하여 음성데이터를 생성하는 단계; 및 상기 음성데이터를 기계음의 음성신호로 변환하는 단계를 포함한다. A voice signal de-identification method according to an embodiment of the present invention includes the steps of converting voice transmitted from a user terminal to generate text data; extracting one or more keywords corresponding to the user's personal information from among the plurality of keywords in the text data; Masking the extracted keywords with special characters; Generating voice data by combining the text data and masked keywords; and converting the voice data into a voice signal of a mechanical sound.
본 발명의 음성데이터 비식별화시스템은, 사용자의 음성에서 개인정보가 있는 부분을 특수문자로 마스킹하고, 이를 비프음의 비식별화 처리된 음성신호로 변환하여 출력함으로써, 음성신호가 외부로 유출되더라도 비식별화 처리된 부분에 의해 사용자의 개인정보가 유출되는 것을 방지할 수 있다. The voice data de-identification system of the present invention masks the part of the user's voice containing personal information with special characters, converts it into a de-identified voice signal of a beep sound, and outputs it, preventing the voice signal from leaking to the outside. Even if this happens, the user's personal information can be prevented from being leaked due to the de-identified part.
도 1은 본 발명의 실시예에 따른 음성신호 비식별화시스템을 나타내는 도면이다.
도 2는 도 1의 음성-텍스트 변환모듈의 구성을 나타내는 도면이다.
도 3은 도 1의 텍스트-음성 변환모듈의 구성을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 음성신호 비식별화방법을 나타내는 도면이다. Figure 1 is a diagram showing a voice signal de-identification system according to an embodiment of the present invention.
FIG. 2 is a diagram showing the configuration of the voice-to-text conversion module of FIG. 1.
FIG. 3 is a diagram showing the configuration of the text-to-speech conversion module of FIG. 1.
Figure 4 is a diagram showing a method for de-identifying a voice signal according to an embodiment of the present invention.
본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.The terms used in this specification and claims are general terms selected in consideration of their functions in various embodiments of the present invention. However, these terms may vary depending on the intention of technicians working in the field, legal or technical interpretation, and the emergence of new technologies. Additionally, some terms may be terms arbitrarily selected by the applicant. These terms may be interpreted as defined in this specification, and if there is no specific term definition, they may be interpreted based on the overall content of this specification and common technical knowledge in the relevant technical field.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.In addition, the same reference numerals or symbols in each drawing attached to this specification indicate parts or components that perform substantially the same function. For convenience of explanation and understanding, different embodiments will be described using the same reference numbers or symbols. That is, even if all components having the same reference number are shown in multiple drawings, the multiple drawings do not represent one embodiment.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 '제1', '제2' 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.Additionally, in this specification and claims, terms including ordinal numbers such as 'first', 'second', etc. may be used to distinguish between components. These ordinal numbers are used to distinguish identical or similar components from each other, and the meaning of the term should not be interpreted limitedly due to the use of these ordinal numbers. For example, components combined with these ordinal numbers should not be interpreted as having a limited order of use or arrangement based on the number. If necessary, each ordinal number may be used interchangeably.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특성, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특성들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, singular expressions include plural expressions, unless the context clearly dictates otherwise. In the present application, terms such as 'comprise' or 'constitute' are intended to designate the presence of characteristics, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are intended to indicate the presence of one or more other It should be understood that this does not preclude the presence or addition of features, numbers, steps, operations, components, parts or combinations thereof.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.Additionally, in an embodiment of the present invention, when a part is connected to another part, this includes not only direct connection but also indirect connection through other media. Additionally, the fact that a part includes a certain component does not mean that other components are excluded, but that it may further include other components, unless specifically stated to the contrary.
도 1은 본 발명의 실시예에 따른 음성신호 비식별화시스템을 나타내는 도면이고, 도 2는 도 1의 음성-텍스트 변환모듈의 구성을 나타내는 도면이고, 도 3은 도 1의 텍스트-음성 변환모듈의 구성을 나타내는 도면이다. Figure 1 is a diagram showing a voice signal de-identification system according to an embodiment of the present invention, Figure 2 is a diagram showing the configuration of the voice-to-text conversion module of Figure 1, and Figure 3 is a diagram showing the text-to-voice conversion module of Figure 1 This is a drawing showing the configuration.
도면을 참조하면, 본 실시예의 음성신호 비식별화시스템은 사용자단말기(200)로부터 전송된 사용자의 음성신호를 변환하고, 변환된 데이터의 일부분을 비식별화 처리하여 출력하는 음성처리장치(100)를 포함할 수 있다. 이러한 음성처리장치(100)는 비식별화 처리된 데이터를 외부장치, 예컨대 사용자 인증을 위한 인증서버(미도시)로 출력할 수 있다. Referring to the drawing, the voice signal de-identification system of this embodiment includes a voice processing device 100 that converts the user's voice signal transmitted from the user terminal 200, de-identifies and outputs a portion of the converted data. may include. This voice processing device 100 can output de-identified data to an external device, for example, an authentication server (not shown) for user authentication.
음성처리장치(100)는 사용자단말기(200)에서 전송된 아날로그 음성신호를 디지털 데이터로 변환하여 비식별화 처리를 수행하는 음성/텍스트 변환모듈(110) 및 상기 음성/텍스트 변환모듈(110)에서 출력된 비식별화 처리된 디지털 데이터를 소정의 기계음으로 이루어진 아날로그 음성신호로 변환하는 텍스트/음성 변환모듈(120)을 포함할 수 있다. The voice processing device 100 includes a voice/text conversion module 110 that converts the analog voice signal transmitted from the user terminal 200 into digital data and performs de-identification processing, and the voice/text conversion module 110 It may include a text/voice conversion module 120 that converts the output de-identified digital data into an analog voice signal consisting of a predetermined mechanical sound.
음성/텍스트 변환모듈(110)은 텍스트변환부(111), 키워드추출부(112), 마스킹처리부(113), 데이터합성부(114) 및 암호키생성부(115)를 포함할 수 있다. The voice/text conversion module 110 may include a text conversion unit 111, a keyword extraction unit 112, a masking processing unit 113, a data synthesis unit 114, and an encryption key generation unit 115.
텍스트변환부(111)는 아날로그 음성신호를 디지털 데이터로 변환하여 텍스트데이터를 생성할 수 있다. 텍스트데이터에는 음성신호로부터 변환된 텍스트 형태의 다수의 키워드가 포함될 수 있다. The text conversion unit 111 can generate text data by converting an analog voice signal into digital data. Text data may include a number of keywords in text format converted from voice signals.
키워드추출부(112)는 텍스트변환부(111)에서 생성된 텍스트데이터의 다수의 키워드 중에서 특정의미를 갖는 하나 이상의 키워드를 추출할 수 있다. 예컨대, 키워드추출부(112)는 텍스트데이터의 다수의 키워드 중에서 사용자의 이름, 나이, 주민번호, 주소, 연락처, 각종 인증번호 등과 같은 사용자 식별이 가능한 개인정보를 나타내는 하나 이상의 키워드를 추출할 수 있다. The keyword extraction unit 112 can extract one or more keywords with specific meaning from a plurality of keywords in the text data generated by the text conversion unit 111. For example, the keyword extraction unit 112 may extract one or more keywords representing personal information capable of identifying the user, such as the user's name, age, resident registration number, address, contact information, various authentication numbers, etc., from among the plurality of keywords in the text data. .
여기서, 키워드추출부(112)는 추출된 키워드의 위치, 즉 텍스트데이터 내 키워드가 배치된 위치 및 추출순서에 대한 추출정보를 생성할 수 있다. 이러한 추출정보는 후술될 데이터합성부(114)로 출력될 수 있다. Here, the keyword extraction unit 112 can generate extraction information about the location of the extracted keyword, that is, the location and extraction order of the keyword within the text data. This extracted information can be output to the data synthesis unit 114, which will be described later.
또한, 키워드추출부(112)는 다수의 개인정보 키워드가 저장되어 있는 데이터베이스(미도시)를 참조하여 텍스트데이터로부터 하나 이상의 키워드를 추출할 수 있다. 예컨대, 키워드추출부(112)는 텍스트데이터의 다수의 키워드와 데이터베이스에 저장된 다수의 개인정보 키워드 간 일치여부를 비교하고, 일치하는 경우에 텍스트데이터로부터 해당 키워드를 추출할 수 있다. Additionally, the keyword extraction unit 112 may extract one or more keywords from text data by referring to a database (not shown) in which a plurality of personal information keywords are stored. For example, the keyword extraction unit 112 may compare a match between a plurality of keywords in text data and a plurality of personal information keywords stored in a database, and if there is a match, extract the corresponding keyword from the text data.
마스킹처리부(113)는 키워드추출부(112)에서 추출된 하나 이상의 키워드를 소정의 특수문자, 예컨대 '*' 등의 특수문자로 마스킹하여 비식별화 처리할 수 있다. 마스킹처리부(113)는 추출된 키워드를 음절단위로 분리하고, 분리된 각 음절을 특수문자로 마스킹할 수 있다. The masking processing unit 113 may de-identify one or more keywords extracted from the keyword extraction unit 112 by masking them with special characters such as '*'. The masking processing unit 113 may separate the extracted keywords into syllable units and mask each separated syllable with a special character.
데이터합성부(114)는 텍스트변환부(111)에서 생성된 텍스트데이터와 마스킹처리부(113)에서 마스킹 처리된 하나 이상의 키워드를 조합하여 음성데이터를 생성할 수 있다. 이러한 음성데이터는 하나의 문장 단위로 생성되어 출력될 수 있다.The data synthesis unit 114 can generate voice data by combining the text data generated by the text conversion unit 111 and one or more keywords masked by the masking processing unit 113. Such voice data can be generated and output as a single sentence unit.
또한, 데이터합성부(114)는 키워드추출부(112)에서 전송된 추출정보에 기초하여 마스킹 처리된 키워드를 텍스트데이터의 해당 위치에 결합하여 음성데이터를 생성할 수 있다. 이에, 음성데이터는 텍스트데이터의 특정 부분, 즉 사용자를 식별할 수 있는 개인정보가 있는 부분이 마스킹 처리됨으로써, 외부 해킹공격 등에 의해 음성데이터가 노출되더라도 사용자의 개인정보가 유출되는 것을 방지할 수 있다. Additionally, the data synthesis unit 114 may generate voice data by combining masked keywords with the corresponding positions of the text data based on the extracted information transmitted from the keyword extraction unit 112. Accordingly, for voice data, a specific part of the text data, that is, a part containing personal information that can identify the user, is masked, thereby preventing the user's personal information from being leaked even if the voice data is exposed due to an external hacking attack, etc. .
암호키생성부(115)는 키워드추출부(112)에서 추출된 하나 이상의 키워드와 이에 대한 추출정보, 즉 키워드 추출위치 또는 추출순서 등의 정보를 암호화하여 하나 이상의 암호키를 생성할 수 있다. 생성된 암호키는 후술될 텍스트/음성 변환모듈(120)에서 생성되는 음성신호와 함께 외부장치로 출력될 수 있다. The encryption key generation unit 115 may generate one or more encryption keys by encrypting one or more keywords extracted from the keyword extraction unit 112 and extracted information about them, that is, information such as keyword extraction location or extraction order. The generated encryption key can be output to an external device along with the voice signal generated by the text/voice conversion module 120, which will be described later.
텍스트/음성 변환모듈(120)은 음성/텍스트 변환모듈(110)에서 생성된 음성데이터를 변환하여 음성신호를 생성할 수 있다. 텍스트/음성 변환모듈(120)에서 생성된 음성신호는 전술된 비식별화 처리된 음성데이터에 의해 특정부분이 외부에서 인식할 수 없는 비식별화 처리된 음성신호일 수 있다. 텍스트/음성 변환모듈(120)은 변환제어부(121), 제1음성변환부(122), 제2음성변환부(123) 및 신호합성부(124)를 포함할 수 있다. The text/voice conversion module 120 can convert the voice data generated by the voice/text conversion module 110 to generate a voice signal. The voice signal generated by the text/voice conversion module 120 may be a de-identified voice signal in which specific parts cannot be recognized from the outside due to the de-identified voice data described above. The text/voice conversion module 120 may include a conversion control unit 121, a first voice conversion unit 122, a second voice conversion unit 123, and a signal synthesis unit 124.
변환제어부(121)는 음성데이터를 키워드가 배치된 구간과 특수문자가 배치된 구간으로 분할하고, 분할된 각 구간의 데이터를 제1음성변환부(122)와 제2음성변환부(123) 각각으로 출력할 수 있다. The conversion control unit 121 divides the voice data into a section where keywords are placed and a section where special characters are placed, and sends the data of each divided section to the first voice conversion unit 122 and the second voice conversion unit 123, respectively. It can be output as .
앞서 설명한 바와 같이, 음성데이터는 하나 이상의 키워드 및 특수문자가 포함된 하나의 문장 단위로 생성될 수 있다. 이에, 변환제어부(121)는 하나의 문장을 구성하는 음성데이터에서 키워드 구간의 데이터와 특수문자 구간의 데이터를 분할하여 출력할 수 있다. As described above, voice data can be generated as a single sentence unit containing one or more keywords and special characters. Accordingly, the conversion control unit 121 can divide the data in the keyword section and the data in the special character section from the voice data constituting one sentence and output them.
제1음성변환부(122)는 변환제어부(121)에서 출력된 음성데이터의 제1구간, 즉 키워드 구간의 데이터를 제1음성신호로 변환할 수 있다. 제1음성신호는 소정의 음폭, 예컨대 사람의 목소리와 유사한 음폭을 갖는 기계음일 수 있다. The first voice conversion unit 122 can convert the first section of the voice data output from the conversion control unit 121, that is, the data of the keyword section, into a first voice signal. The first voice signal may be a mechanical sound having a predetermined sound width, for example, a sound width similar to that of a human voice.
제2음성변환부(123)는 변환제어부(121)에서 출력된 음성데이터의 제2구간, 즉 특수문자 구간의 데이터를 제2음성신호로 변환할 수 있다. 제2음성신호는 특정 음폭, 예컨대 비프(beep)음과 같은 기계음일 수 있다. The second voice conversion unit 123 can convert the second section of the voice data output from the conversion control unit 121, that is, the data of the special character section, into a second voice signal. The second voice signal may be a mechanical sound with a specific sound amplitude, for example, a beep sound.
신호합성부(124)는 제1음성변환부(122)에 의해 변환된 제1음성신호와 제2음성변환부(123)에 의해 변환된 제2음성신호를 합성하여 특정부분이 비프음으로 처리된 음성신호를 생성할 수 있다. The signal synthesis unit 124 synthesizes the first voice signal converted by the first voice conversion unit 122 and the second voice signal converted by the second voice conversion unit 123 and processes a specific part as a beep sound. A voice signal can be generated.
음성신호는 전술된 음성/텍스트 변환모듈(110)의 암호키생성부(115)에서 생성된 하나 이상의 암호키와 함께 외부장치로 출력될 수 있다. The voice signal may be output to an external device along with one or more encryption keys generated in the encryption key generation unit 115 of the voice/text conversion module 110 described above.
이와 같이, 본 실시예의 음성처리장치(100)는 사용자단말기(200)에서 전송되는 음성에서 사용자의 개인정보가 있는 부분을 외부에 의해 식별되지 않도록 변환하여 음성신호를 생성하여 출력할 수 있다. 이에, 외부 해킹 등에 의해 음성처리장치(100)에서 출력되는 음성신호가 외부로 유출되더라도 상기 음성신호의 비식별화 처리된 부분에 의해 사용자의 개인정보가 유출되는 것을 방지할 수 있다. In this way, the voice processing device 100 of this embodiment can convert the part containing the user's personal information in the voice transmitted from the user terminal 200 so that it cannot be identified by the outside, and generate and output a voice signal. Accordingly, even if the voice signal output from the voice processing device 100 is leaked to the outside due to external hacking, etc., the user's personal information can be prevented from being leaked due to the de-identified portion of the voice signal.
또한, 본 실시예의 음성처리장치(100)는 비식별화 처리된 음성신호와 함께 사용자의 개인정보로부터 생성된 암호키를 외부장치로 출력하여 음성신호와 암호키를 이용한 사용자 인증이 진행되도록 할 수 있다. In addition, the voice processing device 100 of this embodiment can output the de-identified voice signal and the encryption key generated from the user's personal information to an external device to enable user authentication using the voice signal and encryption key. there is.
도 4는 본 발명의 실시예에 따른 음성신호 비식별화방법을 나타내는 도면이다. Figure 4 is a diagram showing a method for de-identifying a voice signal according to an embodiment of the present invention.
사용자단말기(200)로부터 사용자 음성으로 이루어진 음성신호가 음성처리장치(100)로 전송될 수 있다. A voice signal consisting of the user's voice may be transmitted from the user terminal 200 to the voice processing device 100.
이에, 음성처리장치(100)의 음성/텍스트 변환모듈(110)은 텍스트변환부(111)를 통해 음성신호를 디지털 데이터로 변환하여 텍스트데이터를 생성할 수 있다(S10). 이러한 텍스트데이터에는 다수의 키워드가 포함될 수 있다.Accordingly, the voice/text conversion module 110 of the voice processing device 100 can generate text data by converting the voice signal into digital data through the text conversion unit 111 (S10). Such text data may include multiple keywords.
다음으로, 음성/텍스트 변환모듈(110)의 키워드추출부(112)는 텍스트데이터의 다수의 키워드 중에서 사용자의 식별이 가능한 특정 의미를 갖는 개인정보를 나타내는 하나 이상의 키워드를 추출할 수 있다(S20). Next, the keyword extraction unit 112 of the voice/text conversion module 110 can extract one or more keywords representing personal information with a specific meaning that can identify the user from among the plurality of keywords in the text data (S20). .
이때, 키워드추출부(112)는 다수의 개인정보 키워드가 저장된 데이터베이스를 참조하여 텍스트데이터에서 하나 이상의 키워드를 추출할 수 있다. 이와 함께, 키워드추출부(112)는 추출되는 키워드의 위치 및 추출순서에 대한 추출정보를 생성할 수 있다. At this time, the keyword extraction unit 112 may extract one or more keywords from text data by referring to a database in which a plurality of personal information keywords are stored. In addition, the keyword extraction unit 112 can generate extraction information about the location and extraction order of the keywords to be extracted.
계속해서, 마스킹처리부(113)는 추출된 하나 이상의 키워드를 특수문자를 이용하여 마스킹할 수 있다(S30). 마스킹처리부(113)는 키워드를 음절 단위로 분리하고, 분리된 각 음절을 특수문자, 예컨대 '*'으로 마스킹할 수 있다. Subsequently, the masking processing unit 113 may mask one or more extracted keywords using special characters (S30). The masking processing unit 113 may separate the keywords into syllables and mask each separated syllable with a special character, for example, '*'.
또한, 암호키생성부(115)는 추출된 하나 이상의 키워드와 이에 대한 추출정보를 암호화하여 하나 이상의 암호키를 생성할 수 있다(S35). 암호키는 후술될 텍스트/음성 변환모듈(120)에 의해 생성되는 음성신호와 함께 외부장치로 출력될 수 있다. Additionally, the encryption key generator 115 may generate one or more encryption keys by encrypting one or more extracted keywords and the extracted information about them (S35). The encryption key can be output to an external device along with a voice signal generated by the text/voice conversion module 120, which will be described later.
다음으로, 데이터합성부(114)는 텍스트데이터와 이로부터 추출되어 마스킹 처리된 하나 이상의 키워드를 조합하여 음성데이터를 생성할 수 있다(S40).Next, the data synthesis unit 114 can generate voice data by combining text data and one or more masked keywords extracted from the text data (S40).
이때, 데이터합성부(114)는 키워드추출부(112)에서 출력되는 추출정보에 기초하여 마스킹 된 키워드를 텍스트데이터 내 해당 위치에 결합하여 음성데이터를 생성할 수 있다. 이에, 음성데이터는 특정부분, 즉 사용자 개인정보가 나타나있는 부분이 마스킹 된 키워드에 의해 비식별화 처리될 수 있다. At this time, the data synthesis unit 114 may generate voice data by combining the masked keywords with the corresponding positions in the text data based on the extracted information output from the keyword extraction unit 112. Accordingly, voice data can be de-identified using a keyword in which a specific part, that is, a part containing the user's personal information, is masked.
음성/텍스트 변환모듈(110)에서 생성된 음성데이터, 즉 비식별화 처리된 음성데이터는 텍스트/음성 변환모듈(120)로 출력될 수 있다. 텍스트/음성 변환모듈(120)은 음성데이터를 기계음 형태의 아날로그 음성신호로 변환할 수 있다. Voice data generated by the voice/text conversion module 110, that is, de-identified voice data, may be output to the text/voice conversion module 120. The text/voice conversion module 120 can convert voice data into an analog voice signal in the form of a mechanical sound.
먼저, 텍스트/음성 변환모듈(120)의 변환제어부(121)는 음성데이터를 키워드 구간과 특수문자 구간으로 분할할 수 있다. 그리고, 키워드 구간의 데이터는 제1음성변환부(122)에 의해 제1음성신호로 변환되고, 특수문자 구간의 데이터는 제2음성변환부(123)에 의해 제2음성신호로 변환될 수 있다(S50). First, the conversion control unit 121 of the text/voice conversion module 120 can divide the voice data into a keyword section and a special character section. In addition, the data in the keyword section can be converted into a first voice signal by the first voice conversion unit 122, and the data in the special character section can be converted into a second voice signal by the second voice conversion unit 123. (S50).
예컨대, 음성데이터는 하나 이상의 키워드 및 특수문자가 조합된 문장 단위로 생성될 수 있다. 이에, 변환제어부(121)는 문장을 구성하는 음성데이터에서 하나 이상의 키워드로 이루어진 키워드 구간과 하나 이상의 특수문자로 이루어진 특수문자 구간을 분할할 수 있다. For example, voice data may be generated as a sentence unit combining one or more keywords and special characters. Accordingly, the conversion control unit 121 can divide the voice data constituting the sentence into a keyword section consisting of one or more keywords and a special character section consisting of one or more special characters.
이어, 제1음성변환부(122)는 변환제어부(121)에서 출력된 키워드 구간의 데이터를 제1음성신호로 변환할 수 있다. 제1음성신호는 사람의 목소리와 유사한 음폭을 갖는 기계음일 수 있다. Next, the first voice conversion unit 122 can convert the data of the keyword section output from the conversion control unit 121 into a first voice signal. The first voice signal may be a mechanical sound with a sound width similar to that of a human voice.
또한, 제2음성변환부(123)는 변환제어부(121)에서 출력된 특수문자 구간의 데이터를 제2음성신호로 변환할 수 있다. 제2음성신호는 비프음과 같은 기계음일 수 있다. Additionally, the second voice conversion unit 123 can convert the data of the special character section output from the conversion control unit 121 into a second voice signal. The second voice signal may be a mechanical sound such as a beep sound.
계속해서, 신호합성부(124)는 제1음성변환부(122)에 의해 변환된 제1음성신호와 제2음성변환부(123)에 의해 변환된 제2음성신호를 합성하여 음성신호를 생성할 수 있다(S60). Subsequently, the signal synthesis unit 124 synthesizes the first voice signal converted by the first voice conversion unit 122 and the second voice signal converted by the second voice conversion unit 123 to generate a voice signal. You can do it (S60).
여기서, 텍스트/음성 변환모듈(120)로 입력되는 음성데이터가 특정부분이 비식별화 처리된 데이터이므로, 이로부터 변환되어 생성된 음성신호 역시 특정부분, 즉 사용자 개인정보가 있는 부분이 비식별화 처리된 신호일 수 있다. Here, since the voice data input to the text/voice conversion module 120 is data in which a specific part has been de-identified, the voice signal converted and generated therefrom is also de-identified in a specific part, that is, the part containing the user's personal information. It may be a processed signal.
이에, 외부의 해킹 등에 의해 음성처리장치(100)에서 음성데이터 또는 음성신호가 유출되더라도, 상기 음성데이터 또는 음성신호의 특정부분의 비식별화 처리로 인해 사용자의 개인정보가 외부로 유출되는 것을 방지할 수 있다. Accordingly, even if voice data or voice signals are leaked from the voice processing device 100 due to external hacking, etc., the user's personal information is prevented from being leaked to the outside due to de-identification of a specific part of the voice data or voice signals. can do.
다음으로, 음성처리장치(100)는 텍스트/음성 변환모듈(120)에서 생성된 음성신호, 즉 비식별화 처리된 음성신호와 음성/텍스트 변환모듈(110)에서 생성된 하나 이상의 암호키를 외부장치, 예컨대 사용자 인증서버로 전송할 수 있다(S70).Next, the voice processing device 100 converts the voice signal generated by the text/voice conversion module 120, that is, the de-identified voice signal, and one or more encryption keys generated by the voice/text conversion module 110 into an external device. It can be transmitted to a device, for example, a user authentication server (S70).
상술한 바와 같이, 본 실시예에 따른 음성신호 비식별화방법은 사용자의 음성에서 개인정보가 있는 부분을 특수문자로 마스킹하고, 이를 비프음의 비식별화 처리된 음성신호로 변환하여 출력할 수 있다. 이에, 음성신호가 외부로 유출되더라도 비식별화 처리된 부분에 의해 사용자의 개인정보가 유출되는 것을 방지할 수 있다. As described above, the voice signal de-identification method according to this embodiment masks the part of the user's voice containing personal information with special characters, converts this into a de-identified voice signal of a beep sound, and outputs it. there is. Accordingly, even if the voice signal is leaked to the outside, the user's personal information can be prevented from being leaked due to the de-identified portion.
이상, 본 발명의 일 실시 예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.Above, an embodiment of the present invention has been described, but those skilled in the art can add, change, delete or add components without departing from the spirit of the present invention as set forth in the patent claims. The present invention may be modified and changed in various ways, and this will also be included within the scope of rights of the present invention.
또한, 전술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 하여 내려져야 할 것이다.In addition, the above-described terms are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.
100: 음성처리장치 110: 음성/텍스트 변환모듈
111: 텍스트변환부 112: 키워드추출부
113: 마스킹처리부 114: 데이터합성부
115: 암호키생성부 120: 텍스트/음성 변환모듈
121: 변환제어부 122: 제1음성변환부
123: 제2음성변환부 124: 신호합성부100: Voice processing device 110: Voice/text conversion module
111: Text conversion unit 112: Keyword extraction unit
113: Masking processing unit 114: Data synthesis unit
115: Encryption key generation unit 120: Text/voice conversion module
121: Conversion control unit 122: First voice conversion unit
123: Second voice conversion unit 124: Signal synthesis unit
Claims (10)
상기 음성데이터를 기계음의 음성신호로 변환하여 출력하는 텍스트/음성 변환모듈을 포함하되,
상기 텍스트/음성 변환모듈은,
상기 음성데이터를 키워드 구간과 특수문자 구간으로 분할하는 변환제어부;
상기 키워드 구간의 데이터를 제1음성신호로 변환하는 제1음성변환부;
상기 특수문자 구간의 데이터를 제2음성신호로 변환하는 제2음성변환부; 및
상기 제1음성신호와 상기 제2음성신호를 결합하여 상기 기계음의 음성신호를 생성하는 신호합성부를 포함하는 것을 특징으로 하는 음성신호 비식별화시스템.A voice/text conversion module that converts voice transmitted from the user terminal to generate text data, and generates voice data by de-identifying a portion of the text data corresponding to the user's personal information; and
It includes a text/voice conversion module that converts the voice data into a voice signal of a machine sound and outputs it,
The text/voice conversion module is,
a conversion control unit that divides the voice data into a keyword section and a special character section;
A first voice conversion unit that converts the data of the keyword section into a first voice signal;
a second voice conversion unit that converts the data of the special character section into a second voice signal; and
A voice signal de-identification system comprising a signal synthesis unit that combines the first voice signal and the second voice signal to generate a voice signal of the machine sound.
상기 음성/텍스트 변환모듈은,
상기 음성을 변환하여 다수의 키워드로 구성된 상기 텍스트데이터를 생성하는 텍스트변환부;
상기 텍스트데이터의 다수의 키워드 중에서 상기 개인정보에 대응되는 하나 이상의 키워드를 추출하는 키워드추출부;
추출된 키워드를 특수문자로 마스킹하는 마스킹처리부; 및
상기 텍스트데이터에 마스킹 처리된 키워드를 결합하여 상기 개인정보에 대응되는 부분이 비식별화 처리된 상기 음성데이터를 생성하는 데이터합성부를 포함하는 것을 특징으로 하는 음성신호 비식별화시스템.According to paragraph 1,
The voice/text conversion module is,
a text conversion unit that converts the voice to generate the text data consisting of a plurality of keywords;
a keyword extraction unit that extracts one or more keywords corresponding to the personal information from among the plurality of keywords in the text data;
A masking processing unit that masks extracted keywords with special characters; and
A voice signal de-identification system comprising a data synthesis unit that combines masked keywords with the text data to generate the voice data in which a portion corresponding to the personal information has been de-identified.
상기 키워드추출부는,
상기 추출된 키워드에 대한 추출정보를 생성하여 출력하고,
상기 데이터합성부는,
상기 추출정보에 기초하여 상기 추출된 키워드를 상기 텍스트데이터의 해당 위치에 결합하는 것을 특징으로 하는 음성신호 비식별화시스템.According to paragraph 2,
The keyword extraction unit,
Generate and output extraction information for the extracted keywords,
The data synthesis unit,
A voice signal de-identification system, characterized in that it combines the extracted keyword with the corresponding position of the text data based on the extracted information.
상기 추출된 키워드를 암호화하여 하나 이상의 암호키를 생성하는 암호키생성부를 더 포함하는 것을 특징으로 하는 음성신호 비식별화시스템.According to paragraph 2,
A voice signal de-identification system further comprising an encryption key generator that encrypts the extracted keywords to generate one or more encryption keys.
상기 제1음성신호는 사람 목소리와 유사한 음폭의 기계음이고, 상기 제2음성신호는 비프음의 기계음인 것을 특징으로 하는 음성신호 비식별화시스템.According to paragraph 1,
The first voice signal is a mechanical sound with a sound width similar to that of a human voice, and the second voice signal is a mechanical sound of a beep sound.
상기 텍스트데이터의 다수의 키워드 중에서 사용자의 개인정보에 대응되는 하나 이상의 키워드를 추출하는 단계;
추출된 키워드를 특수문자로 마스킹하는 단계;
상기 텍스트데이터와 마스킹 된 키워드를 결합하여 음성데이터를 생성하는 단계; 및
상기 음성데이터를 기계음의 음성신호로 변환하는 단계를 포함하되,
상기 음성신호로 변환하는 단계는,
상기 음성데이터를 키워드 구간과 특수문자 구간으로 분할하는 단계;
상기 키워드 구간의 데이터를 제1음성신호로 변환하고, 상기 특수문자 구간의 데이터를 제2음성신호로 변환하는 단계; 및
상기 제1음성신호와 상기 제2음성신호를 결합하는 단계를 포함하는 것을 특징으로 하는 음성신호 비식별화방법.Converting voice transmitted from the user terminal to generate text data;
extracting one or more keywords corresponding to the user's personal information from among the plurality of keywords in the text data;
Masking the extracted keywords with special characters;
Generating voice data by combining the text data and masked keywords; and
Converting the voice data into a voice signal of a mechanical sound,
The step of converting into a voice signal is,
Splitting the voice data into a keyword section and a special character section;
Converting data in the keyword section into a first voice signal and converting data in the special character section into a second voice signal; and
A voice signal de-identification method comprising the step of combining the first voice signal and the second voice signal.
상기 추출된 키워드에 대한 추출정보를 생성하는 단계를 더 포함하고,
상기 음성데이터를 생성하는 단계는,
상기 추출정보에 기초하여 상기 추출된 키워드를 상기 텍스트데이터의 해당 위치에 결합하는 단계인 것을 특징으로 하는 음성신호 비식별화방법.In clause 7,
Further comprising generating extraction information for the extracted keywords,
The step of generating the voice data is,
A voice signal de-identification method, characterized in that the step of combining the extracted keyword with the corresponding position of the text data based on the extracted information.
상기 제1음성신호는 사람 목소리와 유사한 음폭의 기계음이고, 상기 제2음성신호는 비프음의 기계음인 것을 특징으로 하는 음성신호 비식별화방법.
In clause 7,
A voice signal de-identification method, wherein the first voice signal is a mechanical sound with a sound width similar to that of a human voice, and the second voice signal is a mechanical sound of a beep sound.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2021/016286 WO2022108217A1 (en) | 2020-11-18 | 2021-11-10 | System and method for de-identification of voice signal |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20200154783 | 2020-11-18 | ||
| KR1020200154783 | 2020-11-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220068153A KR20220068153A (en) | 2022-05-25 |
| KR102580407B1 true KR102580407B1 (en) | 2023-09-20 |
Family
ID=81800403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210150584A KR102580407B1 (en) | 2020-11-18 | 2021-11-04 | System and method for non-identification of voice signals |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102580407B1 (en) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101140576B1 (en) * | 2010-07-01 | 2012-05-02 | 고려대학교 산학협력단 | Multi?user search system and method of encrypted document |
| KR101946333B1 (en) * | 2017-01-13 | 2019-02-11 | 아이알링크 주식회사 | System of de-identification of personal data of call center |
-
2021
- 2021-11-04 KR KR1020210150584A patent/KR102580407B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220068153A (en) | 2022-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180212752A1 (en) | End-To-End Secure Operations from a Natural Language Expression | |
| US10541982B1 (en) | Techniques for protecting electronic data | |
| US20210157943A1 (en) | Terminal device and computer program | |
| CN106610995A (en) | Ciphertext index creating method, device and system | |
| CN111010266B (en) | Message encryption and decryption, reading and writing method and device, computer equipment and storage medium | |
| CN106789058B (en) | Proxy re-encryption algorithm description and analysis method | |
| CN102456108A (en) | Encryption method for ibus pinyin code table | |
| KR102580407B1 (en) | System and method for non-identification of voice signals | |
| US6301361B1 (en) | Encoding and decoding information using randomization with an alphabet of high dimensionality | |
| JP6950162B2 (en) | Cryptographic systems, cryptographic methods, cryptographic devices and cryptographic programs | |
| WO2022108217A1 (en) | System and method for de-identification of voice signal | |
| Lee et al. | Three Orders Mixture Algorithm of Audio Steganography Combining Cryptography. | |
| Mansour et al. | Cryptography protocol: A novel multilingual adaptive encryption technique with phonetic based ciphering | |
| US20230070408A1 (en) | Secure communication device equipped with quantum encryption chip based quantum random number and method of providing secure communication service using the same | |
| US20090125994A1 (en) | Communication between a human user and a computer resistant to automated eavesdropping | |
| CN114036546A (en) | Identity verification method and device based on mobile phone number, computer equipment and medium | |
| US20100250602A1 (en) | Computer storage apparatus for multi-tiered data security | |
| JP2018014582A (en) | Data processing device, method, and program | |
| George et al. | Acoustic Eavesdropping: How AIs Can Steal Your Secrets by Listening to Your Typing | |
| US10552635B2 (en) | Encoding method, encoding device, decoding method and decoding device | |
| US20180048629A1 (en) | Expression and Method to Send and Receive Text Messages Encrypted For The Targeted Receiving User to Render Eavesdropping Useless. | |
| Popoola | Data Integrity Using Caesar Cipher and Residue Number System | |
| KR102417811B1 (en) | Document translation service server which provides document translation services with personal information protection function and the operating method thereof | |
| Sayed et al. | A switched chaotic encryption scheme using multi-mode generalized modified transition map | |
| US20100246817A1 (en) | System for data security using user selectable one-time pad |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |