WO2023153677A1 - 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템 - Google Patents

음성 처리 장치, 음성 복원 장치, 음성 처리 시스템 Download PDF

Info

Publication number
WO2023153677A1
WO2023153677A1 PCT/KR2023/001151 KR2023001151W WO2023153677A1 WO 2023153677 A1 WO2023153677 A1 WO 2023153677A1 KR 2023001151 W KR2023001151 W KR 2023001151W WO 2023153677 A1 WO2023153677 A1 WO 2023153677A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
hash
processing
redaction
voice data
Prior art date
Application number
PCT/KR2023/001151
Other languages
English (en)
French (fr)
Inventor
이석복
김기연
임재민
유현우
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220016316A external-priority patent/KR20230119942A/ko
Priority claimed from KR1020220020283A external-priority patent/KR20230123295A/ko
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Publication of WO2023153677A1 publication Critical patent/WO2023153677A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/08—Use of distortion metrics or a particular distance between probe pattern and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture

Definitions

  • It relates to a voice processing device, a voice restoration device, and a voice processing system.
  • the recorded contents may contain sensitive information of the interlocutor(s), such as name, phone number, address, credit card number or password. It may cause great social or economic damage.
  • the recently developed voiceprint recognition technology makes it possible to identify the speaker of the voice based on the recorded voice, making it impossible even if the other party wants to maintain anonymity.
  • recorded audio data can be easily counterfeited and tampered with. Therefore, when recorded audio data is presented as evidence in the process of collecting evidence in a civil or criminal action, the court must conduct a forensic test in advance to identify the authenticity of the recorded data before adopting it as evidence. however. Although these forensic tests require a lot of time, sometimes they do not accurately determine the originality of the data, raising many questions about the reliability of the evidence.
  • An object to be solved is to provide a voice processing device, a voice restoration device, and a voice processing system that simultaneously enable privacy protection and reliability verification of recorded voice.
  • a voice processing device In order to solve the above problems, a voice processing device, a voice restoration device, and a voice processing system are provided.
  • the voice processing device performs hash redaction processing on all or some segments of the voice data to obtain a hash redaction processing result, combines the hash redaction processing results to generate summary information, and among the voice data a processor for obtaining sensitive information processing voice data by combining hash redaction processing results for portions corresponding to sensitive information; and a storage unit for storing the summary information and the sensitive information processing voice data.
  • the processor may arbitrarily determine a voice conversion parameter and convert the voice data using the voice conversion parameter.
  • the processor may perform hash redaction processing on the voice conversion parameter to obtain a hash redaction result parameter, and generate parameter information using at least one of the voice conversion parameter and the hash redaction result parameter.
  • the processor may convert the voice using a double factor warping function.
  • the processor encodes the converted voice data into an Advanced Audio Coding (AAC) format, and performs hash redaction on a portion corresponding to the sensitive information among voice data encoded in the Advanced Audio Coding format. It is also possible to obtain the sensitive information processing voice data by combining.
  • AAC Advanced Audio Coding
  • the voice processing system converts the voice data by applying voice conversion parameters to the voice data, performs hash redaction processing on sensitive information of the converted voice data, obtains sensitive information processing voice data, and hashes the voice conversion parameters.
  • a recording terminal device that performs redaction processing to obtain a hash redaction result parameter, and obtains parameter information based on at least one of the voice conversion parameter and the hash redaction result parameter; and acquiring the parameter information, restoring a part corresponding to the voice conversion parameter among the sensitive information processing voice data using the voice conversion parameter, and restoring the part corresponding to the hash redaction result parameter as it is or beeping. It may include; a playback terminal device for restoring the sensitive information processing voice data by replacing and restoring the sound.
  • the voice restoration apparatus obtains sensitive information processing voice data obtained by hash redaction processing of sensitive information with respect to the voice data, and parameter information including at least one of a voice conversion parameter and a hash redaction result parameter.
  • the input unit further obtains summary information, wherein the summary information is obtained by performing hash redaction processing on all or some segments of the original voice data to obtain a hash redaction processing result, and combining the hash redaction acquisition results. You may.
  • the processor performs hash redaction processing on the sensitive information processing voice data to obtain a hash redaction processing result for verification, and performs verification of the voice data by comparing the hash redaction processing result for verification and summary information. You may.
  • voice processing device voice restoration device, and voice processing system, it is possible to obtain an effect of simultaneously enabling privacy protection and reliability verification for recorded voice.
  • the problem of leaking personal information of a talker can be solved by deleting or masking sensitive information in a recorded voice. do.
  • the quality of voice data can be maintained the same as or close to the original even after sensitive information is removed. can also be obtained
  • the original recorded voice data and the voice data obtained by unauthorized manipulation based on this are quickly and Since it can be easily distinguished, the reliability of voice data can be improved, and accordingly, an advantage of being able to block false statements based on manipulated recordings in advance can be obtained in the event of a dispute.
  • FIG. 1 is a block diagram of an embodiment of a voice processing apparatus.
  • FIG. 2 is a diagram for explaining an embodiment of segment separation.
  • 3 is a diagram for explaining an example of voice conversion and hash redaction processing.
  • FIG. 4 is a diagram for explaining an example of a process of removing sensitive information.
  • 5 is a diagram for explaining an example of an encoding process.
  • FIG. 6 is a block diagram of an embodiment of a voice restoration apparatus.
  • FIG. 7 is a diagram for explaining an example of an operation of a verification unit.
  • FIG. 8 is a diagram for explaining an example of an operation of a restoration unit.
  • FIG. 9 is a diagram for explaining another example of an operation of a restoration unit.
  • FIG. 10 is a diagram of one embodiment of a voice processing system.
  • FIG. 11 is a flowchart of an embodiment of a voice processing method.
  • FIG. 12 is a flow chart of one embodiment of a voice verification method.
  • FIG. 13 is a flowchart of an embodiment of a voice restoration method.
  • a term with an added 'unit' used below may be implemented in software and/or hardware, and depending on an embodiment, one 'unit' may be implemented as one physical or logical component, or a plurality of 'units' may be implemented as one physical or logical component. It is possible to implement one physical or logical component, or one 'unit' to implement a plurality of physical or logical components. When a part is said to be connected to another part throughout the specification, this may mean that a part and another part are physically connected to each other and/or electrically connected.
  • a part when a part includes another part, this means that it does not exclude another part other than the other part unless otherwise stated, and may further include another part according to the designer's choice. do.
  • Expressions such as the first to Nth are for distinguishing at least one part (s) from other part (s), and do not necessarily mean that they are sequential unless otherwise specified.
  • singular expressions may include plural expressions, unless there is a clear exception from the context.
  • FIG. 1 is a block diagram of an embodiment of a voice processing apparatus.
  • the voice processing device 100 may include a processor 200 provided for voice processing in one embodiment, and may further include a voice input unit 101 according to an embodiment. can Also, if necessary, the audio processing device 100 may further include at least one of an input unit 103, a communication unit 105, and a storage unit 107.
  • the voice input unit 101 is a voice processing device by receiving a sound wave (voice) uttered by at least one person or a sound wave generated from other surrounding objects and outputting an analog or digital electrical signal corresponding to the received sound wave. 100 may obtain acoustic data.
  • the sound data may include data on the uttered voice (hereinafter referred to as original voice data), and the original voice data may include a person who wants to record a voice by manipulating the voice processing device 100. It may include voice data according to utterance or voice data according to utterances of multiple people (hereinafter referred to as talkers), such as a user and a conversation partner.
  • original voice data data on the uttered voice
  • talkers voice data according to utterances of multiple people
  • the voice input unit 101 may be implemented using a condenser microphone, a piezoelectric element microphone, and/or a microelectromechanical systems (MEMS) microphone.
  • a condenser microphone a piezoelectric element microphone
  • MEMS microelectromechanical systems
  • the input unit 103 receives various data, instructions, or programs (which can be referred to as apps, applications, or software) for operation of the voice processing device 100, and stores the input data, instructions, or programs, etc. ) or the processor 200.
  • the input unit 103 receives raw voice data recorded from another device (for example, an external memory device, etc.), or receives a command from a user or the like on whether or not to start recording or process the recorded voice.
  • another device for example, an external memory device, etc.
  • information on whether the corresponding segment belongs to the user or at least one of the other conversationalists may be received from the user and transmitted to the segment separation unit 220 of the processor 200. there is.
  • the input unit 103 inputs sensitive information (e.g., the name, phone number, address, resident registration number, social security number, passport number, password, contents corresponding to business secrets, personal It is also possible to receive a selection of a conversation partner (user or conversation partner) for at least a part corresponding to information related to a person's private life or other information that is not known to the outside world.
  • the input unit 103 can receive a command such as deletion or transmission of recorded original voice data or sensitive information processing voice data (p-audio).
  • the input unit 103 may be integrally provided with the audio processing device 100 or may be physically separated, depending on the embodiment.
  • the input unit 103 may include, for example, a keyboard, a mouse, a tablet, a touch screen, a touch pad, a track ball, a track pad, a scanner device, an image capturing module, an ultrasonic scanner, a motion detection sensor, a vibration sensor, a light receiving sensor, and a pressure-sensitive sensor. , a proximity sensor and/or a data input/output terminal, but is not limited thereto.
  • the communication unit 105 is connected to a wired or wireless communication network and communicates with another external device to transfer data, instructions, programs, etc. to the other device, or to receive them from the other device and store the received data. It may be transmitted to the unit 107 or the processor 200.
  • other devices may include, for example, the voice restoration device 300 or the signature processing device 500, but are not limited thereto.
  • the communication unit 105 transmits at least one piece of summary information (p-digest) obtained by the processor 200 to the signature processing device 500, and from the signature processing device 500 to at least one piece of summary information (p-digest).
  • Receives at least one piece of signed digest information (signed p-digest, hereafter referred to as sp-digest) corresponding to the digest information (p-digest) transmits it to the storage unit 107, and stores the digest in the storage unit 107.
  • sp-digest signed digest information
  • the communication unit 105 may include at least one of the sensitive information processing voice data (p-audio) from which sensitive information is removed by the processor 200 and at least one parameter information (p-profile) obtained by the processor 200. It is also possible to pass one to the voice restoration device 300.
  • the communication unit 105 may receive original voice data recorded through another information processing device from another external information processing device (eg, a smart phone or a recorder).
  • the communication unit 105 may be implemented using, for example, at least one communication module (for example, a LAN card, a short-distance communication module, or a mobile communication module).
  • the storage unit 107 temporarily or non-temporarily stores at least one data, instruction or program (algorithm) necessary for the operation of the voice processing device 100 or data obtained during or as a result of the processing of the processor 200. can be saved
  • the storage unit 107 stores at least one of parameter information (p-profile) obtained by the processor 200, sensitive information processing voice data (p-audio), and summary information (p-digest), as will be described later. It can be stored and transmitted to the communication unit 105 or the processor 200 as needed. Also, the storage unit 107 may store signed summary information (sp-digest).
  • p-profile parameter information obtained by the processor 200
  • p-audio sensitive information processing voice data
  • p-digest summary information
  • sp-digest signed summary information
  • the program stored in the storage unit 107 may be directly written or modified by a designer such as a programmer and then stored in the storage unit 107, or may be stored in the storage unit 107 from another physical recording medium (such as an external memory device or a compact disk (CD)). It may be received and stored, and/or obtained or updated through an electronic software distribution network accessible through a wired/wireless communication network.
  • a designer such as a programmer
  • another physical recording medium such as an external memory device or a compact disk (CD)
  • the storage unit 107 may include at least one of a main memory device and an auxiliary memory device.
  • the main memory device may be implemented using a semiconductor storage medium such as ROM and/or RAM, and the auxiliary memory device may be a flash memory device (solid state drive (SSD)). ), etc.), SD (Secure Digital) card, hard disk drive (HDD, Hard Disc Drive), compact disk, DVD (DVD) or laser disk, etc. can be implemented based on a device that can store data permanently or semi-permanently. .
  • the audio processing device 100 may further include an output unit (not shown).
  • the output unit for example, visually or aurally outputs at least one of sensitive information processing voice data (p-audio), parameter information (p-profile), and summary information (p-digest) to the outside to inform the user, etc. can provide
  • the output unit may provide a user interface (for example, a graphical user interface (GUI)) for receiving information such as selection of a speaker corresponding to a segment, selection of sensitive information, or start of recording to a user. . Accordingly, the user or the conversation partner can check the recorded voice and select sensitive information or a speaker of a specific segment within the recorded voice.
  • GUI graphical user interface
  • the output unit may include, for example, a display, a speaker device, a printer device, an image output terminal, an audio output terminal, and/or a data input/output terminal.
  • the processor 200 may perform voice conversion, process sensitive information within raw voice data, and/or data necessary for voice verification (e.g., summary information (p-digest)). Alternatively, an operation of generating parameter information (p-profile, etc.) may be performed.
  • the processor 200 may control the overall operation of the voice processing device 100 or may further perform necessary arithmetic processing for this purpose.
  • the processor 200 may include, for example, a central processing unit (CPU), a graphic processing unit (GPU), a micro controller unit (MCU), an application processor (AP), ), an electronic control unit (ECU), and/or at least one electronic device capable of performing other various calculation and control processes. These devices may be implemented using, for example, one or more semiconductor chips, circuits, or related components alone or in combination.
  • the processor 200 in one embodiment, includes a pre-processor 210, a segment separator 220, a parameter acquisition unit 230, a parameter information acquisition unit 231, a voice It may include a conversion unit 240, a hash redaction processing unit 250, a sensitive information processing unit 255, a summary information generation unit 260, and an encoding unit 270. At least one of these may be omitted by a user or designer's arbitrary selection. Also, at least two of them may be logically separated or physically separated according to embodiments.
  • the processor 200 may be implemented using one physical device or may be implemented by combining multiple devices (eg, a central processing unit and a graphic processing unit).
  • the pre-processing unit 210 may receive and obtain an electrical signal (ie, original audio data) output from the audio input unit 101 and perform pre-processing on it.
  • the pre-processor 210 may convert an analog signal into a digital signal based on a predetermined sampling rate, may perform Fourier transform (or fast Fourier transform) on the analog signal or digital signal, and /or noise of the original speech data may be removed.
  • Fourier transform or fast Fourier transform
  • the frame may be a slice obtained by dividing the original voice data into equal time units (eg, 20 to 30 microseconds).
  • a frame may be used as a minimum unit in voice processing of the processor 100 .
  • the processor 100 may independently or dependently perform conversion or sensitive information processing for each frame.
  • FIG. 2 is a diagram for explaining an embodiment of segment separation.
  • the segment separation unit 220 at least the original audio data input through the audio input unit 101 or the audio data transmitted from the pre-processor 210 (hereinafter, the audio data 90 to be processed) It may be divided into segments (S1 to S4, which may further include silent segments (b1 to b3) according to embodiments.
  • each segment (S1 to S4) is a specific person (user or conversation partner). ) may include a part corresponding to the utterance of
  • a conversation is configured by sequentially listing each utterance of a plurality of talkers, and each segment S1 to S4 may be divided and acquired in correspondence to each talker's respective utterance.
  • Each of the segments S1 to S4 may include a plurality of sentence(s) or word(s) according to circumstances.
  • the segment separator 220 when the target audio data 90 is input, takes portions in which audio is generally connected and has almost no sound, and areas in which there is no or very little audio. At least one segment S1 to S4 may be separately obtained by dividing based on (b1 to b3).
  • the segment separator 220 when the target voice data 90 is input, if voice exists in the data over time (for example, when the data value is greater than a predefined value), it is Acquire and determine that it corresponds to a specific segment (for example, the first segment (S1)), and if a zone without voice (for example, b1) appears, the previously acquired data is determined to be a specific segment (for example, the first segment (for example, the first segment (S1)). By determining S1)), at least one segment S1 to S4 may be acquired.
  • parts b1 to b3 without voice may also be treated as separate segments (silent segments).
  • At least one segment S1 to S4 may be simultaneously or sequentially transmitted to the voice converter 240, and the silent segments b1 to b3 may also be transmitted to the voice converter 240 according to an embodiment.
  • information for example, the number of segments, etc.
  • information on at least one segment may be transmitted to the parameter acquisition unit 230 to obtain parameters.
  • the segment separator 220 sets parts having a size smaller than a predetermined standard through analysis of the target audio data 90 as silent zones b1 to b3 in which no or very little audio is present. Then, at least one segment is acquired by dividing the voice data 90 to be processed based on the silent area.
  • the segment separator 220 may not set the silent section as a silent section if the length of the silent section is equal to or less than a preset standard.
  • FIG. 3 is a diagram for explaining an example of a voice conversion and hash redaction process
  • FIG. 4 is a diagram for explaining an example of a process for removing sensitive information.
  • the parameter acquisition unit 230 determines at least one parameter to be used by the voice conversion unit 240, for example, at least one pair of voice conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t)), and converts them into voice conversion It can be delivered to unit 240.
  • the voice conversion parameters ( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t) are values used for sufficient conversion of voice, and may have values within a logically or experimentally determined range.
  • the audio conversion parameters ( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t) may have values larger than the separation frequency ⁇ _s described later and smaller than pi ( ⁇ ).
  • the parameter acquisition unit 230 may determine voice conversion parameters ( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t) for each segment (S1 to St, where t is a natural number greater than or equal to 1). In this case, all of the voice conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t)) corresponding to the respective segments (S1 to St) may be the same, all may be different, or some may be the same and others may be the same. may be different. Also, each voice conversion parameter (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t)) corresponding to each segment (S1 to St) may be randomly determined.
  • the other devices 300 and 500 use the voice conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t) applied to each segment S1 to s3 ) is impossible to determine. If necessary, the parameter acquiring unit 230 may further determine voice conversion parameters (not shown) for the silent segments b1 to b3.
  • the parameter information obtaining unit 231 may generate original parameter information (o-profile) by collecting voice conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t)) corresponding to each segment (S1 to St). .
  • the parameter information acquisition unit 231 receives voice conversion parameters ⁇ 1 and ⁇ 1 corresponding to the first segment S1 from the parameter acquisition unit 230, and sequentially converts voice conversion parameters corresponding to other segments. After acquiring and receiving the speech conversion parameters ( ⁇ t, ⁇ t) corresponding to the last segment (St), they are converted into speech conversion parameter(s) (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t)) for the segments (S1 to S1).
  • the original parameter information (o-profile) may be generated by sequentially according to the order of St) or by combining them in another predefined order. According to embodiments, an operation of generating original parameter information (o-profile) may be omitted.
  • the parameter information acquisition unit 231 obtains at least one hash redaction result parameter (H( ⁇ k), H( ⁇ k) for at least one specific speech conversion parameter ( ⁇ k, ⁇ k) from the hash redaction processing unit 250. )), and at least one hash redaction result parameter (H( ⁇ k), H( ⁇ k)) may be further used to generate parameter information (p-profile).
  • the parameter information acquisition unit 231 receives at least one voice conversion parameter (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t) corresponding to each segment (S1 to St) from the parameter acquisition unit 230. ) is received, and the parameter information is obtained by combining all or part of the speech conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t)) and at least one hash redaction result parameter (H( ⁇ k), H( ⁇ k)) (p-profile) can be obtained.
  • the parameter information acquisition unit 231 arranges hash redaction result parameters H( ⁇ k) and H( ⁇ k) in a part corresponding to one or more specific segments Sk, and other segments S1 etc.) by arranging the voice conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t)) acquired by the parameter acquisition unit 230 and combining them sequentially or according to a predefined parameter information (p-profile) can also be done.
  • the part corresponding to the specific segment (Sk) to which the hash redaction result parameters (H( ⁇ k), H( ⁇ k)) are to be arranged can be later restored by the voice restoration apparatus 300 for the corresponding segment (S1 to Sk). (permission) may be determined depending on whether or not.
  • the parameter information acquisition unit 231 determines the corresponding voice conversion parameters ⁇ L, ⁇ L) is acquired, and for the converted voice data 241-M corresponding to the segment in which the original voice cannot be restored, the corresponding hash redaction result parameters (H( ⁇ M), H( ⁇ M)) are obtained, and then , they may be combined according to the order of segments to generate parameter information (p-profile).
  • a segment for which original voice restoration is possible or permitted may include a portion corresponding to the user's own speech
  • a segment for which original voice restoration is impossible or permitted may include a portion corresponding to another person's speech.
  • the parameter information (p-profile) may be transmitted to the communication unit 105 or the storage unit 107.
  • the voice conversion unit 240 may perform voice conversion for each segment S1 to St based on the selected voice conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t)).
  • the voice conversion unit 240 applies each voice conversion parameter (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t)) corresponding to each segment (S1 to St) to obtain a voice for each segment (S1 to St). You can also do conversions.
  • voice conversion may be performed by applying voice conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t)) to each frame of the at least one segment (S1 to St), and the same segment (S1 to St)
  • voice conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t))
  • the same voice conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t)) are applied to frames belonging to, and different voice conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ 1, ⁇ 1) to frames belonging to different segments (S1 to St) are applied. ( ⁇ t, ⁇ t)).
  • the voice conversion unit 240 may perform voice conversion for each of the segments S1 to St using a warping function.
  • the voice conversion unit 240 may also perform voice conversion using a dual-factor warping function as described in Equation 1 below.
  • Equation 1 ⁇ is a normalized frequency having a value between 0 and ⁇ , and ⁇ _s is a separation frequency to which warping is not applied.
  • ⁇ and ⁇ are the above-described voice conversion parameters, respectively, and a breakpoint in Equation 1 (a point where the slope is changed) is determined according to their combination.
  • each segment S1 to St is also performed differently.
  • voice conversion results corresponding to each of the segments S1 to St that is, converted voice data 241-1 to 241-t can be obtained.
  • the converted voice data 241-1 to 241-t may be delivered to the hash redaction processing unit 250 and the sensitive information processing unit 255, respectively, and may be delivered to the encoding unit 270 depending on the embodiment. there is.
  • the encoding unit 270 may perform encoding processing on the converted voice data 241-1 to 241-t and then transfer the encoding result to the hash redaction processing unit 250.
  • the hash redaction processor 250 converts the converted voice data 241-1 to 241-t corresponding to each segment S1 to St as shown in FIG. 3 to protect personal information and prevent forgery/falsification. ), and hash redaction processing results corresponding to the respective segments (S1 to St), that is, hash redaction-processed voice data (251-1 to 251-t) can be obtained.
  • Hash redaction processing may be performed for each frame of the converted voice data 241-1 to 241-t.
  • each frame of the converted voice data 241-1 to 241-t may include a frame corresponding to each frame of the segments S1 to St.
  • Hash redaction processing may be performed based on Equation 2 below.
  • h_j is the hash redaction processing result 251-1 to 251-k corresponding to the j th segment (Sj, j is a natural number of 1 or greater) or the converted voice data 241-j
  • H() Is a predetermined hash function, and may be arbitrarily determined by a user, a designer, or the processor 100 or predefined.
  • H( ⁇ _k) is the result obtained by applying one speech conversion parameter ( ⁇ _k) to the hash function (ie, one hash redaction result parameter), and H( ⁇ _k) is another speech conversion parameter ( ⁇ _k). ) to the hash function (ie, another hash redaction result parameter).
  • This hash redaction process has the following characteristics. Specifically, in the hash redaction process, all or part of the contents of the voice-converted frame are deleted to prevent identification of the speaker (ie, for voice privacy) by voiceprint recognition technology or the like, but information for voice verification (summary) Information (p-digest) can be obtained sufficiently as will be described later.
  • the acoustic characteristics of the original voice data (for example, the voice conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t))) are also hashed for verification (H( ⁇ _k), H( ⁇ _k)).
  • the hash redaction processing makes it easy to determine whether the voice data 90 to be processed is tampered with because a different result is output when an acoustic or textual change is applied to a frame.
  • it is generally almost impossible to find other voice content or voice pitch that obtains the same hash redaction processing result as the hash redaction processing result of a specific voice content or voice pitch it is also difficult to recover sensitive information removed by redaction processing.
  • the hash redaction processing unit 250 applies a hash function to all or some of the speech conversion parameters (( ⁇ 1, ⁇ 1) to ( ⁇ t, ⁇ t)) corresponding to each segment, and obtains a corresponding hash redaction result Parameters H( ⁇ 1), H( ⁇ 1) to (H( ⁇ t), H( ⁇ t)) may be further acquired.
  • the hash redaction-processed voice data 251-1 to 251-t corresponding to each of the segments S1 to St may be transmitted to the summary information generator 260, and sensitive information It may be further passed to the processing unit 255 .
  • the hash redaction result parameters (H( ⁇ 1), H( ⁇ 1) to (H( ⁇ t), H ( ⁇ t)) may be transmitted to the parameter information acquisition unit 231.
  • the parameter information acquisition unit 231 selects a part requiring voice modulation.
  • parameter information may be generated by inserting hash redaction result parameters (H( ⁇ k), H( ⁇ k)) corresponding to the part requiring voice modulation.
  • the sensitive information processing unit 255 converts all or part (V1, V2) of the voice data (241-L, 241-M) converted by the voice conversion unit 240 into the converted voice data (241-L, 241-M). M) is replaced with hash redaction-processed voice data (251-L, 251-M) to perform processing on the voice data (241-L, 241-M), and as a result, each Sensitive information processing voice data 255-L, 255-M, and p-audio corresponding to the converted voice data 241-L and 241-M may be obtained.
  • all or part (V1, V2) of the converted voice data (241-L, 241-M) may include sensitive information, and depending on the embodiment, all parts of the sensitive information (eg, passport) number) or only a part of sensitive information (for example, a part of a passport number).
  • the converted voice data 241 -L and 241 -M may be voice data encoded by the encoding unit 270 .
  • Sensitive information processing voice data (255-L, 255-M, p-audio) may be transmitted to the communication unit 105 or storage unit 107.
  • the summary information generator 260 converts hash redaction processed voice data 251-1 to 251 corresponding to all or some of the segments S1 to St from the hash redaction processor 250. -t) may be received, and summary information (p-digest) may be generated by combining all or some of the received voice data 251-1 to 251-t subjected to hash redaction processing.
  • the summary information generation unit 260 sequentially combines the hash redaction-processed voice data 251-1 to 251-t corresponding to the original segments S1 to St to generate summary information p-digest. It is also possible to create
  • the generated summary information (p-digest) may be transmitted to the communication unit 105 or the storage unit 107. If necessary, the summary information (p-digest) is transmitted to the signature processing device 500, and the signature processing device 500 performs signature processing on the summary information (p-digest) to sign the signed summary information (sp-digest). ) can be created.
  • the summary information (p-digest) or the signed summary information (sp-digest) may be used for verification of the voice recovery apparatus 300 later.
  • 5 is a diagram for explaining an example of an encoding process.
  • the encoding unit 270 may encode the converted voice data 241-1 to 241-t in a specific format.
  • the specific format may include a predetermined audio file format (eg, WAV, AIFF, FLAC, TTA, MP3, AAC, or ATRAC).
  • the encoding unit 270 may encode the converted voice data 241-1 to 241-t as shown in FIG. 5 in an Advanced Audio Coding (AAC) format.
  • AAC Advanced Audio Coding
  • the advanced audio encoding format enables the speech data 90 to be processed and the data subject to hash redaction to maintain the sameness with each other even when the speech data 90 to be processed is loss-compressed, and in a different format (e.g., MP3) not only provides better performance in both recording quality and storage efficiency by providing higher quality sound and smaller size than MP3, but also has high versatility, preventing invalidation of such summary information (p-digest) and increasing capacity. to be able to solve
  • Voice data encoded in the advanced audio encoding format is delivered to the hash redaction processing unit 250, and the hash redaction processing unit 250 may perform hash redaction processing based on the received encoded voice data. .
  • the hash redaction processing unit 250 obtains encoded voice data, performs decoding on it, obtains voice data before encoding, performs hash redaction on the voice data before encoding, ,
  • the hash redaction processed voice data 251-1 to 251-t is obtained, and the hash redaction processed voice data 251-1 to 251-t is sent to the sensitive information processor 255 or the summary information generator ( 260) and/or the hash redaction result parameters (H( ⁇ 1), H( ⁇ 1) to (H( ⁇ t), H( ⁇ t)) may be transmitted to the parameter information acquisition unit 231.
  • advanced audio coding compatible encoding may be further performed on sensitive information processing voice data (p-audio) for audio transmission. This is provided to deal with secondary production losses.
  • a modified discrete cosine transform (MDCT) method of an advanced audio coding method may be used. Specifically, a window for two consecutive frames is compressed into one modified discrete cosine transform block, and the window is moved to the next block by overlapping frames.
  • MDCT discrete cosine transform
  • the modified discrete cosine transform block is stored separately in the advanced audio encoding file, post-processing can be performed on a specific block (frame for hash redaction processing) while maintaining other blocks as they are. Accordingly, sensitive information processing voice data (p-audio) in an advanced audio coding format can be generated, and the original compressed modified discrete cosine transform block is maintained except for important frames.
  • important frames include frames subjected to hash redaction processing.
  • the size of the above-described sensitive information processing audio data (p-audio) may be slightly larger than the size of the stored version (o audio).
  • the above-described encoding can have a high compression ratio. Since the converted part may be included in the audio file through lossless compression, when sensitive information processing voice data (p-audio) is given, the voice restoration apparatus 300 restores the same frame based on the summary information (p-profile). You can do it.
  • FIG. 6 is a block diagram of an embodiment of a voice restoration apparatus.
  • the voice restoration device 300 receives sensitive information processing voice data (p-audio) generated by the voice processing device 100, and further receives parameter information (p-profile) as needed, and/or summary information. (p-digest) or signed summary information (sp-digest) is received, and based on this, voice can be restored or voice verification can be performed.
  • the voice restoration apparatus 300 in one embodiment, includes a processor 400 and, if necessary, further includes at least one of an input unit 303 and a storage unit 307. can do.
  • the input unit 303 may receive commands, data, and/or programs necessary for the operation of the voice restoration device 300 and transmit them to the storage unit 307 or the processor 400 .
  • the input unit 303 may be connected to an external memory device to receive sensitive information processing voice data (p-audio), parameter information (p-profile), and/or summary information (p-digest) therefrom. there is.
  • the input unit 303 is connected to a wired and/or wireless communication network to receive commands, data, and/or programs from the voice processing device 100, the signature processing device 500, and/or other devices.
  • the input unit 303 may include a card reader, a disk reader, a data input/output terminal, a wired communication module, or a wireless communication module.
  • the storage unit 307 may temporarily or non-temporarily store commands, data, and/or programs related to the operation of the voice restoration device 300 .
  • the data may include sensitive information processing voice data (p-audio), parameter information (p-profile), and/or summary information (p-digest).
  • the voice restoration apparatus 300 may further include an output unit (not shown) capable of outputting the verification result of the processor 400 or the restored voice to the outside or transferring the same to another information processing device. .
  • each of the input unit 303, storage unit 307, and output unit can be implemented in the same or partially modified form as the input unit 103, storage unit 107, and output unit of the above-described audio processing device 100, , A specific and detailed description will be omitted below.
  • the processor 400 may perform verification on sensitive information processing voice data (p-audio) and/or restore voice based on the sensitive information processing voice data (p-audio). Like the processor 200 described above, the processor 400 may be implemented using a central processing unit or a graphic processing unit.
  • the processor 400 may include a decoding unit 401, a verification unit 410 and a sound source restoration unit 420.
  • the decoding unit 401 may perform decoding on the audio data encoded by the encoding unit 270 .
  • the decoding unit 401 may decode data encoded in the advanced audio coding format and deliver the decoding result to the verifying unit 410 .
  • the decoding unit 401 may be omitted if unnecessary, such as when the audio processing device 100 does not perform an encoding process.
  • FIG. 7 is a diagram for explaining an example of an operation of a verification unit.
  • the verification unit 410 receives the sensitive information processing voice data (p-audio) acquired by the input unit 303 or receives the voice data decoded by the decoding unit 401, and based on this, the authenticity of the voice data (originality) can be verified.
  • the verification unit 410 may include a hash redaction processing unit 411 and a comparison unit 413 .
  • the hash redaction processor 411 obtains at least one segment Sm of the received voice data, performs hash redaction processing on the at least one segment Sm, A hash redaction processing result 411a for verification may be obtained.
  • the hash redaction processing performed by the hash redaction processing unit 411 of the voice restoration device 300 may be the same as the hash redaction processing performed by the hash redaction processing unit 250 of the voice processing device 100. there is.
  • the at least one segment Sm includes, for example, parts U11 and U12 corresponding to speech, and according to an embodiment, a part converted by the speech conversion unit 240 of the speech processing apparatus 100. possible) and a part R1 corresponding to the voice subjected to hash redaction processing by the hash redaction processing unit 250 of the voice processing apparatus 100.
  • the parts U11 and U12 corresponding to the voice may be parts that have not been subjected to hash redaction processing.
  • hash redaction processing is performed on the parts (U11 and U12) corresponding to the voice, and the part (R1) corresponding to the redaction-processed voice is maintained as it is without separate conversion, and thus hash redaction for verification A processing result 411a is obtained.
  • the comparator 413 obtains summary information (p-digest) or signed summary information (sp-digest) corresponding to at least one segment (Sm), and converts the hash redaction processing result (411a) for verification into summary information. (p-digest) or against signed digest information (sp-digest).
  • the summary information (p-digest) corresponding to at least one segment (Sm) the summary information generator 260 of the voice processing device 100 combines the results of hash redaction processing for the same segment (Sm). It may be summary information (p-digest) obtained by doing so.
  • hash redaction processing is performed in the same way for the same segment (Sm), if there is no forgery or falsification, the hash redaction recorded in the summary information (p-digest) or the signed summary information (sp-digest)
  • the processing result and the hash redaction processing result 411a for verification are inevitably the same.
  • the comparison unit 413 compares the received verification hash redaction processing result 411a with digest information (p-digest) or signed digest information (sp-digest), and if the two are identical, the corresponding segment It is determined that the audio data of (Sm) is not forged or modulated, and conversely, if the two are different from each other, it can be determined that the audio data of the corresponding segment (Sm) is forged or modulated. Accordingly, whether or not the voice is genuine can be determined more easily.
  • FIG. 8 is a diagram for explaining an example of an operation of a restoration unit
  • FIG. 9 is a diagram for explaining another example of an operation of a restoration unit.
  • the restoration unit 420 restores the sensitive information processing voice data (p-audio) so that the user of the voice restoration apparatus 300 can use the original voice data or the converted voice data 241-1 to 241-t. can make you listen
  • the restoration unit 420 converts the converted voice data (ie, the voice data converted by the voice conversion unit 240) corresponding to a specific segment (Sm) according to whether the original voice data can be restored. It may be restored as voice data and/or the converted voice may be restored as it is.
  • the restoration unit 420 may perform restoration using parameter information (p-profile).
  • voice conversion parameters ⁇ M and ⁇ M corresponding to the corresponding segment Sm can be obtained from the parameter information p-profile.
  • the restoration unit 420 acquires the voice conversion parameters ( ⁇ M, ⁇ M), as shown in FIG. 8, using the obtained voice conversion parameters ( ⁇ M, ⁇ M), the converted voice parts (U11, U12) Inverse transformation is performed to obtain original speech data (421a).
  • the restoration unit 420 restores the hash redaction-processed audio portion R1 by maintaining it as it is or replacing it with a separately prepared sound (eg, a beep sound) (422a). Accordingly, while the voice data of the voice restoration apparatus 300 is substantially the same as the original voice data, sensitive information is masked and restored.
  • a separately prepared sound eg, a beep sound
  • the restoration unit 420 cannot acquire voice conversion parameters ( ⁇ N, ⁇ N) for voice restoration.
  • the restoration unit 420 cannot restore the original speech using the hash redaction result parameters H( ⁇ N) and H( ⁇ N), as shown in FIG. 9 , the converted speech parts U21 and U22 ) is restored as it is (421b). Accordingly, the voice data restored by the restoration unit 420 retains the voice converted by the above-described voice conversion unit 240 as it is.
  • the restoration unit 420 may restore the hash redaction-processed audio portion R1 as it is or replace it with a separately prepared sound (eg, a beep sound) as described above (422a). Accordingly, the voice data restored by the restoration unit 420 is the same as the converted voice data 241-1 to 241-t, so that the anonymity of the conversation partner or conversation partner can be maintained, and at the same time, sensitive information can be masked and protected. be able to
  • the signature processing device 500 receives the summary information (p_digest) generated by the voice processing device 100 in real time, periodically or at any time, and performs signature processing on the summary information (p_digest). It may be performed to obtain signed summary information (sp-digest), and store it in a storage unit (not shown) of the signature processing device 500.
  • the signature processing may be performed using, for example, a unique hash previously verified through reliable timestamping. Since the signed summary information (sp-digest) is stored in the signature processing device 500, unauthorized forgery, alteration, or invalidation of the summary information (p-direct) can be more robustly prevented.
  • the signature processing device 500 automatically transmits the signed summary information (sp-digest) to at least one of the voice processing device 100 and the voice restoration device 300 according to predefined settings or at the request of a user or decompressor. can When the voice processing device 100 receives the signed summary information (sp-digest), it replaces the existing summary information (p-digest) and stores it, and the voice recovery device 300 uses the signed summary information ( sp-digest) to perform verification.
  • the processor 200 of the above-described voice processing device 100 may further perform a signature processing operation instead of the signature processing device 500 . That is, when the summary information (p-digest) is obtained, the voice processing apparatus 100 acquires the signed summary information (sp-digest) by performing a signature process based on a predetermined signature algorithm, and stores it ( 109) and/or transmitted to the voice restoration device 300.
  • the above-described speech processing apparatus 100 is specifically designed to perform one or more processes such as the above-described preprocessing, segment separation, speech conversion, encoding, parameter information acquisition, hashing redaction processing, sensitive information processing, and/or summary information acquisition. It may be implemented using a devised device, and the above-described voice restoration device 300 may be implemented using a device specially designed to perform one or more processes such as the above-described decoding, verification process, and sound source restoration, and signature processing. Apparatus 500 uses a specially designed device to perform reception of digest information (p-digest), signature processing on digest information (p-digest), and delivery of signed digest information (sp-digest). may be implemented.
  • At least one of the voice processing device 100, the voice restoration device 300, and the signature processing device 500 may be implemented by using one or more information processing devices alone or in combination.
  • one or more information processing devices are, for example, smart phones, tablet PCs, desktop computers, laptop computers, server hardware devices, smart watches, smart bands, microphones, voice recorders, video recording devices (camcorders) or action cam, etc.), head mounted display (HMD: Head Mounted Display) device, handheld game console, navigation device, personal digital assistant (PDA: Personal Digital Assistant), smart key, remote control device (remote control), digital television, set-top Boxes, digital media player devices, media streaming devices, DVD playback devices, compact disc (CD) playback devices, sound playback devices (such as artificial intelligence speakers), home appliances (such as refrigerators, fans, air conditioners, or washing machines), manned /Unmanned mobile vehicles (such as cars, buses or two-wheeled vehicles, mobile robots, wireless model vehicles or robot vacuum cleaners), manned/unmanned aerial vehicles (such as
  • FIG. 10 is a diagram of one embodiment of a voice processing system.
  • the voice processing system 1 performs signature processing on the recording terminal device 10 capable of performing voice recording and summary information (p-digest), and the signature processing It may include a server device 20 capable of storing summary information (sp-digest), receive sensitive information processing voice data (p-audio), etc. as needed, and use a playback terminal device 30 to reproduce it. can include more.
  • the recording terminal device 10, the server device 20, and the playback terminal device 30 may transmit data, programs, or commands through the wired or wireless communication network 2 either in one direction or in both directions.
  • the wireless communication network 2 may include at least one of a short-range communication network and a mobile communication network.
  • the short-range communication network is built with WIFI, WIFI direct, or Bluetooth.
  • the mobile communication network may be built based on a communication standard of 3GPP series (LTE or NR, etc.), 3GPP2 series, or IEEE series.
  • the recording terminal device 10 and the playback terminal device 30 may include, for example, an information processing device such as a smart phone or a desktop computer, and the server device 20 may include server hardware. devices and the like.
  • At least one of the recording terminal device 10 and the server device 20 performs at least one operation among a plurality of operations that can be performed by the processor 200 of the voice processing device 100 described above. may have been set up to do so.
  • the recording terminal device 10 performs the operations and functions of the voice processing device 100 as described above to perform voice conversion on the voice data to be processed to obtain converted voice data; Hash redaction processing is performed on the original voice data or converted voice data, summary information (p-digest) obtained as a result of the hash redaction processing is generated, and original parameter information (o-profile) or parameter information (p- profile) and/or acquire sensitive information processing voice data (p-audio).
  • the server device 20 may perform the operation of the signature processing device 500 described above. That is, the server device 20 performs signature processing on the summary information (p-digest), and then sends the signed summary information (sp-digest) to the recording terminal device 10 and the playback terminal device 30. At least one may be transmitted.
  • the recording terminal device 10 acquires original voice data through recording, further obtains converted voice data as necessary, and transmits the converted voice data to the server device 20, and the server device 20 Recorded voice data or converted voice data is received from the recording terminal device 10, hashing redaction processing on the recorded voice data or converted voice data, acquisition of summary information (p-digest), or signature Performs acquisition of summarized information (sp-digest), generation of original parameter information (o-profile) or parameter information (p-profile), and/or acquisition of sensitive information processing voice data (p-audio) And, at least one of parameter information (o-profile, p-profile), summary information (p-digest, sp-digest) and sensitive information processing voice data (p-audio) obtained in the process is recorded by a terminal device ( 10) or the playback terminal device 20.
  • the recording terminal device 10 may be arranged not to perform an operation performed by the server device 20 among the operations of the processor 200 described above.
  • the playback terminal device 30 may perform the operation of the voice restoration device 300 described above.
  • the playback terminal device 30 receives the sensitive information processing audio data (p-audio) from at least one of the recording terminal device 10 and the server device 20, and the sensitive information processing audio data (p-audio).
  • data that is, at least one of parameter information (o-profile, p-profile) and summary information (p-digest, sp-digest)) required for audio
  • p-audio the sensitive information processing audio data
  • data that is, at least one of parameter information (o-profile, p-profile) and summary information (p-digest, sp-digest)
  • It can restore and reproduce sensitive information processing voice data (p-audio), and output it visually or audibly.
  • FIG. 11 is a flowchart of an embodiment of a voice processing method.
  • original voice data may be first obtained for voice processing (400). Acquisition of original voice data may be performed through a voice input unit such as a microphone provided in the voice processing device, or may be received and performed from a device other than the voice processing device (eg, a smartphone or a recorder). there is.
  • a voice input unit such as a microphone provided in the voice processing device
  • a device other than the voice processing device eg, a smartphone or a recorder
  • pre-processing may be further performed on the original voice data, if necessary (402).
  • Preprocessing may include digital conversion of an analog signal, Fourier transform, fast Fourier transform, or data noise removal.
  • Fourier transform or fast Fourier transform may be performed in units of frames.
  • a frame may be used as a minimum unit in voice processing.
  • Voice data may be separated into at least one segment (404).
  • Each segment may be divided and acquired in correspondence with each speaker's utterance, and may include, for example, a plurality of sentence(s) or word(s).
  • At least one segment may be obtained by dividing, for example, a part (s) in which voice is present or voice is continuously connected to some extent based on a region (silent segment) in which voice is not present at all or extremely absent (silent segment). may be
  • voice conversion for each segment may be performed using at least one voice conversion parameter (406).
  • the voice conversion parameter is a value used for voice conversion and may be determined logically or experimentally.
  • the voice conversion parameter may be larger than the above-mentioned separation frequency but smaller than pi ( ⁇ ).
  • a voice conversion parameter may be determined for each segment, and in this case, the voice conversion parameter may be randomly determined for each segment. If necessary, it is also possible to further determine a voice conversion parameter (not shown) for the silent segment.
  • the voice conversion described above may be performed by applying voice conversion parameters to each frame of a segment.
  • the same voice conversion parameters are applied to frames of the same segment, and different voice conversion parameters are applied to frames belonging to different segments. and may be performed.
  • voice conversion may be performed using a warping function, for example, based on Equation 1 described above.
  • hash redaction processing and/or sensitive information processing may be performed before or after the voice conversion process 406 (408).
  • Hash redaction processing may be performed on each piece of audio data of each segment, or may be performed on each frame of audio data. Hash redaction can also be performed using Equation 2 above.
  • Sensitive information processing may be performed by replacing all or part of converted or unconverted voice data with data subjected to hash redaction while corresponding to all or part of the corresponding voice data.
  • all or part of the converted or unconverted voice data may include sensitive information.
  • Sensitive information for example, the name of the interlocutor(s), phone number, address, resident registration number, social security number, passport number, password, information corresponding to business secrets or personal privacy, etc. May contain information that you do not wish to include. As sensitive information is replaced with hash-redacted data, sensitive information processing voice data can finally be obtained.
  • parameter information and summary information may be obtained (410). Acquisition of parameter information may also be performed separately from acquisition of summary information immediately after the above-described parameter acquisition process 406 .
  • Parameter information may be generated and obtained using at least one voice conversion parameter, and may be generated and obtained by further using at least one hash redaction result parameter as needed.
  • a hash redaction result parameter is arranged instead of a corresponding voice conversion parameter in a portion corresponding to a segment where original voice restoration is not allowed or impossible (for example, a conversation counterpart's voice portion), and the original voice is restored. It may be generated by arranging a corresponding voice conversion parameter in a part (eg, a user's voice part) corresponding to the permitted or possible segment.
  • Summary information may be obtained by combining hash redaction processing results corresponding to each segment, that is, hash redaction processed voice data.
  • summary information may be generated by sequentially arranging hash redaction processing results corresponding to the order of segments.
  • Sensitive information processing voice data, parameter information, and/or summary information may be stored and may be transferred to another device (a server device or a voice restoration device) according to an embodiment (412).
  • the summary information may be transmitted to the signature processing device, if necessary, and the signature processing device obtains the signed summary information by performing signature processing on the summary information and delivers it to at least one of the voice processing device and the voice restoration device.
  • FIG. 12 is a flow chart of one embodiment of a voice verification method.
  • the voice verification method may be performed by a voice verification device such as a smart phone or a desktop computer.
  • the voice verification device first transfers sensitive information processing voice data and summary information to a voice processing device or another device (eg, a server device) that stores these information. etc. (420).
  • sensitive information-processed voice data may include voice data from which sensitive information has been removed according to voice conversion and hash redaction processing on a portion corresponding to sensitive information.
  • the summary information may include information obtained by combining results of hash redaction processing on all or part of voice data, and may be signed according to embodiments.
  • the sensitive information processing voice data is encoded in a predetermined format (eg, an advanced audio coding (AAC) format)
  • a predetermined format eg, an advanced audio coding (AAC) format
  • decoding of the sensitive information processing voice data may be performed (422). If sensitive information processing voice data is not pre-encoded, the decoding process may be omitted.
  • Hash redaction processing is performed on all or part of sensitive information processing voice data (424).
  • the hash redaction processing applied to the sensitive information processing voice data may be the same as the hash redaction processing performed by the voice processing device on the voice data.
  • hash redaction processing is not performed on the portion of sensitive information-processed voice data previously subjected to hash redaction processing by the voice processing device, and hash redaction processing is not performed on the other portions (ie, the portion corresponding to the voice). Action processing may be performed.
  • a result of hash redaction processing on sensitive information processing voice data ie, a result of hash redaction processing for verification
  • summary information or signed summary information
  • hash redaction processing is performed in the same way for the same segment as when generating summary information for at least one segment of voice data, hash of summary information or signed summary information in the absence of forgery and falsification.
  • the result of redaction processing and the result of hash redaction processing for verification are inevitably the same.
  • the voice verification device can determine the authenticity of voice data recorded or stored in the voice processing device and transmitted from the voice processing device.
  • FIG. 13 is a flowchart of an embodiment of a voice restoration method.
  • the voice restoration apparatus may first receive sensitive information processing voice data and parameter information from the voice processing apparatus for voice restoration (440).
  • Sensitive information processing voice data is voice data on which hash redaction processing has been performed on sensitive information as described above, and parameter information is data obtained by combining parameters used for each segment, and includes voice conversion parameters and hash redaction. It may be prepared by including at least one of the result parameters.
  • a speech conversion parameter is provided for a segment in which original speech can be restored, and a hash redaction result parameter is provided for a segment in which original speech cannot be restored.
  • the sensitive information processing voice data is pre-encoded in a predetermined format (eg, an advanced audio coding (AAC) format)
  • a predetermined format eg, an advanced audio coding (AAC) format
  • decoding of the sensitive information processing voice data may be further performed. Yes (442).
  • the decoding process may be omitted.
  • a voice conversion parameter corresponding to each segment of the sensitive information processing voice data may be retrieved from the parameter information (444).
  • the segment is restored as it is and/or predetermined according to predefined settings. It can be converted into a beep sound and restored (450).
  • non-sensitive information is restored to be the same as or close to the original voice, but sensitive information is masked and restored as a beep sound. be able to prevent
  • the voice processing method may be implemented in the form of a program that can be driven by a computer device.
  • the program may include commands, libraries, data files, and/or data structures alone or in combination, and may be designed and manufactured using machine language codes or high-level language codes.
  • the program may be specially designed to implement the above-described method, or may be implemented using various functions or definitions known and usable to those skilled in the art in the field of computer software.
  • the computer device may be implemented by including a processor or a memory capable of realizing program functions, and may further include a communication device as needed.
  • a program for implementing the above-described audio processing method may be recorded on a recording medium readable by a device such as a computer.
  • a computer-readable recording medium is, for example, a semiconductor storage medium such as ROM, RAM, SD card or flash memory (for example, a solid state drive (SSD), etc.), or a magnetic disk storage such as a hard disk or a floppy disk.
  • a voice processing device a voice restoration device, a voice processing system, a voice processing method, a voice restoration method, and a voice verification method
  • a voice processing device a voice restoration device, a voice processing system, a voice processing method, and a voice verification method
  • the restoration method or the voice verification method is not limited to the above-described embodiment.
  • voice processing device voice restoration device
  • voice processing system voice processing method
  • voice verification method the described method(s) may be performed in an order different from that described, and/or component(s) of a described system, structure, device, circuit, etc. may be coupled, connected, or otherwise used in a manner other than described.
  • voice restoration device voice processing system
  • voice processing method voice restoration method
  • voice verification method the described method(s) may be performed in an order different from that described, and/or component(s) of a described system, structure, device, circuit, etc. may be coupled, connected, or otherwise used in a manner other than described.
  • voice restoration device voice processing system
  • voice processing method voice restoration method
  • the present invention can simultaneously enable privacy protection and reliability certification for recorded voice by means of a voice processing device, a voice restoration device, a voice processing system, a voice processing method, a voice restoration method, and a voice verification method, and within the recorded voice
  • a voice processing device a voice restoration device
  • a voice processing system a voice processing method
  • a voice restoration method a voice verification method
  • voice verification method a voice verification method
  • terminal device for recording 20 server device
  • terminal device for playback 100 audio processing device
  • processor 210 pre-processing unit
  • segment separation unit 230 parameter acquisition unit
  • parameter information acquisition unit 240 voice conversion unit
  • decoding unit 410 verification unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Storage Device Security (AREA)

Abstract

음성 처리 장치, 음성 복원 장치, 음성 처리 시스템에 관한 것으로, 음성 처리 장치는 음성 데이터의 전부 또는 일부의 세그먼트에 대해 해시 리댁션 처리를 수행하여 해시 리댁션 처리 결과를 획득하고, 상기 해시 리댁션 처리 결과를 조합하여 요약 정보를 생성하고, 상기 음성 데이터 중 민감 정보에 해당하는 부분에 대한 해시 리댁션 처리 결과를 조합하여 민감 정보 처리 음성 데이터를 획득하는 프로세서 및 상기 요약 정보 및 상기 민감 정보 처리 음성 데이터를 저장하는 저장부를 포함할 수 있다.

Description

음성 처리 장치, 음성 복원 장치, 음성 처리 시스템
음성 처리 장치, 음성 복원 장치, 음성 처리 시스템에 관한 것이다.
최근 정보통신기술의 발달에 따라 스마트폰은 널리 보급되고 있다. 통상 스마트폰은 오프라인 대화나 통화를 저장할 수 있는 녹음 기능을 제공하고 있으며, 이에 따라 사용자들은 언제 어디서나 스마트폰을 이용하여 대화자 간의 대화를 보다 쉽게 녹음할 수 있게 되었다. 사용자들은 주로 대화 내용의 단기적 또는 장기적 기록을 위해 타인과의 음성 대화를 녹음하곤 하는데, 이들 녹음된 데이터(음성)은 타인 간의 분쟁 발생 시에 중요한 증거로 제시될 수 있어, 그 중요성이 점점 더 증가하고 있는 추세이다. 그러나, 이러한 녹음 데이터는 타인의 프라이버시를 침해할 수 있는 위험성이 매우 크다. 구체적으로 녹음 내용 중에는 성명, 전화번호, 주소, 신용카드 번호 또는 비밀 번호 등과 같이 대화자(들)의 민감한 정보가 포함되어 있을 수도 있어, 녹음 데이터가 무단으로 공개, 배포된 경우에는 대화자(들)에게 크나 큰 사회적 또는 경제적 손해를 야기할 수도 있다. 또한, 최근 발달된 성문 인식 기술은 녹음된 음성을 기반으로 음성의 발화자를 식별할 수 있게 하여, 대화 상대방이 그 익명성을 유지하고 싶어도 이를 불가능하게 만들기도 한다. 뿐만 아니라, 녹음된 오디오 데이터는 쉽게 위조 및 변조가 가능하다. 그렇기 때문에, 법원은, 민형사상 소송의 채증 과정에서 녹음된 오디오 데이터가 증거로 제시된 경우, 증거로 채택하기 전에 녹음 데이터의 진위성을 식별하기 위해 사전에 포렌식 테스트를 진행해야만 한다. 그러나. 이러한 포렌식 테스트는 많은 시간을 요구함에도 불구하고, 때때로 해당 데이터의 원본성 여부를 정확하게 판단하지 못하기 때문에 증거 신뢰성에 많은 의문을 낳고 있었다.
그래서, 이러한 문제점들의 해결을 위해 다양한 음성 처리 기술이 연구 및 소개되어 왔다. 예를 들어, 개인 정보 보호를 위해 먼저 민감한 정보를 탐지한 후, 이에 대한 삭제 또는 익명화를 수행하는 기술들이 개발되었다. 그러나, 이들 기술들은 음성 데이터의 위조나 변조에 취약하였을 뿐만 아니라, 개인 정보 보호 및 위/변조의 방지를 동시에 처리할 수 없다는 문제점이 있었다. 이는 민감한 정보의 탐지 및 삭제(또는 익명화) 과정에서 진정성 식별을 위한 데이터(서명 등)가 제거될 수 밖에 없기 때문이었다. 또한, 음성의 진정성(원본성) 확보 및 판단을 위한 기술로는, 음향 지문(acoustic fingerprinting)이나, 오디오 워터마크(audio watermarking)나, 지각적 오디오 해싱(Perceptual audio hashing) 기술 등이 있다. 그러나, 이들 기술들은 대체적으로 결과에 대한 신뢰도가 높지 않고, 개인 정보 보호 성능도 미흡할 뿐만 아니라, 민감 정보가 정당하게 삭제된 음성과 무단으로 위조 또는 변조된 음성 간의 차이를 명확히 구분할 수 없었고, 처리 성능이나 처리 속도가 열악하여 상술한 문제점들을 충분히 해결하기에는 부적합했다. 또한, 이들 기술은 녹음 과정에서 실시간으로 음성 처리를 수행할 수 없어, 위조, 변조 방지나 개인 정보 보호를 위한 처리 시간을 추가적으로 더 요구한다는 문제점도 존재하였다.
녹음된 음성에 대한 프라이버시 보호 및 신뢰성 증명을 동시에 가능하게 하는 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템이 제공된다.
음성 처리 장치는, 음성 데이터의 전부 또는 일부의 세그먼트에 대해 해시 리댁션 처리를 수행하여 해시 리댁션 처리 결과를 획득하고, 상기 해시 리댁션 처리 결과를 조합하여 요약 정보를 생성하고, 상기 음성 데이터 중 민감 정보에 해당하는 부분에 대한 해시 리댁션 처리 결과를 조합하여 민감 정보 처리 음성 데이터를 획득하는 프로세서; 및 상기 요약 정보 및 상기 민감 정보 처리 음성 데이터를 저장하는 저장부;를 포함할 수 있다.
상기 프로세서는, 음성 변환 파라미터를 임의적으로 결정하고, 상기 음성 변환 파라미터를 이용하여 상기 음성 데이터를 변환할 수도 있다.
상기 프로세서는, 상기 음성 변환 파라미터에 대해 해시 리댁션 처리를 수행하여 해시 리댁션 결과 파라미터를 획득하고, 상기 음성 변환 파라미터 및 상기 해시 리댁션 결과 파라미터 중 적어도 하나를 이용하여 파라미터 정보를 생성할 수도 있다.
상기 프로세서는, 이중 인자 워핑 함수를 이용하여 상기 음성을 변환할 수도 있다.
상기 프로세서는, 변환된 상기 음성 데이터를 고급 오디오 부호화(AAC: Advanced Audio Coding) 포맷으로 인코딩하고, 상기 고급 오디오 부호화 포맷으로 인코딩된 음성 데이터 중에서 상기 민감 정보에 해당하는 부분에 대한 해시 리댁션 처리 결과를 조합하여 상기 민감 정보 처리 음성 데이터를 획득하는 것도 가능하다.
음성 처리 시스템은, 음성 데이터에 대해 음성 변환 파라미터를 적용하여 음성 데이터를 변환하고, 변환된 음성 데이터의 민감 정보를 해시 리댁션 처리하여 민감 정보 처리 음성 데이터를 획득하고, 상기 음성 변환 파라미터에 대해 해시 리댁션 처리를 수행하여 해시 리댁션 결과 파라미터를 획득하고, 상기 음성 변환 파라미터 및 해시 리댁션 결과 파라미터 중 적어도 하나를 기반으로 파라미터 정보를 획득하는 녹음용 단말 장치; 및 상기 파라미터 정보를 획득하고, 상기 민감 정보 처리 음성 데이터 중 상기 음성 변환 파라미터에 대응하는 부분은 상기 음성 변환 파라미터를 이용하여 복원하고, 상기 해시 리댁션 결과 파라미터에 대응하는 부분은 그대로 복원하거나 또는 비프 음을 대체하여 복원하여 상기 민감 정보 처리 음성 데이터를 복원하는 재생용 단말 장치;를 포함할 수 있다.
음성 복원 장치는, 음성 데이터에 대해 민감 정보를 해시 리댁션 처리하여 획득된 민감 정보 처리 음성 데이터와, 음성 변환 파라미터 및 해시 리댁션 결과 파라미터 중 적어도 하나를 포함하는 파라미터 정보를 획득하되, 상기 해시 리댁션 결과 파라미터는 상기 음성 변환 파라미터에 대해 해시 리댁션 처리를 수행하여 획득된 것인 입력부; 및 상기 민감 정보 처리 음성 데이터 중 상기 음성 변환 파라미터에 대응하는 부분은 상기 음성 변환 파라미터를 이용하여 복원하고, 상기 해시 리댁션 결과 파라미터에 대응하는 부분은 그대로 복원하거나 또는 비프 음을 대체하여 복원하는 프로세서;를 포함할 수 있다.
상기 입력부는 요약 정보를 더 획득하되, 상기 요약 정보는 원 음성 데이터의 전부 또는 일부의 세그먼트에 대해 해시 리댁션 처리를 수행하여 해시 리댁션 처리 결과를 획득하고, 해시 리댁션 획득 결과를 조합하여 획득할 수도 있다.
상기 프로세서는, 상기 민감 정보 처리 음성 데이터에 대해 해시 리댁션 처리하여 검증용 해시 리댁션 처리 결과를 획득하고, 상기 검증용 해시 리댁션 처리 결과 및 요약 정보를 비교하여 상기 음성 데이터에 대한 검증을 수행할 수도 있다.
상술한 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템에 의하면, 녹음된 음성에 대한 프라이버시 보호 및 신뢰성 증명을 동시에 가능하게 할 수 있는 효과를 얻을 수 있다.
상술한 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템, 음성 처리 방법, 음성 복원 방법 및 음성 검증 방법에 의하면, 녹음된 음성 내에서 민감한 정보를 삭제하거나 마스킹함으로써 대화자의 개인 정보 유출 문제를 해결할 수 있게 된다.
상술한 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템, 음성 처리 방법, 음성 복원 방법 및 음성 검증 방법에 의하면, 민감한 정보가 제거된 이후에도 음성 데이터의 품질을 원본과 동일하게 또는 근사하게 유지할 수 있는 장점도 얻을 수 있다.
상술한 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템, 음성 처리 방법, 음성 복원 방법 및 음성 검증 방법에 의하면, 녹음된 원래의 음성 데이터와, 이를 기반으로 무단으로 조작하여 획득된 음성 데이터를 신속하면서도 쉽게 구별할 수 있게 되어, 음성 데이터에 대한 신뢰성을 향상시킬 수 있으며, 이에 따라 분쟁 시에 조작된 녹음에 따른 허위 진술을 사전에 차단할 수 있게 되는 장점도 얻을 수 있다.
도 1은 음성 처리 장치의 일 실시예에 대한 블록도이다.
도 2는 세그먼트 분리의 일 실시예를 설명하기 위한 도면이다.
도 3은 음성 변환 및 해시 리댁션 처리 과정의 일례를 설명하기 위한 도면이다.
도 4는 민감 정보의 제거 과정의 일례를 설명하기 위한 도면이다.
도 5는 인코딩 과정의 일례를 설명하기 위한 도면이다.
도 6은 음성 복원 장치의 일 실시예에 대한 블록도이다.
도 7은 검증부의 동작의 일례를 설명하기 위한 도면이다.
도 8은 복원부의 동작의 일례를 설명하기 위한 도면이다.
도 9는 복원부의 동작의 다른 일례를 설명하기 위한 도면이다.
도 10은 음성 처리 시스템의 일 실시예에 대한 도면이다.
도 11은 음성 처리 방법의 일 실시예에 대한 흐름도이다.
도 12는 음성 검증 방법의 일 실시예에 대한 흐름도이다.
도 13은 음성 복원 방법의 일 실시예에 대한 흐름도이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 및/또는 하드웨어로 구현될 수 있으며, 실시예에 따라 하나의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 복수의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 하나의 '부'가 복수의 물리적 또는 논리적 부품들로 구현되는 것도 가능하다. 명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분이 상호 간에 물리적으로 연결되었음을 의미할 수도 있고, 및/또는 전기적으로 연결되었음을 의미할 수도 있다. 또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다. 제1 내지 제N(N은 1 이상의 자연수) 등의 표현은, 적어도 하나의 부분(들)을 다른 부분(들)으로부터 구분하기 위한 것으로, 특별한 기재가 없는 이상 이들이 순차적임을 반드시 의미하지는 않는다. 또한 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 내지 도 5를 참조하여 음성 처리 장치(100)의 일 실시예에 대해 설명한다.
도 1은 음성 처리 장치의 일 실시예에 대한 블록도이다.
도 1에 도시된 바를 참조하면, 음성 처리 장치(100)는 일 실시예에 있어서, 음성 처리를 위해 마련된 프로세서(200)를 포함할 수 있으며, 실시예에 따라 음성 입력부(101)를 더 포함할 수 있다. 또한, 필요에 따라서 음성 처리 장치(100)는, 입력부(103), 통신부(105) 및 저장부(107) 중 적어도 하나를 더 포함하는 것도 가능하다.
음성 입력부(101)는, 적어도 일 인이 발화한 음파(음성)나, 기타 주변 사물에서 발생되는 음파를 수신하고, 수신한 음파에 대응하는 아날로그 또는 디지털 형식의 전기적 신호를 출력함으로써, 음성 처리 장치(100)가 음향 데이터를 획득하도록 할 수 있다.
여기서, 음향 데이터는 발화된 음성에 대한 데이터(이하 원 음성 데이터)를 포함할 수 있고, 원 음성 데이터는, 일 인의 사용자(음성 처리 장치(100)를 조작하여 음성 녹음을 하려는 자를 포함 가능함)의 발화에 따른 음성 데이터나, 사용자와 대화 상대방 등과 같은 다수 인(이하 대화자)의 발화에 따른 음성 데이터를 포함할 수 있다.
음성 입력부(101)는, 실시예에 따라서, 콘덴서 마이크로폰, 압전소자 마이크로폰 및/또는 미세 전자 시스템(MEMS: Microelectromechanical Systems) 마이크로폰 등을 이용하여 구현될 수 있다.
입력부(103)는, 음성 처리 장치(100)의 동작을 위한 각종 데이터나, 지시 또는 프로그램(앱, 애플리케이션 또는 소프트웨어로 지칭 가능함)을 입력 받고, 입력 받은 데이터, 지시 또는 프로그램 등을 저장부(107)나 프로세서(200)로 전달할 수 있다.
예를 들어, 입력부(103)는, 다른 장치(일례로 외장 메모리 장치 등)로부터 녹음된 원 음성 데이터를 수신하거나, 녹음의 개시 또는 녹음된 음성에 대한 처리 수행 여부 등에 대한 명령을 사용자 등으로부터 수신할 수도 있고, 세그먼트의 분리 과정에서 해당 세그먼트가 사용자의 것인지 또는 다른 대화자(들) 중 적어도 일 인의 것인지 여부에 대한 정보를 사용자로부터 입력 받고 이를 프로세서(200)의 세그먼트 분리부(220)로 전달할 수도 있다.
또한, 입력부(103)는 원 음성 데이터 내에서 민감 정보(예를 들어, 대화자(들)의 성명, 전화번호, 주소, 주민등록번호, 사회보장번호, 여권번호, 비밀번호, 업무상 비밀에 해당하는 내용, 개인의 사생활과 관련된 정보 또는 기타 외부에 알려지길 꺼려하는 정보 등)에 해당하는 적어도 일 부분에 대한 대화자(사용자나 대화 상대방 등)의 선택을 입력 받을 수도 있다. 뿐만 아니라, 입력부(103)는 녹음된 원 음성 데이터 또는 민감 정보 처리 음성 데이터(p-audio)의 삭제나 전송 등의 명령을 입력 받는 것도 가능하다.
입력부(103)는, 실시예에 따라서, 음성 처리 장치(100)와 일체형으로 마련된 것일수도 있고, 또는 물리적으로 분리 가능하게 마련된 것일 수도 있다. 입력부(103)는, 예를 들어, 키보드, 마우스, 태블릿, 터치 스크린, 터치 패드, 트랙 볼, 트랙패드, 스캐너 장치, 영상 촬영 모듈, 초음파 스캐너, 동작 감지 센서, 진동 센서, 수광 센서, 감압 센서, 근접 센서 및/또는 데이터 입출력 단자 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
통신부(105)는, 유선 또는 무선 통신 네트워크에 연결되어 외부의 다른 장치와 통신을 수행함으로써, 데이터, 지시 또는 프로그램 등을 다른 장치로 전달하거나, 또는 이들을 다른 장치로부터 전달받고 전달받은 데이터 등을 저장부(107)나 프로세서(200)로 전달할 수도 있다.
여기서, 다른 장치는, 예를 들어, 음성 복원 장치(300)나, 서명 처리 장치(500)를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 있어서, 통신부(105)는, 프로세서(200)가 획득한 적어도 하나의 요약 정보(p-digest)를 서명 처리 장치(500)로 전달하고, 서명 처리 장치(500)로부터 적어도 하나의 요약 정보(p-digest)에 대응하는 적어도 하나의 서명된 요약 정보(signed p-digest. 이하 sp-digest)를 수신하고, 이를 저장부(107)로 전달하여 저장부(107)가 기 저장된 요약 정보(p-digest)에 부가하여 또는 이를 대체하여 서명된 요약 정보(sp-digest)를 저장하도록 할 수도 있다.
또한, 통신부(105)는, 프로세서(200)에 의해 민감 정보가 제거된 민감 정보 처리 음성데이터(p-audio) 및 프로세서(200)에 의해 획득된 적어도 하나의 파라미터 정보(p-profile) 중 적어도 하나를 음성 복원 장치(300)로 전달하는 것도 가능하다.
실시예에 따라서, 통신부(105)는 외부의 다른 정보 처리 장치(일례로 스마트폰이나 녹음기 등)로부터 다른 정보 처리 장치를 통해 녹음된 원 음성 데이터를 전달 받을 수도 있다. 통신부(105)는, 예를 들어, 적어도 하나의 통신 모듈(일례로 랜 카드, 근거리 통신 모듈 또는 이동통신 모듈 등) 등을 이용하여 구현될 수 있다.
저장부(107)는 음성 처리 장치(100)의 동작에 필요한 적어도 하나의 데이터, 지시 또는 프로그램(알고리즘)이나, 프로세서(200)의 처리 과정에서 또는 처리 결과 획득된 데이터 등을 일시적 또는 비일시적으로 저장할 수 있다.
예를 들어, 저장부(107)는 후술하는 바와 같이 프로세서(200)가 획득한 파라미터 정보(p-profile), 민감 정보 처리 음성데이터(p-audio) 및 요약 정보(p-digest) 중 적어도 하나를 저장하고, 필요에 따라 통신부(105)나 프로세서(200)에 전달할 수 있다. 또한, 저장부(107)는 서명된 요약 정보(sp-digest)를 저장하는 것도 가능하다.
저장부(107)에 저장된 프로그램은, 프로그래머 등의 설계자에 의해 직접 작성 또는 수정된 후 저장부(107)에 저장된 것일 수도 있고, 다른 물리적 기록 매체(외장 메모리 장치나 콤팩트 디스크(CD) 등)으로부터 전달받아 저장된 것일 수도 있으며, 및/또는 유무선 통신 네트워크를 통해 접속 가능한 전자 소프트웨어 유통망을 통하여 획득 또는 갱신된 것일 수도 있다.
저장부(107)는, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 예를 들어, 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현된 것일 수 있고, 보조기억장치는, 플래시 메모리 장치(솔리드 스테이트 드라이브(SSD, Solid State Drive) 등), SD(Secure Digital) 카드, 하드 디스크 드라이브(HDD, Hard Disc Drive), 콤팩트 디스크, 디브이디(DVD) 또는 레이저 디스크 등과 같이 데이터를 영구적 또는 반영구적으로 저장 가능한 장치를 기반으로 구현될 수 있다.
필요에 따라, 음성 처리 장치(100)는 출력부(미도시)를 더 포함할 수도 있다. 출력부는, 예를 들어, 민감 정보 처리 음성데이터(p-audio), 파라미터 정보(p-profile) 및 요약 정보(p-digest) 중 적어도 하나를, 시각적 또는 청각적으로 외부에 출력하여 사용자 등에게 제공할 수 있다.
또한, 출력부는 세그먼트에 대응하는 발화자의 선택이나, 민감 정보의 선택이나, 녹음의 개시 등과 같은 정보를 입력 받기 위한 사용자 인터페이스(일례로 그래픽 사용자 인터페이스(GUI)) 등을 사용자 등에게 제공할 수도 있다. 이에 따라 사용자나 대화 상대방은 녹음된 음성을 확인할 수도 있고, 녹음된 음성 내에서 민감 정보나 특정 세그먼트의 발화자를 선택할 수 있게 된다. 출력부는, 예를 들어, 디스플레이, 스피커 장치, 프린터 장치, 영상 출력 단자, 음성 출력 단자 및/또는 데이터 입출력 단자 등을 포함할 수 있다.
일 실시예에 따르면, 프로세서(200)는, 음성 변환을 수행하거나, 원 음성 데이터 내에서 민감 정보를 처리하거나, 및/또는 음성 검증을 위해 필요한 데이터(예를 들어, 요약 정보(p-digest) 또는 파라미터 정보(p-profile) 등)를 생성하는 동작을 수행할 수 있다.
또한, 프로세서(200)는 음성 처리 장치(100)의 전반적인 동작을 제어하거나 이를 위해 필요한 연산 처리를 더 수행할 수도 있다. 프로세서(200)는, 예를 들어, 중앙 처리 장치(CPU: Central Processing Unit), 그래픽 처리 장치(GPU: Graphic Processing Unit), 마이크로 컨트롤러 유닛(MCU: Micro Controller Unit), 애플리케이션 프로세서(AP: Application Processor), 전자 제어 유닛(ECU: Electronic Controlling Unit) 및/또는 이외 각종 연산 및 제어 처리를 수행할 수 있는 적어도 하나의 전자 장치 등을 포함할 수 있다. 이들 장치는, 예를 들어, 하나 또는 둘 이상의 반도체 칩, 회로 또는 관련 부품 등을 단독으로 이용하거나 조합하여 구현된 것일 수도 있다.
도 1에 도시된 바를 참조하면, 프로세서(200)는, 일 실시예에 있어서, 전처리부(210), 세그먼트 분리부(220), 파라미터 획득부(230), 파라미터 정보 획득부(231), 음성 변환부(240), 해시 리댁션 처리부(250), 민감 정보 처리부(255), 요약 정보 생성부(260) 및 인코딩부(270)를 포함할 수 있다. 이들 중 적어도 하나는, 사용자나 설계자의 임의적 선택에 의해 생략될 수도 있다. 또한, 이들 중 적어도 둘은, 실시예에 따라 논리적으로 구분되는 것일 수도 있고 또는 물리적으로 구분되는 것일 수도 있다. 예를 들어, 프로세서(200)는 하나의 물리적 장치를 이용하여 구현될 수도 있고, 또는 다수의 장치(예를 들어, 중앙 처리 장치 및 그래픽 처리 장치)를 조합하여 구현될 수도 있다.
전처리부(210)는, 음성 입력부(101)가 출력한 전기적 신호(즉, 원 음성 데이터)를 전달받아 획득하고, 이에 대한 전처리를 수행할 수 있다. 예를 들어, 전처리부(210)는 소정의 샘플링 레이트를 기반으로 아날로그 신호를 디지털 신호로 변환할 수도 있고, 아날로그 신호 또는 디지털 신호에 대해 푸리에 변환(또는 패스트 푸리에 변환)을 수행할 수도 있으며, 및/또는 원 음성 데이터에 대한 잡음을 제거할 수도 있다. 여기서, 푸리에 변환(또는 패스트 푸리에 변환)은, 프레임(frame) 단위로 수행될 수도 있다. 프레임은 원 음성 데이터를 동일한 시간 단위(일례로 20~30 마이크로 초 등)로 분할하여 획득된 조각(slice)일 수 있다. 프레임은 프로세서(100)의 음성 처리에 있어서 최소 단위로 이용될 수 있다. 프로세서(100)는 실시예에 따라서, 각 프레임마다 독립적으로 또는 종속적으로 변환이나 민감 정보 처리 동작을 수행할 수도 있다.
도 2는 세그먼트 분리의 일 실시예를 설명하기 위한 도면이다.
세그먼트 분리부(220)는, 도 2에 도시된 바와 같이, 음성입력부(101)를 통해 입력된 원 음성 데이터 또는 전처리부(210)에서 전달된 음성 데이터(이하 처리 대상 음성 데이터(90)를 적어도 하나의 세그먼트(S1 내지 S4, 실시예에 따라 무음 세그먼트(b1 내지 b3)를 더 포함하는 것도 가능함) 단위로 분할할 수 있다. 여기서, 각각의 세그먼트(S1 내지 S4)는 특정인(사용자 또는 대화 상대방)의 발화에 대응하는 부분을 포함할 수 있다.
구체적으로, 대화는 다수의 대화자 각각에 의한 각각의 발화가 순차적으로 나열되어 구성되는데, 각각의 세그먼트(S1 내지 S4)는 이러한 각각의 대화자의 각각의 발화에 대응하여 분할 및 획득된 것일 수 있다. 각각의 세그먼트(S1 내지 S4)는, 상황에 따라 다수의 문장(들)이나 단어(들)을 포함할 수 있다.
다른 실시예에 따르면, 세그먼트 분리부(220)는, 처리 대상 음성 데이터(90)가 입력되면, 음성이 대체적으로 연결되어 무음인 부분이 거의 없는 부분을 각각 취하고, 음성이 전혀 또는 극히 부재한 구역(b1 내지 b3)을 기준으로 구분함으로써 적어도 하나의 세그먼트(S1 내지 S4)를 구분하여 획득할 수도 있다.
이 경우, 세그먼트 분리부(220)는, 처리 대상 음성 데이터(90)가 입력되면, 시간의 경과에 따라 데이터 내에 음성이 존재하면(예를 들어, 데이터 값이 미리 정의된 값보다 크면), 이를 취득하여 특정한 세그먼트(일례로 제1 세그먼트(S1))에 해당하는 것으로 결정하고, 만약 음성이 부재한 구역(일례로 b1)이 나타나면, 이전까지 취득된 데이터를 특정한 세그먼트(일례로 제1 세그먼트(S1))로 확정함으로써, 적어도 하나의 세그먼트(S1 내지 S4)를 획득할 수도 있다.
한편, 음성이 부재한 부분(b1 내지 b3)도 별도의 세그먼트(무음 세그먼트)로 취급될 수도 있다. 적어도 하나의 세그먼트(S1 내지 S4)는 음성 변환부(240)로 동시에 또는 순차적으로 전달될 수 있으며, 실시예에 따라 무음 세그먼트(b1 내지 b3)도 음성 변환부(240)로 전달될 수 있다.
또한, 이와 동시에 또는 순차적으로 적어도 하나의 세그먼트(S1 내지 S4 및/또는 b1 내지 b3)에 대한 정보(일례로 세그먼트 개수 등)가 파라미터의 획득을 위해 파라미터 획득부(230)로 전달될 수도 있다.
즉, 세그먼트 분리부(220)는, 처리 대상 음성 데이터(90)의 분석을 통하여 미리 설정된 기준 이하의 크기가 있는 부분을 음성이 전혀 또는 극히 부재한 무음 구역(b1 내지 b3)으로 설정한다. 그리고, 무음 구역을 기준으로 처리 대상 음성 데이터(90)를 구분하여 적어도 하나의 세그먼트를 획득한다.
한편, 화자의 발화 습관에 따라 하나의 세그먼트에 다수의 짧은 무음 구간이 존재할 수 있으므로, 세그먼트 분리부(220)는 무음 구역이 미리 설정된 기준 이하의 길이이면 무음 구역으로 설정하지 아니할 수 있다.
도 3은 음성 변환 및 해시 리댁션 처리 과정의 일례를 설명하기 위한 도면이고, 도 4는 민감 정보의 제거 과정의 일례를 설명하기 위한 도면이다.
파라미터 획득부(230)는, 음성 변환부(240)가 이용할 적어도 하나의 파라미터, 일례로 적어도 한 쌍의 음성 변환 파라미터((α1, β1) 내지 (αt, βt))를 결정하고, 이를 음성 변환부(240)로 전달할 수 있다.
음성 변환 파라미터((α1, β1) 내지 (αt, βt))는 음성의 충분한 변환을 위해 이용되는 값으로, 논리적으로 또는 실험적으로 결정된 범위의 값을 가질 수 있다. 예를 들어, 음성 변환 파라미터((α1, β1) 내지 (αt, βt))는, 후술하는 분리 주파수(ω_s)보다 크고 파이(π)보다 작은 값을 가질 수도 있다.
파라미터 획득부(230)는 각각의 세그먼트(S1 내지 St, t는 1 이상의 자연수)마다 음성 변환 파라미터((α1, β1) 내지 (αt, βt))를 결정할 수도 있다. 이 경우, 각각의 세그먼트(S1 내지 St)에 대응하는 음성 변환 파라미터((α1, β1) 내지 (αt, βt))는 모두 동일할 수도 있고, 모두 상이할 수도 있으며, 또는 일부는 동일하고 다른 일부는 상이할 수도 있다. 또한, 각각의 세그먼트(S1 내지 St)에 대응하는 각각의 음성 변환 파라미터((α1, β1) 내지 (αt, βt))는 랜덤하게 결정될 수도 있다.
따라서, 후술하는 바와 같이 별도로 마련된 파라미터 정보(p-profile)이 없다면, 다른 장치(300, 500)는 각 세그먼트(S1 내지 s3)에 적용된 음성 변환 파라미터((α1, β1) 내지 (αt, βt))가 무엇인지 파악하는 것이 불가능하게 된다. 필요에 따라, 파라미터 획득부(230)는 무음 세그먼트(b1 내지 b3)에 대한 음성 변환 파라미터(미도시)를 더 결정하는 것도 가능하다.
파라미터 정보 획득부(231)는 각 세그먼트(S1 내지 St)에 대응하는 음성 변환 파라미터((α1, β1) 내지 (αt, βt))를 취합하여 원 파라미터 정보(o-profile)을 생성할 수 있다.
즉, 파라미터 정보 획득부(231)는, 제1 세그먼트(S1)에 대응하는 음성 변환 파라미터(α1, β1)를 파라미터 획득부(230)로부터 수신하고, 순차적으로 다른 세그먼트에 대응하는 음성 변환 파라미터를 획득하고, 마지막 세그먼트(St)에 대응하는 음성 변환 파라미터(αt, βt))를 수신한 후, 이들을 음성 변환 파라미터(들) ((α1, β1) 내지 (αt, βt))을 세그먼트(S1 내지 St)의 순서에 따라 순차적으로 또는 미리 정의된 다른 순서로 조합하여 원 파라미터 정보(o-profile)을 생성할 수 있다. 실시예에 따라서, 원 파라미터 정보(o-profile) 생성 동작은 생략될 수도 있다.
또한, 파라미터 정보 획득부(231)는, 해시 리댁션 처리부(250)로부터 특정한 적어도 하나의 음성 변환 파라미터(αk, βk)에 대한 적어도 하나의 해시 리댁션 결과 파라미터(H(αk), H(βk))를 수신하고, 적어도 하나의 해시 리댁션 결과 파라미터(H(αk), H(βk))를 더 이용하여 파라미터 정보(p-profile)를 생성할 수도 있다.
일 실시예에 따르면, 파라미터 정보 획득부(231)는, 파라미터 획득부(230)로부터 각 세그먼트(S1 내지 St)에 대응하는 적어도 하나의 음성 변환 파라미터((α1, β1) 내지 (αt, βt))를 수신하고, 음성 변환 파라미터((α1, β1) 내지 (αt, βt))의 전부 또는 일부와 적어도 하나의 해시 리댁션 결과 파라미터(H(αk), H(βk))를 조합함으로써 파라미터 정보(p-profile)를 획득할 수 있다.
예를 들어, 파라미터 정보 획득부(231)는, 하나 이상의 특정한 세그먼트(Sk)에 대응하는 부분에는 해시 리댁션 결과 파라미터(H(αk), H(βk))를 배치하고, 그 외의 세그먼트(S1 등)에 대응하는 부분에는 파라미터 획득부(230)가 획득한 음성 변환 파라미터((α1, β1) 내지 (αt, βt))를 배치하고, 이들을 순차적으로 또는 미리 정의된 바에 따라 조합함으로써, 파라미터 정보(p-profile)를 할 수도 있다.
여기서, 해시 리댁션 결과 파라미터(H(αk), H(βk))가 배치될 특정한 세그먼트(Sk)에 대응하는 부분은 추후 해당 세그먼트(S1 내지 Sk)에 대한 음성 복원 장치(300)의 복원 가능(허락) 여부에 따라 결정될 수 있다.
예를 들어, 도 4에 도시된 바와 같이 추후 원 음성 복원이 가능한 세그먼트에 대응하는 변환된 음성 데이터(241-L)에 대해서는, 파라미터 정보 획득부(231)는 이에 대응하는 음성 변환 파라미터(αL, βL)을 획득하고, 원 음성 복원이 불가능한 세그먼트에 대응하는 변환된 음성 데이터(241-M)에 대해서는, 이에 대응하는 해시 리댁션 결과 파라미터(H(αM), H(βM))을 획득한 후, 이들을 세그먼트의 순서에 따라 조합하여 파라미터 정보(p-profile)을 생성할 수도 있다.
여기서, 원 음성 복원이 가능하거나 허가된 세그먼트는 사용자 본인의 발화에 해당하는 부분을 포함하고, 원 음성 복원이 불가능하거나 불허된 세그먼트는 타인의 발화에 해당하는 부분을 포함할 수 있다. 파라미터 정보(p-profile)는 통신부(105) 또는 저장부(107)로 전달될 수 있다.
음성 변환부(240)는, 선택된 음성 변환 파라미터((α1, β1) 내지 (αt, βt))를 기반으로 각각의 세그먼트(S1 내지 St)에 대한 음성 변환을 수행할 수 있다.
이 경우, 음성 변환부(240)는 각 세그먼트(S1 내지 St)에 대응하는 각 음성 변환 파라미터((α1, β1) 내지 (αt, βt))를 적용하여 각 세그먼트(S1 내지 St)에 대한 음성 변환을 수행할 수도 있다.
여기서, 음성 변환은 적어도 하나의 세그먼트(S1 내지 St)의 각각의 프레임마다 음성 변환 파라미터((α1, β1) 내지 (αt, βt))를 적용하여 수행될 수 있으며, 동일한 세그먼트(S1 내지 St)에 속하는 프레임에 대해서는 동일한 음성 변환 파라미터((α1, β1) 내지 (αt, βt))를 적용하고, 서로 상이한 세그먼트(S1 내지 St)에 속하는 프레임에 대해서는 상이한 음성 변환 파라미터((α1, β1) 내지 (αt, βt))를 적용하여 수행될 수 있다.
일 실시예에 의하면, 음성 변환부(240)는 워핑 함수(warping function)을 이용하여 각각의 세그먼트(S1 내지 St)에 대한 음성 변환을 수행할 수도 있다. 이 경우, 음성 변환부(240)는 하기의 수학식 1에 기재된 바와 같이 이중 인자 워핑 함수(Dual-factor warping function)을 이용해 음성 변환을 수행하는 것도 가능하다.
[수학식 1]
Figure PCTKR2023001151-appb-img-000001
수학식 1에서 ω는 0 내지 π 사이의 값을 갖는 정규화된 주파수이고, ω_s는 워핑이 적용되지 않는 분리 주파수이다. α 및 β는 각각 상술한 음성 변환 파라미터로, 이들의 조합에 따라서 수학식 1 내의 변곡점(breakpoint. 경사가 변경되는 지점)이 결정되게 된다.
상술한 바와 같이 음성 변환 파라미터((α1, β1) 내지 (αt, βt))는 파라미터 획득부(230)에 의해 각각의 세그먼트(S1 내지 St)마다 상이하게 결정된 것일 수 있으므로, 각각의 세그먼트(S1 내지 St)에 대한 음성 변환 역시 상이하게 수행되게 된다.
이에 따라 세그먼트(S1 내지 St) 각각에 대응하는 음성 변환 결과, 즉 변환된 음성 데이터(241-1 내지 241-t)가 획득될 수 있게 된다. 변환된 음성 데이터(241-1 내지 241-t)는, 각각 해시 리댁션 처리부(250) 및 민감 정보 처리부(255)로 전달될 수 있으며, 실시예에 따라, 인코딩부(270)로 전달될 수도 있다. 인코딩부(270)는 변환된 음성 데이터(241-1 내지 241-t)에 대해 인코딩 처리를 수행한 후, 인코딩 결과를 해시 리댁션 처리부(250)로 전달할 수 있다.
해시 리댁션 처리부(250)는, 개인 정보 보호 및 위/변조 방지를 위하여, 도 3에 도시된 바와 같이 각각의 세그먼트(S1 내지 St)에 대응하는 변환된 음성 데이터(241-1 내지 241-t)에 대해 해시 리댁션(hash-redaction) 처리를 수행하고, 각각의 세그먼트(S1 내지 St)에 대응하는 해시 리댁션 처리 결과, 즉 해시 리댁션 처리된 음성 데이터(251-1 내지 251-t)를 획득할 수 있다.
해시 리댁션 처리는 변환된 음성 데이터(241-1 내지 241-t)의 각각의 프레임마다 수행될 수 있다. 여기서, 변환된 음성 데이터(241-1 내지 241-t)의 각각의 프레임은 세그먼트(S1 내지 St) 각각의 프레임에 대응하는 프레임을 포함할 수 있다. 해시 리댁션 처리는 하기의 수학식 2를 기반으로 수행될 수도 있다.
[수학식 2]
Figure PCTKR2023001151-appb-img-000002
수학식 2에서 h_j는 제j 세그먼트(Sj, j는 1 이상의 자연수) 또는 변환된 음성 데이터(241-j)에 대응하는 해시 리댁션 처리 결과(251-1 내지 251-k)이고, H()는 소정의 해시 함수로, 사용자, 설계자 또는 프로세서(100)에 의해 임의적으로 또는 미리 정의된 바에 의해 결정된 것일 수 있다.
H(α_k)는 어느 하나의 음성 변환 파라미터(α_k)를 해시 함수에 적용하여 획득한 결과(즉, 어느 하나의 해시 리댁션 결과 파라미터)이고, H(β_k)는 다른 하나의 음성 변환 파라미터(β_k)를 해시 함수에 적용하여 획득한 결과(즉, 다른 하나의 해시 리댁션 결과 파라미터)이다.
이와 같은 해시 리댁션 처리는 다음과 같은 특성을 갖는다. 구체적으로 해시 리댁션 처리 과정에서, 음성 변환된 프레임의 내용의 전부 또는 일부는 성문 인식 기술 등에 의해 대화자를 식별하지 못하게 하도록(즉, 음성적 프라이버시를 위해) 삭제되지만, 음성의 검증을 위한 정보(요약 정보(p-digest)는 후술하는 바와 같이 충분히 획득될 수 있게 된다.
한편으로는, 해당 과정에서 원 음성 데이터에 대한 음향적 특성(일례로 음성 변환 파라미터((α1, β1) 내지 (αt, βt)))도 검증을 위해 해시되게 된다(H(α_k), H(β_k)). 또한, 해시 리댁션 처리는 프레임에 대해 음향적 또는 텍스트적 변경이 가해지면, 변경 전과는 상이한 결과를 출력하기 때문에 처리 대상 음성 데이터(90)의 변조 여부를 쉽게 판단할 수 있게 한다. 뿐만 아니라, 일반적으로는 특정한 음성 콘텐츠나 음성 피치의 해시 리댁션 처리 결과와 동일한 해시 리댁션 처리 결과가 획득되는 다른 음성 콘텐츠나 음성 피치를 찾는 것은 거의 불가능하므로, 이와 같은 해시 리댁션 처리 과정은 해시 리댁션 처리에 따라 제거된 민감 정보를 복구하는 것도 어렵게 한다.
또한, 해시 리댁션 처리부(250)는, 각 세그먼트에 대응하는 모든 또는 일부의 음성 변환 파라미터((α1, β1) 내지 (αt, βt)) 각각에 대해 해시 함수를 적용하여 대응하는 해시 리댁션 결과 파라미터(H(α1), H(β1) 내지 (H(αt), H(βt))를 더 획득할 수도 있다.
일 실시예에 의하면, 각각의 세그먼트(S1 내지 St)에 대응하는 해시 리댁션 처리된 음성 데이터(251-1 내지 251-t)는, 요약 정보 생성부(260)로 전달될 수 있으며, 민감 정보 처리부(255)로 더 전달될 수도 있다. 또한 음성 변환 파라미터((α1, β1) 내지 (αt, βt)) 각각에 대해 해시 함수를 적용하여 획득된 해시 리댁션 결과 파라미터(H(α1), H(β1) 내지 (H(αt), H(βt))는 파라미터 정보 획득부(231)로 전달될 수도 있다. 파라미터 정보 획득부(231)는, 상술한 바와 같이, 파라미터 정보(p-profile)의 생성 시에, 음성 변조가 필요한 부분에 대해서는, 파라미터 획득부(230)가 획득한 음성 변환 파라미터(αk, βk) 대신에, 전달 받은 해시 리댁션 결과 파라미터(H(α1), H(β1) 내지 (H(αt), H(βt)) 중에서 음성 변조가 필요한 부분에 대응하는 해시 리댁션 결과 파라미터(H(αk), H(βk))를 삽입하여 파라미터 정보(p-profile)를 생성할 수 있다.
민감 정보 처리부(255)는 음성 변환부(240)에 의해 변환된 음성 데이터(241-L, 241-M)의 전부 또는 일부(V1, V2)를, 변환된 음성 데이터(241-L, 241-M)의 전부 또는 일부에 대응하고 해시 리댁션 처리된 음성 데이터(251-L, 251-M)로 대체하여 음성 데이터(241-L, 241-M)에 대한 처리를 수행하고, 그 결과 각각의 변환된 음성 데이터(241-L, 241-M)에 대응하는 민감 정보 처리 음성 데이터(255-L, 255-M, p-audio)를 획득할 수 있다.
여기서, 변환된 음성 데이터(241-L, 241-M)의 전부 또는 일부(V1, V2)는, 민감 정보를 포함할 수 있으며, 실시예에 따라서, 민감 정보의 모든 부분(예를 들어, 여권 번호의 전부)을 포함할 수도 있고, 또는 민감 정보의 일부분(예를 들어, 여권 번호의 일부)만을 포함할 수도 있다.
또한, 변환된 음성 데이터(241-L, 241-M)는 인코딩부(270)에 의해 인코딩 처리된 음성 데이터일 수도 있다. 민감 정보 처리 음성 데이터(255-L, 255-M, p-audio)는 통신부(105) 또는 저장부(107)로 전달될 수 있다.
요약 정보 생성부(260)는, 도 3에 도시된 바와 같이 해시 리댁션 처리부(250)로부터 모든 또는 일부의 세그먼트(S1 내지 St)에 대응하는 해시 리댁션 처리된 음성 데이터(251-1 내지 251-t)를 수신하고, 수신한 모든 또는 일부의 해시 리댁션 처리된 음성 데이터(251-1 내지 251-t)를 조합하여 요약 정보(p-digest)를 생성할 수 있다.
요약 정보 생성부(260)는 실시예에 따라서 원 세그먼트(S1 내지 St)에 대응하여 해시 리댁션 처리된 음성 데이터(251-1 내지 251-t)를 순차 조합하여 요약 정보(p-digest)를 생성하는 것도 가능하다.
생성된 요약 정보(p-digest)는 통신부(105) 또는 저장부(107)에 전달될 수 있다. 필요에 따라, 요약 정보(p-digest)는 서명 처리 장치(500)로 전달되고, 서명 처리 장치(500)는 요약 정보(p-digest)에 서명 처리를 수행하여 서명된 요약 정보(sp-digest)를 생성할 수 있다. 요약 정보(p-digest) 또는 서명된 요약 정보(sp-digest)를 추후 음성 복원 장치(300)의 검증에 이용될 수 있다.
도 5는 인코딩 과정의 일례를 설명하기 위한 도면이다.
인코딩부(270)는 변환된 음성 데이터(241-1 내지 241-t)를 특정한 포맷으로 인코딩할 수 있다. 여기서, 특정한 포맷은, 소정의 오디오 파일 포맷(예를 들어, WAV, AIFF, FLAC, TTA, MP3, AAC 또는 ATRAC 등)을 포함할 수 있다.
예를 들어, 인코딩부(270)는 도 5에 도시된 바와 같이 변환된 음성 데이터(241-1 내지 241-t)를 고급 오디오 부호화(AAC: Advanced Audio Coding) 포맷으로 인코딩할 수 있다.
상술한 프로세서(100)의 동작은, 모두 비트 수준에서 동일한 음성 익명 프레임에 적용되어야 한다. 그러나, 생성 손실(손실 압축을 사용할 때 품질 손실)은 오디오 인코딩으로 인해 실시간 프레임과 저장된 버전 간에 불일치를 일으켜 요약 정보(p-digest) 또는 서명된 요약 정보(sp-digest)를 무효화할 수도 있다.
이를 방지하기 위해선 오디오를 압축하지 않은 상태로 유지할 수도 있으나, 이는 파일 크기가 크게 증가한다는 문제점이 있다. 고급 오디오 부호화 포맷은, 처리 대상 음성 데이터(90)가 손실 압축된 상태에서도 처리 대상 음성 데이터(90)와 해시 리댁션 처리된 데이터가 상호 간에 동일성을 유지할 수 있게 하고, 다른 포맷(예를 들어, MP3)보다 더 높은 품질의 사운드와 더 작은 크기를 제공하여 녹음 품질과 저장 효율성 모두에서 더 나은 성능을 할 뿐만 아니라 범용성도 높으므로, 이러한 요약 정보(p-digest) 등의 무효화 방지 및 용량 증가 문제를 해결할 수 있게 한다.
고급 오디오 부호화 포맷으로 인코딩된 음성 데이터는 해시 리댁션 처리부(250)로 전달되고, 해시 리댁션 처리부(250)는 인코딩된 음성 데이터를 수신한 후, 이를 기반으로 해시 리댁션 처리를 수행할 수도 있다.
실시예에 따라서, 해시 리댁션 처리부(250)는 인코딩된 음성 데이터를 획득하고, 이에 대해 디코딩을 수행하여 인코딩 이전의 음성 데이터를 획득하고, 인코딩 이전의 음성 데이터에 대해 해시 리댁션 처리를 수행하여, 해시 리댁션 처리된 음성 데이터(251-1 내지 251-t)를 획득하고, 해시 리댁션 처리된 음성 데이터(251-1 내지 251-t)를 민감 정보 처리부(255)나 요약 정보 생성부(260)로 전달하거나 및/또는 해시 리댁션 결과 파라미터(H(α1), H(β1) 내지 (H(αt), H(βt))를 파라미터 정보 획득부(231)로 전달할 수 있다.
실시예에 따라서, 오디오 전달을 위해 민감정보처리 음성 데이터(p-audio)에 대해 고급 오디오 부호화 호환 인코딩이 더 수행될 수도 있다. 이는 2차 생성 손실을 처리하기 위해 마련된다.
이 경우, 도 5에 도시된 바와 같이 고급 오디오 부호화 방법의 블록 단위 수정 이산 코사인 변환 방법(MDCT: Modified Discrete Cosine Transform)이 이용될 수도 있다. 구체적으로 두 개의 연속 프레임에 대한 윈도우가 하나의 수정 이산 코사인 변환 블록으로 압축되고, 윈도우는 중첩된 프레임만큼 다음 블록으로 이동한다.
수정 이산 코사인 변환 블록은 고급 오디오 부호화 파일에 별도로 저장되므로, 다른 블록은 그대로 유지하면서도 특정한 블록(해시 리댁션 처리를 위한 프레임)에 대한 후처리가 수행될 수 있다. 이에 따라 고급 오디오 부호화 포맷의 민감 정보 처리 음성 데이터(p-audio)가 생성될 수 있는데, 원래의 압축된 수정 이산 코사인 변환 블록은 중요한 프레임을 제외하고는 유지되게 된다. 여기서, 중요한 프레임은 해시 리댁션 처리되는 프레임을 포함한다. 상술한 민감 정보 처리 음서 데이터(p-audio)의 크기는, 저장된 버전(o 오디오)의 크기보다 약간 클 수도 있다. 그러나 대부분의 수정 이산 코사인 변환 블록은 일부 중요한 특정 블록을 제외하면 대체로 그대로 유지되므로, 상술한 인코딩은 높은 압축률을 가질 수 있게 된다. 변환된 부분은 오디오 파일 내에 무손실 압축으로 포함될 수 있으므로, 민감 정보 처리 음성 데이터(p-audio)가 주어지면, 음성 복원 장치(300)는, 요약 정보(p-profile)을 기반으로 동일한 프레임을 복원할 수 있게 된다.
이하 도 6 내지 도 10을 참조하여 음성 복원 장치(300)에 대해 설명하도록 한다.
도 6은 음성 복원 장치의 일 실시예에 대한 블록도이다.
음성 복원 장치(300)는 음성 처리 장치(100)가 생성한 민감 정보 처리 음성 데이터(p-audio)를 수신하고, 필요에 따라 파라미터 정보(p-profile)를 더 수신하거나, 및/또는 요약 정보(p-digest)나 서명된 요약 정보(sp-digest)를 수신하고 이를 기반으로 음성을 복원하거나, 음성에 대한 검증을 수행할 수 있다. 도 6에 도시된 바에 의하면, 음성 복원 장치(300)는, 일 실시예에 있어서, 프로세서(400)를 포함하고, 필요에 따라, 입력부(303) 및 저장부(307) 중 적어도 하나를 더 포함할 수 있다.
입력부(303)는 음성 복원 장치(300)의 동작에 필요한 명령, 데이터 및/또는 프로그램 등을 수신하고, 이를 저장부(307)나 프로세서(400) 등을 전달할 수 있다. 예를 들어, 입력부(303)는 외장 메모리 장치 등과 연결되어 이로부터 민감 정보 처리 음성 데이터(p-audio), 파라미터 정보(p-profile) 및/또는 요약 정보(p-digest) 등을 수신할 수 있다.
또한, 입력부(303)는, 유선 및/또는 무선 통신 네트워크에 접속하여, 음성 처리 장치(100), 서명 처리 장치(500) 및/또는 기타 다른 장치로부터 명령, 데이터 및/또는 프로그램 등을 수신할 수 있다.
입력부(303)는, 카드 리더기, 디스크 리더기, 데이터 입출력 단자, 유선 통신 모듈 또는 무선 통신 모듈 등을 포함할 수 있다.
저장부(307)는 음성 복원 장치(300)의 동작과 관련된 명령, 데이터 및/또는 프로그램 등을 일시적 또는 비일시적으로 저장할 수 있다. 여기서 데이터는, 민감 정보 처리 음성 데이터(p-audio), 파라미터 정보(p-profile) 및/또는 요약 정보(p-digest) 등을 포함할 수 있다. 실시예에 따라서, 음성 복원 장치(300)는 프로세서(400)의 검증 결과나, 복원된 음성을 외부로 출력하거나 다른 정보 처리 장치로 전달할 수 있는 출력부(미도시)를 더 포함하는 것도 가능하다.
이들 입력부(303), 저장부(307) 및 출력부 각각은, 상술한 음성 처리 장치(100)의 입력부(103), 저장부(107) 및 출력부와 동일하거나 일부 변형된 형태로 구현 가능하므로, 이하 구체적이고 자세한 설명은 생략하도록 한다.
프로세서(400)는 민감 정보 처리 음성 데이터(p-audio)에 대한 검증을 수행하거나 및/또는 민감 정보 처리 음성 데이터(p-audio)를 기반으로 음성을 복원할 수 있다. 프로세서(400)는, 상술한 프로세서(200)와 같이, 중앙 처리 장치나 그래픽 처리 장치 등을 이용하여 구현될 수 있다.
프로세서(400)는, 일 실시예에 있어서, 디코딩부(401), 검증부(410) 및 음원 복원부(420)를 포함할 수 있다.
디코딩부(401)는, 인코딩부(270)에 의해 인코딩 처리된 음성 데이터에 대한 디코딩을 수행할 수 있다.
일 실시예에 의하면, 디코딩부(401)는 고급 오디오 부호화 포맷으로 인코딩된 데이터를 디코딩하고, 디코딩 결과를 검증부(410)로 전달할 수도 있다. 디코딩부(401)는, 음성 처리 장치(1 00)가 인코딩 과정을 수행하지 않는 경우처럼 불필요한 경우에는 생략될 수도 있다.
도 7은 검증부의 동작의 일례를 설명하기 위한 도면이다.
검증부(410)는 입력부(303)가 획득한 민감 정보 처리 음성 데이터(p-audio)를 수신하거나 또는 디코딩부(401)에 의해 디코딩된 음성 데이터를 수신하고, 이를 기반으로 음성 데이터의 진정성(원본성)을 검증할 수 있다.
일 실시예에 의하면, 검증부(410)는 해시 리댁션 처리부(411) 및 비교부(413)를 포함할 수 있다. 도 7에 도시된 바를 참조하면, 해시 리댁션 처리부(411)는 수신한 음성 데이터의 적어도 하나의 세그먼트(Sm)를 획득하고, 적어도 하나의 세그먼트(Sm)에 대해 해시 리댁션 처리를 수행하여, 검증용 해시 리댁션 처리 결과(411a)를 획득할 수 있다.
여기서, 음성 복원 장치(300)의 해시 리댁션 처리부(411)가 수행하는 해시 리댁션 처리는, 음성 처리 장치(100)의 해시 리댁션 처리부(250)가 수행하는 해시 리댁션 처리와 동일할 수 있다.
또한, 적어도 하나의 세그먼트(Sm)는, 예를 들어, 음성에 대응하는 부분(U11, U12, 실시예에 따라, 음성 처리 장치(100)의 음성 변환부(240)에 의해 변환된 부분을 포함 가능함)과, 음성 처리 장치(100)의 해시 리댁션 처리부(250)에 의해 해시 리댁션 처리된 음성에 대응하는 부분(R1)을 포함할 수 있다.
즉, 음성에 대응하는 부분(U11, U12)은 해시 리댁션 처리가 되지 않은 부분일 수 있다. 이 경우, 음성에 대응하는 부분(U11, U12)에 대해서는 해시 리댁션 처리가 수행되고, 리댁션 처리된 음성에 대응하는 부분(R1)은 이와 반대로 별도의 변환 없이 그대로 유지되어 검증용 해시 리댁션 처리 결과(411a)가 획득된다.
비교부(413)는 적어도 하나의 세그먼트(Sm)에 대응하는 요약 정보(p-digest) 또는 서명된 요약 정보(sp-digest)를 획득하고, 검증용 해시 리댁션 처리 결과(411a)를 요약 정보(p-digest)와 비교하거나 또는 서명된 요약 정보(sp-digest)와 비교할 수 있다.
여기서, 적어도 하나의 세그먼트(Sm)에 대응하는 요약 정보(p-digest)는, 음성 처리 장치(100)의 요약 정보 생성부(260)가 동일한 세그먼트(Sm)에 대한 해시 리댁션 처리 결과를 조합하여 획득한 요약 정보(p-digest)일 수 있다.
동일한 세그먼트(Sm)에 대해 동일한 방식으로 해시 리댁션 처리를 수행하므로, 별도의 위조나 변조가 부재하다면, 요약 정보(p-digest) 또는 서명된 요약 정보(sp-digest)에 기록된 해시 리댁션 처리 결과와, 검증용 해시 리댁션 처리 결과(411a)는 서로 동일할 수밖에 없다.
따라서, 비교부(413)는 전달 받은 검증용 해시 리댁션 처리 결과(411a)를, 요약 정보(p-digest) 또는 서명된 요약 정보(sp-digest)와 비교하고, 이 둘이 동일하다면, 해당 세그먼트(Sm)의 음성 데이터가 위조 또는 변조되지 않았다고 판단하고, 반대로 이 둘이 서로 상이하다면 해당 세그먼트(Sm)의 음성 데이터가 위조 또는 변조된 것으로 판단할 수 있다. 이에 따라 음성의 진정 여부가 보다 용이하게 판단될 수 있게 된다.
도 8은 복원부의 동작의 일례를 설명하기 위한 도면이고, 도 9는 복원부의 동작의 다른 일례를 설명하기 위한 도면이다.
복원부(420)는 민감 정보 처리 음성 데이터(p-audio)에 대한 복원을 수행하여, 음성 복원 장치(300)의 사용자가 원 음성 데이터 또는 변환된 음성 데이터(241-1 내지 241-t)를 청취하게 할 수 있다.
일 실시예에 의하면, 복원부(420)는 원 음성 데이터 복원 가능 여부에 따라서 특정한 세그먼트(Sm)에 해당하는 변환된 음성 데이터(즉, 음성 변환부(240)에 의해 변환된 음성 데이터)을 원 음성 데이터로 복원하거나 및/또는 변환된 음성을 그대로 복원할 수도 있다. 여기서, 복원부(420)는 파라미터 정보(p-profile)을 이용하여 복원을 수행할 수 있다.
구체적으로 만약 해당 세그먼트(Sm)가 원 음성 데이터 복원이 가능한 경우라면, 파라미터 정보(p-profile)로부터 해당 세그먼트(Sm)에 대응하는 음성 변환 파라미터(αM, βM)가 획득 가능하다. 복원부(420)는 음성 변환 파라미터(αM, βM)를 획득하면, 도 8에 도시된 바와 같이, 획득한 음성 변환 파라미터(αM, βM)를 이용하여, 변환된 음성 부분(U11, U12)을 역변환하여 원 음성 데이터를 획득한다(421a).
한편, 복원부(420)는 해시 리댁션 처리된 음성 부분(R1)은 그대로 유지하거나 또는 별도로 마련된 사운드(일례로 비프 음)으로 대체하여 복원한다(422a). 이에 따라서 음성 복원 장치(300)의 음성 데이터는 원 음성 데이터와 실질적으로 동일하면서도, 민감한 정보는 마스킹되어 복원되게 된다.
반대로 특정한 세그먼트(Sm)가 원 음성 데이터 복원이 불가능한 경우라면, 파라미터 정보(p-profile)에는 해당 세그먼트(Sn)에 대응하는 음성 변환 파라미터(αN, βN)가 부재하고 대신에 해시 리댁션 결과 파라미터(H(αN), H(βN))가 기록되어 있다.
따라서, 복원부(420)는 음성 복원을 위한 음성 변환 파라미터(αN, βN)를 획득할 수 없게 된다. 이 경우, 복원부(420)는, 해시 리댁션 결과 파라미터(H(αN), H(βN))로는 원 음성의 복원이 불가능하므로, 도 9에 도시된 것처럼, 변환된 음성 부분(U21, U22)을 그대로 복원한다(421b). 따라서, 복원부(420)에 의해 복원된 음성 데이터는, 상술한 음성 변환부(240)에 의해 변환된 음성을 그대로 유지하게 된다.
한편, 복원부(420)는 해시 리댁션 처리된 음성 부분(R1)은, 상술한 것처럼 그대로 유지하거나 또는 별도로 마련된 사운드(일례로 비프 음)으로 대체하여 복원할 수 있다(422a). 이에 따라서 복원부(420)에 의해 복원된 음성 데이터는 변환된 음성 데이터(241-1 내지 241-t)와 동일하여 대화자 또는 대화 상대방의 익명성을 유지할 수 있으면서, 동시에 민감한 정보는 마스킹되어 보호할 수 있게 된다.
서명 처리 장치(500)는, 음성 처리 장치(100)가 생성한 요약 정보(p_digest)를 실시간으로, 주기적으로 또는 임의의 시점에 수신하고, 요약 정보(p_digest)에 대해 서명 처리(signature processing)를 수행하여 서명된 요약 정보(sp-digest)를 획득하고, 이를 서명 처리 장치(500)의 저장부(미도시)에 저장할 수도 있다.
여기서, 서명 처리는, 예를 들어, 신뢰할 만한 타임 스탬핑(timestamping)을 통해 기 검증된 고유의 해시 등을 이용하여 수행될 수도 있다. 서명된 요약 정보(sp-digest)가 서명 처리 장치(500)에 저장되므로, 요약 정보(p-direct)가 무단으로 위조 또는 변조되거나 무효화되는 것을 보다 강건하게 방지할 수 있게 된다.
서명 처리 장치(500)는 미리 정의된 설정에 따라 자동으로 또는 사용자나 복원자의 요청에 따라 서명된 요약 정보(sp-digest)를 음성 처리 장치(100) 및 음성 복원 장치(300) 중 적어도 하나로 전달할 수 있다. 음성 처리 장치(100)는 서명된 요약 정보(sp-digest)를 수신하면, 이를 이용하여 기존의 요약 정보(p-digest)를 대체하여 저장하고, 음성 복원 장치(300)는 서명된 요약 정보(sp-digest)를 이용하여 검증을 수행할 수 있게 된다.
실시예에 따라서, 서명 처리 장치(500) 대신에 상술한 음성 처리 장치(100)의 프로세서(200)가 서명 처리 동작을 더 수행하는 것도 가능하다. 즉, 음성 처리 장치(100)는 요약 정보(p-digest)가 획득되면, 이에 대해 소정의 서명 알고리즘을 기반으로 서명 처리를 함으로써 서명된 요약 정보(sp-digest)를 획득하고, 이를 저장부(109)에 저장하거나 및/또는 음성 복원 장치(300)로 전달할 수도 있다.
상술한 음성 처리 장치(100)는, 상술한 전처리, 세그먼트 분리, 음성 변환, 인코딩, 파라미터 정보 획득, 해싱 리댁션 처리, 민감 정보 처리 및/또는 요약 정보 획득 등과 같은 처리를 하나 이상 수행하기 위해 특별히 고안된 장치를 이용하여 구현될 수도 있고, 상술한 음성 복원 장치(300)는 상술한 디코딩, 검증 처리 및 음원 복원 등과 같은 처리를 하나 이상 수행하기 위해 특별히 고안된 장치를 이용하여 구현될 수 있으며, 서명 처리 장치(500)는 요약 정보(p-digest)의 수신, 요약 정보(p-digest)에 대한 서명 처리 및 서명 처리된 요약 정보(sp-digest)의 전달을 수행할 수 있도록 특별히 고안된 장치를 이용하여 구현될 수도 있다.
또한, 실시예에 따라서, 음성 처리 장치(100), 음성 복원 장치(300) 및 서명 처리 장치(500) 중 적어도 하나는, 하나 이상의 정보처리장치를 단독으로 또는 조합하여 이용함으로써 구현될 수도 있다. 여기서, 하나 이상의 정보처리장치는, 예를 들어, 스마트 폰, 태블릿 피씨, 데스크톱 컴퓨터, 랩톱 컴퓨터, 서버용 하드웨어 장치, 스마트 시계, 스마트 밴드, 마이크로 폰, 보이스 레코더(voice recorder), 동영상 촬영 장치(캠코더나 액션캠 등), 두부 장착형 디스플레이(HMD: Head Mounted Display) 장치, 휴대용 게임기, 내비게이션 장치, 개인용 디지털 보조기(PDA: Personal Digital Assistant), 스마트 키, 원격 제어 장치(리모컨), 디지털 텔레비전, 셋 톱 박스, 디지털 미디어 플레이어 장치, 미디어 스트리밍 장치, 디브이디(DVD) 재생 장치, 컴팩트 디스크(CD) 재생 장치, 음향 재생 장치(인공 지능 스피커 등), 가전 기기(냉장고, 선풍기, 공조기 또는 세탁기 등), 유인/무인 이동체(승용차, 버스나 이륜차와 같은 차량, 이동성 로봇, 무선 모형 차량 또는 로봇 청소기 등), 유인/무인 비행체(일례로 항공기, 헬리콥터, 드론, 모형 비행기 또는 모형 헬리콥터 등), 가정용/산업용/군사용 로봇, 산업용/군사용 기계, 의료 기기, 교통 제어기, 전자 광고판 또는 자동 입출금기(ATM: Automated Teller Machine) 등을 포함할 수 있으나 이에 한정되는 것은 아니다. 설계자나 사용자 등은 상황이나 조건에 따라서 상술한 정보처리장치 이외에도 정보의 연산 처리 및 제어가 다양한 장치 중 적어도 하나를 상술한 음성 처리 장치(100)로 고려하여 채용할 수 있다.
이하 도 10을 참조하여 음성 처리 시스템의 일 실시예를 설명한다.
도 10은 음성 처리 시스템의 일 실시예에 대한 도면이다.
도 10에 도시된 바에 의하면, 음성 처리 시스템(1)은, 음성 녹음을 수행할 수 있는 녹음용 단말 장치(10)와, 요약 정보(p-digest)에 대해 서명 처리를 수행하고, 서명 처리된 요약 정보(sp-digest)를 저장할 수 있는 서버 장치(20)를 포함할 수 있으며, 필요에 따라 민감 정보 처리 음성 데이터(p-audio) 등을 수신하고, 이를 재생할 재생용 단말 장치(30)를 더 포함할 수 있다.
녹음용 단말 장치(10), 서버 장치(20) 및 재생용 단말 장치(30)는 일방으로 또는 쌍방으로 유선 또는 무선 통신 네트워크(2)를 통해 데이터, 프로그램 또는 명령 등을 전송할 수 있다.
여기서, 무선 통신 네트워크(2)는 근거리 통신 네트워크 및 이동 통신 네트워크 중 적어도 하나를 포함할 수 있으며, 여기서, 근거리 통신 네트워크는 와이파이(WIFI), 와이파이 다이렉트(WIFI direct) 또는 블루투스(Bluetooth) 등으로 구축된 것일 수 있고, 이동 통신 네트워크는 3GPP 계열(LTE나 NR 등), 3GPP2 계열 또는 IEEE 계열의 통신 표준을 기반으로 구축된 것일 수 있다.
상술한 바와 같이 녹음용 단말 장치(10) 및 재생용 단말 장치(30)는, 예를 들어, 스마트폰이나 데스크 톱 컴퓨터 등의 정보 처리 장치를 포함할 수 있고, 서버 장치(20)는 서버용 하드웨어 장치 등을 포함할 수 있다.
일 실시예에 의하면, 녹음용 단말 장치(10) 및 서버 장치(20) 중 적어도 하나는, 상술한 음성 처리 장치(100)의 프로세서(200)가 수행 가능한 다수의 동작 중 적어도 하나의 동작을 수행하도록 마련된 것일 수 있다.
예를 들어, 녹음용 단말 장치(10)는, 상술한 바와 같이 음성 처리 장치(100)의 동작 및 기능을 수행하여, 처리 대상 음성 데이터에 대해 음성 변환을 수행하여 변환된 음성 데이터를 획득하고, 원 음성 데이터 또는 변환된 음성 데이터에 대한 해싱 리댁션 처리를 수행하고, 해시 리댁션 처리 결과 획득된 요약 정보(p-digest)를 생성하고, 원 파라미터 정보(o-profile) 또는 파라미터 정보(p-profile)를 생성하고 및/또는 민감 정보 처리 음성데이터(p-audio)를 획득하도록 마련될 수 있다. 이 경우, 서버 장치(20)는 상술한 서명 처리 장치(500)의 동작을 수행할 수 있다. 즉, 서버 장치(20)는 요약 정보(p-digest)에 대해 서명 처리를 수행한 후, 서명된 요약 정보(sp-digest)를 녹음용 단말 장치(10) 및 재생용 단말 장치(30) 중 적어도 하나로 전송할 수도 있다. 다른 예를 들어, 녹음용 단말 장치(10)는, 녹음을 통해 원 음성 데이터를 획득하고, 필요에 따라 변환된 음성 데이터를 더 획득하여 서버 장치(20)로 전송하고, 서버 장치(20)는 녹음용 단말 장치(10)로부터 녹음된 음성 데이터 또는 변환된 음성 데이터를 수신하고, 녹음된 음성 데이터 또는 변환된 음성 데이터에 대한 해싱 리댁션 처리나, 요약 정보(p-digest)의 획득이나, 서명된 요약 정보(sp-digest)의 획득이나, 원 파라미터 정보(o-profile) 또는 파라미터 정보(p-profile)의 생성이나, 및/또는 민감 정보 처리 음성데이터(p-audio)의 획득 등을 수행하고, 해당 과정에서 획득된 파라미터 정보(o-profile, p-profile), 요약 정보(p-digest, sp-digest) 및 민감 정보 처리 음성데이터(p-audio) 중 적어도 하나를 녹음용 단말 장치(10)나 재생용 단말 장치(20)로 전달할 수도 있다. 이 경우, 녹음용 단말 장치(10)는, 상술한 프로세서(200)의 동작 중 서버 장치(20)에 의해 수행되는 동작은 수행하지 않도록 마련된 것일 수도 있다. 상술한 바 이외에도 녹음용 단말 장치(10) 및 서버 장치(20)가 수행할 처리 동작은 다양한 방식으로 정의될 수 있다.
재생용 단말 장치(30)는 상술한 음성 복원 장치(300)의 동작을 수행할 수 있다. 이 경우, 재생용 단말 장치(30)는 녹음용 단말 장치(10) 및 서버 장치(20) 중 적어도 하나로부터 민감 정보 처리 음성데이터(p-audio)를 수신하고, 민감 정보 처리 음성데이터(p-audio)의 복원에 필요한 데이터(즉, 파라미터 정보(o-profile, p-profile) 및 요약 정보(p-digest, sp-digest) 중 적어도 하나)를 동시에 또는 이시에 수신하고, 수신한 데이터를 기반으로 민감 정보 처리 음성데이터(p-audio)를 복원하여 재생하고, 이를 시각적 또는 청각적으로 출력할 수 있다.
상술한 녹음용 단말 장치(10), 서버 장치(20) 및 재생용 단말 장치(30)의 예시나, 각각의 구체적인 동작에 대해선 이미 기술한 바 있으므로, 이들에 대한 자세한 설명은 생략하도록 한다.
이하 도 11을 참조하여 음성 처리 방법의 일 실시예를 설명하도록 한다.
도 11은 음성 처리 방법의 일 실시예에 대한 흐름도이다.
도 11에 도시된 바를 참조하면, 음성 처리를 위해서 먼저 원 음성 데이터가 획득될 수 있다(400). 원 음성 데이터의 획득은, 음성 처리 장치에 마련된 마이크로 폰 등의 음성 입력부를 통해 수행될 수도 있고, 또는 음성 처리 장치와는 다른 장치(예를 들어, 스마트폰이나 녹음기 등)로부터 전달 받아 수행될 수도 있다.
이어서, 필요에 따라 원 음성 데이터에 대한 전처리가 더 수행될 수도 있다(402). 전처리는, 아날로그 신호의 디지털 변환, 푸리에 변환, 패스트 푸리에 변환 또는 데이터 잡음 제거 등을 포함할 수 있다. 여기서, 푸리에 변환 또는 패스트 푸리에 변환은, 프레임 단위로 수행될 수도 있다. 프레임은 음성 처리에 있어서 최소 단위로 이용될 수 있다.
음성 데이터는 적어도 하나의 세그먼트로 분리될 수 있다(404). 각각의 세그먼트는 각각의 대화자의 발화에 대응하여 분할 및 획득될 수 있으며, 예를 들어, 다수의 문장(들)이나 단어(들)을 포함할 수 있다.
적어도 하나의 세그먼트는, 예를 들어, 음성이 전혀 또는 극히 부재한 구역(무음 세그먼트)을 기준으로, 음성이 존재하거나 또는 음성이 어느 정도 연속적으로 연결하여 존재하는 부분(들)을 분할하여 획득될 수도 있다.
각각의 세그먼트가 분리 및 획득되면, 적어도 하나의 음성 변환 파라미터를 이용하여 각 세그먼트에 대한 음성 변환이 수행될 수 있다(406). 여기서, 음성 변환 파라미터는 음성의 변환을 위해 이용되는 값으로, 논리적으로 또는 실험적으로 결정될 수 있다.
예를 들어, 음성 변환 파라미터는, 상술한 분리 주파수보다는 크되, 파이(π)보다 작을 수도 있다. 각각의 세그먼트 각각 마다 음성 변환 파라미터가 결정될 수 있으며, 이 경우, 음성 변환 파라미터는 각각의 세그먼트마다 랜덤하게 결정될 수 있다. 필요에 따라, 무음 세그먼트에 대한 음성 변환 파라미터(미도시)를 더 결정하는 것도 가능하다.
상술한 음성 변환은 세그먼트의 각 프레임마다 음성 변환 파라미터를 적용하여 수행될 수도 있으며, 동일한 세그먼트의 프레임에 대해서는 동일한 음성 변환 파라미터가 적용되고, 서로 상이한 세그먼트에 속하는 프레임에 대해서는 서로 상이한 음성 변환 파라미터가 적용되어 수행될 수도 있다. 일 실시예에 따르면, 음성 변환은 워핑 함수를 이용하여 수행될 수도 있으며, 예를 들어, 상술한 수학식 1을 기반으로 수행될 수도 있다.
음성 변환 과정(406)과 동시에, 음성 변환 과정(406)의 이전 또는 이후에 해시 리댁션 처리 및/또는 민감 정보 처리가 수행될 수 있다(408).
해시 리댁션 처리는, 각각의 세그먼트의 음성 데이터 각각에 대해 수행될 수 있으며, 음성 데이터의 각각의 프레임마다 수행될 수도 있다. 해시 리댁션은 상술한 수학식 2를 이용하여 수행되는 것도 가능하다.
민감 정보 처리는, 변환되거나 변환되지 않은 음성 데이터의 전부 또는 일부를, 해당 음성 데이터의 전부 또는 일부에 대응하면서 해시 리댁션 처리된 데이터로 대체함으로써 수행될 수 있다.
여기서, 변환되거나 변환되지 않은 음성 데이터의 전부 또는 일부는, 민감 정보를 포함할 수 있다. 민감 정보는, 예를 들어, 대화자(들)의 성명, 전화번호, 주소, 주민등록번호, 사회보장번호, 여권번호, 비밀번호, 업무상 비밀에 해당하는 내용 또는 개인의 사생활과 관련된 정보 등과 같이 외부에 알려지길 꺼려하는 정보를 포함할 수 있다. 민감 정보를 해시 리댁션된 데이터로 대체함에 따라 최종적으로 민감 정보 처리 음성 데이터가 획득될 수 있게 된다.
또한, 파라미터 정보 및 요약 정보가 획득될 수 있다(410). 파라미터의 정보 획득은, 상술한 파라미터 획득 과정(406) 직후에, 요약 정보 획득과는 별도로 수행되는 것도 가능하다. 파라미터 정보는, 적어도 하나의 음성 변환 파라미터를 이용하여 생성 및 획득될 수 있으며, 필요에 따라 적어도 하나의 해시 리댁션 결과 파라미터를 더 이용하여 생성 및 획득될 수도 있다.
여기서, 적어도 파라미터 정보는 원 음성 복원이 불허되거나 또는 불가능한 세그먼트에 대응하는 부분(예를 들어, 대화 상대방의 음성 부분)에는 상응하는 음성 변환 파라미터 대신에 해시 리댁션 결과 파라미터를 배치하고, 원 음성 복원이 허가되거나 또는 가능한 세그먼트에 대응하는 부분(예를 들어, 사용자의 음성 부분)에는 상응하는 음성 변환 파라미터를 배치하여 생성될 수 있다.
요약 정보는 각각의 세그먼트에 대응하는 해시 리댁션 처리 결과, 즉 해시 리댁션 처리된 음성 데이터를 조합하여 획득할 수 있다. 이 경우, 요약 정보는 세그먼트의 순서에 대응하여 해시 리댁션 처리 결과를 순차적으로 배치하여 생성될 수도 있다.
민감 정보 처리 음성 데이터, 파라미터 정보 및/또는 요약 정보는 저장될 수 있으며, 실시예에 따라서, 다른 장치(서버 장치나 음성 복원 장치)로 전달될 수도 있다(412).
요약 정보는, 필요에 따라, 서명 처리 장치로 전달될 수도 있으며, 서명 처리 장치는 요약 정보에 대해 서명 처리를 수행하여 서명된 요약 정보를 획득하고, 이를 음성 처리 장치 및 음성 복원 장치 중 적어도 하나로 전달할 수 있다.
이하 도 12를 참조하여 음성 검증 방법의 일 실시예를 설명하도록 한다.
도 12는 음성 검증 방법의 일 실시예에 대한 흐름도이다.
음성 검증 방법은, 스마트폰이나 데스크톱 컴퓨터 등과 같은 음성 검증 장치에 의해 수행될 수 있다.
일 실시예에 따르면, 도 12에 도시된 바와 같이 음성 검증을 위해 먼저 음성 검증 장치가 민감 정보 처리 음성 데이터 및 요약 정보를 음성 처리 장치나 이들 정보를 저장한 다른 장치(예를 들어, 서버 장치) 등으로부터 수신할 수 있다(420).
상술한 바와 같이 민감 정보 처리 음성 데이터는, 음성 변환 및 민감한 정보에 해당하는 부분에 대한 해시 리댁션 처리에 따라 민감한 정보가 제거된 음성 데이터를 포함할 수 있다.
요약 정보는 모든 또는 일부의 음성 데이터에 대한 해시 리댁션 처리 결과를 조합하여 획득한 정보를 포함할 수 있으며, 실시예에 따라 서명 처리된 것일 수도 있다.
순차적으로 만약 민감 정보 처리 음성 데이터가 소정의 포맷(예를 들어, 고급 오디오 부호화(AAC) 포맷 등)에 의해 인코딩된 경우라면, 민감 정보 처리 음성 데이터에 대한 디코딩이 수행될 수 있다(422). 만약 민감 정보 처리 음성 데이터가 기 인코딩된 경우가 아니라면 디코딩 과정은 생략될 수도 있다.
민감 정보 처리 음성 데이터의 전부 또는 일부에 대한 해시 리댁션 처리가 수행된다(424). 이 경우, 민감 정보 처리 음성 데이터에 대해 적용되는 해시 리댁션 처리는, 음성 처리 장치가 음성 데이터에 대해 수행했던 해시 리댁션 처리와 동일한 것일 수도 있다.
한편, 민감 정보 처리 음성 데이터 중에서 기존에 음성 처리 장치에 의해 해시 리댁션 처리가 된 부분에 대해선 추가적인 해시 리댁션 처리는 수행되지 않고, 그 외의 부분(즉, 음성에 대응하는 부분)에 대해 해시 리댁션 처리가 수행될 수도 있다.
순차적으로 민감 정보 처리 음성 데이터에 대한 해시 리댁션 처리 결과(즉, 검증용 해시 리댁션 처리 결과)와, 요약 정보(또는 서명된 요약 정보)가 비교될 수 있다(426). 상술한 바와 같이 음성 데이터의 적어도 하나의 세그먼트에 대한 요약 정보 생성 시와 동일한 세그먼트에 대해서 동일한 방식으로 해시 리댁션 처리가 수행되므로, 위조 및 변조가 부재한 상황에서는 요약 정보 또는 서명된 요약 정보의 해시 리댁션 처리 결과와 검증용 해시 리댁션 처리 결과는 서로 동일할 수 밖에 없다.
따라서, 만약 검증용 해시 리댁션 처리 결과와, 요약 정보에 기록된 해시 리댁션 처리 결과가 동일하다면(428의 예), 해당 민감 정보 처리 음성 데이터는 위변조되지 않은 것으로 판단되고, 이의 진정성이 인정된다(430).
반대로 만약 검증용 해시 리댁션 처리 결과와, 요약 정보에 기록된 해시 리댁션 처리 결과가 상이하다면(428의 아니오), 해당 민감 정보 처리 음성 데이터는 위조되거나 변조된 것으로 판정된다(432).
이에 따라 음성 검증 장치는, 음성 처리 장치에 녹음 또는 저장되고, 음성 처리 장치로부터 전달된 음성 데이터의 진정성 여부를 판단할 수 있게 된다.
이하 도 13을 참조하여 음성 복원 방법의 일 실시예를 설명하도록 한다.
도 13은 음성 복원 방법의 일 실시예에 대한 흐름도이다.
도 13에 도시된 바에 의하면, 음성 복원 장치는 음성 복원을 위해 먼저 음성 처리 장치로부터 민감 정보 처리 음성 데이터 및 파라미터 정보를 수신할 수 있다(440). 민감 정보 처리 음성 데이터는, 상술한 바와 같이 민감 정보에 대해 해시 리댁션 처리가 수행된 음성 데이터이고, 파라미터 정보는 각 세그먼트에 이용된 파라미터를 조합하여 획득된 데이터로, 음성 변환 파라미터 및 해시 리댁션 결과 파라미터 중 적어도 하나를 포함하여 마련된 것일 수 있다.
이 경우, 음성 변환 파라미터는 원 음성 복원이 가능한 세그먼트에 대해서 마련되고, 해시 리댁션 결과 파라미터는 원 음성 복원이 불가능한 세그먼트에 대해서 마련된다.
실시예에 따라서, 만약 민감 정보 처리 음성 데이터가 소정의 포맷(예를 들어, 고급 오디오 부호화(AAC) 포맷 등)에 의해 기 인코딩되어 있다면, 민감 정보 처리 음성 데이터에 대한 디코딩 처리가 더 수행될 수도 있다(442).
만약 민감 정보 처리 음성 데이터가 소정의 포맷으로 인코딩된 경우가 아니라면, 디코딩 과정은 생략될 수도 있다.
파라미터 정보로부터 민감 정보 처리 음성 데이터 각 세그먼트에 대응하는 음성 변환 파라미터가 검색될 수 있다(444).
만약 특정한 세그먼트에 대해서 음성 변환 파라미터가 검출되면(446의 예), 검출된 음성 변환 파라미터를 이용하여 해당 세그먼트 부분의 음성을 복원한다(448).
반대로 특정 세그먼트에 대해서 음성 변환 파라미터가 검출되지 않으면(즉, 특정 세그먼트에 대해서 해시 리댁션 결과 파라미터만 존재한다면)(446의 아니오), 해당 세그먼트는 그대로 복원되거나 및/또는 미리 정의된 설정에 따라 소정의 비프음으로 변환되어 복원될 수 있다(450).
이에 따라, 음성을 복원할 경우, 민감하지 않은 정보는 원 음성과 동일하게 또는 근사하게 복원되나, 민감한 정보는 마스킹되어 비프음 등으로 복원되므로, 녹음된 대화 내에서의 민감 정보의 유출을 사전에 방지할 수 있게 된다.
상술한 실시예에 따른 음성 처리 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 프로그램은, 명령어, 라이브러리, 데이터 파일 및/또는 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며, 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다.
프로그램은 상술한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다.
또한, 여기서, 컴퓨터 장치는, 프로그램의 기능을 실현 가능하게 하는 프로세서나 메모리 등을 포함하여 구현된 것일 수 있으며, 필요에 따라 통신 장치를 더 포함할 수도 있다.
상술한 음성 처리 방법을 구현하기 위한 프로그램은, 컴퓨터 등의 장치에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 롬, 램, SD카드 또는 플래시 메모리(일례로 솔리드 스테이트 드라이브(SSD) 등)와 같은 반도체 저장 매체나, 하드 디스크 또는 플로피 디스크 등과 같은 자기 디스크 저장 매체나, 콤팩트 디스크 또는 디브이디 등과 같은 광 기록 매체나, 또는 플롭티컬 디스크 등과 같은 자기-광 기록 매체 등과 같이 컴퓨터 등의 장치의 호출에 따라 실행되는 하나 이상의 프로그램을 일시적 또는 비일시적으로 저장 가능한 적어도 한 종류의 물리적 저장 매체를 포함할 수 있다.
이상 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템, 음성 처리 방법, 음성 복원 방법 및 음성 검증 방법의 여러 실시예에 대해 설명하였으나, 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템, 음성 처리 방법, 음성 복원 방법 또는 음성 검증 방법은 오직 상술한 실시예에 한정되는 것은 아니다.
해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현할 수 있는 다른 다양한 시스템, 장치나 방법 역시 상술한 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템, 음성 처리 방법, 음성 복원 방법 또는 음성 검증 방법의 일 실시예가 될 수 있다. 예를 들어, 설명된 방법(들)이 설명된 바와 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소(들)가 설명된 바와 다른 형태로 결합, 연결 또는 조합되거나 다른 구성 요소 또는 균등물 등에 의하여 대치 또는 치환되더라도, 상술한 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템, 음성 처리 방법, 음성 복원 방법 및/또는 음성 검증 방법의 일 실시예가 될 수 있다.
본 발명은 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템, 음성 처리 방법, 음성 복원 방법 및 음성 검증 방법에 의해 녹음된 음성에 대한 프라이버시 보호 및 신뢰성 증명을 동시에 가능하게 할 수 있고, 녹음된 음성 내에서 민감한 정보를 삭제하거나 마스킹함으로써 대화자의 개인 정보 유출 문제를 해결할 수 있게 되며, 민감한 정보가 제거된 이후에도 음성 데이터의 품질을 원본과 동일하게 또는 근사하게 유지할 수 있는 장점도 얻을 수 있고, 녹음된 원래의 음성 데이터와, 이를 기반으로 무단으로 조작하여 획득된 음성 데이터를 신속하면서도 쉽게 구별할 수 있게 되어, 음성 데이터에 대한 신뢰성을 향상시킬 수 있으며, 이에 따라 분쟁 시에 조작된 녹음에 따른 허위 진술을 사전에 차단할 수 있게 되므로, 산업상 이용가능성이 높다.
[부호의 설명]
10: 녹음용 단말 장치 20: 서버 장치
30: 재생용 단말 장치 100: 음성 처리 장치
200: 프로세서 210: 전처리부
220: 세그먼트 분리부 230: 파라미터 획득부
231: 파라미터 정보 획득부 240: 음성 변환부
250: 해시 리댁션 처리부 251: 민감 정보 처리부
260: 요약 정보 생성부 270: 인코딩부
300: 음성 복원 장치 400: 프로세서
401: 디코딩부 410: 검증부
420: 음원 복원부

Claims (9)

  1. 음성 데이터의 전부 또는 일부의 세그먼트에 대해 해시 리댁션 처리를 수행하여 해시 리댁션 처리 결과를 획득하고, 상기 해시 리댁션 처리 결과를 조합하여 요약 정보를 생성하고, 상기 음성 데이터 중 민감 정보에 해당하는 부분에 대한 해시 리댁션 처리 결과를 조합하여 민감 정보 처리 음성 데이터를 획득하는 프로세서; 및
    상기 요약 정보 및 상기 민감 정보 처리 음성 데이터를 저장하는 저장부;를 포함하는 음성 처리 장치.
  2. 제1항에 있어서,
    상기 프로세서는, 음성 변환 파라미터를 임의적으로 결정하고, 상기 음성 변환 파라미터를 이용하여 상기 음성 데이터를 변환하는 음성 처리 장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 음성 변환 파라미터에 대해 해시 리댁션 처리를 수행하여 해시 리댁션 결과 파라미터를 획득하고, 상기 음성 변환 파라미터 및 상기 해시 리댁션 결과 파라미터 중 적어도 하나를 이용하여 파라미터 정보를 생성하는 음성 처리 장치.
  4. 제2항에 있어서,
    상기 프로세서는, 이중 인자 워핑 함수를 이용하여 상기 음성을 변환하는 음성 처리 장치.
  5. 제2항에 있어서,
    상기 프로세서는, 변환된 상기 음성 데이터를 고급 오디오 부호화(AAC: Advanced Audio Coding) 포맷으로 인코딩하고, 상기 고급 오디오 부호화 포맷으로 인코딩된 음성 데이터 중에서 상기 민감 정보에 해당하는 부분에 대한 해시 리댁션 처리 결과를 조합하여 상기 민감 정보 처리 음성 데이터를 획득하는 음성 처리 장치.
  6. 음성 데이터에 대해 음성 변환 파라미터를 적용하여 음성 데이터를 변환하고, 변환된 음성 데이터의 민감 정보를 해시 리댁션 처리하여 민감 정보 처리 음성 데이터를 획득하고, 상기 음성 변환 파라미터에 대해 해시 리댁션 처리를 수행하여 해시 리댁션 결과 파라미터를 획득하고, 상기 음성 변환 파라미터 및 해시 리댁션 결과 파라미터 중 적어도 하나를 기반으로 파라미터 정보를 획득하는 녹음용 단말 장치; 및
    상기 파라미터 정보를 획득하고, 상기 민감 정보 처리 음성 데이터 중 상기 음성 변환 파라미터에 대응하는 부분은 상기 음성 변환 파라미터를 이용하여 복원하고, 상기 해시 리댁션 결과 파라미터에 대응하는 부분은 그대로 복원하거나 또는 비프 음을 대체하여 복원하여 상기 민감 정보 처리 음성 데이터를 복원하는 재생용 단말 장치;를 포함하는 음성 처리 시스템.
  7. 음성 데이터에 대해 민감 정보를 해시 리댁션 처리하여 획득된 민감 정보 처리 음성 데이터와, 음성 변환 파라미터 및 해시 리댁션 결과 파라미터 중 적어도 하나를 포함하는 파라미터 정보를 획득하되, 상기 해시 리댁션 결과 파라미터는 상기 음성 변환 파라미터에 대해 해시 리댁션 처리를 수행하여 획득된 것인 입력부; 및
    상기 민감 정보 처리 음성 데이터 중 상기 음성 변환 파라미터에 대응하는 부분은 상기 음성 변환 파라미터를 이용하여 복원하고, 상기 해시 리댁션 결과 파라미터에 대응하는 부분은 그대로 복원하거나 또는 비프 음을 대체하여 복원하는 프로세서;를 포함하는 음성 복원 장치.
  8. 제7항에 있어서,
    상기 입력부는 요약 정보를 더 획득하되, 상기 요약 정보는 원 음성 데이터의 전부 또는 일부의 세그먼트에 대해 해시 리댁션 처리를 수행하여 해시 리댁션 처리 결과를 획득하고, 해시 리댁션 획득 결과를 조합하여 획득하는 음성 복원 장치.
  9. 제8항에 있어서,
    상기 프로세서는, 상기 민감 정보 처리 음성 데이터에 대해 해시 리댁션 처리하여 검증용 해시 리댁션 처리 결과를 획득하고, 상기 검증용 해시 리댁션 처리 결과 및 요약 정보를 비교하여 상기 음성 데이터에 대한 검증을 수행하는 음성 복원 장치.
PCT/KR2023/001151 2022-02-08 2023-01-26 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템 WO2023153677A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020220016316A KR20230119942A (ko) 2022-02-08 2022-02-08 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템, 음성 처리 방법, 음성 복원 방법 및 음성 검증 방법
KR10-2022-0016316 2022-02-08
KR10-2022-0020283 2022-02-16
KR1020220020283A KR20230123295A (ko) 2022-02-16 2022-02-16 음성 복원 장치, 음성 복원 방법 및 음성 검증 방법

Publications (1)

Publication Number Publication Date
WO2023153677A1 true WO2023153677A1 (ko) 2023-08-17

Family

ID=87564665

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/001151 WO2023153677A1 (ko) 2022-02-08 2023-01-26 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템

Country Status (1)

Country Link
WO (1) WO2023153677A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994590A (zh) * 2023-09-27 2023-11-03 中国信息通信研究院 一种深度伪造音频鉴别方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009501942A (ja) * 2005-07-13 2009-01-22 ハイパークオリティー，インク． 音声認識技術を利用した録音した音声内の選択的セキュリティマスキング

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009501942A (ja) * 2005-07-13 2009-01-22 ハイパークオリティー，インク． 音声認識技術を利用した録音した音声内の選択的セキュリティマスキング

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
COHN IDO, LAISH ITAY, BERYOZKIN GENADY, LI GANG, SHAFRAN IZHAK, SZPEKTOR IDAN, HARTMAN TZVIKA, HASSIDIM AVINATAN, MATIAS YOSSI: "Audio De-identification - a New Entity Recognition Task", PROCEEDINGS OF THE 2019 CONFERENCE OF THE NORTH, ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, STROUDSBURG, PA, USA, 1 June 2019 (2019-06-01) - 7 June 2019 (2019-06-07), Stroudsburg, PA, USA, pages 197 - 204, XP093082795, DOI: 10.18653/v1/N19-2025 *
FAHIMEH BAHMANINEZHAD, CHUNLEI ZHANG, JOHN HANSEN: "Convolutional Neural Network Based Speaker De-Identification", ODYSSEY 2018 THE SPEAKER AND LANGUAGE RECOGNITION WORKSHOP, ISCA, ISCA, 1 January 2018 (2018-01-01), ISCA , pages 255 - 260, XP055706531, DOI: 10.21437/Odyssey.2018-36 *
JIANWEI QIAN ; HAOHUA DU ; JIAHUI HOU ; LINLIN CHEN ; TAEHO JUNG ; XIANG-YANG LI: "Hidebehind", EMBEDDED NETWORKED SENSOR SYSTEMS, ACM, 2 PENN PLAZA, SUITE 701NEW YORKNY10121-0701USA, 4 November 2018 (2018-11-04) - 7 November 2018 (2018-11-07), 2 Penn Plaza, Suite 701New YorkNY10121-0701USA , pages 82 - 94, XP058418782, ISBN: 978-1-4503-5952-8, DOI: 10.1145/3274783.3274855 *
QIAN JIANWEI; HAN FENG; HOU JIAHUI; ZHANG CHUNHONG; WANG YU; LI XIANG-YANG: "Towards Privacy-Preserving Speech Data Publishing", IEEE INFOCOM 2018 - IEEE CONFERENCE ON COMPUTER COMMUNICATIONS, IEEE, 16 April 2018 (2018-04-16), pages 1079 - 1087, XP033418322, DOI: 10.1109/INFOCOM.2018.8486250 *
QIU-HUA LIN, FU-LIANG YIN, TIE-MIN MEI, HUALOU LIANG: "A blind source separation based method for speech encryption", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS PART I: REGULAR PAPERS., IEEE SERVICE CENTER, NEW YORK, NY., US, vol. 53, no. 6, 1 June 2006 (2006-06-01), US , pages 1320 - 1328, XP093082801, ISSN: 1057-7122, DOI: 10.1109/TCSI.2006.875164 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994590A (zh) * 2023-09-27 2023-11-03 中国信息通信研究院 一种深度伪造音频鉴别方法和系统
CN116994590B (zh) * 2023-09-27 2023-12-15 中国信息通信研究院 一种深度伪造音频鉴别方法和系统

Similar Documents

Publication Publication Date Title
WO2018070623A1 (ko) 전자문서 내용기반의 위변조 방지 장치와 시스템 및 그 방법
WO2018117376A1 (ko) 컨텐츠 운용 방법 및 이를 구현한 전자 장치
WO2020050656A1 (en) Method and device for processing file
WO2019156314A1 (ko) 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법
WO2018034552A1 (en) Language translation device and language translation method
WO2016108468A1 (en) User terminal, service providing apparatus, driving method of user terminal, driving method of service providing apparatus, and encryption indexing-based search system
WO2016175564A1 (ko) 오디오 컨텐츠 인식 방법 및 장치
WO2023153677A1 (ko) 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템
WO2020139058A1 (en) Cross-device voiceprint recognition
WO2020017898A1 (en) Electronic apparatus and control method thereof
WO2020159288A1 (ko) 전자 장치 및 그 제어 방법
WO2015178600A1 (en) Speech recognition method and apparatus using device information
WO2019112181A1 (ko) 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법
WO2018026200A1 (en) Language translation device and language translation method
WO2016032021A1 (ko) 음성 명령 인식을 위한 장치 및 방법
WO2014038828A1 (en) Method and apparatus for executing application in device
WO2019151802A1 (en) Method of processing a speech signal for speaker recognition and electronic apparatus implementing same
WO2021002584A1 (ko) 음성을 통한 전자문서 제공 방법, 음성을 통한 전자문서 작성 방법 및 장치
WO2021029642A1 (en) System and method for recognizing user's speech
WO2020091519A1 (en) Electronic apparatus and controlling method thereof
WO2020130425A1 (en) Electronic apparatus, controlling method of electronic apparatus and computer readable medium
WO2019098499A1 (ko) 전자 장치, 외부 전자 장치 및 이를 포함하는 음향 시스템
WO2022010177A1 (en) Device and method for generating summary video
WO2022169039A1 (ko) 전자 장치 및 그 제어 방법
WO2020141643A1 (ko) 음성 합성 서버 및 단말기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23753028

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE