WO2017039102A1 - 커뮤니케이션 방법 및 그를 위한 전자 장치 - Google Patents

커뮤니케이션 방법 및 그를 위한 전자 장치 Download PDF

Info

Publication number
WO2017039102A1
WO2017039102A1 PCT/KR2016/002880 KR2016002880W WO2017039102A1 WO 2017039102 A1 WO2017039102 A1 WO 2017039102A1 KR 2016002880 W KR2016002880 W KR 2016002880W WO 2017039102 A1 WO2017039102 A1 WO 2017039102A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio signal
information
receiver
audio
encrypted
Prior art date
Application number
PCT/KR2016/002880
Other languages
English (en)
French (fr)
Inventor
쥬오씨앙
쥬쉬엔
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201510552749.1A external-priority patent/CN106487514A/zh
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP16842068.5A priority Critical patent/EP3309783B1/en
Priority to US15/756,892 priority patent/US10650827B2/en
Publication of WO2017039102A1 publication Critical patent/WO2017039102A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/03—Protecting confidentiality, e.g. by encryption
    • H04W12/033—Protecting confidentiality, e.g. by encryption of the user plane, e.g. user's traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/65—Environment-dependent, e.g. using captured environmental data

Definitions

  • the present disclosure relates to an audio communication encryption method and apparatus, an audio communication decryption method and apparatus, and an audio communication encryption and decryption system.
  • Encryption and decryption algorithms based on public and private keys can be used primarily for encryption and decryption of audio signals.
  • the sender In encryption and decryption algorithms based on public and private keys, the sender must use the recipient's public key to encrypt the audio signal. After the audio signal is encrypted, only the receiver who previously provided the public key can decrypt the audio signal by using his private key.
  • methods of using encryption and decryption algorithms based on public and private keys are expensive. What's more, in an audio communication situation like WeChat, the cost can be much higher and the confidentiality of the information delivered can not be guaranteed.
  • Various embodiments are aimed at providing an improved cost and confidentiality of information transfer compared to the case of using public and private keys in the encryption and decryption of audio signals as in the prior art.
  • a communication method using an electronic device comprising: receiving an audio signal of a transmitter; Detecting sensitive information in the audio signal based on content of the audio signal; Encrypting the sensitive information using the characteristic information of the receiver; And transmitting an audio signal including the encrypted sensitive information.
  • Various embodiments can provide reduced cost and improved information transfer confidentiality compared to the use of public and private keys in the encryption and decryption of audio signals as in the prior art.
  • FIG. 1 is a diagram illustrating a communication performed through an electronic device according to an embodiment.
  • FIG. 2 is a flowchart illustrating an audio communication method using an electronic device, according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating a process of detecting whether an audio signal includes important information according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating an audio communication method in a plurality of communication using an electronic device, according to an exemplary embodiment.
  • FIG. 5 is a flowchart illustrating a process of determining a receiver to receive an audio signal of a transmitter according to an embodiment.
  • FIG. 6 is a flowchart illustrating a process of detecting voiceprint information from an audio signal of a receiver in an audio communication method using an electronic device according to an embodiment.
  • FIG. 7 is a flowchart illustrating an audio communication method using an electronic device, according to an exemplary embodiment.
  • FIG. 8 is a flowchart illustrating a process of acquiring voiceprint information from an audio signal of a receiver in an audio communication method using an electronic device according to an embodiment.
  • FIG. 9 is a flowchart illustrating another process of obtaining voiceprint information from an audio signal of a receiver in an audio communication method using an electronic device according to an embodiment.
  • FIG. 10 is a schematic diagram illustrating a structure of an electronic device for audio communication, according to an embodiment.
  • FIG. 10 is a schematic diagram illustrating a structure of an electronic device for audio communication, according to an embodiment.
  • FIG. 11 is a schematic diagram illustrating a structure of an electronic device for audio communication, according to an embodiment.
  • FIG. 12 is a schematic diagram illustrating a structure of an audio communication encryption and decryption system according to an embodiment.
  • a communication method using an electronic device comprising: receiving an audio signal of a transmitter; Detecting sensitive information in the audio signal based on content of the audio signal; Encrypting the sensitive information using the characteristic information of the receiver; And transmitting an audio signal including the encrypted sensitive information.
  • the content of the audio signal may be meaning of the audio signal or an audio characteristic of the audio signal.
  • the content of the audio signal is the meaning of the audio signal
  • the step of detecting the important information based on the meaning of the audio signal is: the audio signal of the sender is a predetermined key keyword or predetermined key Detecting the sensitive information based on whether a keyword type is included, or the context of an audio signal in the sender's communication history.
  • encrypting the sensitive information may include encrypting the audio signal including the sensitive information.
  • the characteristic information of the receiver may include at least one of voiceprint information, fingerprint information, face information, vein pattern information, palmistry information, and iris information of the receiver.
  • the step of detecting the important information based on whether the audio signal of the sender includes the predetermined key keyword or the predetermined key keyword type includes: identifying the audio signal of the transmitter as a word list. Doing; And a text match between the identified word list and the predetermined important keyword or the important keyword type.
  • the audio signal may be divided into at least one or more segments based on a semantic analysis of the audio signal, and the divided at least one or more segments may be distributed and transmitted to at least one or more receivers. have.
  • a communication method using an electronic device comprising: receiving an audio signal including important information detected based on contents of an audio signal and encrypted using characteristic information of a receiver; Obtaining characteristic information of the receiver; And decrypting the encrypted sensitive information using the characteristic information of the receiver.
  • the content of the audio signal may be meaning of the audio signal or audio characteristics of an audio signal of the sender.
  • the characteristic information may include at least one of voiceprint information, fingerprint information, face information, vein pattern information, palm rest information, and iris information of the receiver.
  • obtaining the glottal information comprises: detecting a respiratory signal from the recipient; And determining whether the voiceprint information is generated from the receiver based on the respiration signal.
  • an electronic device may include a receiver configured to receive an audio signal of a transmitter; A control unit for detecting important information in the audio signal based on contents of the audio signal, and encrypting the important information using characteristic information of a receiver; And a transmitter configured to transmit an audio signal including the encrypted sensitive information.
  • the content of the audio signal may be meaning of the audio signal or an audio characteristic of the audio signal.
  • the controller may determine the receiver for the audio signal based on the name of the receiver detected in the audio signal or the context of the audio signal in the communication history of the sender.
  • an electronic device may include a receiver configured to receive an audio signal including important information detected based on content of an audio signal and encrypted using characteristic information of a receiver; And a control unit for acquiring the characteristic information of the receiver and decoding the encrypted audio signal by using the characteristic information of the receiver.
  • the content of the audio signal may be meaning of the audio signal or an audio characteristic of the audio signal.
  • the characteristic information may include at least one of voiceprint information, fingerprint information, face information, vein pattern information, palm rest information, and iris information of the receiver.
  • the controller may detect a breathing signal from the receiver and determine whether the voiceprint information is generated from the receiver based on the detected breathing signal.
  • a recording method includes: receiving an audio signal of a transmitter; Detecting sensitive information in the audio signal based on content of the audio signal; Encrypting the sensitive information using the characteristic information of the receiver; And transmitting an audio signal including the encrypted sensitive information, the method comprising the steps of: transmitting an audio signal including the encrypted sensitive information, the information being detected based on the content of the audio signal and encrypted using characteristic information of the receiver; Receiving an audio signal comprising a; Obtaining characteristic information of the receiver; And decrypting the encrypted sensitive information using the characteristic information of the receiver.
  • a computer readable recording medium having recorded thereon a program for executing the method.
  • a part is “connected” to another part, this includes not only “directly connected” but also “electrically connected” with another element in between. .
  • the fact that a part is “connected” with another part includes a case in which a part is in a state capable of performing data communication through signal transmission and reception with another part.
  • FIG. 1 is a diagram illustrating a communication performed through an electronic device 110 according to an embodiment.
  • the electronic device 110 may be a smart phone, but this is only an example and is not limited to the smart phone.
  • the electronic device 110 may be a tablet PC, a laptop computer, a desktop, a wearable device, a smart TV, a mobile phone, a panel computer, a portable multimedia player (PMP), a personal computer. It may be a device having an audio signal reception function and an audio signal reproduction function, such as an information terminal (PDA), and the like, and the type of the electronic device 110 is not limited thereto.
  • PDA information terminal
  • FIG. 1 illustrates an embodiment in which a plurality of communication is performed through an electronic device.
  • FIG. 1 illustrates a screen displayed on an electronic device of Tommy 120, which is the most recently spoken person or currently speaking person among those who participate in communication in one embodiment.
  • the people participating in the communication may be displayed as an icon 140 on the screen of the electronic device, and the names 120 and 130 of respective communication participants may be displayed under the icon.
  • the profile picture of each participant may be displayed instead of the icon 140.
  • the icon of the person currently speaking and the icon of the person not currently speaking may be different. For example, as shown in FIG. 1, an icon representing Tommy 120 that is recently spoken or currently speaking may be displayed as an icon of a mouth-opening speech unlike an icon of other participants.
  • FIG. 1 shows that Tommy 120 is “Hey Mike, my account password number is 1111.” Indicates the situation.
  • the Tommy 120 may be a transmitter for transmitting an audio signal
  • the Mike 130 may be a receiver for receiving the words of Tommy 120, as described later in FIG. 5.
  • the audio signal is a signal of an audio range and indicates a signal of 20 Hz to 20 kHz, which is an audible frequency of a human, but is not limited thereto.
  • Mike 130 determined as a receiver to receive the audio signal transmitted by Tommy 120 may listen to the audio signal transmitted by Tommy 120 by voice.
  • the voice display 150 is an indication that Mike 130 can hear the audio signal transmitted by Tommy (120).
  • the method of displaying the voice display 150 is not limited to the shape shown in FIG. 1 and may vary.
  • the voice display 150 may not be separately displayed on the screen.
  • the user of the electronic device 110 may hear the voice by pressing the voice display 150 and may not hear the voice by not pressing the voice display 150.
  • the audio signal of the sender Tommy 120 may be converted to text 160, 170 as well as voice and used for communication.
  • the important information is the number 1111 (180) which is the account password (account password number).
  • the text 160 visible to the receiver may be viewed as XXXX 190 in which important information is encrypted.
  • the important information is encrypted and hidden on the text, it is displayed as XXXX 190 as an exemplary embodiment, but is not limited thereto.
  • the encrypted portion may sound as noise in the audio signal, corresponding to the sensitive information in text 160 being hidden by XXXX 190.
  • the encrypted audio signal may be transmitted to all of the communication participants encrypted, or only to a specific recipient while encrypted.
  • a shielded audio file or a blank audio file may be used. Details will be described later.
  • the audio signal of each user can be individually encrypted.
  • an audio signal that is secret to other users may be decoded by using characteristic information of each user.
  • FIG. 2 is a flowchart illustrating an audio communication method using an electronic device, according to an exemplary embodiment.
  • step S210 an audio signal of a transmitter is received.
  • the audio signal from the transmitter may be received by the receiver of the electronic device.
  • step S220 sensitive information in the audio signal is detected based on the content of the audio signal.
  • the important information may include a bank account number, a password, and the like, but is not limited thereto.
  • the audio signal may be transmitted to the receiver without encryption.
  • the sender's audio signal includes a predetermined important keyword or a predetermined important keyword type, it may be determined that the audio signal includes important information. For example, since an important keyword of "password” is included in the audio signal "password XXXXXX" of the transmitter, it may be determined that the audio signal includes important information. At this time, "XXXXXX" following the important keyword "password” may be detected as important information.
  • the audio segment of the numeric type corresponds to an important keyword type that is likely to be important information, and thus the audio segment. Can be treated as important information.
  • whether the sender's audio signal contains important information may be determined using the context of the audio signal in the sender's communication history. For example, if a communication history review shows that a word such as "bank account number" is present in a previous audio signal and includes numeric information in the current audio signal, the numeric information can be regarded as a bank account number and treated as important information.
  • whether the sender's audio signal contains important information can be detected by using the audio characteristics of the sender's audio signal.
  • the audio characteristic may include, but is not limited to, a volume characteristic of an audio signal. For example, if an audio chat is taking place between users, the sound may be reduced when important information is included. That is, when the sound of a specific segment in the sender's audio signal is smaller than the sound of another content portion of the audio signal, or the sound difference is larger than a set threshold, the specific segment may correspond to important information.
  • the sender's EEG signal may be analyzed to detect important information. After analyzing the sender's EEG signal, if the sender recognizes that it is important for a certain part of the audio signal, it classifies the specific part of the audio signal as important information, and if the sender recognizes that it is not important for the particular part of the audio signal You may not want to classify a specific part of the class as important information.
  • the sensitive information may be encrypted using the characteristic information of the receiver.
  • characteristic information of the receiver may be extracted.
  • the characteristic information of the receiver may be at least one of voiceprint information of the receiver, fingerprint information of the receiver, face information of the receiver, vein pattern information, palmistry information, and iris information, but is not limited thereto. Any information showing the unique characteristics of the receiver can be treated as characteristic information. For example, in an acoustic spectrum that conveys speech information, the glottal information can have strong discrimination and high stability. Voice information can be effectively used in audio signal encryption to increase the confidentiality of the encryption.
  • the characteristic information of the receiver may be used to encrypt an audio signal including important information.
  • the audio signal including the encrypted sensitive information may be transmitted.
  • the audio signal including the encrypted sensitive information may be transmitted to the decryption apparatus.
  • a shielded audio file or a blank audio file may be transmitted along with the audio signal.
  • the protected audio file is an audio file that contains a voice, such as music, songs, or sounds of nature, which the user of the electronic device 110 can listen to, and the protected audio file is an encrypted audio signal containing important information or Replaying encrypted sensitive information can be used to protect the user from noise that may occur.
  • the type of voice that the protected audio file can contain is not limited to music, songs, or sounds of nature that the user can listen to.
  • the empty audio file may be an audio file in which no voice occurs.
  • the protected audio file or the empty audio file may be played with or instead of noise to protect the user from hearing the noise.
  • the receiver if the receiver cannot decrypt the encrypted audio signal or cannot decrypt the sensitive information encrypted in the audio signal, the receiver can hear a protected audio file or an empty audio file instead of noise.
  • FIG. 3 is a flowchart illustrating a process of detecting whether an audio signal includes important information according to an exemplary embodiment.
  • the transmitter's audio signal includes a predetermined important keyword or a predetermined important keyword type, it may be determined that the transmitter's audio signal includes important information.
  • an audio signal of the transmitter may be identified by a word list.
  • audio identification may be performed by using a method based on Hidden Markov Model (HMM) -deep neural network (DNN), but is not limited thereto.
  • HMM Hidden Markov Model
  • DNN deep neural network
  • Various audio identification methods can be used to identify the sender's audio signal.
  • step S320 a semantic analysis may be performed on the identified word list to detect whether the sender's audio signal contains important information.
  • a text match may be made between the identified key word list and the identified word list to detect whether the sender's audio signal contains important information.
  • a state indicator indicating whether the audio signal includes important information may be set according to the confirmation result. For example, when it is confirmed that the audio signal includes important information, the status indicator may be set to 1, and when it is confirmed that the audio signal does not include important information, the status indicator may be set to 0.
  • FIG. 4 is a flowchart illustrating an audio communication method in a plurality of communication using an electronic device, according to an exemplary embodiment.
  • FIG. 4 is a flowchart in which an encryption method of FIG. 2 adds a step of determining a receiver to receive an audio signal of step S430.
  • Step S430 is a step of determining the receiver in the case of communication in which there are several recipients, and may be omitted when there is only one receiver.
  • Steps S410, S420, S440, and S450 perform the same principles as those of steps S210, S220, S230, and S240 of FIG. 2, and thus detailed descriptions thereof will be omitted for simplicity.
  • a receiver to receive an audio signal may be determined.
  • a detailed description of step S430 is provided in the detailed description of the invention with reference to FIG. 5 below.
  • the sensitive information may be encrypted using the characteristic information of the receiver.
  • an audio signal including encrypted sensitive information may be transmitted.
  • the audio signal including the encrypted sensitive information may be transmitted to the decryption apparatus.
  • FIG. 5 is a flowchart illustrating a process of determining a receiver to receive an audio signal of a transmitter according to an embodiment.
  • the name of the receiver may be detected from the audio signal.
  • the sender's audio signal may include the recipient's name, along with important information. An example is the phrase "send password 123456 to user A".
  • a text match may be performed between a predetermined name list and a semantic analysis result of the sender's audio signal.
  • the semantic analysis result may include the word list identified in step S310 and the semantic analysis performed in step S320, but is not limited thereto.
  • the receiver of the sender's audio signal can be determined.
  • the receiver's name may be detected in the communication history of the transmitter.
  • the recipient for the current audio signal may be determined based on the recipient's name. For example, if the communication history contains the sentence "User A, please record my bank account", then the recipient of the current audio signal could be User A.
  • the transmitter when the receiver for the transmitter's audio signal is not determined in operation S520, the transmitter may be requested to provide the receiver's name.
  • the sender can provide the recipient's name by using audio synthesis or textual information.
  • the method of providing the recipient's name may be determined according to the audio communication platform. For example, if the communication platform is a text interface, a dialog box containing text information requesting to provide a recipient name may pop up. If the communication platform is a pure audio interface with no text, the sender may be asked to provide the recipient's name through a synthesized audio request.
  • a receiver for receiving an audio signal of a transmitter may be determined.
  • the user may select at least one of steps S510, S520, and S530 in advance.
  • the order of steps S510, S520, and S530 of determining a receiver to receive an audio signal may vary.
  • At least one segment of the sender's audio signal is determined based on the semantic analysis of the sender's audio signal. Can be divided into
  • the entire undivided audio signal may be sent to multiple receivers.
  • the segments of the sender's audio signal may be split such that some segments are sent to some recipients and some segments are sent to the other recipients.
  • the audio signal of the transmitter can be divided into several segments. Each segment may correspond to at least one recipient. For example, if the audio signal is "Send Mathematical Achievement to User A and Verbal Achievement to User B", the audio signal can be divided into two segments and sent to User A and User B, respectively.
  • the audio signal is "A and B, my bank account is XXXXXX; C, my mailbox password is XXXXXX; D, E and F, my QQ number is XXXXXX.”
  • FIG. 6 is a flowchart illustrating a process of detecting voiceprint information from an audio signal of a receiver in an audio communication method using an electronic device according to an embodiment.
  • the audio file including the voiceprint information of the receiver may be detected by searching for an audio signal corresponding to the name of the receiver in the communication history of the audio file. In one embodiment, if there are several recipients, one may look for each audio file corresponding to each recipient. In one embodiment, the audio file corresponding to each recipient may include an audio file, a video file, and an audio file in a video file in local memory received in a previous audio communication. In one embodiment, the video file may be associated with a contact in an address book.
  • voiceprint information of the receiver may be extracted from the detected audio file.
  • the voiceprint information may be extracted from an audio file using an i-vector method, but is not limited thereto.
  • the characteristic information of the receiver is at least one of fingerprint information, face information, vein pattern information, palmistry information, and iris information
  • the fingerprint information, face information, corresponding to the receiver in a previously received or stored image file An image file associated with at least one of vein pattern information, palmistry information, and iris information may be selected.
  • at least one of fingerprint information, face information, vein pattern information, palm rest information, and iris information of the receiver may be extracted from the selected image file.
  • the sender's voice information, fingerprint information, facial information, veins are encrypted to the receiver before transmitting and encrypting the sender's audio signal. At least one of pattern information, palmistry information, and iris information may be requested.
  • all audio signals i.e., all sentences spoken by the sender, may be encrypted by using the receiver's characteristic information.
  • only the sensitive information may be encrypted in the audio signal using the voiceprint information of the receiver.
  • the audio signal when multiple receivers receive the same audio signal, the audio signal can be encrypted by using the characteristic information of each receiver, and the encrypted audio signal can be transmitted to each receiver. At this time, each receiver can decode the audio signal using its own characteristic information.
  • the characteristic information of each receiver may be used to encrypt each of the important information among various important information in the audio signal.
  • the voiceprint information may be applied to the audio signal encryption by using an encryption algorithm such as the BlowFish algorithm, and the encryption method is not limited thereto, and other encryption methods related to the voiceprint information may be used.
  • a shielded audio file or a blank audio file may be transmitted along with the audio signal.
  • the protected audio file can be used to protect the encrypted audio signal or to protect the encrypted sensitive information in the audio signal. If the receiver cannot decrypt the encrypted audio signal or the encrypted sensitive information in the audio signal, the receiver can hear the audio signal of the protected audio file or the empty audio file instead of listening to the noise.
  • FIG. 7 is a flowchart illustrating an audio communication method using an electronic device, according to an exemplary embodiment.
  • step S710 an audio signal including important information, which is detected based on the content of the audio signal and encrypted using the characteristic information of the receiver, is received.
  • the audio signal may be an audio signal in which the entire audio signal is encrypted, and only some audio signals including important information among the audio signals may be encrypted audio signals.
  • the type of encoding method of the audio signal may be used to detect whether the audio signal includes an encrypted audio signal. For example, when the encoding method of the audio signal is an encoding method generally used by the electronic device of the present disclosure, it may be determined that the audio signal does not include an encrypted audio signal. When the encoding method of the audio signal is an encoding method that is not generally used by the electronic device of the present disclosure, it may be determined that the audio signal includes an encrypted audio signal. If the audio signal is not an encrypted audio signal, the receiver can play the audio signal directly.
  • characteristic information of the receiver may be obtained.
  • the characteristic information of the receiver may include, but is not limited to, at least one of voiceprint information, fingerprint information, face information, vein pattern information, palmistry information, and iris information of the receiver.
  • voiceprint information is the characteristic information
  • the voiceprint information in the audio signal of the receiver may be detected in step S720.
  • an image file corresponding to the receiver may be determined from a previously received or stored image file, and the determined image At least one of fingerprint information, face information, vein pattern information, palmistry information, and iris information may be obtained from the file.
  • the recipient's fingerprint information, face information, vein pattern information, palm rest information or iris information may be requested directly from the recipient.
  • the encrypted sensitive information may be decrypted using the characteristic information of the receiver.
  • the decryption method of step S730 may correspond to an encryption method when encrypting an audio signal.
  • the decrypted audio signal after decrypting the encrypted audio signal, it is possible to play the decrypted audio signal for the receiver.
  • a protected audio file or an empty audio file received with the audio signal can also be reproduced.
  • FIG. 8 is a flowchart illustrating a process of obtaining voiceprint information from an audio signal of a receiver in an audio communication method using an electronic device according to an embodiment.
  • an audio file including an audio signal of a receiver may be searched for in a communication history.
  • the voiceprint information of the receiver may be obtained from the retrieved audio file.
  • voiceprint information may be extracted from an audio file by using an i-vector method, but is not limited thereto. Other methods for extracting the voiceprint information from the audio file can also be used.
  • FIG. 9 is a flowchart illustrating another process of finding voiceprint information from an audio signal of a receiver in an audio communication method using an electronic device according to an embodiment.
  • steps S910 and S920 of FIG. 9 may be different from that of FIG. 9, and only some of steps S910 and S920 may be performed.
  • a breathing signal from the receiver may be detected.
  • the request may be sent to the receiver by using audio synthesis or text information that depends on the audio communication platform. For example, in a communication platform of a text interface, a dialog box may be popped up to request a receiver to provide an audio signal. In one embodiment, in a communication platform of a textless pure audio interface, the recipient may be asked to provide an audio signal by playing the synthesized audio.
  • a respiratory signal can be detected from the audio signal provided by the receiver.
  • a respiratory signal can be detected from the audio signal provided by the receiver.
  • a machine learning algorithm such as a support vector machine, can be used to determine if the audio signal is actually an audio signal containing the recipient's voiceprint information, and in fact the recipient's voiceprint. The method of determining whether the information is included is not limited thereto.
  • a status indicator indicating whether the audio signal is an actual audio signal may be used by determining whether the audio signal provided from the receiver is actually an audio signal including the voiceprint information of the receiver. have. For example, if the audio signal is an actual audio signal, the status indicator may indicate 1, or if the audio signal does not actually contain the voiceprint information of the receiver, such as a recorded audio signal, the status indicator may indicate 0. .
  • the voiceprint information of the receiver can be obtained from the audio signal provided by the receiver. In one embodiment, if it is determined that the audio signal provided by the receiver does not actually contain the voiceprint information of the receiver, a protected audio file or an empty audio file may be used to protect the encrypted audio signal. For example, while playing a received audio signal, a predetermined audio file may be played together to prevent noise from being generated while an encrypted portion is played.
  • FIG. 10 is a schematic diagram illustrating a structure of an electronic device for audio communication, according to an embodiment.
  • FIG. 10 is a schematic diagram illustrating a structure of an electronic device for audio communication, according to an embodiment.
  • the electronic device 1000 may include a receiver 1010, a controller 1020, and a transmitter 1030.
  • the receiver 1000 may receive an audio signal from a transmitter.
  • the controller 1020 may detect, based on the contents of the audio signal, important information in the audio signal in one embodiment.
  • the controller 1020 may determine that the sender's audio signal includes important information when the sender's audio signal includes a predetermined important keyword or a predetermined important keyword type. In one embodiment, the controller 1020 may determine whether the sender's audio signal includes important information based on the context in the sender's communication history. In another embodiment, the controller 1020 may detect whether the transmitter's audio signal includes important information based on the audio characteristics of the transmitter's audio signal.
  • the controller 1020 may identify the sender's audio signal as a word list, and perform semantic analysis on the identified word list to detect whether the sender's audio signal includes important information.
  • the controller 1020 may text match a predetermined keyword or keyword type with an identified word list in order to detect whether the sender's audio signal includes important information. If a result of the text match matches a predetermined keyword or keyword type with a part of the identified word list, it can be detected that the audio signal contains important information.
  • the controller 1020 may set a state indicator indicating whether the audio signal includes important information based on the detection result. For example, when it is found that the audio signal includes important information, the controller 1020 may indicate the state indicator as 1. If it is determined that the audio signal does not include important information, the controller 1020 may indicate a state indicator as zero.
  • the controller 1020 may extract the characteristic information of the receiver.
  • the characteristic information of the receiver may be at least one of voiceprint information, fingerprint information, face information, vein pattern information, palm rest information, and iris information of the receiver, but is not limited thereto.
  • the controller 1020 may retrieve a communication history of the audio file about the receiver corresponding to the 'name of the receiver' in the transmitter's audio signal, and the receiver may retrieve the received audio signal or file from the receiver. You can extract the text of the gates.
  • the controller 1120 may search for each audio file corresponding to each receiver, and retrieve voiceprint information of the corresponding receiver from each of the retrieved audio files. Can be extracted.
  • the controller 1020 may have an image corresponding to the receiver among image files previously received or stored.
  • the file may be determined and then the recipient's fingerprint information, face information, vein pattern information, palm rest information or iris information may be extracted from the determined image file.
  • the controller 1020 when the audio signal detects important information, the controller 1020 encrypts the audio signal including the important information or the important information, and before transmitting the audio signal including the encrypted important information or the important information.
  • the recipient may be asked to provide the recipient's voiceprint information, fingerprint information, facial information, iris information, vein pattern information, palm rest information or other information.
  • the controller 1020 may encrypt the sender's audio signal using the extracted characteristic information.
  • the controller may not perform the step of determining the receiver for the audio signal.
  • the characteristic information accessible by the controller 1020 may be used only to encrypt the audio signal or important information of the audio signal.
  • the controller 1020 may encrypt the divided audio signal segments corresponding to each receiver by using the characteristic information of each receiver among the plurality of receivers. Can be.
  • the controller 1020 may encrypt important information in the audio signal by using the characteristic information of each receiver.
  • the electronic apparatus 1000 may include a transmitter 1030 for transmitting an encrypted audio signal.
  • the transmitter may transmit the protected audio file along with the audio signal.
  • Protected audio files can be used to protect encrypted audio signals or sensitive information encrypted in audio signals.
  • the receiver may hear an empty audio file or a protected audio file instead of noise.
  • FIG. 11 is a schematic diagram illustrating a structure of an electronic device for audio communication, according to an embodiment.
  • the electronic device 1100 may include a receiver 1110 and a controller 1120.
  • the receiver 1110 may receive an audio signal including important information detected based on the content of the audio signal and encrypted using the characteristic information of the receiver.
  • the received audio signal may be an audio signal that does not include an encrypted audio signal or may be an audio signal that includes an encrypted audio signal.
  • the controller 1120 may detect whether the received audio signal is an encrypted audio signal.
  • the controller 1120 may detect whether the audio signal is an encrypted audio signal by using an encoding mode of the audio signal. For example, when the encoding method of the audio signal is an encoding method generally used by the electronic device of the present disclosure, it may be determined that the audio signal does not include an encrypted audio signal. When the encoding method of the audio signal is an encoding method that is not generally used by the electronic device of the present disclosure, it may be determined that the audio signal includes an encrypted audio signal.
  • the controller 1120 may reproduce the audio signal for the receiver when the audio signal is not an encrypted audio signal.
  • the controller 1120 may acquire characteristic information of the receiver.
  • the characteristic information of the receiver may be voiceprint information, fingerprint information, face information, vein pattern information, palmistry information, or iris information of the receiver, but is not limited thereto.
  • the controller 1120 may search for an audio file including an audio signal of the receiver in the communication history, and obtain the voiceprint information of the receiver from the retrieved audio file. Can be.
  • the controller 1120 may decrypt the encrypted sensitive information by using the characteristic information of the receiver.
  • the decryption method used by the controller 1120 may correspond to the encryption method used to encrypt the audio signal.
  • the audio signal may be decrypted.
  • the controller 1120 may play the decrypted audio signal for the receiver after decrypting the encrypted audio signal.
  • the controller 1120 may use a predetermined audio file to protect the encrypted audio signal.
  • the predetermined audio file may include, but is not limited to, a protected audio file or an empty audio file.
  • the protected audio file or the empty audio file may be transmitted from the encryption device to the decryption device together with the encrypted audio signal.
  • the controller 1120 may play the protected audio file or the empty audio file for the receiver.
  • the controller 1120 may detect the voiceprint information by using the processes described below.
  • the controller 1120 may request the receiver to provide an audio signal.
  • the receiver may provide an audio signal.
  • the controller 1120 may detect a breathing signal in the audio signal provided by the receiver, and based on the breathing signal whether the audio signal provided by the receiver is actually an audio signal including the voiceprint information of the receiver. You can judge. If it is determined that the audio signal provided by the receiver is actually an audio signal including voiceprint information of the receiver, the controller 1120 may extract the voiceprint information of the receiver from the audio signal provided by the receiver.
  • the controller 1120 may use a predetermined audio file to protect the encrypted audio signal.
  • the predetermined audio file may include, but is not limited to, a protected audio file or an empty audio file.
  • the controller 1120 may determine an image file corresponding to the receiver from among previously received or stored image files. And fingerprint information, face information, vein pattern information, palm rest information, or iris information of the recipient can be obtained from the determined image file.
  • the controller 1120 may directly request the fingerprint information, face information, iris information, vein pattern information, palm rest information, or other information of the receiver.
  • FIG. 12 is a schematic diagram illustrating a structure of an audio communication encryption and decryption system according to an embodiment.
  • the audio communication encryption and decryption system 1200 may include an audio communication encryption device 1210 and an audio communication decryption device 1220.
  • the audio communication encryption apparatus 1210 may include a receiver 1212, a controller 1214, and a transmitter 1216.
  • receiver 1212, the controller 1214, and the transmitter 1216 perform the same operations as the receiver 1010, the controller 1020, and the transmitter 1030 of FIG. 10, a detailed description thereof will be omitted.
  • the receiver 1212 may receive an audio signal from a transmitter.
  • the controller 1214 may detect, based on the contents of the audio signal, important information in the audio signal in one embodiment.
  • the controller 1214 may encrypt the sensitive information by using the characteristic information of the receiver.
  • the transmitter 1216 may transmit the audio signal including the encrypted sensitive information in one embodiment.
  • the audio communication decoding apparatus 1220 may include a receiver 1222 and a controller 1224.
  • receiver 1222 and the controller 1224 perform the same operations as the receiver 1110 and the controller 1120 of FIG. 11, a detailed description thereof will be omitted.
  • the receiver 1222 may receive an audio signal including important information detected based on the content of the audio signal and encrypted using the receiver's characteristic information.
  • the received audio signal may be an audio signal that does not contain an encrypted audio signal, or may be an audio signal that includes an encrypted audio signal.
  • the controller 1224 may obtain characteristic information of the receiver, in an embodiment.
  • the characteristic information of the receiver may be voiceprint information, fingerprint information, face information, vein pattern information, palmistry information, or iris information of the receiver, but is not limited thereto.
  • the controller 1224 may decrypt the encrypted sensitive information using the characteristic information of the receiver.
  • the decryption method used by the controller 1224 may correspond to an encryption method used to encrypt the audio signal.
  • the communication method using the electronic apparatuses 1000 and 1100, the electronic apparatuses 1000 and 1100, and the audio communication encryption and decryption system have the following characteristics.
  • the computational cost can be reduced by encrypting only the sensitive information in the audio signal during the encryption process.
  • the confidentiality of the audio communication can be improved.
  • the electronic device may distinguish whether the voice of the person or the voice of the voice recorder is based on the air pressure.
  • the audio communication encryption method and the audio communication decryption method may be performed in hardware, firmware, software, computer code, or a combination thereof.
  • the software or computer code may comprise non-transitory recording media (read only memory (ROM), random access memory (RAM), CD-ROM, magnetic tape, floppy disk, optical data storage device and carrier) Data transfer over the Internet) or computer code downloaded from a network.
  • the computer code may be initially stored on a remote recording medium, computer readable recording medium or non-transitory machine readable medium, and then stored on a local recording medium. Can be.
  • the aforementioned methods can be performed on software, computer code, software modules, software objects, instructions, application programs, applets, apps and the like, and software, computer code , Software modules, software objects, instructions, application programs, applets, apps, and the like are stored on a recording medium using a general purpose computer, digital computer, or a dedicated processor. Can be.
  • the above-mentioned methods may be performed by programmable hardware or dedicated hardware (eg, application specific circuitry (ASIC) or field-programmable gate array (FPGA)).
  • ASIC application specific circuitry
  • FPGA field-programmable gate array
  • the incorporation of temporary and / or non-transitory memory and memory components (eg, RAM, ROM, flash memory, and the like) by a computer, processor, microprocessor controller, or programmable hardware is a common skill in the art. It may be easy for someone to have.
  • Memory and memory components may store or receive software or computer code. When accessed and performed by a computer, the processor or hardware, software or computer code may perform the processing methods mentioned above.
  • execution of the code may convert the general purpose computer into a dedicated computer that performs the above mentioned process.
  • the program may be transmitted by any medium in which the communication signal is transmitted via wired / wireless and equivalent, in electronic mode.
  • the program and computer readable recording medium may be distributed within a computer system connected with a network.
  • the computer readable code can then be distributed, stored and executed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

전송자의 오디오 신호를 수신하는 단계; 상기 오디오 신호에 있는 중요 정보를 상기 오디오 신호의 컨텐츠에 기초하여 검출하는 단계; 수신자의 특성 정보를 이용해서 상기 중요 정보를 암호화 하는 단계; 및 암호화 된 상기 중요 정보가 포함된 오디오 신호를 전송하는 단계를 포함하는 방법 등이 개시된다.

Description

커뮤니케이션 방법 및 그를 위한 전자 장치
본 개시는 오디오 커뮤니케이션 암호화 방법 및 장치, 오디오 커뮤니케이션 복호화 방법 및 장치, 및 오디오 커뮤니케이션 암호화 및 복호화 시스템과 관련된다.
데이터 암호화 및 복호화가 각광받고 있으며 데이터 암호화 및 복호화는 커뮤니케이션 기술분야에 있어서 중요한 필요 조건이다. 최근 스마트폰과 같은 개인 디지털 장치의 인기와 함께 오디오(audio)는 점차 커뮤니케이션 매체의 주류가 되고 있다. 이러한 상황에서 오디오 신호의 암호화 및 복호화 과정에 대한 필요성이 점차 증가하고 있다. 오디오 신호의 암호화 및 복호화를 위해 공개 키(public key) 및 개인 키(private key)에 기초한 암호화 및 복호화 알고리즘(algorithm)이 주로 사용될 수 있다. 공개 키 및 개인 키에 기초한 암호화 및 복호화 알고리즘에서, 전송자는 오디오 신호를 암호화하기 위해 반드시 수신자의 공개 키를 사용해야 한다. 오디오 신호가 암호화 된 이후에는, 앞서 공개 키를 제공한 수신자만이 본인의 개인 키를 이용함으로써 오디오 신호를 복호화할 수 있다. 하지만, 공개 키 및 개인 키에 기초한 암호화 및 복호화 알고리즘을 이용하는 방법은 비용이 많이 든다. 더욱이, WeChat과 같이 여러 명이 오디오 커뮤니케이션을 하는 상황에서는 비용이 훨씬 증가할 수 있으며 정보 전달의 비밀성도 보장(guaranteed)되지 못할 수 있다.
다양한 실시예들은, 오디오 신호의 암호화 및 복호화 과정에서 기존 기술처럼 공개 키 및 개인 키를 사용하는 경우와 비교하여 절감된 비용 및 정보 전달 비밀성의 향상을 제공하는데 목적이 있다.
일부 실시예에 따른 전자 장치를 이용한 커뮤니케이션 방법에 있어서: 전송자의 오디오 신호를 수신하는 단계; 상기 오디오 신호에 있는 중요 정보(sensitive information)를 상기 오디오 신호의 컨텐츠에 기초하여 검출하는 단계; 수신자의 특성 정보를 이용해서 상기 중요 정보를 암호화하는 단계; 및 암호화 된 상기 중요 정보가 포함된 오디오 신호를 전송하는 단계를 포함하는 방법이다.
다양한 실시예들은, 오디오 신호의 암호화 및 복호화 과정에서 기존 기술처럼 공개 키 및 개인 키를 사용하는 경우와 비교하여 절감된 비용 및 정보 전달 비밀성의 향상을 제공할 수 있다.
도 1은 일 실시예에 따라, 커뮤니케이션이 전자 장치를 통해 이루어지는 모습을 나타낸 도면이다.
도 2는 일 실시예에 따른 전자 장치를 이용한 오디오 커뮤니케이션 방법에 대한 플로우 차트이다.
도 3은 일 실시예에 따라 오디오 신호가 중요 정보를 포함하고 있는지 검출하는 과정을 나타내는 플로우 차트이다.
도 4는 일 실시예에 따라 전자 장치를 이용한 다수간의 커뮤니케이션에 있어서 오디오 커뮤니케이션 방법에 대한 플로우 차트이다.
도 5는 일 실시예에 따라 전송자의 오디오 신호를 수신할 수신자를 결정하는 과정을 나타내는 플로우 차트이다.
도 6은 일 실시예에 따른 전자 장치를 이용한 오디오 커뮤니케이션 방법에 있어서, 수신자의 오디오 신호에서 성문(voiceprint) 정보를 검출하는 과정을 나타내는 플로우 차트이다.
도 7은 일 실시예에 따라 전자 장치를 이용한 오디오 커뮤니케이션 방법에 대한 플로우 차트이다.
도 8은 일 실시예에 따른 전자 장치를 이용한 오디오 커뮤니케이션 방법에 있어서, 수신자의 오디오 신호에서 성문 정보를 획득하는 과정을 나타내는 플로우 차트이다.
도 9는 일 실시예에 따른 전자 장치를 이용한 오디오 커뮤니케이션 방법에 있어서, 수신자의 오디오 신호에서 성문 정보를 획득하는 또 다른 과정을 나타내는 플로우 차트이다.
도 10은 일 실시예에 따라 오디오 커뮤니케이션을 위한 전자 장치의 구조를 설명하는 개략도(schematic diagram)이다.
도 11은 일 실시예에 따라 오디오 커뮤니케이션을 위한 전자 장치의 구조를 설명하는 개략도이다.
도 12는 일 실시예에 따라 오디오 커뮤니케이션 암호화 및 복호화 시스템의 구조를 설명하는 개략도이다.
일부 실시예에 따른 전자 장치를 이용한 커뮤니케이션 방법에 있어서: 전송자의 오디오 신호를 수신하는 단계; 상기 오디오 신호에 있는 중요 정보(sensitive information)를 상기 오디오 신호의 컨텐츠에 기초하여 검출하는 단계; 수신자의 특성 정보를 이용해서 상기 중요 정보를 암호화하는 단계; 및 암호화 된 상기 중요 정보가 포함된 오디오 신호를 전송하는 단계를 포함하는 방법이다.
일 실시예에서, 상기 오디오 신호의 컨텐츠는, 상기 오디오 신호의 의미(meaning) 또는 상기 오디오 신호의 오디오 특성일 수 있다.
일 실시예에서, 상기 오디오 신호의 컨텐츠는 상기 오디오 신호의 의미이며, 상기 오디오 신호의 의미에 기초하여 상기 중요 정보를 검출하는 단계는: 상기 전송자의 상기 오디오 신호가 미리 지정된 중요 키워드 또는 미리 지정된 중요 키워드 타입을 포함하고 있는지 여부, 또는 상기 전송자의 커뮤니케이션 히스토리에 있는 오디오 신호의 문맥(context)에 기초하여 상기 중요 정보를 검출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 중요 정보를 암호화하는 단계는, 상기 중요 정보를 포함하는 상기 오디오 신호를 암호화 하는 단계를 포함할 수 있다.
일 실시예에서, 상기 수신자의 상기 특성 정보는 상기 수신자의 성문 정보, 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 전송자의 상기 오디오 신호에 상기 미리 지정된 중요 키워드 또는 상기 미리 지정된 중요 키워드 타입의 포함 여부에 기초하여 상기 중요 정보를 검출하는 단계는: 상기 전송자의 상기 오디오 신호를 단어 리스트로 식별하는 단계; 및 상기 식별된 단어 리스트와, 미리 지정된 상기 중요 키워드 또는 상기 중요 키워드 타입을 텍스트 매치(text match)하는 단계를 포함할 수 있다.
일 실시예에서, 상기 오디오 신호에 대한 의미 분석(semantic analysis)에 기초하여 상기 오디오 신호를 적어도 하나 이상의 세그먼트들로 분할하며, 상기 분할된 적어도 하나 이상의 세그먼트들을 적어도 하나 이상의 수신자들에게 분배하여 전송할 수 있다.
일부 실시예에 따른 전자 장치를 이용한 커뮤니케이션 방법에 있어서: 오디오 신호의 컨텐츠에 기초하여 검출되고 수신자의 특성 정보를 이용하여 암호화 된, 중요 정보를 포함하는 오디오 신호를 수신하는 단계; 상기 수신자의 특성 정보를 획득하는 단계; 및 상기 수신자의 특성 정보를 이용하여 상기 암호화 된 중요 정보를 복호화하는 단계를 포함하는, 방법이다.
일 실시예에서, 상기 오디오 신호의 컨텐츠는, 상기 오디오 신호의 의미(meaning) 또는 상기 전송자의 오디오 신호의 오디오 특성일 수 있다.
일 실시예에서, 상기 특성 정보는 상기 수신자의 성문 정보, 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 성문 정보를 획득하는 단계는: 상기 수신자로부터의 호흡(respiratory) 신호를 검출하는 단계; 및 상기 호흡 신호에 기초하여, 상기 성문 정보가 상기 수신자로부터 발생된 것인지 판별하는 단계를 포함할 수 있다.
일부 실시예에 따른 전자 장치는, 전송자의 오디오 신호를 수신하는 수신부; 상기 오디오 신호에 있는 중요 정보를 상기 오디오 신호의 컨텐츠에 기초하여 검출하고, 수신자의 특성 정보를 이용하여 상기 중요 정보를 암호화 하는 제어부; 및 암호화 된 상기 중요 정보를 포함하는 오디오 신호를 전송하는 전송부를 포함하는 전자 장치이다.
일 실시예에서, 상기 오디오 신호의 컨텐츠는, 상기 오디오 신호의 의미(meaning) 또는 상기 오디오 신호의 오디오 특성일 수 있다.
일 실시예에서, 상기 제어부는: 상기 오디오 신호에서 검출된 상기 수신자의 이름 또는 상기 전송자의 커뮤니케이션 히스토리에 있는 오디오 신호의 문맥에 기초하여 상기 오디오 신호에 대한 상기 수신자를 결정할 수 있다.
일부 실시예에 따른 전자 장치는, 오디오 신호의 컨텐츠에 기초하여 검출되고 수신자의 특성 정보를 이용하여 암호화 된, 중요 정보를 포함하는 오디오 신호를 수신하는 수신부; 및 상기 수신자의 특성 정보를 획득하며, 상기 수신자의 특성 정보를 이용하여 상기 암호화 된 오디오 신호를 복호화 하는 제어부를 포함하는, 전자 장치이다.
일 실시예에서, 상기 오디오 신호의 컨텐츠는, 상기 오디오 신호의 의미(meaning) 또는 상기 오디오 신호의 오디오 특성일 수 있다.
일 실시예에서, 상기 특성 정보는 상기 수신자의 성문 정보, 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 제어부는, 상기 성문 정보가 획득되면, 상기 수신자로부터의 호흡 신호를 검출하고, 상기 검출된 호흡 신호에 기초하여 상기 성문정보가 상기 수신자로부터 발생된 것인지 판별할 수 있다.
일부 실시예에 따른 기록 매체는, 전자 장치를 이용한 커뮤니케이션 방법에 있어서: 전송자의 오디오 신호를 수신하는 단계; 상기 오디오 신호에 있는 중요 정보(sensitive information)를 상기 오디오 신호의 컨텐츠에 기초하여 검출하는 단계; 수신자의 특성 정보를 이용해서 상기 중요 정보를 암호화하는 단계; 및 암호화 된 상기 중요 정보가 포함된 오디오 신호를 전송하는 단계를 포함하는 방법 또는 전자 장치를 이용한 커뮤니케이션 방법에 있어서: 오디오 신호의 컨텐츠에 기초하여 검출되고 수신자의 특성 정보를 이용하여 암호화 된, 중요 정보를 포함하는 오디오 신호를 수신하는 단계; 수신자의 특성 정보를 획득하는 단계; 및 상기 수신자의 특성 정보를 이용하여 상기 암호화 된 중요 정보를 복호화하는 단계를 포함하는, 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체이다.
아래에서는 첨부한 도면을 참조하여 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 실시예를 상세히 설명한다. 그러나 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서에서 사용된 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 다른 부분과 "연결"되어 있다고 함은 어떤 부분이 다른 부분과 신호 송수신을 통해 데이터 통신을 수행할 수 있는 상태가 되어 있는 경우를 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
첨부된 도면은 발명의 일 실시예를 설명하기 위하여 개략적으로 도시될 수 있으며, 몇몇 치수는 보다 명확한 표현을 위해 과장될 수 있다. 이와 유사하게, 도면의 상당 부분은 임의로 표현될 수 있다.
개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 발명을 한정하려는 의도가 아니다. 개시에서 사용한 용어는 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에 기재된 실시예 및 첨부된 도면은 발명의 다양한 실시예 중 일부를 통해 발명을 설명하기 위한 것이며, 본 개시에 기재된 실시예 및 첨부된 도면만으로 발명이 한정되는 것은 아니다.
이하 첨부된 도면을 참고하여 개시를 상세히 설명하기로 한다.
도 1은 일 실시예에 따라, 커뮤니케이션이 전자 장치(110)를 통해 이루어지는 모습을 나타낸 도면이다.
도 1에서 볼 수 있듯이, 전자 장치(110)는 스마트폰일 수 있으나, 이는 일 실시예에 불과하며, 스마트폰에 한정되지 않는다. 예를 들어, 전자 장치(110)는 태블릿 PC, 노트북 컴퓨터(laptop computer), 데스크탑, 웨어러블 장치(wearable device), 스마트 TV, 이동 전화, 패널PC(panel computer), 휴대용 멀티미디어 플레이어(PMP), 개인용 정보 단말기(PDA) 등과 같이 오디오 신호 수신 기능 및 오디오 신호 재생 기능을 가진 장치 등일 수 있으며, 전자 장치(110)의 종류는 이에 한정되지 않는다.
도 1은 전자 장치를 통해 다수간의 커뮤니케이션이 이루어지는 일 실시예에 대해서 보여준다. 특히, 도 1은 일 실시예에서 커뮤니케이션에 참가하고 있는 사람들 중에 가장 최근에 말한 사람 또는 현재 말하고 있는 사람인 Tommy(120)의 전자 장치에 표시되는 화면이다.
일 실시예에서, 커뮤니케이션에 참가하고 있는 사람들은 전자 장치의 화면 상에 아이콘(140)으로 표시될 수 있고, 아이콘 아래 커뮤니케이션 참가자 각자의 이름(120, 130)이 표시될 수 있다. 일 실시예에서, 아이콘(140) 대신 참가자 각자의 프로필 사진이 표시될 수 있다. 다른 일 실시예에서, 현재 말하고 있는 사람의 아이콘과 현재 말하고 있지 않은 사람의 아이콘은 다를 수 있다. 예를 들어, 도 1에서 볼 수 있듯이 최근에 말한 또는 현재 말하고 있는 Tommy(120)를 표시하는 아이콘은, 다른 참가자들의 아이콘과 다르게 입을 벌리고 말을 하는 모양의 아이콘으로 표시되어 있는 것을 확인할 수 있다.
일 실시예에서, 도 1은 Tommy(120)가 "Hey Mike, my account password number is 1111." 라고 말한 상황을 나타낸다. 이 때, Tommy(120)는 오디오 신호를 전송하는 전송자가 될 수 있고, Mike(130)는, 도 5에서 후술하는 내용에 의해, Tommy(120)의 말을 수신할 수신자가 될 수 있다. 오디오 신호는 오디오 음역의 신호로서, 사람의 가청 주파수인 20Hz 내지 20kHz의 신호를 가리키며, 이에 한정되지 않는다.
일 실시예에서, Tommy(120)가 전송한 오디오 신호를 수신할 수신자로 결정된 Mike(130)는, Tommy(120)가 전송한 오디오 신호를 음성으로 들을 수 있다. 이 때 일 실시예에서, 음성 표시(150)는 Mike(130)가 Tommy(120)가 전송한 오디오 신호를 음성으로 들을 수 있음을 나타내는 표시이다. 음성 표시(150)를 나타내는 방법은 도 1에 제시된 모양에 한정되지 않고 다양할 수 있으며, 음성 표시(150)가 따로 화면에 나타나지 않을 수도 있다. 일 실시예에서, 전자 장치(110)의 사용자는 음성 표시(150)를 누름으로써 음성을 들을 수 있고, 음성 표시(150)를 누르지 않음으로써 음성을 듣지 않을 수 있다. 다른 일 실시예에서, 전송자 Tommy(120)의 오디오 신호는 음성뿐만 아니라 텍스트(160, 170)로도 변환되어 커뮤니케이션에 이용될 수 있다.
도 1의 일 실시예에서, 중요 정보는 계좌 비밀 번호(account password number)인 숫자 1111(180)임을 확인할 수 있다. 이 때, 수신자가 볼 수 있는 텍스트(160)에는 중요 정보가 암호화 되어 가려진 XXXX(190)로 보일 수 있다. 중요 정보가 암호화 되어 텍스트 상에서 가려질 때 XXXX(190)로 표시되는 것은 일 실시예에 불과하며, 이에 한정되지 않고 다른 표시로도 나타날 수 있다. 일 실시예에서, 텍스트(160)에서 중요 정보가 암호화 되어 XXXX(190)로 가려진 것과 대응하여, 오디오 신호에서는 암호화 된 부분이 노이즈(noise)로 들릴 수 있다.
일 실시예에서, 암호화 된 오디오 신호는, 암호화 된 채로 커뮤니케이션 참가자 모두에게 전송될 수 있고, 또는 암호화 된 채로 특정 수신자에게만 전송될 수 있다. 커뮤니케이션 전자 장치 사용자를 노이즈로부터 보호하기 위해, 보호 오디오 파일(shielded audio file) 또는 빈 오디오 파일(blank audio file) 등이 이용될 수 있으며, 자세한 사항은 후술하기로 한다.
일 실시예에서, 다수의 사용자들 각자의 특성 정보를 이용함으로써, 각 사용자의 오디오 신호는 개별적으로 암호화 될 수 있다. 일 실시예에서, 다른 사용자들에게는 비밀인 오디오 신호는, 사용자 각자의 특성 정보를 이용함으로써 복호화 될 수 있다.
암호화 및 복호화 과정, 및 그 구체적인 원리에 대해서는 후술하기로 한다.
도 2는 일 실시예에 따른 전자 장치를 이용한 오디오 커뮤니케이션 방법에 대한 플로우 차트이다.
단계 S210에서 전송자(transmitter)의 오디오 신호를 수신한다. 일 실시예에서, 전송자로부터의 오디오 신호는 전자 장치의 수신부가 수신할 수 있다.
단계 S220에서 오디오 신호에 있는 중요 정보(sensitive information)를 오디오 신호의 컨텐츠에 기초하여 검출한다. 일 실시예에서, 중요 정보에는 은행 계좌 번호, 비밀 번호 등이 포함될 수 있으며, 이에 한정되지 않는다.
일 실시예에서, 단계 S220에서 전송자의 오디오 신호가 중요 정보를 포함하고 있지 않다고 판단한 경우, 암호화 없이 수신자에게 오디오 신호를 전송할 수 있다.
일 실시예에서, 전송자의 오디오 신호가 미리 지정된 중요 키워드 또는 미리 지정된 중요 키워드 타입을 포함하고 있으면, 오디오 신호가 중요 정보를 포함하고 있다고 판단할 수 있다. 예를 들어, 전송자의 오디오 신호 "패스워드는 XXXXXX"에서 "패스워드"라는 중요 키워드가 포함되어 있으므로, 오디오 신호가 중요 정보를 포함하고 있다고 판단할 수 있다. 이 때 중요 키워드인 "패스워드" 뒤에 나오는 "XXXXXX"는 중요 정보로 검출될 수 있다.
일 실시예에서, 전송자의 오디오 신호가 숫자 타입의 오디오 세그먼트(segment)의 시리즈(series)를 포함하고 있는 경우, 숫자 타입의 오디오 세그먼트는 중요 정보일 확률이 높은 중요 키워드 타입에 해당하므로, 오디오 세그먼트를 중요 정보로 취급할 수 있다.
일 실시예에서, 전송자의 오디오 신호가 중요 정보를 포함하고 있는지는 전송자의 커뮤니케이션 히스토리에 있는 오디오 신호의 문맥(context)을 이용하여 판단할 수 있다. 예를 들어 커뮤니케이션 히스토리 검토 결과, 이전 오디오 신호에서 "은행 계좌 번호"와 같은 단어가 있고 현재 오디오 신호에 숫자 정보를 포함한다면, 숫자 정보를 은행 계좌 번호로 보아 중요 정보로 취급할 수 있다.
일 실시예에서, 전송자의 오디오 신호가 중요 정보를 포함하고 있는지는 전송자 오디오 신호의 오디오 특성(characteristic)을 이용함으로써 검출할수 있다. 오디오 특성은 오디오 신호의 소리(volume) 특성을 포함할 수 있으며 이에 한정되지 않는다. 예를 들어, 사용자들 사이에서 오디오 대화(chat)가 이루어지고 있는 경우, 중요 정보가 포함되어 있을 때는 소리가 줄어들 수 있다. 즉, 전송자의 오디오 신호에서 특정 세그먼트의 소리가 오디오 신호의 다른 컨텐츠 부분의 소리보다 작거나, 또는 그 소리 차이가 설정된 임계치(threshold)보다 큰 경우, 그 특정 세그먼트는 중요 정보에 해당할 수 있다.
일 실시예에서, 전송자의 뇌파 신호를 분석하여 중요 정보를 검출할 수 있다. 전송자의 뇌파 신호를 분석한 결과, 오디오 신호의 특정 부분에 대해 전송자가 중요하다고 인지하면 오디오 신호의 특정 부분을 중요 정보로 분류하고, 오디오 신호의 특정 부분에 대해 전송자가 중요하지 않다고 인지하면 오디오 신호의 특정 부분을 중요 정보로 분류하지 않을 수 있다.
단계 S230에서, 수신자의 특성 정보를 이용하여 중요 정보를 암호화 할 수 있다.
일 실시예에서, 수신자의 특성 정보가 추출될 수 있다.
일 실시예에서, 수신자의 특성 정보는 수신자의 성문 정보, 수신자의 지문 정보, 수신자의 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채(iris) 정보 중에 적어도 하나일 수 있고, 이에 제한되지 않는다. 수신자의 독특한 특성을 보여주는 어떤(any) 정보라도 특성 정보로 취급될 수 있다. 예를 들어, 스피치 정보를 전달하는 음향 스펙트럼(acoustic spectrum)에서, 성문 정보는 강한 식별성 및 높은 안정성을 가질 수 있다. 성문 정보는 암호화의 비밀성을 높이기 위해 오디오 신호 암호화에서 효과적으로 이용될 수 있다.
일 실시예에서, 수신자의 특성 정보를 이용하여 중요 정보를 포함하는 오디오 신호를 암호화 할 수 있다.
단계 S240에서, 암호화 된 중요 정보가 포함된 오디오 신호를 전송할 수 있다. 일 실시예에서는, 암호화 된 중요 정보가 포함된 오디오 신호를 복호화 장치로 전송할 수 있다. 일 실시예에서, 암호화 된 오디오 신호를 전송할 때 오디오 신호와 함께 보호(shielded) 오디오 파일 또는 빈(blank) 오디오 파일을 전송할 수 있다.
일 실시예에서, 보호 오디오 파일은 전자 장치(110)의 사용자가 듣기 좋은 음악, 노래, 또는 자연의 소리 등의 음성을 담은 오디오 파일로서, 보호 오디오 파일은 중요 정보를 포함하는 암호화 된 오디오 신호 또는 암호화 된 중요 정보를 재생시키면 발생할 수 있는 노이즈(noise)로부터 사용자를 보호하기 위해 이용될 수 있다. 이 때 보호 오디오 파일이 담을 수 있는 음성의 종류는 사용자가 듣기 좋은 음악, 노래, 또는 자연의 소리에 한정되지 않는다.
일 실시예에서, 빈 오디오 파일은 아무런 음성도 발생하지 않는 오디오 파일일 수 있다. 일 실시예에서, 보호 오디오 파일 또는 빈 오디오 파일은 노이즈와 함께 재생되거나 노이즈 대신 재생되면서 사용자가 노이즈를 듣지 않도록 보호해 줄 수 있다. 일 실시예에서, 수신자가 암호화 된 오디오 신호를 복호화 할 수 없거나 또는 오디오 신호에서 암호화 된 중요 정보를 복호화 할 수 없는 경우, 수신자는 노이즈 대신 보호 오디오 파일 또는 빈 오디오 파일을 들을 수 있다.
도 3은 일 실시예에 따라 오디오 신호가 중요 정보를 포함하고 있는지 검출하는 과정을 나타내는 플로우 차트이다. 전송자의 오디오 신호가 미리 지정된 중요 키워드 또는 미리 지정된 중요 키워드 타입을 포함하고 있는 경우, 전송자의 오디오 신호가 중요 정보를 포함하고 있다고 판단할 수 있다.
단계 S310에서는 전송자의 오디오 신호를 단어 리스트로 식별할 수 있다. 일 실시예에서, 오디오 식별은 Hidden Markov Model(HMM)-deep neural network(DNN)에 기초한 방법을 이용함으로써 수행될 수 있고, 이에 한정되지 않는다. 전송자의 오디오 신호를 식별하기 위해 다양한 오디오 식별 방법이 이용될 수 있다.
단계 S320에서, 전송자의 오디오 신호가 중요 정보를 포함하고 있는지 검출하기 위해 식별된 단어 리스트에 대한 의미 분석(semantic analysis)이 수행될 수 있다.
일 실시예에서, 전송자의 오디오 신호가 중요 정보를 포함하고 있는지 검출하기 위해 미리 지정된 중요 단어 리스트와 식별된 단어 리스트를 텍스트 매치(text match) 할 수 있다.
일 실시예에서, 전송자의 오디오 신호가 중요 정보를 포함하고 있는지 검출해 낸 후에, 확인 결과에 따라서 오디오 신호가 중요 정보를 포함하고 있는지 알려주는 상태 지표(state indicator)를 설정할 수 있다. 예를 들어, 오디오 신호가 중요 정보를 포함하고 있음이 확인되면, 상태 지표를 1로 설정하고, 중요 정보를 포함하고 있지 않음이 확인되면 상태 지표를 0으로 설정할 수 있다.
도 4는 일 실시예에 따라 전자 장치를 이용한 다수간의 커뮤니케이션에 있어서 오디오 커뮤니케이션 방법에 대한 플로우 차트이다.
도 4는 도 2의 암호화 방법에서, 단계 S430의 오디오 신호를 수신할 수신자를 결정하는 단계를 추가한 플로우 차트이다. 단계 S430은 수신자가 여러 명이 있는 커뮤니케이션의 경우에 수신자를 결정하는 단계로서, 수신자가 한 명인 경우에는 생략될 수 있다.
단계 S410, S420, S440 및 S450 은, 도 2의 단계 S210, S220, S230 및 S240 과 동일한 원칙을 수행하므로, 설명의 간단을 위해 상세한 설명은 생략 한다.
단계 S410에서 전송자(transmitter)의 오디오 신호를 수신한다.
단계 S420에서 오디오 신호에 있는 중요 정보를 오디오 신호의 컨텐츠에 기초하여 검출한다.
단계 S430에서, 오디오 신호를 수신할 수신자를 결정할 수 있다. 단계 S430에 대한 구체적인 설명은 하기의 도 5에 대한 발명의 상세한 설명 부분에 제시되어 있다.
단계 S440에서, 수신자의 특성 정보를 이용하여 중요 정보를 암호화 할 수 있다.
단계 S450에서, 암호화 된 중요 정보가 포함된 오디오 신호를 전송할 수 있다. 일 실시예에서, 암호화 된 중요 정보가 포함된 오디오 신호를 복호화 장치로 전송할 수 있다.
도 5는 일 실시예에 따라 전송자의 오디오 신호를 수신할 수신자를 결정하는 과정을 나타내는 플로우차트이다.
단계 S510에서는 오디오 신호에서 수신자의 이름을 검출할 수 있다. 일 실시예에서, 전송자의 오디오 신호는 중요 정보와 함께, 수신자의 이름도 포함하고 있을 수 있다. "암호 123456을 사용자 A에게 전송하라"는 문장이 일 예시이다. 단계 S510에서는 미리 지정된 이름 리스트와 전송자의 오디오 신호에 대한 의미 분석 결과를 텍스트 매치 할 수 있다. 의미 분석 결과는 단계 S310에서 식별된 단어 리스트 및 단계 S320에서 수행된 의미 분석을 포함할 수 있으며, 이에 한정되지 않는다. 텍스트 매치의 결과로 전송자의 오디오 신호에 대한 수신자를 결정할 수 있다.
단계 S520에서는 일 실시예에서, 단계 S510에서 전송자의 오디오 신호에서 수신자의 이름이 검출되지 않은 경우, 전송자의 커뮤니케이션 히스토리에서 수신자의 이름을 검출할 수 있다.
일 실시예에서, 커뮤니케이션 히스토리가 수신자의 이름을 포함하고 있는 경우, 수신자의 이름에 기초해서 현재 오디오 신호에 대한 수신자를 결정할 수 있다. 예를 들어, 커뮤니케이션 히스토리가 "사용자 A, 내 은행 계좌를 기록해 주세요"라는 문장을 포함하고 있는 경우, 현재 오디오 신호의 수신자는 사용자 A가 될 수 있는 것이다.
단계 S530에서는 일 실시예에서, 단계 S520에서 전송자의 오디오 신호에 대한 수신자가 결정되지 않는 경우, 수신자의 이름을 제공할 것을 전송자에게 요청할 수 있다.
전송자는 오디오 합성 또는 텍스트 정보를 이용함으로써 수신자의 이름을 제공할 수 있다. 수신자의 이름을 제공하는 방법은 오디오 커뮤니케이션 플랫폼에 따라 결정될 수 있다. 예를 들어, 커뮤니케이션 플랫폼이 텍스트 인터페이스(text interface)인 경우, 수신자 이름을 제공하도록 요청하는 텍스트 정보를 담은 다이얼로그 박스(dialog box)가 팝업(popping up)될 수 있다. 커뮤니케이션 플랫폼이 텍스트 없이 순수한 오디오 인터페이스인 경우, 합성된 오디오 요청을 통해서 수신자 이름을 제공해달라고 전송자에 요청할 수 있다.
상기 살펴본 바와 같이, 단계 S510, 단계 S520 및 단계 S530 중 적어도 한 단계를 수행함으로써 전송자의 오디오 신호를 수신하는 수신자를 결정할 수 있다.
일 실시예에서, 사용자는 사전에 단계 S510, 단계 S520 및 단계 S530 중 적어도 한 단계를 선택할 수 있다.
일 실시예에서, 오디오 신호를 수신할 수신자를 결정하는 단계 S510, 단계 S520 및 단계 S530의 상호간의 순서는 달라질 수 있다.
단계 S510, 단계 S520 및 단계 S530 중 적어도 한 단계를 거친 후에 전송자의 오디오 신호를 수신할 수신자가 여러 명이 있다고 판단한 경우, 전송자의 오디오 신호에 대한 의미 분석에 기초하여 전송자의 오디오 신호를 적어도 한 세그먼트 이상으로 분할할 수 있다.
다수의 수신자가 있는 경우의 일 실시예에서, 분할되지 않은 오디오 신호 전체가 다수의 수신자에 전송될 수도 있다.
일 실시예에서, 다수의 수신자가 있는 경우, 전송자의 오디오 신호의 세그먼트들은 나뉘어서 일부의 세그먼트는 몇몇 수신자에 전송되고, 나머지 일부의 세그먼트는 나머지 다른 수신자에 전송될 수 있다. 이 때, 전송자의 오디오 신호를 여러 세그먼트로 분할할 수 있다. 각각의 세그먼트는 적어도 하나의 수신자에 대응될 수 있다. 예를 들어, 오디오 신호가 "수학적 성취는 사용자 A에게 전송하고, 언어적 성취는 사용자 B에게 전송하라"는 것이면 오디오 신호를 2개의 세그먼트로 분할해서 각각 사용자 A 및 사용자 B에게 전송할 수 있다. 다른 실시예에서, 오디오 신호가 "A와 B, 내 은행 계좌는 XXXXXX; C, 내 메일박스 암호는 XXXXXX; D,E 및 F, 내 QQ 넘버(QQ number)는 XXXXXX."인 경우, 수신자 A와 B와 대응하는 첫 번째 세그먼트, 수신자 C와 대응하는 두 번째 세그먼트 및 수신자 D,E 및 F와 대응하는 세 번째 세그먼트로 분할할 수 있다.
도 6은 일 실시예에 따른 전자 장치를 이용한 오디오 커뮤니케이션 방법에 있어서, 수신자의 오디오 신호에서 성문(voiceprint) 정보를 검출하는 과정을 나타내는 플로우 차트이다.
단계 S610에서, 오디오 파일의 커뮤니케이션 히스토리에서 수신자의 이름과 대응하는 오디오 신호를 검색하여 수신자의 성문 정보를 포함하는 오디오 파일을 검출할 수 있다. 일 실시예에서, 수신자가 여러 명이 있는 경우, 각각의 수신자에 대응하는 오디오 파일 각각에 대해 찾아볼 수 있다. 일 실시예에서, 각각의 수신자에 대응하는 오디오 파일은 이전 오디오 커뮤니케이션에서 수신된 로컬 메모리(local memory)에 있는 오디오 파일, 비디오 파일 및 비디오 파일 안에 있는 오디오 파일을 포함할 수 있다. 일 실시예에서, 비디오 파일은 주소록(address book) 안의 연락처(contact)와 관련될 수 있다.
단계 S620에서, 검출된 오디오 파일에서 수신자의 성문 정보를 추출해 낼 수 있다. 성문 정보는 일 실시예에 따라, i-vector 방법을 이용하여 오디오 파일로부터 추출해 낼 수 있으며 이에 한정되지 않는다.
일 실시예에서, 수신자의 특성 정보가 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나인 경우, 이전에 수신 혹은 저장된 이미지 파일에서 수신자와 대응하는, 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나와 관련된 이미지 파일을 선택할 수 있다. 다음으로, 선택된 이미지 파일로부터 수신자의 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나를 추출할 수 있다.
일 실시예에서, 오디오 신호가 중요 정보를 포함하고 있음을 검출해 낸 경우, 전송자의 오디오 신호를 암호화하고 암호화 한 오디오 신호를 전송하기 전에, 수신자에게 수신자의 성문 정보, 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나를 요청할 수 있다.
일 실시예에서, 전송자의 오디오 신호에 대한 수신자가 한 명인 경우, 모든 오디오 신호, 즉 전송자가 말한 모든 문장을 수신자의 특성 정보를 이용함으로써 암호화 할 수 있다.
일 실시예에 따라, 수신자의 성문 정보를 이용하여 오디오 신호에서 중요 정보만을 암호화 할 수 있다.
일 실시예에서, 다수의 수신자가 같은 오디오 신호를 수신하는 경우, 각 수신자의 특성 정보를 이용함으로써 오디오 신호를 암호화 할 수 있고, 암호화 된 오디오 신호는 각 수신자에게 전송될 수 있다. 이 때, 각 수신자는 본인의 특성 정보를 이용하여 오디오 신호를 복호화 할 수 있다.
일 실시예에서, 각 수신자의 특성 정보를 이용하여 오디오 신호에 있는 여러 중요 정보 중에서 중요 정보 각각을 암호화 할 수 있다. 오디오 신호의 몇몇 세그먼트들이 일부의 수신자에게 전송되고, 다른 세그먼트들이 또 다른 일부의 수신자에게 전송될 때, 수신자의 특성 정보를 이용함으로써 수신자와 대응하는 오디오 신호의 세그먼트 각각을 암호화 할 수 있다. 이 때 일 실시예에서, BlowFish 알고리즘과 같은 암호화 알고리즘을 이용함으로써 오디오 신호 암호화에 성문 정보가 적용될 수 있으며, 암호화 방법은 이에 한정되지 않고 성문 정보와 관련된 다른 암호화 방법도 이용될 수 있다.
일 실시예에서, 암호화 된 오디오 신호를 전송하면서, 오디오 신호와 함께, 보호 (shielded) 오디오 파일 또는 빈(blank) 오디오 파일이 전송될 수 있다. 보호 오디오 파일은 암호화 된 오디오 신호를 보호하거나 오디오 신호에 있는 암호화 된 중요 정보를 보호하는데 이용될 수 있다. 수신자가 암호화 된 오디오 신호 또는 오디오 신호에 있는 암호화 된 중요 정보를 복호화 할 수 없는 경우, 수신자는 노이즈(noise)를 듣는 대신 보호 오디오 파일 또는 빈 오디오 파일의 오디오 신호를 들을 수 있다.
도 7은 일 실시예에 따라 전자 장치를 이용한 오디오 커뮤니케이션 방법에 대한 플로우 차트이다.
단계 S710에서, 오디오 신호의 컨텐츠에 기초하여 검출되고 수신자의 특성 정보를 이용하여 암호화 된, 중요 정보를 포함하는 오디오 신호를 수신한다. 일 실시예에서, 오디오 신호는 오디오 신호 전체가 암호화 된 오디오 신호일 수 있고, 오디오 신호 중에서도 중요 정보를 포함하는 일부의 오디오 신호만이 암호화 된 오디오 신호일 수 있다.
일 실시예에서, 오디오 신호가 암호화 된 오디오 신호를 포함하고 있는지 여부를 판별한다. 여기서, 오디오 신호의 인코딩(encoding) 방법의 종류는 오디오 신호가 암호화 된 오디오 신호를 포함하고 있는지 검출하는데 이용될 수 있다. 예를 들어, 오디오 신호의 인코딩 방법이 본 개시의 전자 장치가 일반적으로 사용하는 인코딩 방법인 경우, 오디오 신호는 암호화 된 오디오 신호를 포함하고 있지 않다고 판단할 수 있다. 오디오 신호의 인코딩 방법이본 개시의 전자 장치가 일반적으로 사용하지 않는 인코딩 방법인 경우, 오디오 신호는 암호화 된 오디오 신호를 포함하고 있다고 판단할 수 있다. 오디오 신호가 암호화 된 오디오 신호가 아닌 경우, 수신자에게 바로 오디오 신호를 재생할 수 있다.
단계 S720에서, 수신자의 특성 정보를 획득할 수 있다. 수신자의 특성 정보는 수신자의 성문 정보, 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나를 포함할 수 있으며 이에 한정되지 않는다. 예를 들어 성문 정보를 특성 정보로 하는 경우, 단계 S720에서 수신자의 오디오 신호에 있는 성문 정보를 검출할 수 있다.
일 실시예에서 수신자의 특성 정보가 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나인 경우, 미리 수신 또는 저장된 이미지 파일에서 수신자와 대응하는 이미지 파일을 결정할 수 있고, 결정된 이미지 파일로부터 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나를 획득할 수 있다.
일 실시예에서, 수신자의 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 또는 홍채 정보를 수신자에게 직접적으로 요구할 수 있다.
단계 S730에서 수신자의 특성 정보를 이용하여 암호화 된 중요 정보를 복호화 할 수 있다.
일 실시예에 따라, 단계 S730의 복호화 방법은 오디오 신호를 암호화 할 때의 암호화 방법과 대응될 수 있다.
일 실시예에서, 암호화 된 오디오 신호를 복호화 한 후에, 수신자를 위해 복호화 된 오디오 신호를 재생할 수 있다. 또한, 복호화 된 오디오 신호를 재생하면서, 오디오 신호와 함께 수신한 보호 오디오 파일 또는 빈 오디오 파일도 재생할 수 있다.
도 8은 일 실시예에 따른 전자 장치를 이용한 오디오 커뮤니케이션 방법에 있어서, 수신자의 오디오 신호에서 성문 정보를 획득하는 과정을 나타내는 플로우 차트이다.
단계 S810에서, 커뮤니케이션 히스토리에서 수신자의 오디오 신호가 포함된 오디오 파일을 검색할 수 있다.
단계 S820에서, 검색된 오디오 파일에서 수신자의 성문 정보를 획득할 수 있다. 일 실시예에서, 아이벡터(i-vector) 방법을 이용함으로써 오디오 파일로부터 성문 정보를 추출해 낼 수 있으나 이에 한정되지 않는다. 오디오 파일로부터 성문 정보를 추출하기 위한 다른 방법도 이용될 수 있다.
도 9는 일 실시예에 따른 전자 장치를 이용한 오디오 커뮤니케이션 방법에 있어서, 수신자의 오디오 신호에서 성문 정보를 찾아내는 또 다른 과정을 나타내는 플로우 차트이다.
일 실시예에서, 도 9의 단계 S910 및 S920 의 순서는 도 9와 달라질 수 있으며, 단계 S910, S920 중 일부의 단계만 수행될 수 있다.
단계 S910에서 수신자로부터의 호흡 신호를 검출할 수 있다. 일 실시예에서, 요청은 오디오 커뮤니케이션 플랫폼에 의존하는 오디오 합성 또는 텍스트 정보를 이용함으로써 수신자에 전송될 수 있다. 예를 들어, 텍스트 인터페이스의 커뮤니케이션 플랫폼에서, 다이얼로그 박스(dialog box)를 팝업 시킴으로써 수신자에 오디오 신호를 제공할 것을 요청할 수 있다. 일 실시예에서, 텍스트 없는 순수 오디오 인터페이스의 커뮤니케이션 플랫폼에서, 합성된 오디오를 재생함으로써 수신자에게 오디오 신호를 제공할 것을 요청할 수 있다.
일 실시예에서, 수신자에 의해 제공된 오디오 신호에서 호흡(respiratory) 신호를 검출해 낼 수 있다. 예를 들어, 압력 감지 장치의 센서를 이용함으로써 호흡 신호를 검출해 낼 수 있으며 이에 한정되지 않는다.
단계 S920에서, 검출된 호흡 신호에 기초하여, 성문 정보가 수신자로부터 발생된 것인지 판별할 수 있다. 일 실시예에서, 서포트 벡터 머신(support vector machine)과 같은 머신 러닝 알고리즘(machine learning algorithm)은 오디오 신호가 실제로 수신자의 성문 정보를 포함하고 있는 오디오 신호인지 판단하는데 이용될 수 있으며, 실제로 수신자의 성문 정보를 포함하고 있는지 판단하는 방법은 이에 한정되지 않는다.
일 실시예에서, 검출된 호흡 신호에 기초해서 수신자로부터 제공 받은 오디오 신호가 실제로 수신자의 성문 정보를 포함하고 있는 오디오 신호인지 판단한 결과를 이용하여 오디오 신호가 실제 오디오 신호인지 알려주는 상태 지표를 사용할 수 있다. 예를 들어, 오디오 신호가 실제 오디오 신호인 경우는 상태 지표가 1을 가리킬 수 있고, 녹음된 오디오 신호처럼 오디오 신호가 실제로 수신자의 성문 정보를 포함하고 있지 않은 경우에는 상태 지표가 0을 가리킬 수 있다.
일 실시예에서, 수신자에 의해 제공된 오디오 신호로부터 수신자의 성문 정보를 획득할 수 있다. 일 실시예에서, 수신자에 의해 제공된 오디오 신호가 실제로는 수신자의 성문 정보를 포함하고 있지 않다고 판단한 경우, 암호화 된 오디오 신호를 보호하기 위해 보호 오디오 파일 또는 빈 오디오 파일을 이용할 수 있다. 예를 들어, 수신된 오디오 신호를 재생하면서 미리 지정된 오디오 파일을 함께 재생하여 암호화 된 부분이 재생되면서 노이즈가 발생하는 것을 방지할 수 있다.
도 10은 일 실시예에 따라 오디오 커뮤니케이션을 위한 전자 장치의 구조를 설명하는 개략도(schematic diagram)이다.
일 실시예에서, 전자 장치(1000)는 수신부(1010), 제어부(1020), 및 전송부(1030)를 포함할 수 있다.
수신부(1000)는 전송자로부터 오디오 신호를 수신할 수 있다.
제어부(1020)는, 일 실시예에서 오디오 신호에 있는 중요 정보를 오디오 신호의 컨텐츠에 기초하여 검출할 수 있다.
일 실시예에서, 제어부(1020)는 전송자의 오디오 신호가 미리 지정된 중요 키워드 또는 미리 지정된 중요 키워드 타입을 포함하고 있는 경우 전송자의 오디오 신호가 중요 정보를 포함하고 있다고 판단할 수 있다. 일 실시예에서, 제어부(1020)는 전송자의 오디오 신호의 커뮤니케이션 히스토리에 있는 문맥에 기초하여 전송자의 오디오 신호가 중요 정보를 포함하고 있는지 판단할 수 있다. 또 다른 일 실시예에서, 제어부(1020)는 전송자의 오디오 신호의 오디오 특성에 기초하여 전송자의 오디오 신호가 중요 정보를 포함하고 있는지 검출해 낼 수 있다.
일 실시예에서, 제어부(1020)는 전송자의 오디오 신호를 단어 리스트로 식별하고, 전송자의 오디오 신호가 중요 정보를 포함하고 있는지 검출해 내기 위해 식별된 단어 리스트에 대해 의미 분석을 수행할 수 있다. 구체적으로, 제어부(1020)는 전송자의 오디오 신호가 중요 정보를 포함하고 있는지 검출해 내기 위해 미리 지정된 키워드 또는 키워드 타입과 식별된 단어 리스트를 텍스트 매치할 수 있다. 텍스트 매치의 결과 미리 지정된 키워드 또는 키워드 타입과 식별된 단어 리스트 중 일부가 일치하는 경우, 오디오 신호가 중요 정보를 포함하고 있다고 검출해 낼 수 있다.
일 실시예에서, 제어부(1020)는 검출 결과에 기초하여 오디오 신호가 중요 정보를 포함하고 있는지 여부를 나타내는 상태 지표를 설정할 수 있다. 예를 들어, 오디오 신호가 중요 정보를 포함하고 있는 것을 발견한 경우, 제어부(1020)는 상태 지표를 1로 나타낼 수 있다. 오디오 신호가 중요 정보를 포함하고 있지 않다고 판단한 경우, 제어부(1020)는 상태 지표를 0으로 나타낼 수 있다.
일 실시예에서, 제어부(1020)는 수신자의 특성 정보를 추출할 수 있다. 수신자의 특성 정보는 수신자의 성문 정보, 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 수신자의 홍채 정보 중 적어도 하나일 수 있으며, 이에 한정되지 않는다. 성문 정보를 특성 정보로 취급하는 경우, 제어부(1020)는 전송자의 오디오 신호에 있는 '수신자의 이름'에 대응되는 수신자에 관한 오디오 파일의 커뮤니케이션 히스토리를 검색할 수 있고, 검색된 오디오 신호 또는 파일로부터 수신자의 성문 정보를 추출해 낼 수 있다.
일 실시예에서, 제어부(1020)가 다수의 수신자가 있다고 판단한 경우, 제어부(1120)는 각각의 수신자와 대응되는 오디오 파일 각각을 검색할 수 있고, 검색된 오디오 파일 각각으로부터 대응되는 수신자의 성문 정보를 추출해 낼 수 있다.
일 실시예에서, 수신자의 특성 정보가 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나인 경우, 제어부(1020)는 미리 수신 또는 저장한 이미지 파일들 중에 수신자와 상응하는 이미지 파일을 결정할 수 있고, 그리고 나서 결정된 이미지 파일로부터 수신자의 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 또는 홍채 정보를 추출할 수 있다.
일 실시예에서, 오디오 신호가 중요 정보를 검출한 경우, 제어부(1020)는 중요 정보 또는 중요 정보를 포함하는 오디오 신호를 암호화 하고, 암호화 된 중요 정보 또는 중요 정보를 포함하는 오디오 신호를 전송하기 전에 수신자의 성문 정보, 지문 정보, 얼굴 정보, 홍채 정보, 정맥 패턴 정보, 손금 정보 또는 기타 다른 정보를 제공하도록 수신자에 요청할 수 있다.
제어부(1020)는, 일 실시예에서, 추출한 특성 정보를 이용하여 전송자의 오디오 신호를 암호화 할 수 있다.
일 실시예에서, 전송자의 오디오 신호에 대한 수신자가 하나밖에 없는 경우, 즉 일대일 오디오 커뮤니케이션인 경우, 제어부는 오디오 신호에 대한 수신자를 결정하는 단계를 수행하지 않을 수 있다.
일 실시예에서, 제어부(1020)에 의해 접근 가능한 특성 정보는 오디오 신호의 중요 정보 또는 오디오 신호를 암호화 하기 위해서만 사용될 수 있다.
일 실시예에서, 전송자의 오디오 신호에 대한 수신자가 여러 명인 경우, 제어부(1020)는 다수의 수신자 중에 각각의 수신자의 특성 정보를 이용함으로써 각각의 수신자와 대응하는 분할된 오디오 신호 세그먼트를 각각 암호화 할 수 있다. 제어부(1020)는 각각의 수신자의 특성 정보를 이용함으로써 오디오 신호에 있는 중요 정보를 각각 암호화 할 수 있다.
일 실시예에서, 전자 장치(1000)는 암호화 된 오디오 신호를 전송하기 위한 전송부(1030)를 포함할 수 있다. 암호화 된 오디오 신호를 전송할 때, 전송부는 오디오 신호와 함께, 보호 오디오 파일을 전송할 수 있다. 보호 오디오 파일은 암호화 된 오디오 신호 또는 오디오 신호에서 암호화 된 중요 정보를 보호하는데 이용될 수 있다. 일 실시예에서, 수신자가 암호화 된 오디오 신호를 복호화 할 수 없거나 또는 오디오 신호에서 암호화 된 중요 정보를 복호화 할 수 없는 경우, 수신자는 노이즈 대신 빈 오디오 파일 또는 보호 오디오 파일을 들을 수 있다.
도 11은 일 실시예에 따라 오디오 커뮤니케이션을 위한 전자 장치의 구조를 설명하는 개략도이다.
일 실시예에서, 전자 장치(1100)는 수신부(1110)및 제어부(1120)를 포함할 수 있다.
수신부(1110)는 오디오 신호의 컨텐츠에 기초하여 검출되고 수신자의 특성 정보를 이용하여 암호화 된 중요 정보를 포함하는 오디오 신호를 수신할 수 있다. 일 실시예에서, 수신된 오디오 신호는 암호화 된 오디오 신호를 포함하고 있지 않은 오디오 신호일 수 있고, 암호화 된 오디오 신호를 포함하고 있는 오디오 신호일 수 있다.
일 실시예에서, 제어부(1120)는 수신한 오디오 신호가 암호화 된 오디오 신호인지 검출할 수 있다. 제어부(1120)는 오디오 신호의 인코딩 모드를 이용함으로써 오디오 신호가 암호화 된 오디오 신호인지 검출할 수 있다. 예를 들어, 오디오 신호의 인코딩 방법이 본 개시의 전자 장치가 일반적으로 사용하는 인코딩 방법인 경우, 오디오 신호는 암호화 된 오디오 신호를 포함하고 있지 않다고 판단할 수 있다. 오디오 신호의 인코딩 방법이 본 개시의 전자 장치가 일반적으로 사용하지 않는 인코딩 방법인 경우, 오디오 신호는 암호화 된 오디오 신호를 포함하고 있다고 판단할 수 있다.
일 실시예에서, 제어부(1120)는 오디오 신호가 암호화 된 오디오 신호가 아닌 경우 수신자를 위해 오디오 신호를 재생할 수 있다.
제어부(1120)는, 일 실시예에서 전송자의 오디오 신호가 암호화 된 오디오 신호임을 검출한 경우, 이어서 수신자의 특성 정보를 획득할 수 있다. 수신자의 특성 정보는 수신자의 성문 정보, 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 또는 홍채 정보일 수 있으며, 이에 한정되지 않는다.
일 실시예에서, 성문 정보가 특성 정보라고 가정하는 경우, 제어부(1120)는 커뮤니케이션 히스토리에서 수신자의 오디오 신호가 포함된 오디오 파일을 검색할 수 있고, 검색된 오디오 파일로부터 수신자의 성문 정보를 획득해 낼 수 있다.
제어부(1120)는, 일 실시예에서 수신자의 특성 정보를 이용함으로써 암호화 된 중요 정보를 복호화할 수 있다. 여기서 제어부(1120)가 이용하는 복호화 방법은 오디오 신호를 암호화 하는데 이용되는 암호화 방법과 대응될 수 있다. 일 실시예에서, 중요 정보를 포함하는 오디오 신호가 암호화 된 경우, 오디오 신호를 복호화 할 수 있다.
일 실시예에서, 제어부(1120)는 암호화 된 오디오 신호를 복호화 한 후에 수신자를 위해 복호화 된 오디오 신호를 재생할 수 있다.
일 실시예에서, 전송자의 암호화 된 오디오 신호를 복호화 하는데 실패한 경우, 제어부(1120)는 암호화 된 오디오 신호를 보호하기 위해 미리 지정된 오디오 파일을 이용할 수 있다. 일 실시예에서, 미리 지정된 오디오 파일은 보호 오디오 파일 또는빈 오디오 파일을 포함할 수 있으며, 이에 한정되지 않는다. 보호 오디오 파일 또는 빈 오디오 파일은 암호화 된 오디오 신호와 함께 암호화 장치로부터 복호화 장치로 전송될 수 있다. 다음으로, 제어부(1120)는 보호 오디오 파일 또는 빈 오디오 파일을 수신자를 위해 재생할 수 있다.
제어부(1120)는 후술하는 과정들을 이용함으로써 성문 정보를 검출할 수 있다. 일 실시예에서, 제어부(1120)는 오디오 신호를 제공하도록 수신자에게 요청할 수 있다. 요청에 대한 응답으로 수신자는 오디오 신호를 제공할 수 있다. 일 실시예에서, 제어부(1120)는 수신자에 의해 제공된 오디오 신호에 있는 호흡 신호를 검출할 수 있으며, 수신자에 의해 제공된 오디오 신호가 실제로 수신자의 성문 정보를 포함하는 오디오 신호인지를 호흡 신호에 기초하여 판단할 수 있다. 수신자에 의해 제공된 오디오 신호가 실제로 수신자의 성문 정보를 포함하는 오디오 신호라고 판단한 경우, 제어부(1120)는 수신자에 의해 제공된 오디오 신호로부터 수신자의 성문 정보를 추출해 낼 수 있다. 하지만, 수신자에 의해 제공된 오디오 신호가 실제로 수신자의 성문 정보를 포함하는 오디오 신호가 아니라고 판단한 경우, 제어부(1120)는 암호화 된 오디오 신호를 보호하기 위해 미리 지정된 오디오 파일을 이용할 수 있다. 일 실시예에서, 미리 지정된 오디오 파일은 보호 오디오 파일 또는 빈 오디오 파일을 포함할 수 있으며, 이에 한정되지 않는다.
일 실시예에서, 수신자의 특성 정보가 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 또는 홍채 정보인 경우, 제어부(1120)는 이전에 수신 또는 저장한 이미지 파일 중에 수신자와 대응하는 이미지 파일을 결정할 수 있고, 결정된 이미지 파일에서 수신자의 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 또는 홍채 정보를 획득할 수 있다.
일 실시예에서, 제어부(1120)는 수신자의 지문 정보, 얼굴 정보, 홍채 정보, 정맥 패턴 정보, 손금 정보 또는 기타 정보를 수신자에 직접 요청할 수 있다.
도 12는 일 실시예에 따라 오디오 커뮤니케이션 암호화 및 복호화 시스템의 구조를 설명하는 개략도이다.
일 실시예에서, 오디오 커뮤니케이션 암호화 및 복호화 시스템(1200)은 오디오 커뮤니케이션 암호화 장치(1210) 및 오디오 커뮤니케이션 복호화 장치(1220)를 포함할 수 있다. 오디오 커뮤니케이션 암호화 장치(1210)는 수신부(1212), 제어부(1214) 및 전송부(1216)를 포함할 수 있다.
수신부(1212), 제어부(1214) 및 전송부(1216)는 도 10의 수신부(1010), 제어부(1020) 및 전송부(1030)와 동일한 동작을 수행하므로, 상세한 설명은 생략한다.
수신부(1212)는 전송자로부터 오디오 신호를 수신할 수 있다.
제어부(1214)는, 일 실시예에서 오디오 신호에 있는 중요 정보를 오디오 신호의 컨텐츠에 기초하여 검출할 수 있다.
제어부(1214)는, 일 실시예에서, 수신자의 특성 정보를 이용하여 중요 정보를 암호화 할 수 있다.
전송부(1216)는, 일 실시예에서 암호화 된 중요 정보가 포함된 오디오 신호를 전송할 수 있다.
오디오 커뮤니케이션 복호화 장치(1220)는 수신부(1222)및 제어부(1224)를 포함할 수 있다.
수신부(1222) 및 제어부(1224)는 도 11의 수신부(1110) 및 제어부(1120) 와 동일한 동작을 수행하므로, 상세한 설명은 생략한다.
수신부(1222)는 오디오 신호의 컨텐츠에 기초하여 검출되고 수신자의 특성 정보를 이용하여 암호화 된, 중요 정보를 포함하는 오디오 신호를 수신할 수 있다. 수신된 오디오 신호는 암호화 된 오디오 신호를 포함하고 있지 않은 오디오 신호일 수 있고, 암호화 된 오디오 신호를 포함하고 있는 오디오 신호일 수 있다.
제어부(1224)는, 일 실시예에서 수신자의 특성 정보를 획득할 수 있다. 수신자의 특성 정보는 수신자의 성문 정보, 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 또는 홍채 정보일 수 있으며, 이에 한정되지 않는다.
제어부(1224)는, 일 실시예에서 수신자의 특성 정보를 이용하여 암호화 된 중요 정보를 복호화 할 수 있다. 여기서 제어부(1224)가 이용하는 복호화 방법은 오디오 신호를 암호화 하는데 이용되는 암호화 방법과 대응될 수 있다.
일 실시예에서, 전자 장치(1000, 1100)를 이용한 커뮤니케이션 방법, 전자 장치(1000, 1100) 및 오디오 커뮤니케이션 암호화 및 복호화 시스템은 다음의 특성을 가진다. 우선, 암호화 과정 중에 오디오 신호에 있는 중요 정보만을 암호화 함으로써 계산 비용을 절감할 수 있다. 다음으로, 오디오 신호가 수신자의 특성 정보를 이용함으로써 암호화 또는 복호화 되기 때문에 오디오 커뮤니케이션의 비밀성이 향상될 수 있다. 다음으로, 복호화 과정 중에 수신자가 제공한 오디오 파일 또는 오디오 신호에서 수신자의 호흡 신호를 검출함으로써, 수신자가 제공한 오디오 파일 또는 오디오 신호가 녹음된 오디오 파일 또는 녹음된 오디오 신호가 아니라 실제로 수신자로부터 유래한 오디오 파일 또는 오디오 신호임을 판단할 수 있으므로, 오디오 커뮤니케이션의 비밀성은 더 향상될 수 있다. 일 실시예에서, 공기압에 기초하여 사람의 음성인지 녹음기의 음성인지 여부를 전자 장치가 구별할 수 있다.
일 실시예에서, 오디오 커뮤니케이션 암호화 방법 및 오디오 커뮤니케이션 복호화 방법은 하드웨어, 펌웨어, 소프트웨어, 컴퓨터 코드 또는 그들의 조합으로 수행될 수 있다. 추가로, 소프트웨어 또는 컴퓨터 코드는 비일시적인 기록 매체(판독 전용 기억 장치(ROM), 임의 접근 기억 장치(RAM), CD-ROM, 자기 테이프(magnetic tape), 플로피 디스크, 광학 데이터 저장 장치 및 캐리어(예를 들어 인터넷을 통한 데이터 전송)) 또는 네트워크에서 다운 받은 컴퓨터 코드에 저장될 수 있다. 컴퓨터 코드는 리모트 기록 매체(remote recording medium), 컴퓨터 인식 가능 기록 매체(computer readable recording medium) 또는 비일시적인 기계 인식 가능 매체에 최초에 저장될 수 있고, 후에 로컬 기록 매체(local recording medium)에 저장될 수 있다. 다음으로, 상기 언급된 방법들은 소프트웨어, 컴퓨터 코드, 소프트웨어 모듈, 소프트웨어 오브젝트, 인스트럭션(instructions), 어플리케이션 프로그램, 애플릿(applet), 앱(app) 및 그와 유사한 것들이 수행될 수 있고, 소프트웨어, 컴퓨터 코드, 소프트웨어 모듈, 소프트웨어 오브젝트, 인스트럭션(instructions), 어플리케이션 프로그램, 애플릿(applet), 앱(app) 및 그와 유사한 것들은 일반 목적의 컴퓨터, 디지털 컴퓨터 또는 전용 프로세서(dedicated processor)를 이용하여 기록 매체에 저장될 수 있다.
일 실시예에서, 상기 언급된 방법들은 프로그래머블(programmable) 하드웨어 또는 전용 하드웨어(예를 들어, 애플리케이션 전용 회로(ASIC) 또는 필드-프로그래머블 게이트 어레이(FPGA))에 의해 수행될 수 있다. 컴퓨터, 프로세서, 마이크로 프로세서 컨트롤러 또는 프로그래머블 하드웨어가 일시적인 및/또는 비일시적인 메모리 및 메모리 구성 요소(예를 들어, RAM, ROM, 플래쉬 메모리, 및 기타)를 포함하는 것은 당해 기술 분야에서 통상의 기술 수준을 가진 자에게 용이할 수 있다. 메모리 및 메모리 구성 요소는 소프트웨어 또는 컴퓨터 코드를 저장 또는 수신할 수 있다. 컴퓨터에 의해 접근되고 수행되는 경우, 프로세서 또는 하드웨어, 소프트웨어 또는 컴퓨터 코드는 위에 언급된 프로세싱 방법을 수행할 수 있다.
일 실시예에서, 일반적인 목적의 컴퓨터가 위에서 언급된 프로세스를 수행하기 위해 이용되는 코드에 접근하는 경우, 코드의 실행은 일반적인 목적의 컴퓨터를 위에서 언급된 프로세스를 수행하는 전용 컴퓨터로 전환할 수 있다.
일 실시예에서, 프로그램은 일렉트로닉 모드에서, 커뮤니케이션 신호가 유선/무선 및 등가를 통해서 전송되는 어떠한 매체에 의해서든 전송될 수 있다. 프로그램 및 컴퓨터 인식 가능 기록 매체는 네트워크와 연결된 컴퓨터 시스템 내에서 분배될 수 있다. 다음으로, 컴퓨터 인식 가능 코드는 분배되어 저장 및 실행될 수 있다.
전술한 개시의 설명은 예시를 위한 것이며, 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
개시의 권리범위는 후술하는 특허청구범위에 의하여 나타내어 질 수 있으며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함될 수 있는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치를 이용한 커뮤니케이션 방법에 있어서:
    전송자의 오디오 신호를 수신하는 단계;
    상기 오디오 신호에 있는 중요 정보(sensitive information)를 상기 오디오 신호의 컨텐츠에 기초하여 검출하는 단계;
    수신자의 특성 정보를 이용해서 상기 중요 정보를 암호화하는 단계; 및
    암호화된 상기 중요 정보가 포함된 오디오 신호를 전송하는 단계를 포함하는 방법.
  2. 제 1항에 있어서,
    상기 오디오 신호의 컨텐츠는, 상기 오디오 신호의 의미(meaning) 또는 상기 오디오 신호의 오디오 특성인, 방법.
  3. 제 1항에 있어서,
    상기 오디오 신호의 컨텐츠는 상기 오디오 신호의 의미이며,
    상기 오디오 신호의 의미에 기초하여 상기 중요 정보를 검출하는 단계는:
    상기 전송자의 상기 오디오 신호가 미리 지정된 중요 키워드 또는 미리 지정된 중요 키워드 타입을 포함하고 있는지 여부, 또는 상기 전송자의 커뮤니케이션 히스토리에 있는 오디오 신호의 문맥(context)에 기초하여 상기 중요 정보를 검출하는 단계를 포함하는, 방법.
  4. 제 1항에 있어서,
    상기 오디오 신호에서 검출된 상기 수신자의 이름 또는 상기 전송자의 상기 커뮤니케이션 히스토리에 있는 오디오 신호의 문맥에 기초하여 상기 수신자를 결정하는 단계를 더 포함하는, 방법.
  5. 제 1항에 있어서,
    상기 수신자의 상기 특성 정보는 상기 수신자의 성문 정보, 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나를 포함하는, 방법.
  6. 전자 장치를 이용한 커뮤니케이션 방법에 있어서:
    오디오 신호의 컨텐츠에 기초하여 검출되고 수신자의 특성 정보를 이용하여 암호화 된, 중요 정보를 포함하는 오디오 신호를 수신하는 단계;
    상기 수신자의 특성 정보를 획득하는 단계; 및
    상기 수신자의 특성 정보를 이용하여 상기 암호화된 중요 정보를 복호화하는 단계를 포함하는, 방법.
  7. 제 6항에 있어서,
    상기 오디오 신호의 컨텐츠는, 상기 오디오 신호의 의미(meaning) 또는 상기 전송자의 오디오 신호의 오디오 특성인, 방법.
  8. 제 6항에 있어서,
    상기 특성 정보는 상기 수신자의 성문 정보, 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나를 포함하고,
    상기 성문 정보를 획득하는 단계는:
    상기 수신자로부터의 호흡(respiratory) 신호를 검출하는 단계; 및
    상기 호흡 신호에 기초하여, 상기 성문 정보가 상기 수신자로부터 발생된 것인지 판별하는 단계를 포함하는, 방법.
  9. 전송자의 오디오 신호를 수신하는 수신부;
    상기 오디오 신호에 있는 중요 정보를 상기 오디오 신호의 컨텐츠에 기초하여 검출하고, 수신자의 특성 정보를 이용하여 상기 중요 정보를 암호화 하는 제어부; 및
    암호화된 상기 중요 정보를 포함하는 오디오 신호를 전송하는 전송부를 포함하는 전자 장치.
  10. 제 9항에 있어서,
    상기 오디오 신호의 컨텐츠는, 상기 오디오 신호의 의미(meaning) 또는 상기 오디오 신호의 오디오 특성인, 전자 장치.
  11. 제 9항에 있어서,
    상기 제어부는:
    상기 오디오 신호에서 검출된 상기 수신자의 이름 또는 상기 전송자의 커뮤니케이션 히스토리에 있는 오디오 신호의 문맥에 기초하여 상기 오디오 신호에 대한 상기 수신자를 결정하는, 전자 장치.
  12. 오디오 신호의 컨텐츠에 기초하여 검출되고 수신자의 특성 정보를 이용하여 암호화된, 중요 정보를 포함하는 오디오 신호를 수신하는 수신부; 및
    상기 수신자의 특성 정보를 획득하며, 상기 수신자의 특성 정보를 이용하여 상기 암호화 된 오디오 신호를 복호화 하는 제어부를 포함하는, 전자 장치.
  13. 제 12항에 있어서,
    상기 오디오 신호의 컨텐츠는, 상기 오디오 신호의 의미(meaning) 또는 상기 오디오 신호의 오디오 특성인, 전자 장치.
  14. 제 12항에 있어서,
    상기 특성 정보는 상기 수신자의 성문 정보, 지문 정보, 얼굴 정보, 정맥 패턴 정보, 손금 정보 및 홍채 정보 중 적어도 하나를 포함하고,
    상기 제어부는:
    상기 성문 정보가 획득되면 상기 수신자로부터의 호흡 신호를 검출하고, 상기 검출된 호흡 신호에 기초하여 상기 성문 정보가 상기 수신자로부터 발생된 것인지 판별하는, 전자 장치.
  15. 제 1항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2016/002880 2015-09-01 2016-03-22 커뮤니케이션 방법 및 그를 위한 전자 장치 WO2017039102A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16842068.5A EP3309783B1 (en) 2015-09-01 2016-03-22 Communication method, and electronic device therefor
US15/756,892 US10650827B2 (en) 2015-09-01 2016-03-22 Communication method, and electronic device therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201510552749.1A CN106487514A (zh) 2015-09-01 2015-09-01 语音通信加密方法、解密方法及其装置
CN201510552749.1 2015-09-01
KR10-2016-0027710 2016-03-08
KR1020160027710A KR102379068B1 (ko) 2015-09-01 2016-03-08 커뮤니케이션 방법 및 그를 위한 전자 장치

Publications (1)

Publication Number Publication Date
WO2017039102A1 true WO2017039102A1 (ko) 2017-03-09

Family

ID=58188704

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/002880 WO2017039102A1 (ko) 2015-09-01 2016-03-22 커뮤니케이션 방법 및 그를 위한 전자 장치

Country Status (1)

Country Link
WO (1) WO2017039102A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019010250A1 (en) * 2017-07-05 2019-01-10 Interactions Llc REAL-TIME CONFIDENTIALITY FILTER

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083273A (ko) * 2002-04-20 2003-10-30 주식회사 디젠트 온라인 지문인증을 이용한 보안문서 생성/해제 시스템 및방법
US20050246527A1 (en) * 2004-04-20 2005-11-03 Xtreamlok Pty Ltd Method for secure encoding of data
KR20080027572A (ko) * 2006-09-25 2008-03-28 에스케이 텔레콤주식회사 단말 브라우저 기반의 멀티모달 플러그인을 이용한 음성메시지 전송 시스템 및 그 방법
KR20100050638A (ko) * 2008-11-06 2010-05-14 삼성전자주식회사 사용자 데이터 암호화 방법 및 장치
JP2015099289A (ja) * 2013-11-20 2015-05-28 日本電信電話株式会社 発話内重要語抽出装置とその装置を用いた発話内重要語抽出システムと、それらの方法とプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083273A (ko) * 2002-04-20 2003-10-30 주식회사 디젠트 온라인 지문인증을 이용한 보안문서 생성/해제 시스템 및방법
US20050246527A1 (en) * 2004-04-20 2005-11-03 Xtreamlok Pty Ltd Method for secure encoding of data
KR20080027572A (ko) * 2006-09-25 2008-03-28 에스케이 텔레콤주식회사 단말 브라우저 기반의 멀티모달 플러그인을 이용한 음성메시지 전송 시스템 및 그 방법
KR20100050638A (ko) * 2008-11-06 2010-05-14 삼성전자주식회사 사용자 데이터 암호화 방법 및 장치
JP2015099289A (ja) * 2013-11-20 2015-05-28 日本電信電話株式会社 発話内重要語抽出装置とその装置を用いた発話内重要語抽出システムと、それらの方法とプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019010250A1 (en) * 2017-07-05 2019-01-10 Interactions Llc REAL-TIME CONFIDENTIALITY FILTER
US11210461B2 (en) 2017-07-05 2021-12-28 Interactions Llc Real-time privacy filter

Similar Documents

Publication Publication Date Title
KR102379068B1 (ko) 커뮤니케이션 방법 및 그를 위한 전자 장치
KR102180489B1 (ko) 센서 신호들에 기초한 라이브니스 결정
WO2018034552A1 (en) Language translation device and language translation method
WO2014007502A1 (en) Display apparatus, interactive system, and response information providing method
WO2016035933A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2016060296A1 (ko) 음향 정보 녹음 장치 및 그 제어 방법
WO2019112342A1 (en) Voice recognition apparatus and operation method thereof cross-reference to related application
WO2020159288A1 (ko) 전자 장치 및 그 제어 방법
WO2014092509A1 (en) Glasses apparatus and method for controlling glasses apparatus, audio apparatus and method for providing audio signal and display apparatus
WO2020162709A1 (en) Electronic device for providing graphic data based on voice and operating method thereof
WO2014030889A1 (en) Method and apparatus for sharing content
WO2015178600A1 (en) Speech recognition method and apparatus using device information
WO2019139301A1 (ko) 전자 장치 및 그 자막 표현 방법
WO2013187688A1 (en) Method for processing audio signal and audio signal processing apparatus adopting the same
WO2017039102A1 (ko) 커뮤니케이션 방법 및 그를 위한 전자 장치
WO2021071271A1 (en) Electronic apparatus and controlling method thereof
WO2023153677A1 (ko) 음성 처리 장치, 음성 복원 장치, 음성 처리 시스템
WO2022050459A1 (en) Method, electronic device and system for generating record of telemedicine service
WO2021153884A1 (en) Electronic device and operation method thereof
WO2015152597A1 (en) Method of sharing and receiving information based on sound signal and apparatus using the same
WO2020141643A1 (ko) 음성 합성 서버 및 단말기
WO2021080190A1 (ko) 음성 서비스 제공 방법 및 장치
JP2010074391A (ja) 録音装置およびプログラムならびに録音再生システム
WO2020009261A1 (ko) 음성 인식이 가능한 디지털 디바이스 및 그 제어 방법
WO2023120861A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16842068

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2016842068

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15756892

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE