WO2022250213A1 - 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법 - Google Patents

통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2022250213A1
WO2022250213A1 PCT/KR2021/016082 KR2021016082W WO2022250213A1 WO 2022250213 A1 WO2022250213 A1 WO 2022250213A1 KR 2021016082 W KR2021016082 W KR 2021016082W WO 2022250213 A1 WO2022250213 A1 WO 2022250213A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
mobile terminal
sender
voice data
similarity
Prior art date
Application number
PCT/KR2021/016082
Other languages
English (en)
French (fr)
Inventor
우경일
이홍규
Original Assignee
(주)한컴인텔리전스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한컴인텔리전스 filed Critical (주)한컴인텔리전스
Publication of WO2022250213A1 publication Critical patent/WO2022250213A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/38—Graded-service arrangements, i.e. some subscribers prevented from establishing certain connections
    • H04M3/382—Graded-service arrangements, i.e. some subscribers prevented from establishing certain connections using authorisation codes or passwords
    • H04M3/385—Graded-service arrangements, i.e. some subscribers prevented from establishing certain connections using authorisation codes or passwords using speech signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/60—Aspects of automatic or semi-automatic exchanges related to security aspects in telephonic communication systems
    • H04M2203/6072—Authentication using challenger response

Definitions

  • the present invention relates to a mobile terminal device that performs voice-based caller authentication when a call is connected and an operation method thereof.
  • a person's voice since a person's voice includes unique characteristics for identifying a person, such as frequency or tone, it is possible to consider introducing a technology for performing caller authentication based on the caller's voice.
  • a caller sends a call to a receiving mobile terminal in a state in which a plurality of preset words and voice data corresponding to each of the plurality of words pre-recorded by the caller are stored.
  • a command is applied, authentication of the caller is performed based on the voice of the caller, and when the authentication of the caller is completed, a mobile terminal device for performing a call for call connection to the receiving mobile terminal, and the same
  • it is intended to support only an authenticated caller to make a call connection to a receiving mobile terminal.
  • a mobile terminal device for performing voice-based caller authentication when a call is connected stores a plurality of preset words and voice data corresponding to each of the plurality of words pre-recorded by a caller.
  • an authentication event generating unit generating an authentication event for authenticating the caller when a command for sending a call to a receiving mobile terminal is applied by the caller; the authentication event occurs, a first guide message output unit for outputting a first guide message for guiding the caller to pronounce the first word after randomly selecting a first word among the plurality of words.
  • a first similarity calculation unit extracting the voice data corresponding to the first word and then calculating a first similarity between the input voice data and the voice data corresponding to the first word, a first reference value for which the first similarity is preset If it is confirmed that exceeds , a first event generating unit generating an authentication information generation event for generating authentication information for the sender, and when the authentication information generation event occurs, after generating the authentication information for the sender, After the authentication information transmitter transmits the authentication information on the sender to the receiving mobile terminal and the authentication information on the sender is transmitted to the receiving mobile terminal, the authentication information on the sender is received from the receiving mobile terminal. and a call originating unit for performing a call origination for call connection to the receiving mobile terminal after completing authentication of the caller when a feedback message indicating that is confirmed is received.
  • a method of operating a mobile terminal device for performing voice-based caller authentication upon call connection corresponds to a plurality of preset words and each of the plurality of words pre-recorded by a caller.
  • the voice data storage After extracting voice data corresponding to one word, calculating a first similarity between the input voice data and voice data corresponding to the first word, when it is determined that the first similarity exceeds a preset first reference value Generating an authentication information generation event for generating authentication information for the sender.
  • the authentication information generation event occurs, after generating the authentication information for the sender, the authentication information for the sender is transmitted to the receiving side. After the transmitting to the mobile terminal and the transmission of the authentication information on the sender to the receiving mobile terminal, when a feedback message indicating that the authentication information on the sender has been confirmed is received from the receiving mobile terminal, the sender and performing a call origination for a call connection to the receiving mobile terminal after completion of the authentication process.
  • a caller sends a call to a receiving mobile terminal in a state in which a plurality of preset words and voice data corresponding to each of the plurality of words pre-recorded by the caller are stored.
  • a command is applied, authentication of the caller is performed based on the voice of the caller, and when the authentication of the caller is completed, a mobile terminal device for performing a call for call connection to the receiving mobile terminal, and the same
  • FIG. 1 is a diagram showing the structure of a mobile terminal device that performs voice-based caller authentication upon call connection according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an operating method of a mobile terminal device performing voice-based caller authentication upon call connection according to an embodiment of the present invention.
  • each component, functional block, or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component are electronic It may be implemented with various known elements or mechanical elements such as circuits, integrated circuits, ASICs (Application Specific Integrated Circuits), and may be implemented separately or two or more may be integrated into one.
  • ASICs Application Specific Integrated Circuits
  • the blocks of the accompanying block diagram or the steps of the flowchart are computer program instructions that perform designated functions by being loaded into a processor or memory of a device capable of data processing, such as a general-purpose computer, a special purpose computer, a portable notebook computer, and a network computer.
  • a device capable of data processing such as a general-purpose computer, a special purpose computer, a portable notebook computer, and a network computer.
  • these computer program instructions may be stored in a memory included in a computer device or in a computer readable memory
  • the functions described in blocks of a block diagram or steps of a flowchart are produced as a product containing instruction means for performing them. It could be.
  • each block or each step may represent a module, segment or portion of code that includes one or more executable instructions for executing specified logical function(s).
  • FIG. 1 is a diagram showing the structure of a mobile terminal device that performs voice-based caller authentication upon call connection according to an embodiment of the present invention.
  • a mobile terminal device 110 that performs voice-based caller authentication when a call is connected includes a voice data storage unit 111, an authentication event generator 112, a first guide message output unit 113, It includes a first similarity calculating unit 114, a first event generating unit 115, a proof information transmitting unit 116, and a call originating unit 117.
  • the voice data storage unit 111 stores a plurality of preset words and voice data corresponding to each of the plurality of words pre-recorded by the caller 140 .
  • the voice data storage unit 111 includes 'word 1, word 2, and word as shown in Table 1 below. Voice data corresponding to 'word 3, word 4, word 5' and 'word 1, word 2, word 3, word 4, word 5' pre-recorded by the caller 140 may be stored.
  • the authentication event generating unit 112 generates an authentication event to authenticate the sender 140 when a call sending command to the receiving mobile terminal 150 is applied by the sender 140 .
  • the first guide message output unit 113 randomly selects a first word among the plurality of words, and sends information to the sender 140. , Outputs a first guide message for guiding pronunciation of the first word.
  • the first guide message output unit 113 may randomly select a first word among 'word 1, word 2, word 3, word 4, and word 5'.
  • the first guide message output unit 113 sends a first guide message guiding the caller 140 to pronounce 'word 5'. can be printed out.
  • the caller 140 may input the voice of the caller 140 for 'word 5' through the microphone preloaded in the mobile terminal device 110 in response to the first guide message.
  • the similarity calculating unit 114 extracts voice data corresponding to the first word from the voice data storage unit 111 and calculates a first similarity between the input voice data and the voice data corresponding to the first word. .
  • the first similarity calculator 114 has a specific configuration for calculating the first similarity, and includes a first frequency component checker 118 and a second frequency component checker 119 , a vector generator 120 and a first similarity calculation processor 121.
  • the first frequency component checker 118 converts the voice waveform of the input voice data into the frequency domain, After generating 1 frequency spectrum, n (n is a natural number equal to or greater than 2) first frequency components are identified in order of greatest amplitude among frequency components included in the first frequency spectrum.
  • the second frequency component checker 119 extracts voice data corresponding to the first word from the voice data storage 111 and converts the voice waveform of the voice data corresponding to the first word into the frequency domain. After generating the second frequency spectrum, n second frequency components are identified in the order of greatest amplitude among the frequency components included in the second frequency spectrum.
  • the vector generator 120 sorts the n first frequency components in ascending order to generate an n-dimensional first frequency vector having the n first frequency components as components, and the n second frequency components By sorting in ascending order, an n-dimensional second frequency vector having the n second frequency components as components is generated.
  • the first similarity calculation processor 121 calculates a cosine similarity between the first frequency vector and the second frequency vector as the first similarity.
  • Equation 1 S is the cosine similarity between vector A and vector B, and has a value between -1 and 1
  • a i denotes the i-th component of vector A
  • B i denotes the i-th component of vector B. do.
  • the greater the cosine similarity between two vectors the more similar the two vectors are to each other.
  • the first frequency component checker 118 may generate a first frequency spectrum by converting the voice waveform of the input voice data into a frequency domain.
  • a Fourier transform a fast Fourier transform, or the like may be used as a method for transforming the voice waveform of the input voice data into a frequency domain.
  • the first frequency component checking unit 118 determines '4' first frequency components in order of greatest amplitude among the frequency components included in the first frequency spectrum as 'a 1' . (Hz), a 2 (Hz), a 3 (Hz), a 4 (Hz)'.
  • the second frequency component checker 119 may extract voice data corresponding to 'word 5' from the voice data storage unit 111 as shown in Table 1 above.
  • the second frequency component checker 119 checks the voice data as shown in Table 1 above.
  • 'Voice data 5' may be extracted from the storage unit 111 .
  • the second frequency component checker 119 generates a second frequency spectrum by converting the voice waveform of 'voice data 5' into a frequency domain, and then, among the frequency components included in the second frequency spectrum, the amplitude is '4' second frequency components in a large order may be identified as 'a 5 (Hz), a 6 (Hz), a 7 (Hz), and a 8 (Hz)'.
  • the vector generator 120 A '4'-dimensional first frequency vector having 4' first frequency components as components may be generated as '[a 2 a 1 a 4 a 3 ]', and the '4' second frequency components may be generated.
  • a '4'-dimensional second frequency vector having components may be generated as in '[a 5 a 7 a 6 a 8 ]'.
  • the first similarity calculation processor 121 calculates the first frequency vector '[a 2 a 1 a 4 a 3 ]' and the second frequency vector '[a 5 a 7 a ]' according to Equation 1 above. 6 a 8 ]' may be calculated as the first similarity.
  • the first event generating unit 115 when it is determined that the first similarity calculated by the first similarity calculation unit 114 exceeds a preset first reference value, the first event generating unit 115 generates proof information for the sender 140. generate an event to generate evidence information for
  • the first similarity calculated by the first similarity calculation unit 114 is '0.92' and the preset first reference value is '0.90'. Accordingly, the first similarity exceeds the first reference value. Assume that it is confirmed that
  • the first event generating unit 115 determines the person who applied the call originating command. It is finally confirmed that the sender 140 is the sender 140, and a proof information generation event for generating proof information for the sender 140 may be generated.
  • the mobile terminal device 110 when it is confirmed that the first similarity does not exceed the first reference value, the mobile terminal device 110 performs additional authentication on the sender 140, and the sender ( 140) may further include a configuration for generating the proof information generation event when additional authentication is completed.
  • the mobile terminal device 110 includes a face image storage unit 122, an additional authentication event generator 123, a second guide message output unit 124, and a second similarity degree.
  • a calculation unit 125 and a second event generating unit 126 may be further included.
  • the face image storage unit 122 stores a pre-captured face image of the caller 140 .
  • 'Image 1' may be stored in the face image storage unit 122.
  • the additional authentication event generator 123 generates an additional authentication event when it is determined that the first similarity does not exceed the first reference value.
  • the second guide message output unit 124 When the additional authentication event is generated by the additional authentication event generating unit 123, the second guide message output unit 124 outputs a second guide message guiding the caller 140 to take a picture of the face.
  • the first similarity calculated by the first similarity calculation unit 114 is '0.92' and the first reference value is '0.95'. Accordingly, the first similarity does not exceed the first reference value. Assume that it is confirmed that
  • the second guide message output unit 124 may output a second guide message for guiding the sender 140 to photograph the face.
  • the caller 140 may take a picture of the face of the caller 140 through a camera preloaded in the mobile terminal device 110 in response to the second guide message.
  • the second similarity calculation unit 125 A second similarity between the face image and the captured image is calculated.
  • the second similarity calculation unit 125 has a specific configuration for calculating the second similarity, and may include an output vector generator 127 and a second similarity calculation processing unit 128.
  • the output vector generator 127 applies the face image as an input to Convolutional Neural Networks on which pre-machine learning has been completed, generates a first output vector, and takes the captured image as an input to the Convolutional Neural Networks. and generates a second output vector.
  • the convolutional neural network is a neural network composed of a plurality of convolutional layers composed of convolutional filters and a pooling layer.
  • convolution occurs by convolution filters having one or more channels constituting the convolution layer to generate an output feature map, and downsampling is performed to reduce the size of the output feature map through a pooling layer. Then, the process of applying the output as an input to the next convolutional layer and the pooling layer is repeated, and a predetermined output is calculated through repetition of this process.
  • the convolutional neural network used in the present invention when an image is applied as an input, passes the image applied as an input through a plurality of convolutional layers and pooling layers for image feature extraction, where k (k is 2 It may be pre-learned to calculate an output vector of dimensions).
  • the developer configures a training set in which a plurality of images and a k-dimensional answer vector corresponding to each image are associated, and then the plurality of images constituting the training set are convoluted.
  • the convolutional neural network can be trained so that the prediction vector of each image is maximally close to the corresponding answer vector through comparison between the predicted vector calculated by passing through the neural network and the correct answer vector corresponding to each image.
  • the second similarity calculation processing unit 128 calculates k components constituting the first output vector and the second output vector. By matching the k components constituting the vector with the same positions in each vector, based on the k components constituting the first output vector and the k components constituting the second output vector, A mean squared error between the first output vector and the second output vector is calculated as the second similarity.
  • Equation 2 the mean square error
  • MSE means the mean square error
  • x i means a component at the i-th position among k elements constituting the first output vector
  • y i means k elements constituting the second output vector. It means the component at the i-th position among the components.
  • the output vector generator 127 converts 'Image 1' to the pre-machine
  • the first output vector may be generated as '[b 1 b 2 b 3 b 4 ]' by applying it as an input to the convolutional neural network on which learning has been completed.
  • the output vector generator 127 A second output vector may be generated as '[b 5 b 6 b 7 b 8 ]' by applying the captured image as an input to the convolutional neural network.
  • the second similarity calculation processor 128 includes 'b 1, b 2, b 3, b 4 ', which are '4' components constituting the first output vector, and '4' constituting the second output vector.
  • 'B 5, b 6, b 7, b 8 ', which are the components, correspond to the same positions in each vector, and according to Equation 2, the mean square between the first output vector and the second output vector An error may be calculated with the second similarity.
  • the second event generating unit 126 when it is determined that the second similarity computed by the second similarity calculation unit 125 exceeds the preset second reference value, the second event generating unit 126 generates the proof information generating event.
  • the second similarity calculated by the second similarity calculator 125 is '0.96' and the preset second reference value is '0.95'. Assume that it is confirmed to exceed the second reference value.
  • the second similarity exceeds the second reference value, it means that the captured image and 'Image 1' are similar to each other, so the second event generating unit 126 determines that the person who applied the call originating command is the caller. (140), it is finally confirmed that the proof information generation event can be generated.
  • the proof information transmission unit 116 when the proof information generation event is generated by the first event generating unit 115 or the second event generating unit 126, the proof information transmission unit 116 generates the proof information for the sender 140 and then , and transmits authentication information about the sender 140 to the receiving mobile terminal 150.
  • the authentication information transmission unit 116 has a specific configuration for generating authentication information for the sender 140 and transmitting it to the receiving mobile terminal 150, an authentication key storage unit ( 129), a private key storage unit 130, an authentication key extraction unit 131, and an authentication information transmission processing unit 132.
  • the authentication key storage unit 129 stores t (t is a natural number equal to or greater than 2) authentication keys previously shared with the receiving side mobile terminal 150 .
  • the authentication key storage unit 129 may store '5' authentication keys previously shared with the receiving mobile terminal 150 as shown in Table 2 below. .
  • a pre-issued private key is stored in the private key storage unit 130 .
  • the private key and the public key constituting the key pair are pre-distributed to the receiving mobile terminal 150 .
  • 'private key 1' may be stored in the private key storage unit 130, and 'private key 1' is a public key constituting a key pair.
  • 'Public key 1' may be pre-distributed to the receiving mobile terminal 150 .
  • the authentication key extractor 131 When the authentication information generation event occurs, the authentication key extractor 131 performs a modulo operation using the current date value at the time when the authentication information generation event occurred as the dividend and t as the divisor to obtain the calculated value After calculating , a first authentication key to which the calculated value is assigned is extracted from among the t authentication keys from the authentication key storage unit.
  • the modulo operation refers to an operation of calculating a remainder by performing division by dividing a dividend by a divisor.
  • the proof transmission processing unit 132 digitally signs the first authentication key with the private key to generate authentication information for the sender 140, and then , and transmits authentication information about the sender 140 to the receiving mobile terminal 150.
  • the authentication key extractor 131 determines that the certification information generation event
  • the operation value may be calculated as '0' by performing a modulo operation with '20210520', which is the date value of the current time, as the dividend and '5' as the divisor.
  • the authentication key extraction unit 131 may extract the first authentication key to which '0' is assigned among the '5' authentication keys from the authentication key storage unit 129 as shown in Table 2 above.
  • the authentication key extraction unit 131 'Authentication key 1' can be extracted from the authentication key storage unit 129 such as 2.
  • the proof transmission processing unit 132 digitally signs 'authentication key 1' with 'private key 1' to generate proof information for the sender 140, and then transmits the proof information for the sender 140 to the receiving mobile device. It can be transmitted to the terminal 150.
  • the receiving mobile terminal 150 pre-stores the t authentication keys and the public key in memory, and the mobile terminal device 110 provides authentication information for the sender.
  • a decryption value is generated by decrypting the proof information about the sender 140 with the public key, and the date value of the current point in time at which the proof information about the sender 140 is received is the dividend and t is the divisor.
  • a feedback message indicating that the verification information for the sender 140 has been confirmed can be generated and transmitted to the mobile terminal device 110 .
  • the receiving side mobile terminal 150 may have '5' authentication keys and 'public key 1' pre-stored as shown in Table 2 above.
  • the proof transmission processing unit 132 transmits the proof information for the sender 140 to the receiving mobile terminal 150 on ' May 20, 2021'
  • the receiving mobile terminal ( In step 150, when it is assumed that proof information for the sender 140 is received, the receiving mobile terminal 150 can generate a decryption value by decrypting the proof information for the sender 140 with 'Public Key 1'. have.
  • the receiving mobile terminal 150 performs a modulo operation with '20210520' as the dividend and '5' as the divisor, which is the date value of the current point in time at which the authentication information for the sender 140 is received, and the calculated value can be calculated as '0'.
  • the receiving mobile terminal 150 can extract 'authentication key 1' to which '0' is assigned among the '5' authentication keys as shown in Table 2 above.
  • the receiving mobile terminal 150 can check whether the decryption value and 'authentication key 1' match each other.
  • the proof information for the sender 140 is information generated by digitally signing 'authentication key 1' with 'private key 1' by the proof transmission processing unit 132, and 'public key 1' is 'private key 1'. Since it is a public key that forms a key pair with ', the decryption value and 'authentication key 1' can be the same value. As a result, the receiving mobile terminal 150 determines that the decryption value and 'authentication key 1' are mutually exclusive. can be confirmed to match.
  • the receiving mobile terminal 150 may generate a feedback message indicating that the verification information for the sender 140 has been confirmed and transmit the generated feedback message to the mobile terminal device 110 .
  • the verification information for the sender 140 is transmitted to the receiving mobile terminal 150 by the verification information transmitter 116, the verification information for the sender 140 is transmitted from the receiving mobile terminal 150.
  • the call originating unit 117 completes authentication of the caller 140 and then initiates a call to the receiving mobile terminal 150 for a call connection. .
  • FIG. 2 is a flowchart illustrating an operating method of a mobile terminal device performing voice-based caller authentication upon call connection according to an embodiment of the present invention.
  • step S210 a voice data storage unit in which a plurality of preset words and voice data corresponding to each of the plurality of words pre-recorded by a caller are stored is maintained.
  • step S220 when a call originating command is applied to the receiving mobile terminal by the caller, an authentication event is generated to authenticate the caller.
  • step S230 when the authentication event occurs, after randomly selecting a first word among the plurality of words, a first guide message for guiding the caller to pronounce the first word is sent. print out
  • step S240 when input voice data is obtained as the caller's voice for the first word is input through a microphone preloaded in the mobile terminal device in response to the first guidance message, the voice After extracting voice data corresponding to the first word from the data storage unit, a first similarity between the input voice data and voice data corresponding to the first word is calculated.
  • step S250 when it is determined that the first similarity exceeds a preset first reference value, an authentication information generation event for generating authentication information for the sender is generated.
  • step S260 when the proof information generation event occurs, after generating proof information for the sender, the proof information for the sender is transmitted to the receiving mobile terminal.
  • step S270 after the verification information on the sender is transmitted to the receiving mobile terminal, when a feedback message indicating that the verification information on the sender has been confirmed is received from the receiving mobile terminal, the verification information on the sender is received. After completing the authentication process, a call is initiated for a call connection to the receiving mobile terminal.
  • step S240 when the input voice data is obtained as the caller's voice for the first word is input, the voice waveform of the input voice data is converted into a frequency domain.
  • a first frequency spectrum by transforming, identifying n (n is a natural number equal to or greater than 2) first frequency components in order of greatest amplitude among frequency components included in the first frequency spectrum;
  • a second frequency spectrum is generated by extracting voice data corresponding to the first word from a data storage unit and converting a voice waveform of the voice data corresponding to the first word into a frequency domain, and then generating the second frequency spectrum.
  • the operating method of the mobile terminal device includes maintaining a face image storage unit in which a pre-captured face image of the sender is stored, and the first similarity exceeds the first reference value. If it is confirmed that it does not, generating an additional authentication event, if the additional authentication event occurs, outputting a second guide message to guide the sender to photograph the face, in response to the second guide message , calculating a second similarity between the face image and the captured image when a captured image is obtained as the sender's face is photographed through a camera pre-installed in the mobile terminal device, and the second similarity is determined in advance. If it is confirmed that the set second reference value is exceeded, generating the proof information generation event may be further included.
  • the step of calculating the second similarity is the convolutional neural network for which pre-machine learning has been completed (when an image is applied as an input, the convolutional neural network is applied as an input to the face image).
  • the image is passed through a plurality of convolutional layers and pooling layers for image feature extraction, and applied as an input to a k (k is a natural number equal to or greater than 2) dimensional output vector pretrained to be calculated), and the first output Generating a vector and generating a second output vector by applying the captured image as an input to the convolutional neural network, and constructing the first output vector when the first output vector and the second output vector are generated
  • the k components constituting the first output vector and the second output vector are formed by matching the k components constituting the second output vector with the same positions in each vector. and calculating a mean square error between the first output vector and the second output vector as the second similarity based on the k components of the second output vector.
  • step S260 in step S260, t (t is a natural number of 2 or more) number of authentication keys previously shared with the receiving mobile terminal (each of the t authentication keys is 0 or more t- Maintaining an authentication key storage unit in which different integers of 1 or less are pre-assigned), a pre-issued private key (the private key and the public key constituting the key pair are pre-distributed to the receiving mobile terminal) maintaining a private key storage unit in which there is stored), when the proof information generation event occurs, performing a modulo operation with the date value at the present time when the proof information generation event occurred as the dividend and t as the divisor
  • the method may include transmitting the authentication information for the sender to the receiving mobile terminal.
  • the receiving mobile terminal pre-stores the t authentication keys and the public key in memory, and when the authentication information for the sender is received from the mobile terminal device, the public key is used to store the authentication information for the sender
  • a decryption value is generated, and the operation value is calculated by performing a modulo operation with the date value of the current point in time at which the proof information for the sender is received as the dividend and t as the divisor, and then the t
  • the first authentication key to which the operation value is assigned is extracted from authentication keys, and whether the decryption value and the first authentication key match each other is checked, and when it is confirmed that the decryption value and the first authentication key match each other, ,
  • the feedback message indicating that the verification information for the sender has been confirmed can be generated and transmitted to the mobile terminal device.
  • the operating method of the mobile terminal device for performing voice-based caller authentication upon call connection according to an embodiment of the present invention may correspond to the configuration of the operation of the mobile terminal device 110 described with reference to FIG. , a detailed description thereof will be omitted.
  • a method of operating a mobile terminal device performing voice-based caller authentication upon call connection may be implemented as a computer program stored in a storage medium for execution through coupling with a computer.
  • a method of operating a mobile terminal device for performing voice-based caller authentication when a call is connected is implemented in the form of program commands that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the medium may be those specially designed and configured for the present invention or those known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법이 개시된다. 본 발명은 사전 설정된 복수의 단어들과, 발신자에 의해 사전 녹음된 상기 복수의 단어들 각각에 대응되는 음성 데이터를 저장해둔 상태에서, 상기 발신자에 의해, 수신측 모바일 단말로의 호(call) 발신 명령이 인가되면, 상기 발신자의 음성을 기반으로 상기 발신자에 대한 인증을 수행하여, 상기 발신자에 대한 인증이 완료되면, 상기 수신측 모바일 단말로 통화 연결을 위한 호 발신을 수행하는 모바일 단말 장치 및 그 동작 방법에 대한 것이다.

Description

통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법
본 발명은 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법에 대한 것이다.
최근, 컴퓨터나 스마트폰 또는 태블릿 PC 등과 같은 모바일 단말 장치가 널리 보급됨에 따라, 모바일 단말 장치를 통해 수많은 통화가 이루어지고 있다.
하지만, 기존의 통화 기술에서는, 발신자에 대한 특별한 인증 절차 없이, 수신측 모바일 단말로의 통화 연결이 가능하기 때문에, 이러한 점을 악용하여, 통화 중에 발신자가 금융기관이나 수사기관 등을 사칭하여 수신자에게 금전을 요구하는 보이스 피싱(voice phishing)과 같은 범죄가 심각한 사회문제로 대두되고 있다.
이와 관련해서, 이러한 범죄를 근절하기 위한 다양한 노력이 이루어지고 있지만, 수신자는 실제 발신자가 누구인지에 대해 정확하게 확인하기 어렵기 때문에, 발신자에 대한 신뢰성이 떨어진다는 근본적인 문제점이 있다.
만약, 발신자에 대한 인증을 수행하여, 인증이 완료된 경우에만 수신측 모바일 단말로 통화를 연결할 수 있도록 하는 기술이 도입된다면, 발신자에 대한 신뢰성이 증대될 수 있을 것이다.
관련해서, 사람의 목소리에는 주파수나 음색 등 사람을 식별할 수 있는 고유한 특성이 포함되어 있다는 점에서, 발신자의 음성을 기반으로 발신자 인증을 수행하는 기술의 도입을 고려해 볼 수 있다.
따라서, 인증된 발신자만이 수신측 모바일 단말로 통화 연결을 할 수 있도록 지원하기 위해, 통화 연결 시 음성 기반의 발신자 인증을 수행하는 기술에 대한 연구가 필요하다.
본 발명은 사전 설정된 복수의 단어들과, 발신자에 의해 사전 녹음된 상기 복수의 단어들 각각에 대응되는 음성 데이터를 저장해둔 상태에서, 상기 발신자에 의해, 수신측 모바일 단말로의 호(call) 발신 명령이 인가되면, 상기 발신자의 음성을 기반으로 상기 발신자에 대한 인증을 수행하여, 상기 발신자에 대한 인증이 완료되면, 상기 수신측 모바일 단말로 통화 연결을 위한 호 발신을 수행하는 모바일 단말 장치 및 그 동작 방법을 제시함으로써, 인증된 발신자만이 수신측 모바일 단말로 통화 연결을 할 수 있도록 지원하고자 한다.
본 발명의 일실시예에 따른 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치는 사전 설정된 복수의 단어들과, 발신자에 의해 사전 녹음된 상기 복수의 단어들 각각에 대응되는 음성 데이터가 저장되어 있는 음성 데이터 저장부, 상기 발신자에 의해, 수신측 모바일 단말로의 호(call) 발신 명령이 인가되면, 상기 발신자에 대한 인증을 수행하기 위한 인증 이벤트를 발생시키는 인증 이벤트 발생부, 상기 인증 이벤트가 발생되면, 상기 복수의 단어들 중 어느 하나인 제1 단어를 랜덤하게 선택한 후, 상기 발신자에 대해, 상기 제1 단어를 발음할 것을 안내하는 제1 안내 메시지를 출력하는 제1 안내 메시지 출력부, 상기 제1 안내 메시지에 대응하여, 상기 모바일 단말 장치에 사전 탑재되어 있는 마이크로폰을 통해 상기 제1 단어에 대한 상기 발신자의 음성이 입력됨에 따라, 입력 음성 데이터가 획득되면, 상기 음성 데이터 저장부로부터, 상기 제1 단어에 대응되는 음성 데이터를 추출한 후, 상기 입력 음성 데이터와 상기 제1 단어에 대응되는 음성 데이터 간의 제1 유사도를 연산하는 제1 유사도 연산부, 상기 제1 유사도가 사전 설정된 제1 기준치를 초과하는 것으로 확인되면, 상기 발신자에 대한 증명 정보를 생성하기 위한 증명 정보 생성 이벤트를 발생시키는 제1 이벤트 발생부, 상기 증명 정보 생성 이벤트가 발생되면, 상기 발신자에 대한 증명 정보를 생성한 후, 상기 발신자에 대한 증명 정보를 상기 수신측 모바일 단말로 전송하는 증명 정보 전송부 및 상기 발신자에 대한 증명 정보가 상기 수신측 모바일 단말로 전송된 이후, 상기 수신측 모바일 단말로부터, 상기 발신자에 대한 증명 정보가 확인되었음을 지시하는 피드백 메시지가 수신되면, 상기 발신자에 대한 인증을 완료 처리한 후, 상기 수신측 모바일 단말로, 통화 연결을 위한 호 발신을 수행하는 호 발신 수행부를 포함한다.
또한, 본 발명의 일실시예에 따른 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치의 동작 방법은 사전 설정된 복수의 단어들과, 발신자에 의해 사전 녹음된 상기 복수의 단어들 각각에 대응되는 음성 데이터가 저장되어 있는 음성 데이터 저장부를 유지하는 단계, 상기 발신자에 의해, 수신측 모바일 단말로의 호 발신 명령이 인가되면, 상기 발신자에 대한 인증을 수행하기 위한 인증 이벤트를 발생시키는 단계, 상기 인증 이벤트가 발생되면, 상기 복수의 단어들 중 어느 하나인 제1 단어를 랜덤하게 선택한 후, 상기 발신자에 대해, 상기 제1 단어를 발음할 것을 안내하는 제1 안내 메시지를 출력하는 단계, 상기 제1 안내 메시지에 대응하여, 상기 모바일 단말 장치에 사전 탑재되어 있는 마이크로폰을 통해 상기 제1 단어에 대한 상기 발신자의 음성이 입력됨에 따라, 입력 음성 데이터가 획득되면, 상기 음성 데이터 저장부로부터, 상기 제1 단어에 대응되는 음성 데이터를 추출한 후, 상기 입력 음성 데이터와 상기 제1 단어에 대응되는 음성 데이터 간의 제1 유사도를 연산하는 단계, 상기 제1 유사도가 사전 설정된 제1 기준치를 초과하는 것으로 확인되면, 상기 발신자에 대한 증명 정보를 생성하기 위한 증명 정보 생성 이벤트를 발생시키는 단계, 상기 증명 정보 생성 이벤트가 발생되면, 상기 발신자에 대한 증명 정보를 생성한 후, 상기 발신자에 대한 증명 정보를 상기 수신측 모바일 단말로 전송하는 단계 및 상기 발신자에 대한 증명 정보가 상기 수신측 모바일 단말로 전송된 이후, 상기 수신측 모바일 단말로부터, 상기 발신자에 대한 증명 정보가 확인되었음을 지시하는 피드백 메시지가 수신되면, 상기 발신자에 대한 인증을 완료 처리한 후, 상기 수신측 모바일 단말로, 통화 연결을 위한 호 발신을 수행하는 단계를 포함한다.
본 발명은 사전 설정된 복수의 단어들과, 발신자에 의해 사전 녹음된 상기 복수의 단어들 각각에 대응되는 음성 데이터를 저장해둔 상태에서, 상기 발신자에 의해, 수신측 모바일 단말로의 호(call) 발신 명령이 인가되면, 상기 발신자의 음성을 기반으로 상기 발신자에 대한 인증을 수행하여, 상기 발신자에 대한 인증이 완료되면, 상기 수신측 모바일 단말로 통화 연결을 위한 호 발신을 수행하는 모바일 단말 장치 및 그 동작 방법을 제시함으로써, 인증된 발신자만이 수신측 모바일 단말로 통화 연결을 할 수 있도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치의 동작 방법을 도시한 순서도이다.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.
도 1은 본 발명의 일실시예에 따른 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치의 구조를 도시한 도면이다.
도 1을 참조하면, 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치(110)는 음성 데이터 저장부(111), 인증 이벤트 발생부(112), 제1 안내 메시지 출력부(113), 제1 유사도 연산부(114), 제1 이벤트 발생부(115), 증명 정보 전송부(116) 및 호 발신 수행부(117)를 포함한다.
음성 데이터 저장부(111)에는 사전 설정된 복수의 단어들과, 발신자(140)에 의해 사전 녹음된 상기 복수의 단어들 각각에 대응되는 음성 데이터가 저장되어 있다.
예컨대, 상기 복수의 단어들을 '단어 1, 단어 2, 단어 3, 단어 4, 단어 5'라고 하는 경우, 음성 데이터 저장부(111)에는 하기의 표 1과 같은, '단어 1, 단어 2, 단어 3, 단어 4, 단어 5'와, 발신자(140)에 의해 사전 녹음된 '단어 1, 단어 2, 단어 3, 단어 4, 단어 5' 각각에 대응되는 음성 데이터가 저장되어 있을 수 있다.
복수의 단어들 음성 데이터
단어 1 음성 데이터 1
단어 2 음성 데이터 2
단어 3 음성 데이터 3
단어 4 음성 데이터 4
단어 5 음성 데이터 5
인증 이벤트 발생부(112)는 발신자(140)에 의해, 수신측 모바일 단말(150)로의 호(call) 발신 명령이 인가되면, 발신자(140)에 대한 인증을 수행하기 위한 인증 이벤트를 발생시킨다.
제1 안내 메시지 출력부(113)는 인증 이벤트 발생부(112)에 의해 상기 인증 이벤트가 발생되면, 상기 복수의 단어들 중 어느 하나인 제1 단어를 랜덤하게 선택한 후, 발신자(140)에 대해, 상기 제1 단어를 발음할 것을 안내하는 제1 안내 메시지를 출력한다.
예컨대, 발신자(140)에 의해, 수신측 모바일 단말(150)로의 호 발신 명령이 인가됨에 따라, 인증 이벤트 발생부(112)에 의해 발신자(140)에 대한 인증을 수행하기 위한 인증 이벤트가 발생되었다고 하는 경우, 제1 안내 메시지 출력부(113)는 '단어 1, 단어 2, 단어 3, 단어 4, 단어 5' 중 어느 하나인 제1 단어를 랜덤하게 선택할 수 있다.
이때, 상기 제1 단어로, '단어 5'가 선택되었다고 하는 경우, 제1 안내 메시지 출력부(113)는 발신자(140)에 대해, '단어 5'를 발음할 것을 안내하는 제1 안내 메시지를 출력할 수 있다.
그러면, 발신자(140)는 상기 제1 안내 메시지에 대응하여, 모바일 단말 장치(110)에 사전 탑재되어 있는 마이크로폰을 통해 '단어 5'에 대한 발신자(140)의 음성을 입력할 수 있다.
이렇게, 상기 제1 안내 메시지에 대응하여, 모바일 단말 장치(110)에 사전 탑재되어 있는 마이크로폰을 통해 상기 제1 단어에 대한 발신자(140)의 음성이 입력됨에 따라, 입력 음성 데이터가 획득되면, 제1 유사도 연산부(114)는 음성 데이터 저장부(111)로부터, 상기 제1 단어에 대응되는 음성 데이터를 추출한 후, 상기 입력 음성 데이터와 상기 제1 단어에 대응되는 음성 데이터 간의 제1 유사도를 연산한다.
이때, 본 발명의 일실시예에 따르면, 제1 유사도 연산부(114)는 상기 제1 유사도를 연산하기 위한 구체적인 구성으로, 제1 주파수 성분 확인부(118), 제2 주파수 성분 확인부(119), 벡터 생성부(120) 및 제1 유사도 연산 처리부(121)를 포함할 수 있다.
제1 주파수 성분 확인부(118)는 상기 제1 단어에 대한 발신자(140)의 음성이 입력됨에 따라, 상기 입력 음성 데이터가 획득되면, 상기 입력 음성 데이터의 음성 파형을 주파수 도메인으로 변환함으로써, 제1 주파수 스펙트럼을 생성한 후, 상기 제1 주파수 스펙트럼에 포함된 주파수 성분들 중 진폭이 큰 순서로 n(n은 2 이상의 자연수임)개의 제1 주파수 성분들을 확인한다.
제2 주파수 성분 확인부(119)는 음성 데이터 저장부(111)로부터, 상기 제1 단어에 대응되는 음성 데이터를 추출하고, 상기 제1 단어에 대응되는 음성 데이터의 음성 파형을 주파수 도메인으로 변환함으로써, 제2 주파수 스펙트럼을 생성한 후, 상기 제2 주파수 스펙트럼에 포함된 주파수 성분들 중 진폭이 큰 순서로 n개의 제2 주파수 성분들을 확인한다.
벡터 생성부(120)는 상기 n개의 제1 주파수 성분들을 오름차순으로 정렬하여, 상기 n개의 제1 주파수 성분들을 성분으로 갖는 n차원의 제1 주파수 벡터를 생성하고, 상기 n개의 제2 주파수 성분들을 오름차순으로 정렬하여, 상기 n개의 제2 주파수 성분들을 성분으로 갖는 n차원의 제2 주파수 벡터를 생성한다.
제1 유사도 연산 처리부(121)는 제1 주파수 벡터와 제2 주파수 벡터 간의 코사인 유사도를 상기 제1 유사도로 연산한다.
여기서, 상기 코사인 유사도는 하기의 수학식 1과 같이 연산될 수 있다.
Figure PCTKR2021016082-appb-M000001
상기 수학식 1에서, S는 벡터 A와 벡터 B 사이의 코사인 유사도로, -1에서 1 사이의 값을 가지며, Ai는 벡터 A의 i번째 성분, Bi는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 코사인 유사도가 클수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.
이하에서는, 제1 주파수 성분 확인부(118), 제2 주파수 성분 확인부(119), 벡터 생성부(120) 및 제1 유사도 연산 처리부(121)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, 상기 제1 단어를 '단어 5'라고 하고, 상기 제1 안내 메시지에 대응하여, 상기 마이크로폰을 통해 '단어 5'에 대한 발신자(140)의 음성이 입력됨에 따라, 입력 음성 데이터가 획득되었다고 가정하자.
그러면, 제1 주파수 성분 확인부(118)는 상기 입력 음성 데이터의 음성 파형을 주파수 도메인으로 변환함으로써, 제1 주파수 스펙트럼을 생성할 수 있다.
여기서, 상기 입력 음성 데이터의 음성 파형을 주파수 도메인으로 변환하기 위한 방법으로, 푸리에 변환(Fourier Transform), 고속 푸리에 변환(Fast Fourier Transform) 등이 사용될 수 있다.
이때, n을 '4'라고 하는 경우, 제1 주파수 성분 확인부(118)는 상기 제1 주파수 스펙트럼에 포함된 주파수 성분들 중 진폭이 큰 순서로 '4'개의 제1 주파수 성분들을 'a1(Hz), a2(Hz), a3(Hz), a4(Hz)'와 같이 확인할 수 있다.
그러고 나서, 제2 주파수 성분 확인부(119)는 상기 표 1과 같은 음성 데이터 저장부(111)로부터, '단어 5'에 대응되는 음성 데이터를 추출할 수 있다.
관련해서, 상기 표 1과 같은 음성 데이터 저장부(111)에서는 '단어 5'에 대응되는 음성 데이터가 '음성 데이터 5'이므로, 제2 주파수 성분 확인부(119)는 상기 표 1과 같은 음성 데이터 저장부(111)로부터 '음성 데이터 5'를 추출할 수 있다.
그러면, 제2 주파수 성분 확인부(119)는 '음성 데이터 5'의 음성 파형을 주파수 도메인으로 변환함으로써, 제2 주파수 스펙트럼을 생성한 후, 상기 제2 주파수 스펙트럼에 포함된 주파수 성분들 중 진폭이 큰 순서로 '4'개의 제2 주파수 성분들을 'a5(Hz), a6(Hz), a7(Hz), a8(Hz)'과 같이 확인할 수 있다.
이때, 상기 '4'개의 제1 주파수 성분들인 'a1(Hz), a2(Hz), a3(Hz), a4(Hz)'를 오름차순으로 정렬하면 'a2(Hz), a1(Hz), a4(Hz), a3(Hz)'과 같다고 하고, 상기 '4'개의 제2 주파수 성분들인 'a5(Hz), a6(Hz), a7(Hz), a8(Hz)'을 오름차순으로 정렬하면 'a5(Hz), a7(Hz), a6(Hz), a8(Hz)'과 같다고 하는 경우, 벡터 생성부(120)는 상기 '4'개의 제1 주파수 성분들을 성분으로 갖는 '4'차원의 제1 주파수 벡터를 '[a2 a1 a4 a3]'와 같이 생성할 수 있고, 상기 '4'개의 제2 주파수 성분들을 성분으로 갖는 '4'차원의 제2 주파수 벡터를 '[a5 a7 a6 a8]'과 같이 생성할 수 있다.
그러면, 제1 유사도 연산 처리부(121)는 상기 수학식 1에 따라, 상기 제1 주파수 벡터인 '[a2 a1 a4 a3]'과 상기 제2 주파수 벡터인 '[a5 a7 a6 a8]' 간의 코사인 유사도를 상기 제1 유사도로 연산할 수 있다.
이렇게, 제1 유사도 연산부(114)에 의해 연산된 상기 제1 유사도가 사전 설정된 제1 기준치를 초과하는 것으로 확인되면, 제1 이벤트 발생부(115)는 발신자(140)에 대한 증명 정보를 생성하기 위한 증명 정보 생성 이벤트를 발생시킨다.
예컨대, 제1 유사도 연산부(114)에 의해 연산된 상기 제1 유사도가 '0.92'라고 하고, 사전 설정된 제1 기준치를 '0.90'이라고 하며, 이에 따라, 상기 제1 유사도가 상기 제1 기준치를 초과하는 것으로 확인되었다고 가정하자.
이때, 상기 제1 유사도가 상기 제1 기준치를 초과한다는 것은, 상기 입력 음성 데이터와 '음성 데이터 5'가 서로 유사하다는 의미이므로, 제1 이벤트 발생부(115)는 상기 호 발신 명령을 인가한 사람이 발신자(140)인 것으로 최종 확인하여, 발신자(140)에 대한 증명 정보를 생성하기 위한 증명 정보 생성 이벤트를 발생시킬 수 있다.
한편, 본 발명의 일실시예에 따르면, 상기 제1 유사도가 상기 제1 기준치를 초과하지 않는 것으로 확인되는 경우, 모바일 단말 장치(110)는 발신자(140)에 대한 추가 인증을 수행하여, 발신자(140)에 대한 추가 인증이 완료되는 경우에 상기 증명 정보 생성 이벤트를 발생시키기 위한 구성을 더 포함할 수 있다.
이와 관련해서, 본 발명의 일실시예에 따르면, 모바일 단말 장치(110)는 얼굴 이미지 저장부(122), 추가 인증 이벤트 발생부(123), 제2 안내 메시지 출력부(124), 제2 유사도 연산부(125) 및 제2 이벤트 발생부(126)를 더 포함할 수 있다.
얼굴 이미지 저장부(122)에는 사전 촬영된 발신자(140)의 얼굴 이미지가 저장되어 있다.
예컨대, 사전 촬영된 발신자(140)의 얼굴 이미지를 '이미지 1'이라고 하는 경우, 얼굴 이미지 저장부(122)에는 '이미지 1'이 저장되어 있을 수 있다.
추가 인증 이벤트 발생부(123)는 상기 제1 유사도가 상기 제1 기준치를 초과하지 않는 것으로 확인되면, 추가 인증 이벤트를 발생시킨다.
제2 안내 메시지 출력부(124)는 추가 인증 이벤트 발생부(123)에 의해 상기 추가 인증 이벤트가 발생되면, 발신자(140)에 대해, 얼굴을 촬영할 것을 안내하는 제2 안내 메시지를 출력한다.
예컨대, 제1 유사도 연산부(114)에 의해 연산된 상기 제1 유사도가 '0.92'라고 하고, 상기 제1 기준치를 '0.95'라고 하며, 이에 따라, 상기 제1 유사도가 상기 제1 기준치를 초과하지 않는 것으로 확인되었다고 가정하자.
그러면, 제2 안내 메시지 출력부(124)는 발신자(140)에 대해, 얼굴을 촬영할 것을 안내하는 제2 안내 메시지를 출력할 수 있다.
이때, 발신자(140)는 상기 제2 안내 메시지에 대응하여, 모바일 단말 장치(110)에 사전 탑재되어 있는 카메라를 통해 발신자(140)의 얼굴을 촬영할 수 있다.
이렇게, 상기 제2 안내 메시지에 대응하여, 모바일 단말 장치(110)에 사전 탑재되어 있는 카메라를 통해 발신자(140)의 얼굴이 촬영됨에 따라, 촬영 이미지가 획득되면, 제2 유사도 연산부(125)는 상기 얼굴 이미지와 상기 촬영 이미지 간의 제2 유사도를 연산한다.
이때, 본 발명의 일실시예에 따르면, 제2 유사도 연산부(125)는 상기 제2 유사도를 연산하기 위한 구체적인 구성으로, 출력 벡터 생성부(127) 및 제2 유사도 연산 처리부(128)를 포함할 수 있다.
출력 벡터 생성부(127)는 상기 얼굴 이미지를 사전 기계학습이 완료된 합성곱 신경망(Convolutional Neural Networks)에 입력으로 인가하여, 제1 출력 벡터를 생성하고, 상기 촬영 이미지를 상기 합성곱 신경망에 입력으로 인가하여 제2 출력 벡터를 생성한다.
여기서, 합성곱 신경망이란 합성곱 필터로 구성된 다수의 합성곱층들과 풀링(pooling)층들로 구성되는 신경망으로서, 합성곱 신경망에서는 이미지 등과 같은 입력 데이터가 피처맵(feature map)으로 구성되어 합성곱층에 입력으로 인가되면, 합성곱층을 구성하는 하나 이상의 채널을 갖는 합성곱 필터들에 의해 합성곱이 발생하여 출력 피처맵이 생성되고, 풀링층을 통해서 상기 출력 피처맵의 크기를 줄이기 위한 다운샘플링이 수행된 후 그 출력이 다음 합성곱층과 풀링층에 다시 입력으로 인가되는 과정이 반복되며, 이러한 과정의 반복을 통해 소정의 출력이 산출되게 된다.
관련해서, 본 발명에서 사용되는 상기 합성곱 신경망은 이미지가 입력으로 인가되면, 입력으로 인가된 상기 이미지를 이미지 특징 추출을 위한 복수의 합성곱 층들과 풀링층들에 통과시켜, k(k는 2 이상의 자연수임)차원의 출력 벡터를 산출하도록 사전 학습되어 있을 수 있다.
이때, 개발자는 상기 합성곱 신경망을 학습시키기 위해서, 다수의 이미지들과 각 이미지에 대응되는 k차원의 정답 벡터를 대응시킨 트레이닝 세트를 구성한 후, 상기 트레이닝 세트를 구성하는 다수의 이미지들을 상기 합성곱 신경망에 통과시켜 산출되는 예측 벡터와 각 이미지에 대응되는 정답 벡터 간의 비교를 통해서, 각 이미지의 예측 벡터가 대응되는 정답 벡터에 최대로 근접하도록 상기 합성곱 신경망을 학습시킬 수 있다.
제2 유사도 연산 처리부(128)는 출력 벡터 생성부(127)에 의해 상기 제1 출력 벡터와 상기 제2 출력 벡터가 생성되면, 상기 제1 출력 벡터를 구성하는 k개의 성분들과 상기 제2 출력 벡터를 구성하는 k개의 성분들을, 각 벡터 내에서의 서로 동일한 위치끼리 대응시켜, 상기 제1 출력 벡터를 구성하는 k개의 성분들과 상기 제2 출력 벡터를 구성하는 k개의 성분들을 기초로, 상기 제1 출력 벡터와 상기 제2 출력 벡터 간의 평균 제곱 오차(Mean Squared Error)를 상기 제2 유사도로 연산한다.
여기서, 상기 평균 제곱 오차는 하기의 수학식 2와 같이 연산될 수 있다.
Figure PCTKR2021016082-appb-M000002
여기서, MSE는 상기 평균 제곱 오차를 의미하고, xi는 상기 제1 출력 벡터를 구성하는 k개의 성분들 중 i번째 위치의 성분을 의미하며, yi는 상기 제2 출력 벡터를 구성하는 k개의 성분들 중 i번째 위치의 성분을 의미한다.
이하에서는, 출력 벡터 생성부(127) 및 제2 유사도 연산 처리부(128)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, k를 '4'라고 하고, 전술한 예와 같이, 얼굴 이미지 저장부(122)에 '이미지 1'이 저장되어 있다고 하는 경우, 출력 벡터 생성부(127)는 '이미지 1'을 사전 기계학습이 완료된 합성곱 신경망에 입력으로 인가하여, 제1 출력 벡터를 '[b1 b2 b3 b4]'와 같이 생성할 수 있다.
또한, 전술한 예와 같이, 상기 제2 안내 메시지에 대응하여, 상기 카메라를 통해 발신자(140)의 얼굴이 촬영됨에 따라, 상기 촬영 이미지가 획득되었다고 하는 경우, 출력 벡터 생성부(127)는 상기 촬영 이미지를 상기 합성곱 신경망에 입력으로 인가하여 제2 출력 벡터를 '[b5 b6 b7 b8]'과 같이 생성할 수 있다.
그러면, 제2 유사도 연산 처리부(128)는 상기 제1 출력 벡터를 구성하는 '4'개의 성분들인 'b1, b2, b3, b4'와, 상기 제2 출력 벡터를 구성하는 '4'개의 성분들인 'b5, b6, b7, b8'을 각 벡터 내에서의 동일한 위치끼리 대응시켜, 상기 수학식 2에 따라, 상기 제1 출력 벡터와 상기 제2 출력 벡터 간의 평균 제곱 오차를 상기 제2 유사도로 연산할 수 있다.
이렇게, 제2 유사도 연산부(125)에 의해 연산된 상기 제2 유사도가 사전 설정된 제2 기준치를 초과하는 것으로 확인되면, 제2 이벤트 발생부(126)는 상기 증명 정보 생성 이벤트를 발생시킨다.
예컨대, 전술한 예에 따라 제2 유사도 연산부(125)에 의해 연산된 상기 제2 유사도가 '0.96'이라고 하고, 사전 설정된 제2 기준치를 '0.95'라고 하며, 이에 따라, 상기 제2 유사도가 상기 제2 기준치를 초과하는 것으로 확인되었다고 가정하자.
이때, 상기 제2 유사도가 상기 제2 기준치를 초과한다는 것은, 상기 촬영 이미지와 '이미지 1'이 서로 유사하다는 의미이므로, 제2 이벤트 발생부(126)는 상기 호 발신 명령을 인가한 사람이 발신자(140)인 것으로 최종 확인하여, 상기 증명 정보 생성 이벤트를 발생시킬 수 있다.
이렇게, 제1 이벤트 발생부(115) 또는 제2 이벤트 발생부(126)에 의해 상기 증명 정보 생성 이벤트가 발생되면, 증명 정보 전송부(116)는 발신자(140)에 대한 증명 정보를 생성한 후, 발신자(140)에 대한 증명 정보를 수신측 모바일 단말(150)로 전송한다.
이때, 본 발명의 일실시예에 따르면, 증명 정보 전송부(116)는 발신자(140)에 대한 증명 정보를 생성하여 수신측 모바일 단말(150)로 전송하기 위한 구체적인 구성으로, 인증키 저장부(129), 개인키 저장부(130), 인증키 추출부(131) 및 증명 정보 전송 처리부(132)를 포함할 수 있다.
인증키 저장부(129)에는 수신측 모바일 단말(150)과 사전 공유하고 있는 t(t는 2 이상의 자연수임)개의 인증키들이 저장되어 있다.
여기서, 상기 t개의 인증키들 각각에는 0 이상 t-1 이하의 서로 다른 정수가 사전 할당되어 있다.
예컨대, t를 '5'라고 하는 경우, 인증키 저장부(129)에는 하기의 표 2와 같은, 수신측 모바일 단말(150)과 사전 공유하고 있는 '5'개의 인증키들이 저장되어 있을 수 있다.
'5'개의 인증키들 정수
인증키 1 0
인증키 2 1
인증키 3 2
인증키 4 3
인증키 5 4
개인키 저장부(130)에는 사전 발급된 개인키가 저장되어 있다.
여기서, 상기 개인키와 키쌍을 구성하는 공개키는 수신측 모바일 단말(150)에 사전 배포되어 있다.
예컨대, 사전 발급된 개인키를 '개인키 1'이라고 하는 경우, 개인키 저장부(130)에는 '개인키 1'이 저장되어 있을 수 있고, '개인키 1'과 키쌍을 구성하는 공개키인 '공개키 1'은 수신측 모바일 단말(150)에 사전 배포되어 있을 수 있다.
인증키 추출부(131)는 상기 증명 정보 생성 이벤트가 발생되면, 상기 증명 정보 생성 이벤트가 발생된 현재 시점의 날짜 값을 피제수로, t를 제수로 하는 모듈로(modulo) 연산을 수행하여 연산 값을 산출한 후, 상기 인증키 저장부로부터, 상기 t개의 인증키들 중 상기 연산 값이 할당된 제1 인증키를 추출한다.
여기서, 모듈로 연산은 피제수를 제수로 나누는 나눗셈을 수행하여 그에 대한 나머지(remainder)를 산출하는 연산을 의미한다.
증명 전송 처리부(132)는 인증키 추출부(131)에 의해 상기 제1 인증키가 추출되면, 상기 제1 인증키를 상기 개인키로 전자서명함으로써, 발신자(140)에 대한 증명 정보를 생성한 후, 발신자(140)에 대한 증명 정보를 수신측 모바일 단말(150)로 전송한다.
이하에서는, 인증키 추출부(131) 및 증명 전송 처리부(132)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, t를 '5'라고 하고, '2021년 5월 20일'에 상기 증명 정보 생성 이벤트가 발생되었다고 하는 경우, 인증키 추출부(131)는 상기 증명 정보 생성 이벤트가 발생된 현재 시점의 날짜 값인 '20210520'을 피제수로, '5'를 제수로 하는 모듈로 연산을 수행하여 연산 값을 '0'과 같이 산출할 수 있다.
그러고 나서, 인증키 추출부(131)는 상기 표 2와 같은 인증키 저장부(129)로부터 상기 '5'개의 인증키들 중 '0'이 할당된 제1 인증키를 추출할 수 있다.
관련해서, 상기 표 2와 같은 인증키 저장부(129)에서는 상기 '5'개의 인증키들 중 '0'이 할당된 인증키가 '인증키 1'이므로, 인증키 추출부(131)는 상기 표 2와 같은 인증키 저장부(129)로부터 '인증키 1'을 추출할 수 있다.
그러면, 증명 전송 처리부(132)는 '인증키 1'을 '개인키 1'로 전자서명함으로써, 발신자(140)에 대한 증명 정보를 생성한 후, 발신자(140)에 대한 증명 정보를 수신측 모바일 단말(150)로 전송할 수 있다.
이때, 본 발명의 일실시예에 따르면, 수신측 모바일 단말(150)은 메모리 상에 상기 t개의 인증키들과 상기 공개키를 사전 저장하고 있고, 모바일 단말 장치(110)로부터 상기 발신자에 대한 증명 정보가 수신되면, 상기 공개키로 발신자(140)에 대한 증명 정보를 복호화함으로써, 복호화 값을 생성하고, 발신자(140)에 대한 증명 정보가 수신된 현재 시점의 날짜 값을 피제수로, t를 제수로 하는 모듈로 연산을 수행하여 상기 연산 값을 산출한 후, 상기 t개의 인증키들 중 상기 연산 값이 할당된 상기 제1 인증키를 추출하고, 상기 복호화 값과 상기 제1 인증키가 서로 일치하는지 확인하여, 상기 복호화 값과 상기 제1 인증키가 서로 일치하는 것으로 확인되면, 발신자(140)에 대한 증명 정보가 확인되었음을 지시하는 피드백 메시지를 생성하여 모바일 단말 장치(110)로 전송할 수 있다.
이하에서는, 수신측 모바일 단말(150)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, t를 '5'라고 하고, 상기 '5'개의 인증키들이 상기 표 2와 같다고 하며, 상기 공개키를 '공개키 1'이라고 하는 경우, 수신측 모바일 단말(150)의 메모리 상에는 상기 표 2와 같은 '5'개의 인증키들과 '공개키 1'이 사전 저장되어 있을 수 있다.
또한, 전술한 예와 같이, '2021년 5월 20일'에 증명 전송 처리부(132)가 발신자(140)에 대한 증명 정보를 수신측 모바일 단말(150)로 전송함에 따라, 수신측 모바일 단말(150)에, 발신자(140)에 대한 증명 정보가 수신되었다고 하는 경우, 수신측 모바일 단말(150)은 '공개키 1'로 발신자(140)에 대한 증명 정보를 복호화함으로써, 복호화 값을 생성할 수 있다.
그러고 나서, 수신측 모바일 단말(150)은 발신자(140)에 대한 증명 정보가 수신된 현재 시점의 날짜 값인 '20210520'을 피제수로, '5'를 제수로 하는 모듈로 연산을 수행하여 상기 연산 값을 '0'과 같이 산출할 수 있다.
그러면, 수신측 모바일 단말(150)은 상기 표 2와 같은 '5'개의 인증키들 중 '0'이 할당된 '인증키 1'을 추출할 수 있다.
그 이후, 수신측 모바일 단말(150)은 상기 복호화 값과 '인증키 1'이 서로 일치하는지 확인할 수 있다. 관련해서, 발신자(140)에 대한 증명 정보는 증명 전송 처리부(132)에 의해 '인증키 1'이 '개인키 1'로 전자서명되어 생성된 정보이고, '공개키 1'은 '개인키 1'과 키쌍을 이루는 공개키이므로, 상기 복호화 값과 '인증키 1'은 서로 일치하는 값이 될 수 있고, 이로 인해, 수신측 모바일 단말(150)은 상기 복호화 값과 '인증키 1'이 서로 일치하는 것으로 확인할 수 있다.
그러면, 수신측 모바일 단말(150)은 발신자(140)에 대한 증명 정보가 확인되었음을 지시하는 피드백 메시지를 생성하여 모바일 단말 장치(110)로 전송할 수 있다.
이렇게, 증명 정보 전송부(116)에 의해 발신자(140)에 대한 증명 정보가 수신측 모바일 단말(150)로 전송된 이후, 수신측 모바일 단말(150)로부터, 발신자(140)에 대한 증명 정보가 확인되었음을 지시하는 상기 피드백 메시지가 수신되면, 호 발신 수행부(117)는 발신자(140)에 대한 인증을 완료 처리한 후, 수신측 모바일 단말(150)로, 통화 연결을 위한 호 발신을 수행한다.
도 2는 본 발명의 일실시예에 따른 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치의 동작 방법을 도시한 순서도이다.
단계(S210)에서는 사전 설정된 복수의 단어들과, 발신자에 의해 사전 녹음된 상기 복수의 단어들 각각에 대응되는 음성 데이터가 저장되어 있는 음성 데이터 저장부를 유지한다.
단계(S220)에서는 상기 발신자에 의해, 수신측 모바일 단말로의 호 발신 명령이 인가되면, 상기 발신자에 대한 인증을 수행하기 위한 인증 이벤트를 발생시킨다.
단계(S230)에서는 상기 인증 이벤트가 발생되면, 상기 복수의 단어들 중 어느 하나인 제1 단어를 랜덤하게 선택한 후, 상기 발신자에 대해, 상기 제1 단어를 발음할 것을 안내하는 제1 안내 메시지를 출력한다.
단계(S240)에서는 상기 제1 안내 메시지에 대응하여, 상기 모바일 단말 장치에 사전 탑재되어 있는 마이크로폰을 통해 상기 제1 단어에 대한 상기 발신자의 음성이 입력됨에 따라, 입력 음성 데이터가 획득되면, 상기 음성 데이터 저장부로부터, 상기 제1 단어에 대응되는 음성 데이터를 추출한 후, 상기 입력 음성 데이터와 상기 제1 단어에 대응되는 음성 데이터 간의 제1 유사도를 연산한다.
단계(S250)에서는 상기 제1 유사도가 사전 설정된 제1 기준치를 초과하는 것으로 확인되면, 상기 발신자에 대한 증명 정보를 생성하기 위한 증명 정보 생성 이벤트를 발생시킨다.
단계(S260)에서는 상기 증명 정보 생성 이벤트가 발생되면, 상기 발신자에 대한 증명 정보를 생성한 후, 상기 발신자에 대한 증명 정보를 상기 수신측 모바일 단말로 전송한다.
단계(S270)에서는 상기 발신자에 대한 증명 정보가 상기 수신측 모바일 단말로 전송된 이후, 상기 수신측 모바일 단말로부터, 상기 발신자에 대한 증명 정보가 확인되었음을 지시하는 피드백 메시지가 수신되면, 상기 발신자에 대한 인증을 완료 처리한 후, 상기 수신측 모바일 단말로, 통화 연결을 위한 호 발신을 수행한다.
이때, 본 발명의 일실시예에 따르면, 단계(S240)에서는 상기 제1 단어에 대한 상기 발신자의 음성이 입력됨에 따라, 상기 입력 음성 데이터가 획득되면, 상기 입력 음성 데이터의 음성 파형을 주파수 도메인으로 변환함으로써, 제1 주파수 스펙트럼을 생성한 후, 상기 제1 주파수 스펙트럼에 포함된 주파수 성분들 중 진폭이 큰 순서로 n(n은 2 이상의 자연수임)개의 제1 주파수 성분들을 확인하는 단계, 상기 음성 데이터 저장부로부터, 상기 제1 단어에 대응되는 음성 데이터를 추출하고, 상기 제1 단어에 대응되는 음성 데이터의 음성 파형을 주파수 도메인으로 변환함으로써, 제2 주파수 스펙트럼을 생성한 후, 상기 제2 주파수 스펙트럼에 포함된 주파수 성분들 중 진폭이 큰 순서로 n개의 제2 주파수 성분들을 확인하는 단계, 상기 n개의 제1 주파수 성분들을 오름차순으로 정렬하여, 상기 n개의 제1 주파수 성분들을 성분으로 갖는 n차원의 제1 주파수 벡터를 생성하고, 상기 n개의 제2 주파수 성분들을 오름차순으로 정렬하여, 상기 n개의 제2 주파수 성분들을 성분으로 갖는 n차원의 제2 주파수 벡터를 생성하는 단계 및 상기 제1 주파수 벡터와 상기 제2 주파수 벡터 간의 코사인 유사도를 상기 제1 유사도로 연산하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 모바일 단말 장치의 동작 방법은 사전 촬영된 상기 발신자의 얼굴 이미지가 저장되어 있는 얼굴 이미지 저장부를 유지하는 단계, 상기 제1 유사도가 상기 제1 기준치를 초과하지 않는 것으로 확인되면, 추가 인증 이벤트를 발생시키는 단계, 상기 추가 인증 이벤트가 발생되면, 상기 발신자에 대해, 얼굴을 촬영할 것을 안내하는 제2 안내 메시지를 출력하는 단계, 상기 제2 안내 메시지에 대응하여, 상기 모바일 단말 장치에 사전 탑재되어 있는 카메라를 통해 상기 발신자의 얼굴이 촬영됨에 따라, 촬영 이미지가 획득되면, 상기 얼굴 이미지와 상기 촬영 이미지 간의 제2 유사도를 연산하는 단계 및 상기 제2 유사도가 사전 설정된 제2 기준치를 초과하는 것으로 확인되면, 상기 증명 정보 생성 이벤트를 발생시키는 단계를 더 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 제2 유사도를 연산하는 단계는 상기 얼굴 이미지를 사전 기계학습이 완료된 합성곱 신경망(상기 합성곱 신경망은 이미지가 입력으로 인가되면, 입력으로 인가된 상기 이미지를 이미지 특징 추출을 위한 복수의 합성곱 층들과 풀링층들에 통과시켜, k(k는 2 이상의 자연수임)차원의 출력 벡터를 산출하도록 사전 학습되어 있음)에 입력으로 인가하여, 제1 출력 벡터를 생성하고, 상기 촬영 이미지를 상기 합성곱 신경망에 입력으로 인가하여 제2 출력 벡터를 생성하는 단계 및 상기 제1 출력 벡터와 상기 제2 출력 벡터가 생성되면, 상기 제1 출력 벡터를 구성하는 k개의 성분들과 상기 제2 출력 벡터를 구성하는 k개의 성분들을, 각 벡터 내에서의 서로 동일한 위치끼리 대응시켜, 상기 제1 출력 벡터를 구성하는 k개의 성분들과 상기 제2 출력 벡터를 구성하는 k개의 성분들을 기초로, 상기 제1 출력 벡터와 상기 제2 출력 벡터 간의 평균 제곱 오차를 상기 제2 유사도로 연산하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S260)에서는 상기 수신측 모바일 단말과 사전 공유하고 있는 t(t는 2 이상의 자연수임)개의 인증키들(상기 t개의 인증키들 각각에는 0 이상 t-1 이하의 서로 다른 정수가 사전 할당되어 있음)이 저장되어 있는 인증키 저장부를 유지하는 단계, 사전 발급된 개인키(상기 개인키와 키쌍을 구성하는 공개키는 상기 수신측 모바일 단말에 사전 배포되어 있음)가 저장되어 있는 개인키 저장부를 유지하는 단계, 상기 증명 정보 생성 이벤트가 발생되면, 상기 증명 정보 생성 이벤트가 발생된 현재 시점의 날짜 값을 피제수로, t를 제수로 하는 모듈로 연산을 수행하여 연산 값을 산출한 후, 상기 인증키 저장부로부터, 상기 t개의 인증키들 중 상기 연산 값이 할당된 제1 인증키를 추출하는 단계 및 상기 제1 인증키가 추출되면, 상기 제1 인증키를 상기 개인키로 전자서명함으로써, 상기 발신자에 대한 증명 정보를 생성한 후, 상기 발신자에 대한 증명 정보를 상기 수신측 모바일 단말로 전송하는 단계를 포함할 수 있다.
이때, 상기 수신측 모바일 단말은 메모리 상에 상기 t개의 인증키들과 상기 공개키를 사전 저장하고 있으며, 상기 모바일 단말 장치로부터 상기 발신자에 대한 증명 정보가 수신되면, 상기 공개키로 상기 발신자에 대한 증명 정보를 복호화함으로써, 복호화 값을 생성하고, 상기 발신자에 대한 증명 정보가 수신된 현재 시점의 날짜 값을 피제수로, t를 제수로 하는 모듈로 연산을 수행하여 상기 연산 값을 산출한 후, 상기 t개의 인증키들 중 상기 연산 값이 할당된 상기 제1 인증키를 추출하고, 상기 복호화 값과 상기 제1 인증키가 서로 일치하는지 확인하여, 상기 복호화 값과 상기 제1 인증키가 서로 일치하는 것으로 확인되면, 상기 발신자에 대한 증명 정보가 확인되었음을 지시하는 상기 피드백 메시지를 생성하여 상기 모바일 단말 장치로 전송할 수 있다.
이상, 도 2를 참조하여 본 발명의 일실시예에 따른 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치의 동작 방법은 도 1을 이용하여 설명한 모바일 단말 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치에 있어서,
    사전 설정된 복수의 단어들과, 발신자에 의해 사전 녹음된 상기 복수의 단어들 각각에 대응되는 음성 데이터가 저장되어 있는 음성 데이터 저장부;
    상기 발신자에 의해, 수신측 모바일 단말로의 호(call) 발신 명령이 인가되면, 상기 발신자에 대한 인증을 수행하기 위한 인증 이벤트를 발생시키는 인증 이벤트 발생부;
    상기 인증 이벤트가 발생되면, 상기 복수의 단어들 중 어느 하나인 제1 단어를 랜덤하게 선택한 후, 상기 발신자에 대해, 상기 제1 단어를 발음할 것을 안내하는 제1 안내 메시지를 출력하는 제1 안내 메시지 출력부;
    상기 제1 안내 메시지에 대응하여, 상기 모바일 단말 장치에 사전 탑재되어 있는 마이크로폰을 통해 상기 제1 단어에 대한 상기 발신자의 음성이 입력됨에 따라, 입력 음성 데이터가 획득되면, 상기 음성 데이터 저장부로부터, 상기 제1 단어에 대응되는 음성 데이터를 추출한 후, 상기 입력 음성 데이터와 상기 제1 단어에 대응되는 음성 데이터 간의 제1 유사도를 연산하는 제1 유사도 연산부;
    상기 제1 유사도가 사전 설정된 제1 기준치를 초과하는 것으로 확인되면, 상기 발신자에 대한 증명 정보를 생성하기 위한 증명 정보 생성 이벤트를 발생시키는 제1 이벤트 발생부;
    상기 증명 정보 생성 이벤트가 발생되면, 상기 발신자에 대한 증명 정보를 생성한 후, 상기 발신자에 대한 증명 정보를 상기 수신측 모바일 단말로 전송하는 증명 정보 전송부; 및
    상기 발신자에 대한 증명 정보가 상기 수신측 모바일 단말로 전송된 이후, 상기 수신측 모바일 단말로부터, 상기 발신자에 대한 증명 정보가 확인되었음을 지시하는 피드백 메시지가 수신되면, 상기 발신자에 대한 인증을 완료 처리한 후, 상기 수신측 모바일 단말로, 통화 연결을 위한 호 발신을 수행하는 호 발신 수행부
    를 포함하는 모바일 단말 장치.
  2. 제1항에 있어서,
    상기 제1 유사도 연산부는
    상기 제1 단어에 대한 상기 발신자의 음성이 입력됨에 따라, 상기 입력 음성 데이터가 획득되면, 상기 입력 음성 데이터의 음성 파형을 주파수 도메인으로 변환함으로써, 제1 주파수 스펙트럼을 생성한 후, 상기 제1 주파수 스펙트럼에 포함된 주파수 성분들 중 진폭이 큰 순서로 n(n은 2 이상의 자연수임)개의 제1 주파수 성분들을 확인하는 제1 주파수 성분 확인부;
    상기 음성 데이터 저장부로부터, 상기 제1 단어에 대응되는 음성 데이터를 추출하고, 상기 제1 단어에 대응되는 음성 데이터의 음성 파형을 주파수 도메인으로 변환함으로써, 제2 주파수 스펙트럼을 생성한 후, 상기 제2 주파수 스펙트럼에 포함된 주파수 성분들 중 진폭이 큰 순서로 n개의 제2 주파수 성분들을 확인하는 제2 주파수 성분 확인부;
    상기 n개의 제1 주파수 성분들을 오름차순으로 정렬하여, 상기 n개의 제1 주파수 성분들을 성분으로 갖는 n차원의 제1 주파수 벡터를 생성하고, 상기 n개의 제2 주파수 성분들을 오름차순으로 정렬하여, 상기 n개의 제2 주파수 성분들을 성분으로 갖는 n차원의 제2 주파수 벡터를 생성하는 벡터 생성부; 및
    상기 제1 주파수 벡터와 상기 제2 주파수 벡터 간의 코사인 유사도를 상기 제1 유사도로 연산하는 제1 유사도 연산 처리부
    를 포함하는 모바일 단말 장치.
  3. 제1항에 있어서,
    사전 촬영된 상기 발신자의 얼굴 이미지가 저장되어 있는 얼굴 이미지 저장부;
    상기 제1 유사도가 상기 제1 기준치를 초과하지 않는 것으로 확인되면, 추가 인증 이벤트를 발생시키는 추가 인증 이벤트 발생부;
    상기 추가 인증 이벤트가 발생되면, 상기 발신자에 대해, 얼굴을 촬영할 것을 안내하는 제2 안내 메시지를 출력하는 제2 안내 메시지 출력부;
    상기 제2 안내 메시지에 대응하여, 상기 모바일 단말 장치에 사전 탑재되어 있는 카메라를 통해 상기 발신자의 얼굴이 촬영됨에 따라, 촬영 이미지가 획득되면, 상기 얼굴 이미지와 상기 촬영 이미지 간의 제2 유사도를 연산하는 제2 유사도 연산부; 및
    상기 제2 유사도가 사전 설정된 제2 기준치를 초과하는 것으로 확인되면, 상기 증명 정보 생성 이벤트를 발생시키는 제2 이벤트 발생부
    를 더 포함하는 모바일 단말 장치.
  4. 제3항에 있어서,
    상기 제2 유사도 연산부는
    상기 얼굴 이미지를 사전 기계학습이 완료된 합성곱 신경망(Convolutional Neural Networks) - 상기 합성곱 신경망은 이미지가 입력으로 인가되면, 입력으로 인가된 상기 이미지를 이미지 특징 추출을 위한 복수의 합성곱 층들과 풀링(pooling)층들에 통과시켜, k(k는 2 이상의 자연수임) 차원의 출력 벡터를 산출하도록 사전 학습되어 있음 - 에 입력으로 인가하여, 제1 출력 벡터를 생성하고, 상기 촬영 이미지를 상기 합성곱 신경망에 입력으로 인가하여 제2 출력 벡터를 생성하는 출력 벡터 생성부; 및
    상기 제1 출력 벡터와 상기 제2 출력 벡터가 생성되면, 상기 제1 출력 벡터를 구성하는 k개의 성분들과 상기 제2 출력 벡터를 구성하는 k개의 성분들을, 각 벡터 내에서의 서로 동일한 위치끼리 대응시켜, 상기 제1 출력 벡터를 구성하는 k개의 성분들과 상기 제2 출력 벡터를 구성하는 k개의 성분들을 기초로, 상기 제1 출력 벡터와 상기 제2 출력 벡터 간의 평균 제곱 오차(Mean Squared Error)를 상기 제2 유사도로 연산하는 제2 유사도 연산 처리부
    를 포함하는 모바일 단말 장치.
  5. 제1항에 있어서,
    상기 증명 정보 전송부는
    상기 수신측 모바일 단말과 사전 공유하고 있는 t(t는 2 이상의 자연수임)개의 인증키들 - 상기 t개의 인증키들 각각에는 0 이상 t-1 이하의 서로 다른 정수가 사전 할당되어 있음 - 이 저장되어 있는 인증키 저장부;
    사전 발급된 개인키 - 상기 개인키와 키쌍을 구성하는 공개키는 상기 수신측 모바일 단말에 사전 배포되어 있음 - 가 저장되어 있는 개인키 저장부;
    상기 증명 정보 생성 이벤트가 발생되면, 상기 증명 정보 생성 이벤트가 발생된 현재 시점의 날짜 값을 피제수로, t를 제수로 하는 모듈로(modulo) 연산을 수행하여 연산 값을 산출한 후, 상기 인증키 저장부로부터, 상기 t개의 인증키들 중 상기 연산 값이 할당된 제1 인증키를 추출하는 인증키 추출부; 및
    상기 제1 인증키가 추출되면, 상기 제1 인증키를 상기 개인키로 전자서명함으로써, 상기 발신자에 대한 증명 정보를 생성한 후, 상기 발신자에 대한 증명 정보를 상기 수신측 모바일 단말로 전송하는 증명 정보 전송 처리부
    를 포함하고,
    상기 수신측 모바일 단말은
    메모리 상에 상기 t개의 인증키들과 상기 공개키를 사전 저장하고 있고, 상기 모바일 단말 장치로부터 상기 발신자에 대한 증명 정보가 수신되면, 상기 공개키로 상기 발신자에 대한 증명 정보를 복호화함으로써, 복호화 값을 생성하고, 상기 발신자에 대한 증명 정보가 수신된 현재 시점의 날짜 값을 피제수로, t를 제수로 하는 모듈로 연산을 수행하여 상기 연산 값을 산출한 후, 상기 t개의 인증키들 중 상기 연산 값이 할당된 상기 제1 인증키를 추출하고, 상기 복호화 값과 상기 제1 인증키가 서로 일치하는지 확인하여, 상기 복호화 값과 상기 제1 인증키가 서로 일치하는 것으로 확인되면, 상기 발신자에 대한 증명 정보가 확인되었음을 지시하는 상기 피드백 메시지를 생성하여 상기 모바일 단말 장치로 전송하는 것을 특징으로 하는 모바일 단말 장치.
  6. 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치의 동작 방법에 있어서,
    사전 설정된 복수의 단어들과, 발신자에 의해 사전 녹음된 상기 복수의 단어들 각각에 대응되는 음성 데이터가 저장되어 있는 음성 데이터 저장부를 유지하는 단계;
    상기 발신자에 의해, 수신측 모바일 단말로의 호(call) 발신 명령이 인가되면, 상기 발신자에 대한 인증을 수행하기 위한 인증 이벤트를 발생시키는 단계;
    상기 인증 이벤트가 발생되면, 상기 복수의 단어들 중 어느 하나인 제1 단어를 랜덤하게 선택한 후, 상기 발신자에 대해, 상기 제1 단어를 발음할 것을 안내하는 제1 안내 메시지를 출력하는 단계;
    상기 제1 안내 메시지에 대응하여, 상기 모바일 단말 장치에 사전 탑재되어 있는 마이크로폰을 통해 상기 제1 단어에 대한 상기 발신자의 음성이 입력됨에 따라, 입력 음성 데이터가 획득되면, 상기 음성 데이터 저장부로부터, 상기 제1 단어에 대응되는 음성 데이터를 추출한 후, 상기 입력 음성 데이터와 상기 제1 단어에 대응되는 음성 데이터 간의 제1 유사도를 연산하는 단계;
    상기 제1 유사도가 사전 설정된 제1 기준치를 초과하는 것으로 확인되면, 상기 발신자에 대한 증명 정보를 생성하기 위한 증명 정보 생성 이벤트를 발생시키는 단계;
    상기 증명 정보 생성 이벤트가 발생되면, 상기 발신자에 대한 증명 정보를 생성한 후, 상기 발신자에 대한 증명 정보를 상기 수신측 모바일 단말로 전송하는 단계; 및
    상기 발신자에 대한 증명 정보가 상기 수신측 모바일 단말로 전송된 이후, 상기 수신측 모바일 단말로부터, 상기 발신자에 대한 증명 정보가 확인되었음을 지시하는 피드백 메시지가 수신되면, 상기 발신자에 대한 인증을 완료 처리한 후, 상기 수신측 모바일 단말로, 통화 연결을 위한 호 발신을 수행하는 단계
    를 포함하는 모바일 단말 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 제1 유사도를 연산하는 단계는
    상기 제1 단어에 대한 상기 발신자의 음성이 입력됨에 따라, 상기 입력 음성 데이터가 획득되면, 상기 입력 음성 데이터의 음성 파형을 주파수 도메인으로 변환함으로써, 제1 주파수 스펙트럼을 생성한 후, 상기 제1 주파수 스펙트럼에 포함된 주파수 성분들 중 진폭이 큰 순서로 n(n은 2 이상의 자연수임)개의 제1 주파수 성분들을 확인하는 단계;
    상기 음성 데이터 저장부로부터, 상기 제1 단어에 대응되는 음성 데이터를 추출하고, 상기 제1 단어에 대응되는 음성 데이터의 음성 파형을 주파수 도메인으로 변환함으로써, 제2 주파수 스펙트럼을 생성한 후, 상기 제2 주파수 스펙트럼에 포함된 주파수 성분들 중 진폭이 큰 순서로 n개의 제2 주파수 성분들을 확인하는 단계;
    상기 n개의 제1 주파수 성분들을 오름차순으로 정렬하여, 상기 n개의 제1 주파수 성분들을 성분으로 갖는 n차원의 제1 주파수 벡터를 생성하고, 상기 n개의 제2 주파수 성분들을 오름차순으로 정렬하여, 상기 n개의 제2 주파수 성분들을 성분으로 갖는 n차원의 제2 주파수 벡터를 생성하는 단계; 및
    상기 제1 주파수 벡터와 상기 제2 주파수 벡터 간의 코사인 유사도를 상기 제1 유사도로 연산하는 단계
    를 포함하는 모바일 단말 장치의 동작 방법.
  8. 제6항에 있어서,
    사전 촬영된 상기 발신자의 얼굴 이미지가 저장되어 있는 얼굴 이미지 저장부를 유지하는 단계;
    상기 제1 유사도가 상기 제1 기준치를 초과하지 않는 것으로 확인되면, 추가 인증 이벤트를 발생시키는 단계;
    상기 추가 인증 이벤트가 발생되면, 상기 발신자에 대해, 얼굴을 촬영할 것을 안내하는 제2 안내 메시지를 출력하는 단계;
    상기 제2 안내 메시지에 대응하여, 상기 모바일 단말 장치에 사전 탑재되어 있는 카메라를 통해 상기 발신자의 얼굴이 촬영됨에 따라, 촬영 이미지가 획득되면, 상기 얼굴 이미지와 상기 촬영 이미지 간의 제2 유사도를 연산하는 단계; 및
    상기 제2 유사도가 사전 설정된 제2 기준치를 초과하는 것으로 확인되면, 상기 증명 정보 생성 이벤트를 발생시키는 단계
    를 더 포함하는 모바일 단말 장치의 동작 방법.
  9. 제8항에 있어서,
    상기 제2 유사도를 연산하는 단계는
    상기 얼굴 이미지를 사전 기계학습이 완료된 합성곱 신경망(Convolutional Neural Networks) - 상기 합성곱 신경망은 이미지가 입력으로 인가되면, 입력으로 인가된 상기 이미지를 이미지 특징 추출을 위한 복수의 합성곱 층들과 풀링(pooling)층들에 통과시켜, k(k는 2 이상의 자연수임)차원의 출력 벡터를 산출하도록 사전 학습되어 있음 - 에 입력으로 인가하여, 제1 출력 벡터를 생성하고, 상기 촬영 이미지를 상기 합성곱 신경망에 입력으로 인가하여 제2 출력 벡터를 생성하는 단계; 및
    상기 제1 출력 벡터와 상기 제2 출력 벡터가 생성되면, 상기 제1 출력 벡터를 구성하는 k개의 성분들과 상기 제2 출력 벡터를 구성하는 k개의 성분들을, 각 벡터 내에서의 서로 동일한 위치끼리 대응시켜, 상기 제1 출력 벡터를 구성하는 k개의 성분들과 상기 제2 출력 벡터를 구성하는 k개의 성분들을 기초로, 상기 제1 출력 벡터와 상기 제2 출력 벡터 간의 평균 제곱 오차(Mean Squared Error)를 상기 제2 유사도로 연산하는 단계
    를 포함하는 모바일 단말 장치의 동작 방법.
  10. 제6항에 있어서,
    상기 발신자에 대한 증명 정보를 상기 수신측 모바일 단말로 전송하는 단계는
    상기 수신측 모바일 단말과 사전 공유하고 있는 t(t는 2 이상의 자연수임)개의 인증키들 - 상기 t개의 인증키들 각각에는 0 이상 t-1 이하의 서로 다른 정수가 사전 할당되어 있음 - 이 저장되어 있는 인증키 저장부를 유지하는 단계;
    사전 발급된 개인키 - 상기 개인키와 키쌍을 구성하는 공개키는 상기 수신측 모바일 단말에 사전 배포되어 있음 - 가 저장되어 있는 개인키 저장부를 유지하는 단계;
    상기 증명 정보 생성 이벤트가 발생되면, 상기 증명 정보 생성 이벤트가 발생된 현재 시점의 날짜 값을 피제수로, t를 제수로 하는 모듈로(modulo) 연산을 수행하여 연산 값을 산출한 후, 상기 인증키 저장부로부터, 상기 t개의 인증키들 중 상기 연산 값이 할당된 제1 인증키를 추출하는 단계; 및
    상기 제1 인증키가 추출되면, 상기 제1 인증키를 상기 개인키로 전자서명함으로써, 상기 발신자에 대한 증명 정보를 생성한 후, 상기 발신자에 대한 증명 정보를 상기 수신측 모바일 단말로 전송하는 단계
    를 포함하고,
    상기 수신측 모바일 단말은
    메모리 상에 상기 t개의 인증키들과 상기 공개키를 사전 저장하고 있고, 상기 모바일 단말 장치로부터 상기 발신자에 대한 증명 정보가 수신되면, 상기 공개키로 상기 발신자에 대한 증명 정보를 복호화함으로써, 복호화 값을 생성하고, 상기 발신자에 대한 증명 정보가 수신된 현재 시점의 날짜 값을 피제수로, t를 제수로 하는 모듈로 연산을 수행하여 상기 연산 값을 산출한 후, 상기 t개의 인증키들 중 상기 연산 값이 할당된 상기 제1 인증키를 추출하고, 상기 복호화 값과 상기 제1 인증키가 서로 일치하는지 확인하여, 상기 복호화 값과 상기 제1 인증키가 서로 일치하는 것으로 확인되면, 상기 발신자에 대한 증명 정보가 확인되었음을 지시하는 상기 피드백 메시지를 생성하여 상기 모바일 단말 장치로 전송하는 것을 특징으로 하는 모바일 단말 장치의 동작 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  12. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
PCT/KR2021/016082 2021-05-25 2021-11-05 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법 WO2022250213A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210066708A KR102283167B1 (ko) 2021-05-25 2021-05-25 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법
KR10-2021-0066708 2021-05-25

Publications (1)

Publication Number Publication Date
WO2022250213A1 true WO2022250213A1 (ko) 2022-12-01

Family

ID=77127559

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016082 WO2022250213A1 (ko) 2021-05-25 2021-11-05 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR102283167B1 (ko)
WO (1) WO2022250213A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102283167B1 (ko) * 2021-05-25 2021-07-29 (주)한컴인텔리전스 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법
KR20230068711A (ko) 2021-11-11 2023-05-18 주식회사 케이티 음성 데이터에 기초하여 인증을 수행하는 장치, 방법 및 컴퓨터 프로그램
KR102561602B1 (ko) * 2022-04-22 2023-07-31 이민재 컨시어지 서비스의 중개 플랫폼을 제공하는 서버의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190012066A (ko) * 2017-07-26 2019-02-08 네이버 주식회사 화자 인증 방법 및 음성인식 시스템
KR20200092779A (ko) * 2019-01-25 2020-08-04 (주)크래프트이더 음성기반 본인 인증 및 전자서명
JP2020154496A (ja) * 2019-03-19 2020-09-24 グローリー株式会社 認証システム及び認証方法
JP2020188322A (ja) * 2019-05-10 2020-11-19 東芝情報システム株式会社 電話システム
KR102283167B1 (ko) * 2021-05-25 2021-07-29 (주)한컴인텔리전스 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190012066A (ko) * 2017-07-26 2019-02-08 네이버 주식회사 화자 인증 방법 및 음성인식 시스템
KR20200092779A (ko) * 2019-01-25 2020-08-04 (주)크래프트이더 음성기반 본인 인증 및 전자서명
JP2020154496A (ja) * 2019-03-19 2020-09-24 グローリー株式会社 認証システム及び認証方法
JP2020188322A (ja) * 2019-05-10 2020-11-19 東芝情報システム株式会社 電話システム
KR102283167B1 (ko) * 2021-05-25 2021-07-29 (주)한컴인텔리전스 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR102283167B1 (ko) 2021-07-29

Similar Documents

Publication Publication Date Title
WO2022250213A1 (ko) 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법
WO2018030707A1 (ko) 인증 시스템 및 방법과 이를 수행하기 위한 사용자 단말, 인증 서버 및 서비스 서버
WO2013157864A1 (ko) 입력 패턴이 결합된 아이콘을 이용한 사용자 인증 방법 및 패스워드 입력 장치
WO2022019693A1 (ko) 사용자 비대면 인증 vc(verifiable credential)를 이용한 did(decentralized identifier) 기반의 사용자 비대면 인증 방법 및 이를 이용한 인증 지원 서버
WO2016126090A1 (ko) 스마트폰을 사용한 디지털 파일 위변조 입증 시스템 및 방법과 스마트폰 화면 캡쳐 이미지 인증 기능을 가지는 스마트폰 및 스마트폰 화면 캡쳐 이미지 인증 방법
WO2019143022A1 (ko) 음성 명령을 이용한 사용자 인증 방법 및 전자 장치
WO2020235918A1 (ko) 생체 정보 기반의 로그인 인증 처리를 수행하는 전자 단말 장치 및 그 동작 방법
WO2017065576A1 (ko) 가변 키패드를 이용한 본인 인증 방법 및 시스템
WO2020032348A1 (ko) 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2022097982A1 (ko) 안면인식 기반 전자서명 서비스 제공 방법 및 서버
WO2018035929A1 (zh) 一种验证码的处理方法及装置
WO2023128345A1 (ko) 동형 암호화된 이미지를 이용한 개인 식별 방법 및 시스템
WO2021153971A1 (ko) 비식별화된 이미지를 이용한 신경망 학습 방법 및 이를 제공하는 서버
WO2019088313A1 (ko) 딥러닝을 이용한 암호화 방법
WO2021040318A1 (ko) 신분증 인식 모델을 이용한 분산 학습 방법, 서버, 어플리케이션 및 이를 통한 신분증 인식 방법
WO2023128342A1 (ko) 동형 암호화된 음성을 이용한 개인 식별 방법 및 시스템
WO2022255529A1 (ko) 머신 러닝 기반의 립싱크 영상 생성을 위한 학습 방법 및 이를 수행하기 위한 립싱크 영상 생성 장치
WO2024053932A1 (ko) 안면 인식 및 라이브니스를 이용하여 비대면 본인 인증을 수행하는 전자 장치 및 서버를 포함하는 시스템의 제어 방법
WO2015126097A1 (en) Interactive server and method for controlling the server
WO2018043951A1 (ko) 생체정보를 이용하여 결제 인증을 수행하는 포스 장치, 시스템 및 그 제어방법
WO2017052240A1 (ko) 진본성 및 무결성을 입증하기 위한 사본영상 증거관리시스템
WO2020032351A1 (ko) 익명 디지털 아이덴티티 수립 방법
WO2022114290A1 (ko) 비대면 본인인증 시스템 및 그 방법
WO2016108562A1 (ko) 지문 정보의 코딩 및 인식 시스템, 그리고 그 구동 방법
WO2022158681A1 (ko) 얼굴 인식을 기반으로 출입문의 잠금 및 해제를 제어하는 출입문 제어 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21943200

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE