KR102506123B1 - IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 매커니즘 - Google Patents
IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 매커니즘 Download PDFInfo
- Publication number
- KR102506123B1 KR102506123B1 KR1020220142280A KR20220142280A KR102506123B1 KR 102506123 B1 KR102506123 B1 KR 102506123B1 KR 1020220142280 A KR1020220142280 A KR 1020220142280A KR 20220142280 A KR20220142280 A KR 20220142280A KR 102506123 B1 KR102506123 B1 KR 102506123B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound data
- master key
- data
- extracting
- collected
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 34
- 230000007246 mechanism Effects 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000000605 extraction Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000013480 data collection Methods 0.000 claims description 9
- 230000000306 recurrent effect Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 17
- 230000015654 memory Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000006854 communication Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000013144 data compression Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011985 exploratory data analysis Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
- H04L9/0866—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving user or device identifiers, e.g. serial number, physical or biometrical information, DNA, hand-signature or measurable physical characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/40—Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/50—Safety; Security of things, users, data or systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
- H04L2209/24—Key scheduling, i.e. generating round keys or sub-keys for block encryption
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
- Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Informatics (AREA)
- Complex Calculations (AREA)
Abstract
제안하는 IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 방법 및 시스템이 제시된다. 본 발명에서 제안하는 IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 방법은 마이크로 장비를 이용하여 마스터 키를 생성하기 위한 사운드 데이터를 수집하는 단계, 상기 수집된 사운드 데이터에 대하여 인가 받은 대상으로부터 수집된 것인지 여부를 확인하기 위해 상기 사운드 데이터의 특징을 추출하는 단계 및 추출된 특징을 이용하여 딥 러닝을 수행하고, 인가 받은 대상의 사운드 데이터에 상응하는 특정 사운드 데이터에 대한 마스터 키(Master Key)를 생성하여 저장하는 단계를 포함한다.
Description
본 발명은 IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 방법 및 시스템에 관한 것이다.
각종 사물에 센서와 통신 기능이 내장되면서 인터넷을 기반으로 다양한 형태의 정보가 상호 소통하는 지능형 기술인 IoT를 지원하는 마이크로 장비의 사용이 광범위해지고 있다. 이에 따라 개인을 식별할 수 있는 개인정보 침해 이슈나 다른 시스템을 공격할 수 있는 매개체 역할을 하는 이슈와 같은 마이크로 장비에 발생 가능한 보안 이슈에도 관심이 높아지고 있다.
암호화를 위해 사용되는 암호키는 비밀번호와는 달리 무작위 비트이기 때문에, 인간의 기억에 의존할 수 없다. 그래서, 통상 비밀번호와 같은 패스워드를 입력으로 받아 암호키를 생성하거나, 이와 같이 생성된 암호키를 이용하여 암호화되어 저장되는 방법을 사용하고 있다.
또는 지문 등과 같은 바이오 정보로부터 암호키를 추출하는 기법인 퍼지 커밋먼트(Fuzzy Commitment) 등과 같은 암호키 생성기술이 있다.
IoT 디바이스와 같은 보안적으로 열악한 환경에서는 하드웨어의 특성을 이용하는 물리적 복제방지 기술(Physically Unclonable Function; PUF)이 장착된 전용칩으로부터 암호키를 생성하는 기술도 사용되고 있다.
본 발명이 이루고자 하는 기술적 과제는 IoT 기기가 양방향 통신 기능을 통해 다른 객체를 통제한다고 가정할 때, 서버 혹은 클라우드 환경에서 특정 기기가 보내는 센서 데이터, 그 중에서도 사운드 데이터에 대하여 인가 받은 대상(다시 말해, 사람 또는 기기)으로부터 보낸 것인지 확인이 가능한 딥 러닝 기반의 키 생성 방법 및 시스템을 제공하는데 있다. 마이크로 장비에서 파형 데이터를 수집하고 MFCC(Mel-Frequency Cepstrum Coefficients)를 추출하여 딥 러닝을 적용한 후, 특정 화자의 목소리에 대응하는 마스터 키(Master Key)를 저장하는 화자 인증 모델을 제안하고자 한다.
일 측면에 있어서, 본 발명에서 제안하는 IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 방법은 마이크로 장비를 이용하여 마스터 키를 생성하기 위한 사운드 데이터를 수집하는 단계, 상기 수집된 사운드 데이터에 대하여 인가 받은 대상으로부터 수집된 것인지 여부를 확인하기 위해 상기 사운드 데이터의 특징을 추출하는 단계 및 추출된 특징을 이용하여 딥 러닝을 수행하고, 인가 받은 대상의 사운드 데이터에 상응하는 특정 사운드 데이터에 대한 마스터 키(Master Key)를 생성하여 저장하는 단계를 포함한다.
상기 수집된 사운드 데이터에 대하여 인가 받은 대상으로부터 수집된 것인지 여부를 확인하기 위해 상기 사운드 데이터의 특징을 추출하는 단계는 사운드 데이터에 대해 푸리에 변환을 수행하여 주파수 영역의 파형으로 변환하는 단계, 상기 변환된 주파수 영역의 파형을 다운 샘플링하여 사운드 데이터의 특징을 추출하기 위한 저주파 성분만을 샘플링하는 단계 및 상기 다운 샘플링된 주파수 영역의 파형에 대해 역푸리에 변환을 수행하여 시간 영역의 파형으로 변환하고, 사운드 데이터의 특징을 추출하는 단계를 포함한다.
상기 사운드 데이터에 대해 푸리에 변환을 수행하여 주파수 영역의 파형으로 변환하는 단계는 상기 사운드 데이터의 특징을 추출하기 위해 미리 정해진 프레임 단위로 푸리에 변환을 수행하고 멜-로그 스케일(Mel-Log Scale) 수식 변환을 사용하여 STFT(Short Term Fourier Transform)된 데이터를 스케일링한다.
상기 변환된 주파수 영역의 파형을 다운 샘플링하여 사운드 데이터의 특징을 추출하기 위한 저주파 성분만을 샘플링하는 단계는 DCT(Discrete Cosine Transform)을 사용하여 저주파 성분의 에너지를 극대화시키고, 고주파수 성분의 에너지를 0으로 근사시켜 필요 없는 고주파 성분은 제거하고 사운드 데이터의 특징을 추출하기 위한 저주파 성분만 남기는 방식으로 데이터를 압축한다.
상기 다운 샘플링된 주파수 영역의 파형에 대해 역푸리에 변환을 수행하여 시간 영역의 파형으로 변환하고, 사운드 데이터의 특징을 추출하는 단계는 입력 게이트, 출력 게이트, 삭제 게이트를 이용하는 LSTM(Long Short-Term Memory)의 순환 신경망을 통해 추출된 특징 데이터를 컨텍스트 벡터(Context Vector)로 변환한다.
상기 추출된 특징을 이용하여 딥 러닝을 수행하고, 인가 받은 대상의 사운드 데이터에 상응하는 특정 사운드 데이터에 대한 마스터 키(Master Key)를 생성하여 저장하는 단계는 상기 추출된 특징 데이터를 이용하여 변환된 컨텍스트 벡터를 분류하는 단계 및 상기 분류된 컨텍스트 벡터를 정규화시키고, 특징맵을 추출한 후 마스터 키를 생성하는 단계를 포함한다.
상기 추출된 특징 데이터를 이용하여 변환된 컨텍스트 벡터를 분류하는 단계는 상기 컨텍스트 벡터에 대한 이진 분류를 통해 상기 컨텍스트 벡터가 인가 받은 대상으로부터 수집된 것인지 여부에 따라 임베딩한 레이블 정보를 추가하여 반환한다.
상기 분류된 컨텍스트 벡터를 정규화시키고, 특징맵을 추출한 후 마스터 키를 생성하는 단계는 상시 특징맵을 추출한 후 시그모이드 활성 함수를 사용하는 덴스(Dense) 층을 거쳐 데이터를 비트 값으로 변환하고, 반올림(Round) 연산을 거쳐 마스터 키의 비트를 생성한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 시스템은 마이크로 장비를 이용하여 마스터 키를 생성하기 위한 사운드 데이터를 수집하는 데이터 수집부, 상기 수집된 사운드 데이터에 대하여 인가 받은 대상으로부터 수집된 것인지 여부를 확인하기 위해 상기 사운드 데이터의 특징을 추출하는 특징 추출부 및 추출된 특징을 이용하여 딥 러닝을 수행하고, 인가 받은 대상의 사운드 데이터에 상응하는 특정 사운드 데이터에 대한 마스터 키(Master Key)를 생성하여 저장하는 마스터 키 생성부를 포함한다.
본 발명의 실시예들에 따르면 마이크로 장비에서 수집한 사운드 데이터로부터 MFCC(Mel-Frequency Cepstrum Coefficients)를 추출한 후 딥 러닝을 적용시켜 특정 화자의 목소리 신호를 통해 암호키를 생성할 수 있다. 제안하는 방법 및 시스템을 통해 사용자 인증뿐만 아니라, 암호키를 생성함으로써 해당 사용자만이 접근 가능한 환경을 구축할 수 있다.
도 1은 본 발명의 일 실시예에 따른 IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 시스템의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 사운드 센서의 예시를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 사운드 데이터의 파형을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 다운 샘플링 전 사운드 데이터의 파형을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 사운드 데이터의 다운 샘플링 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 특징 추출 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 데이터 압축 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 데이터 분류 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 마스터 키 생성 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 마스터 키 생성을 통한 사용자 인증의 예시를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 마스터 키 생성을 통한 서비스 절차의 예시를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 시스템의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 사운드 센서의 예시를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 사운드 데이터의 파형을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 다운 샘플링 전 사운드 데이터의 파형을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 사운드 데이터의 다운 샘플링 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 특징 추출 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 데이터 압축 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 데이터 분류 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 마스터 키 생성 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 마스터 키 생성을 통한 사용자 인증의 예시를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 마스터 키 생성을 통한 서비스 절차의 예시를 설명하기 위한 도면이다.
복잡한 보안 기술을 적용할 수 없는 저사양 IoT 기기를 비용과 편익에 따라 효율적으로 운영하는 방법은 화이트리스트 기법을 사용하는 것이다. 즉, 해당 IoT 기기에 화이트리스트 기법을 적용하여 미리 정해진 행위만 수행 가능하도록 일방향 통신만 허용하면 된다. 그러나 IoT 기기가 일방향 통신이 아닌 양방향 통신을 해야 하는 상황이 빈번하게 발생하게 될 경우, IoT 기기나 혹은 기기들을 통제하는 서버는 그 기기가 보내는 센서 데이터가 인가 받은 대상으로부터 보낸 것인지 여부를 확인할 수 있어야 한다.
본 발명에서는 IoT 기기가 양방향 통신 기능을 통해 다른 객체를 통제한다고 가정할 때, 서버 혹은 클라우드 환경에서 특정 기기가 보내는 센서 데이터, 그 중에서도 사운드 데이터에 대하여 인가 받은 대상(다시 말해, 사람 또는 기기)으로부터 보낸 것인지 확인이 가능한 딥러닝 기반의 키 생성 매커니즘을 제안하고자 한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 방법을 설명하기 위한 흐름도이다.
딥 러닝 기반의 마스터 키 생성 방법은 마이크로 장비를 이용하여 마스터 키를 생성하기 위한 사운드 데이터를 수집하는 단계(110), 상기 수집된 사운드 데이터에 대하여 인가 받은 대상으로부터 수집된 것인지 여부를 확인하기 위해 상기 사운드 데이터의 특징을 추출하는 단계(120) 및 추출된 특징을 이용하여 딥 러닝을 수행하고, 인가 받은 대상의 사운드 데이터에 상응하는 특정 사운드 데이터에 대한 마스터 키(Master Key)를 생성하여 저장하는 단계(130)를 포함한다.
단계(110)에서, 마이크로 장비를 이용하여 마스터 키를 생성하기 위한 사운드 데이터를 수집한다.
수집된 사운드 데이터가 인가 받은 대상으로부터 수집된 것인지 여부를 확인하기 위한 특징(Feature)으로 가능성이 있는 데이터를 찾기 위해 다양한 센서를 마이크로 장비(예를 들어, Cortex M4, Arduino)에 부착하고 데이터를 수집하였다.
본 발명의 실시예에 따른 데이터 수집 센서 목록을 표 1과 같이 정리하였다.
<표 1>
수집된 데이터에 대하여 이후 모델 선정과 모델 아키텍처를 빠르게 설계하기 위해 EDA(Exploratory Data Analysis) 분석을 수집과 동시에 진행하였다.
본 발명의 실시예에 따라 구현한 수집 소프트웨어는 Sound, IR, Ultrasonic, GPS, Temperature/Humidity, Illuminance 등이 있다. 다양한 센서로부터 데이터를 추출한 결과 가장 특징으로서 적합한 사운드 데이터에 대해서 집중적으로 분석하였다.
단계(120)에서, 상기 수집된 사운드 데이터에 대하여 인가 받은 대상으로부터 수집된 것인지 여부를 확인하기 위해 상기 사운드 데이터의 특징을 추출한다.
단계(120)는 사운드 데이터에 대해 푸리에 변환을 수행하여 주파수 영역의 파형으로 변환하는 단계(121), 상기 변환된 주파수 영역의 파형을 다운 샘플링하여 사운드 데이터의 특징을 추출하기 위한 저주파 성분만을 샘플링하는 단계(122) 및 상기 다운 샘플링된 주파수 영역의 파형에 대해 역푸리에 변환을 수행하여 시간 영역의 파형으로 변환하고, 사운드 데이터의 특징을 추출하는 단계(123)를 포함한다.
사운드 데이터에 대해 푸리에 변환을 수행하여 주파수 영역의 파형으로 변환하는 단계(121)는 상기 사운드 데이터의 특징을 추출하기 위해 미리 정해진 프레임 단위로 푸리에 변환을 수행하고 멜-로그 스케일(Mel-Log Scale) 수식 변환을 사용하여 STFT(Short Term Fourier Transform)된 데이터를 스케일링한다.
상기 변환된 주파수 영역의 파형을 다운 샘플링하여 사운드 데이터의 특징을 추출하기 위한 저주파 성분만을 샘플링하는 단계(122)는 DCT(Discrete Cosine Transform)을 사용하여 저주파 성분의 에너지를 극대화시키고, 고주파수 성분의 에너지를 0으로 근사시켜 필요 없는 고주파 성분은 제거하고 사운드 데이터의 특징을 추출하기 위한 저주파 성분만 남기는 방식으로 데이터를 압축한다.
상기 다운 샘플링된 주파수 영역의 파형에 대해 역푸리에 변환을 수행하여 시간 영역의 파형으로 변환하고, 사운드 데이터의 특징을 추출하는 단계(123)는 입력 게이트, 출력 게이트, 삭제 게이트를 이용하는 LSTM(Long Short-Term Memory)의 순환 신경망을 통해 추출된 특징 데이터를 컨텍스트 벡터(Context Vector)로 변환한다.
단계(130)에서, 추출된 특징을 이용하여 딥 러닝을 수행하고, 인가 받은 대상의 사운드 데이터에 상응하는 특정 사운드 데이터에 대한 마스터 키(Master Key)를 생성하여 저장한다.
단계(130)는 상기 추출된 특징 데이터를 이용하여 변환된 컨텍스트 벡터를 분류하는 단계(131) 및 상기 분류된 컨텍스트 벡터를 정규화시키고, 특징맵을 추출한 후 마스터 키를 생성하는 단계(132)를 포함한다.
상기 추출된 특징 데이터를 이용하여 변환된 컨텍스트 벡터를 분류하는 단계(131)는 상기 컨텍스트 벡터에 대한 이진 분류를 통해 상기 컨텍스트 벡터가 인가 받은 대상으로부터 수집된 것인지 여부에 따라 임베딩한 레이블 정보를 추가하여 반환한다.
상기 분류된 컨텍스트 벡터를 정규화시키고, 특징맵을 추출한 후 마스터 키를 생성하는 단계(132)는 상시 특징맵을 추출한 후 시그모이드 활성 함수를 사용하는 덴스(Dense) 층을 거쳐 데이터를 비트 값으로 변환하고, 반올림(Round) 연산을 거쳐 마스터 키의 비트를 생성한다.
도 2는 본 발명의 일 실시예에 따른 IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 시스템의 구성을 나타내는 도면이다.
본 실시예에 따른 마스터 키 생성 시스템(200)은 프로세서(210), 버스(220), 네트워크 인터페이스(230), 메모리(240) 및 데이터베이스(250)를 포함할 수 있다. 메모리(240)는 운영체제(241) 및 마스터 키 생성 루틴(242)을 포함할 수 있다. 프로세서(210)는 데이터 수집부(211), 특징 추출부(212) 및 마스터 키 생성부(213)를 포함할 수 있다. 다른 실시예들에서 마스터 키 생성 시스템(200)은 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 마스터 키 생성 시스템(200)은 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.
메모리(240)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(240)에는 운영체제(241)와 마스터 키 생성 루틴(242)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(240)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(230)를 통해 메모리(240)에 로딩될 수도 있다.
버스(220)는 마스터 키 생성 시스템(200)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(220)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스(230)는 마스터 키 생성 시스템(200)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(230)는 마스터 키 생성 시스템(200)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
데이터베이스(250)는 IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 마스터 키 생성을 위해 필요한 모든 정보를 저장 및 유지하는 역할을 할 수 있다. 도 2에서는 마스터 키 생성 시스템(200)의 내부에 데이터베이스(250)를 구축하여 포함하는 것으로 도시하고 있으나, 이에 한정되는 것은 아니며 시스템 구현 방식이나 환경 등에 따라 생략될 수 있고 혹은 전체 또는 일부의 데이터베이스가 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.
프로세서(210)는 기본적인 산술, 로직 및 마스터 키 생성 시스템(200)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(240) 또는 네트워크 인터페이스(230)에 의해, 그리고 버스(220)를 통해 프로세서(210)로 제공될 수 있다. 프로세서(210)는 데이터 수집부(211), 특징 추출부(212) 및 마스터 키 생성부(213)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(240)와 같은 기록 장치에 저장될 수 있다.
데이터 수집부(211), 특징 추출부(212) 및 마스터 키 생성부(213)는 도 1의 단계들(110~130)을 수행하기 위해 구성될 수 있다.
마스터 키 생성 시스템(200)은 데이터 수집부(211), 특징 추출부(212) 및 마스터 키 생성부(213)를 포함할 수 있다.
데이터 수집부(211)는 마이크로 장비를 이용하여 마스터 키를 생성하기 위한 사운드 데이터를 수집한다.
도 3은 본 발명의 일 실시예에 따른 사운드 센서의 예시를 나타내는 도면이다.
본 발명의 실시예에 따라 구현한 수집 소프트웨어는 Sound, IR, Ultrasonic, GPS, Temperature/Humidity, Illuminance 등이 있다. 다양한 센서로부터 데이터를 추출한 결과 가장 특징으로서 적합한 사운드 데이터에 대해서 집중적으로 분석하였다. 데이터 수집에 사용된 센서의 예시는 도 3과 같다.
도 4는 본 발명의 일 실시예에 따른 사운드 데이터의 파형을 나타내는 도면이다.
도 4(a)는 수집된 사운드 데이터의 시간 영역에서의 파형이고, 도 4(b)는 수집된 사운드 데이터의 주파수 영역에서의 파형이다.
사용자의 목소리 세기에 따라 사운드 데이터의 크기는 동적으로 잘 변하고, 사용자에 따라 음역이나 주파수 대역이 다르다는 것을 확인할 수 있었다. 따라서 본 발명에서는 이러한 특성을 이용하여 사용자를 식별하기 위한 딥러닝 알고리즘의 특징(Feature)으로서 사용하였다.
다시 도 2를 참조하면, 특징 추출부(212)는 수집된 사운드 데이터에 대하여 인가 받은 대상으로부터 수집된 것인지 여부를 확인하기 위해 상기 사운드 데이터의 특징을 추출한다.
특징 추출부(212)는 사운드 데이터에 대해 푸리에 변환을 수행하여 주파수 영역의 파형으로 변환한다.
푸리에 변환은 파형 데이터를 이용하여 시간 혹은 공간 주파수 성분으로 분해하는 변환을 의미한다. 푸리에 변환으로 신호의 주파수 패턴을 분석하여 중요한 특징을 추출할 수 있다.
상기 사운드 데이터의 특징을 추출하기 위해 미리 정해진 프레임 단위로 푸리에 변환을 수행하고 멜-로그 스케일(Mel-Log Scale) 수식 변환을 사용하여 STFT(Short Term Fourier Transform)된 데이터를 스케일링한다.
특징 추출부(212)는 상기 변환된 주파수 영역의 파형을 다운 샘플링하여 사운드 데이터의 특징을 추출하기 위한 저주파 성분만을 샘플링한다. DCT(Discrete Cosine Transform)을 사용하여 저주파 성분의 에너지를 극대화시키고, 고주파수 성분의 에너지를 0으로 근사시켜 필요 없는 고주파 성분은 제거하고 사운드 데이터의 특징을 추출하기 위한 저주파 성분만 남기는 방식으로 데이터를 압축한다.
특징 추출부(212)는 상기 다운 샘플링된 주파수 영역의 파형에 대해 역푸리에 변환을 수행하여 시간 영역의 파형으로 변환하고, 사운드 데이터의 특징을 추출한다. 입력 게이트, 출력 게이트, 삭제 게이트를 이용하는 LSTM(Long Short-Term Memory)의 순환 신경망을 통해 추출된 특징 데이터를 컨텍스트 벡터(Context Vector)로 변환한다.
마스터 키 생성부(213)는 추출된 특징을 이용하여 딥 러닝을 수행하고, 인가 받은 대상의 사운드 데이터에 상응하는 특정 사운드 데이터에 대한 마스터 키(Master Key)를 생성하여 저장한다.
마스터 키 생성부(213)는 상기 추출된 특징 데이터를 이용하여 변환된 컨텍스트 벡터를 분류한다. 상기 컨텍스트 벡터에 대한 이진 분류를 통해 상기 컨텍스트 벡터가 인가 받은 대상으로부터 수집된 것인지 여부에 따라 임베딩한 레이블 정보를 추가하여 반환한다.
마스터 키 생성부(213)는 상기 분류된 컨텍스트 벡터를 정규화시키고, 특징맵을 추출한 후 마스터 키를 생성한다. 상시 특징맵을 추출한 후 시그모이드 활성 함수를 사용하는 덴스(Dense) 층을 거쳐 데이터를 비트 값으로 변환하고, 반올림(Round) 연산을 거쳐 마스터 키의 비트를 생성한다.
도 5는 본 발명의 일 실시예에 따른 다운 샘플링 전 사운드 데이터의 파형을 나타내는 도면이다.
도 5에 도시된 파형 데이터는 1초당 48000개의 샘플링 포인트를 가진 사운드 데이터에 대한 그래프이며, 이러한 사운드 데이터를 마이크로 장비에서 그대로 사용하기에는 데이터 사이즈가 너무 크기 때문에 무리가 있다.
따라서, 본 발명의 실시예에서는 샘플링 레이트(Sampling rate)를 줄이기 위해 사운드 데이터의 파형을 푸리에 변환하여 주파수 영역으로 변환 후, 사람의 목소리가 일반적으로 저주파 성분의 에너지가 강하다는 특징을 이용하여 저주파 성분만 따로 리하는 방식으로 다운 샘플링(Down Sampling)을 진행하였다.
도 6은 본 발명의 일 실시예에 따른 사운드 데이터의 다운 샘플링 과정을 설명하기 위한 도면이다.
도 6(a)는 사운드 데이터의 파형의 다운 샘플링 로직을 나타내는 도면이고, 도 6(b)는 다운 샘플링 이전의 푸리에 변환 파형을 나타내는 도면이고, 도 6(c)는 다운 샘플링 이후의 푸리에 변환 파형을 나타내는 도면이다.
도 6에 도시된 바와 같이 저주파 부분의 데이터만 따로 가지고 온 후, 역푸리에 변환(Inverse Fourier Transform)을 적용하는 방식으로 데이터 자체의 크기를 줄이는 방법을 사용하였다.
도 7은 본 발명의 일 실시예에 따른 특징 추출 과정을 설명하기 위한 도면이다.
사람 목소리는 20ms ~ 40ms 사이에서 음소(다시 말해, 단어의 뜻을 구별해주는 말소리의 최소 단위)가 절대 바뀌지 않는다.
본 발명의 실시예에 따른 사운드 데이터의 특징 추출 과정에서는 STFT(Short Term Fourier Transform)를 수행하여 정해진 프레임 단위로 푸리에 변환을 수행하고 사람의 달팽이관 특징을 본떠 만든 멜-로그 스케일(Mel-Log Scale) 수식 변환 방식을 사용하여 STFT된 데이터를 스케일링한다. 멜-로그 스케일(Mel-Log Scale) 수식은 다음과 같다:
또한, DCT(Discrete Cosine Transform)을 사용하여 저주파수 성분의 에너지를 극대화하고, 고주파수 성분의 에너지를 0으로 근사시켜 필요 없는 고주파 성분은 버리고 저주파 성분은 남기는 방식으로 데이터를 최대한으로 압축한다.
도 8은 본 발명의 일 실시예에 따른 데이터 압축 과정(Compression)을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 모델 설계 시 베이스 모델로 선택한 LSTM(Long Short-Term Memory)은 순환 신경망 기법의 하나로써 입력 게이트, 출력 게이트, 삭제 게이트를 이용하여 기존 순환 신경망이 가지고 있는 장기 기억 소멸 문제를 방지하기 위해 개발된 알고리즘이다.
사운드 데이터의 시퀀스(Sequence)는 5초 기준이며, 사람이 느끼기에 짧게 들릴 수 있는 데이터의 길이가 프로그램 내에서는 400point 이상이 되기 때문에, 해당 데이터를 기존 순환 신경망 알고리즘인 RNN에 적용하기에는 무리가 있다. 따라서, 본 발명의 실시예에서는 LSTM 모델을 사용하여 데이터 압축을 수행한다. 본 발명의 실시예에 따르면, 추출된 특징 데이터를 차원의 크기가 64bit인 컨텍스트 벡터로 변환하는데 도 8과 같이 네트워크를 설계하여 사용하였다.
수집된 사운드 데이터(810)에 대하여 인가 받은 대상으로부터 수집된 것인지 여부를 확인하기 위해 상기 사운드 데이터의 특징을 추출한다. 먼저, 사운드 데이터에 대해 푸리에 변환을 수행하여 주파수 영역의 파형으로 변환하하고, 상기 변환된 주파수 영역의 파형을 다운 샘플링하여 사운드 데이터의 특징을 추출하기 위한 저주파 성분만을 샘플링한다(820). 이후, 다운 샘플링된 주파수 영역의 파형에 대해 역푸리에 변환을 수행하여 시간 영역의 파형으로 변환하고, 사운드 데이터의 특징을 추출한다(930).
사운드 데이터에 대해 푸리에 변환을 수행하여 주파수 영역의 파형으로 변환하는 단계(121)는 상기 사운드 데이터의 특징을 추출하기 위해 미리 정해진 프레임 단위로 푸리에 변환을 수행하고 멜-로그 스케일(Mel-Log Scale) 수식 변환을 사용하여 STFT(Short Term Fourier Transform)된 데이터를 스케일링한다.
본 발명의 실시예에서는 LSTM(Long Short-Term Memory)의 순환 신경망을 통해 추출된 특징 데이터를 차원의 크기가 64bit인 컨텍스트 벡터(840)로 변환한다.
도 9는 본 발명의 일 실시예에 따른 데이터 분류 과정(Classification)을 설명하기 위한 도면이다.
앞서 설명된 바와 같이 데이터 압축 과정을 거쳐 생성된 컨텍스트 벡터(910)를 사용하여 일반적인 이진 분류 문제를 푸는 네트워크(920)를 구성한다.
도 9와 같이 후에 학습하게 될 키 정보의 학습 성능을 높이기 위해 기존 컨텍스트 벡터(910)에 대한 이진 분류(920)를 통해 상기 컨텍스트 벡터(910)가 인가 받은 대상으로부터 수집된 것인지 여부(910)에 따라 임베딩(940)을 수행하고, 임베딩한 레이블 정보(950)를 추가(Concatenate)하여 반환한다.
본 발명의 실시예에 따르면, 컨텍스트 벡터(910)가 인가 받은 대상의 것이면 1을 반환(Return)하고, 인가 받은 대상의 것이 아니라면 0을 반환한다.
도 10은 본 발명의 일 실시예에 따른 마스터 키 생성 과정을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 마스터 키 생성 과정(1020)에서는 데이터 분류 과정에서 생성된 레이블 정보(1012)가 추가된 컨텍스트 벡터(1011)를 입력 받아 분류된 컨텍스트 벡터를 정규화시킨다.
사용자가 말한 단어나 목소리 톤이 비슷할 수록 컨텍스트 벡터의 유사도가 높아지기 때문에 정규화 레이어(Layer Normalization)을 거쳐 데이터를 정규화시킨다.
FNN(Feed-Forward Neural Network)) 레이어를 한번 거쳐 특징 맵(Feature Map)을 추출한 후 시그모이드(Sigmoid) 활성 함수를 사용하는 덴스(Dense) 층을 거쳐 일차적으로 데이터를 비트의 값[0, 1]으로 변환한다.
이때, 정보가 유실되는 경우가 발생할 수 있기 때문에 ResNet의 스킵 연결(Skip connection) 방식을 그대로 사용하여 정보의 유실 가능성을 차단한다. 정보가 유실되지 않았다면 사용자 특성을 한 번 더 덧셈함으로써 특정 사용자만이 가질 수 있는 강력한 특징(Feature)이 만들어지게 된다.
이후, 다시 한번 시그모이드 활성 함수를 사용하는 덴스 층을 거쳐 비트의 값 [0, 1]을 얻는다. 이후 반올림(Round) 연산을 한번 거쳐 최종적으로 마스터 키(Master Key)의 비트 값(1030)을 생성한다.
본 발명의 실시예에 따른 학습 시 손실함수는 MSELoss를 사용하며, 범용적으로 많이 사용하는 참(True)인 컨텍스트 벡터에 레이블 임베딩된 데이터와 대칭키 암호 알고리즘의 마스터 키 간의 손실을 0에 가깝게 학습시켜 사용자가 만들어내는 데이터의 특성에 키를 숨기는 것이 본 발명에서 제안하는 모델의 목적이다.
본 발명에서 제안하는 딥 러닝 모델의 모든 실험 결과는 Ubuntu 16.04에서 수행되었으며, 딥 러닝 라이브러리는 PyTorch이며 버전은 1.7.1이다(GPU 가속 연산은 사용하지 않았음).
본 발명의 실시예에 따른 실험에 사용한 참(True) 데이터 셋은 일반인 5명 중 1명의 음성이고, 이때 사용자는 모두 같은 단어를 소리내어 말하여 사운드 데이터를 생성하였다. 또한, 실험에 사용한 거짓(False) 데이터 셋은 선택한 1명을 제외한 나머지 4명에 대한 음성 데이터이다. 실험에 사용한 데이터 셋은 표 2와 같다.
<표 2>
본 발명의 실시예에 따른 실험은 성능이 낮은 환경에서 무리 없이 동작할 수 있도록 사용자 1명에 대해 최소한의 데이터만을 가지고 포지티브 트레이닝(Positive Training)을 수행하여 본 모델을 학습시켰고, 생성된 키와 기존 키 간의 손실을 최소화하는 방식으로 진행되었다. 거짓(False) 데이터는 이진 분류 모델 학습을 위해서만 사용된다. 입력으로 들어오는 음성이 등록되어있는 알고리즘 모델과 맞는 경우 키를 생성할 것이고, 등록되어있는 알고리즘 모델과 맞지 않는 경우, 시스템 접근을 원천 차단하는 것으로 본 발명 과정을 수행하였다.
트레이닝 데이터 셋(Training Data Set)의 참(True) 데이터 개수는 5개이며 거짓(False) 데이터 개수는 20개이다. 테스트 데이터 셋(Test Data Set)의 참(True) 데이터 개수는 20개이다.
우선, 참(True)인 데이터에 대해 키를 올바르게 생성할 확률을 사용자마다 확인해보았다. 잡음으로 인해 또는 사용자가 음성을 의도적으로 변조하는 경우 정확도가 낮아진다는 것을 확인할 수 있었다. 참(True)인 데이터에 대해 키를 올바르게 생성할 확률은 다음 표 3과 같다.
<표 3>
거짓(False) 데이터의 개수는 사용자마다 20개씩이다. 거짓(False)인 데이터에 대해 키를 올바르게 생성할 확률을 사용자마다 확인해보았다. 거짓(False)인 데이터에 대해 키를 올바르게 생성할 확률은 다음 표 4와 같다.
<표 4>
본 발명의 또 다른 실시예에 따른 실험에서 악의를 가진 사용자가 분류 모델을 거친 후 레이블 데이터를 1로 조작하였을 경우, 방어가 잘 되는지에 대한 여부를 확인하였다.
Speaker 4 모델을 선택하여 실험하였으며, 거짓(False) 데이터의 레이블을 1로 조작한 경우의 결과를 확인해보았다. 거짓(False) 데이터의 레이블을 1로 조작한 경우 결과는 다음 표 5와 같다.
<표 5>
거짓(False) 데이터의 레이블에 대한 스푸핑(Spoofing) 공격에 대해 어느 정도 방어를 한다는 것을 확인할 수 있었다.
도 11은 본 발명의 일 실시예에 따른 마스터 키 생성을 통한 사용자 인증의 예시를 설명하기 위한 도면이다.
본 발명의 실시예에 따른 딥 러닝 기반 키 생성 메커니즘을 활용하는 방법의 예시를 보여주기 위해 사용자 서비스 또한 제공하고자 한다.
본 발명에서 제안하는 딥 러닝 기반 키 생성 메커니즘은 인증뿐만 아니라 키 또한 생성할 수 있기 때문에 암호화 및 복호화를 함께 보여주고자 한다.
본 발명의 일 실시예로, 파일 업로드 서비스에서 암호화 및 복호화를 구현하고 추가로 로그인 시에도 ID와 PW에서 PW를 입력하는 대신에 딥 러닝으로 생성된 키로 인증하고자 한다.
이러한 본 발명의 일 실시예를 적용하기 위해, 오픈소스 파일 업로드를 이용하였다. 도 11을 참조하면, 구현된 웹사이트의 회원가입과 로그인 화면(도 11(a))에서, 음성 업로드(도 11(b))로 인가 받은 대상에 대한 인증을 수행하며, 음성을 통해 로그인 후에 해당 사용자는 자신의 음성으로 암호화된 파일들에 접근(도 11(c))할 수 있다.
도 12는 본 발명의 일 실시예에 따른 마스터 키 생성을 통한 서비스 절차의 예시를 설명하기 위한 도면이다.
도 12(a)와 같이 회원가입 절차에서는 사용자는 ID와 함께 음성 파일을 마스터 키 생성 시스템에 전달하고, ID 및 음성 파일에 대한 딥러닝 학습을 수행하여 학습 결과에 따라 회원 가입 및 가입 승인 절차가 수행된다.
회원 가입 및 가입 승인이 완료된 후, 도 12(b)와 같이 인가 받은 사용자가 로그인을 시도할 경우 해당 사용자는 ID 및 음성 파일을 전달하여 음성 파일에 대한 인증을 마친 후 로그인을 완료할 수 있다.
도 12(c)와 같이 인가 받은 사용자는 음성 파일을 통해 파일 업로드 및 파일 요청을 수행할 수 있다. 인가 받은 사용자가 파일을 업로드 하면 해당 사용자의 음성 파일을 통해 생성된 키로 업로드된 파일을 암호화하여 파일 업로드를 완료할 수 있다. 이후 해당 사용자가 다시 파일을 요청할 경우 해당 사용자의 음성 파일을 통해 생성된 키로 파일을 복호화하여 해당 파일을 전달 받을 수 있다.
본 발명의 실시예들에 따르면 마이크로 장비에서 수집한 사운드 데이터로부터 MFCC(Mel-Frequency Cepstrum Coefficients)를 추출한 후 딥 러닝을 적용시켜 특정 화자의 목소리 신호를 통해 암호키를 생성할 수 있다. 제안하는 방법 및 시스템을 통해 사용자 인증뿐만 아니라, 암호키를 생성함으로써 해당 사용자만이 접근 가능한 환경을 구축할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (16)
- 마이크로 장비를 이용하여 마스터 키를 생성하기 위한 사운드 데이터를 수집하는 단계;
상기 수집된 사운드 데이터에 대하여 인가 받은 대상으로부터 수집된 것인지 여부를 확인하기 위해 상기 사운드 데이터의 특징을 추출하는 단계; 및
추출된 특징을 이용하여 딥 러닝을 수행하고, 인가 받은 대상의 사운드 데이터에 상응하는 특정 사운드 데이터에 대한 마스터 키(Master Key)를 생성하여 저장하는 단계
를 포함하고,
상기 추출된 특징을 이용하여 딥 러닝을 수행하고, 인가 받은 대상의 사운드 데이터에 상응하는 특정 사운드 데이터에 대한 마스터 키(Master Key)를 생성하여 저장하는 단계는,
상기 추출된 특징 데이터를 이용하여 변환된 컨텍스트 벡터를 분류하는 단계; 및
상기 분류된 컨텍스트 벡터를 정규화시키고, 특징맵을 추출한 후 마스터 키를 생성하는 단계
를 포함하는 마스터 키 생성 방법. - 제1항에 있어서,
상기 수집된 사운드 데이터에 대하여 인가 받은 대상으로부터 수집된 것인지 여부를 확인하기 위해 상기 사운드 데이터의 특징을 추출하는 단계는,
사운드 데이터에 대해 푸리에 변환을 수행하여 주파수 영역의 파형으로 변환하는 단계;
상기 변환된 주파수 영역의 파형을 다운 샘플링하여 사운드 데이터의 특징을 추출하기 위한 저주파 성분만을 샘플링하는 단계; 및
상기 다운 샘플링된 주파수 영역의 파형에 대해 역푸리에 변환을 수행하여 시간 영역의 파형으로 변환하고, 사운드 데이터의 특징을 추출하는 단계
를 포함하는 마스터 키 생성 방법. - 제2항에 있어서,
상기 사운드 데이터에 대해 푸리에 변환을 수행하여 주파수 영역의 파형으로 변환하는 단계는,
상기 사운드 데이터의 특징을 추출하기 위해 미리 정해진 프레임 단위로 푸리에 변환을 수행하고 멜-로그 스케일(Mel-Log Scale) 수식 변환을 사용하여 STFT(Short Term Fourier Transform)된 데이터를 스케일링하는
마스터 키 생성 방법. - 제2항에 있어서,
상기 변환된 주파수 영역의 파형을 다운 샘플링하여 사운드 데이터의 특징을 추출하기 위한 저주파 성분만을 샘플링하는 단계는,
DCT(Discrete Cosine Transform)을 사용하여 저주파 성분의 에너지를 극대화시키고, 고주파수 성분의 에너지를 0으로 근사시켜 필요 없는 고주파 성분은 제거하고 사운드 데이터의 특징을 추출하기 위한 저주파 성분만 남기는 방식으로 데이터를 압축하는
마스터 키 생성 방법. - 제2항에 있어서,
상기 다운 샘플링된 주파수 영역의 파형에 대해 역푸리에 변환을 수행하여 시간 영역의 파형으로 변환하고, 사운드 데이터의 특징을 추출하는 단계는,
입력 게이트, 출력 게이트, 삭제 게이트를 이용하는 LSTM(Long Short-Term Memory)의 순환 신경망을 통해 추출된 특징 데이터를 컨텍스트 벡터(Context Vector)로 변환하는
마스터 키 생성 방법. - 삭제
- 제1항에 있어서,
상기 추출된 특징 데이터를 이용하여 변환된 컨텍스트 벡터를 분류하는 단계는,
상기 컨텍스트 벡터에 대한 이진 분류를 통해 상기 컨텍스트 벡터가 인가 받은 대상으로부터 수집된 것인지 여부에 따라 임베딩한 레이블 정보를 추가하여 반환하는
마스터 키 생성 방법. - 제1항에 있어서,
상기 분류된 컨텍스트 벡터를 정규화시키고, 특징맵을 추출한 후 마스터 키를 생성하는 단계는,
상시 특징맵을 추출한 후 시그모이드 활성 함수를 사용하는 덴스(Dense) 층을 거쳐 데이터를 비트 값으로 변환하고, 반올림(Round) 연산을 거쳐 마스터 키의 비트를 생성하는
마스터 키 생성 방법. - 마이크로 장비를 이용하여 마스터 키를 생성하기 위한 사운드 데이터를 수집하는 데이터 수집부;
상기 수집된 사운드 데이터에 대하여 인가 받은 대상으로부터 수집된 것인지 여부를 확인하기 위해 상기 사운드 데이터의 특징을 추출하는 특징 추출부; 및
추출된 특징을 이용하여 딥 러닝을 수행하고, 인가 받은 대상의 사운드 데이터에 상응하는 특정 사운드 데이터에 대한 마스터 키(Master Key)를 생성하여 저장하는 마스터 키 생성부
를 포함하고,
상기 마스터 키 생성부는,
상기 추출된 특징 데이터를 이용하여 변환된 컨텍스트 벡터를 분류하고,
상기 분류된 컨텍스트 벡터를 정규화시키고, 특징맵을 추출한 후 마스터 키를 생성하는
마스터 키 생성 시스템. - 제9항에 있어서,
상기 특징 추출부는,
사운드 데이터에 대해 푸리에 변환을 수행하여 주파수 영역의 파형으로 변환하고,
상기 변환된 주파수 영역의 파형을 다운 샘플링하여 사운드 데이터의 특징을 추출하기 위한 저주파 성분만을 샘플링하며,
상기 다운 샘플링된 주파수 영역의 파형에 대해 역푸리에 변환을 수행하여 시간 영역의 파형으로 변환하고, 사운드 데이터의 특징을 추출하는
마스터 키 생성 시스템. - 제10항에 있어서,
상기 특징 추출부는,
상기 사운드 데이터의 특징을 추출하기 위해 미리 정해진 프레임 단위로 푸리에 변환을 수행하고 멜-로그 스케일(Mel-Log Scale) 수식 변환을 사용하여 STFT(Short Term Fourier Transform)된 데이터를 스케일링하는
마스터 키 생성 시스템. - 제10항에 있어서,
상기 특징 추출부는,
DCT(Discrete Cosine Transform)을 사용하여 저주파 성분의 에너지를 극대화시키고, 고주파수 성분의 에너지를 0으로 근사시켜 필요 없는 고주파 성분은 제거하고 사운드 데이터의 특징을 추출하기 위한 저주파 성분만 남기는 방식으로 데이터를 압축하는
마스터 키 생성 시스템. - 제10항에 있어서,
상기 특징 추출부는,
입력 게이트, 출력 게이트, 삭제 게이트를 이용하는 LSTM(Long Short-Term Memory)의 순환 신경망을 통해 추출된 특징 데이터를 컨텍스트 벡터(Context Vector)로 변환하는
마스터 키 생성 시스템. - 삭제
- 제9항에 있어서,
상기 마스터 키 생성부는,
상기 컨텍스트 벡터에 대한 이진 분류를 통해 상기 컨텍스트 벡터가 인가 받은 대상으로부터 수집된 것인지 여부에 따라 임베딩한 레이블 정보를 추가하여 반환하는
마스터 키 생성 시스템. - 제9항에 있어서,
상기 마스터 키 생성부는,
상시 특징맵을 추출한 후 시그모이드 활성 함수를 사용하는 덴스(Dense) 층을 거쳐 데이터를 비트 값으로 변환하고, 반올림(Round) 연산을 거쳐 마스터 키의 비트를 생성하는
마스터 키 생성 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220142280A KR102506123B1 (ko) | 2022-10-31 | 2022-10-31 | IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 매커니즘 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220142280A KR102506123B1 (ko) | 2022-10-31 | 2022-10-31 | IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 매커니즘 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102506123B1 true KR102506123B1 (ko) | 2023-03-06 |
Family
ID=85509861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220142280A KR102506123B1 (ko) | 2022-10-31 | 2022-10-31 | IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 매커니즘 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102506123B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116938761A (zh) * | 2023-09-15 | 2023-10-24 | 深圳市扬名伟创信息技术有限公司 | 一种物联网终端快速调测系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060089824A (ko) * | 2005-02-04 | 2006-08-09 | 삼성전자주식회사 | 음성 구간 검출 방법 및 장치 |
| KR20060091591A (ko) * | 2005-02-16 | 2006-08-21 | 삼성전자주식회사 | 음성신호 성분을 강화하여 음성신호의 특징을 추출하는 방법 및 그 장치 |
| KR20200063984A (ko) * | 2018-11-28 | 2020-06-05 | 삼성전자주식회사 | 음성 인식 장치 및 방법 |
| KR20210039049A (ko) * | 2019-10-01 | 2021-04-09 | 엘지전자 주식회사 | 음성 인식을 수행하는 인공 지능 장치 및 그 방법 |
| KR20220112986A (ko) * | 2021-02-05 | 2022-08-12 | 박정민 | 인증장치 및 이를 이용한 사용자 음성 기반 암호키 생성방법 |
-
2022
- 2022-10-31 KR KR1020220142280A patent/KR102506123B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060089824A (ko) * | 2005-02-04 | 2006-08-09 | 삼성전자주식회사 | 음성 구간 검출 방법 및 장치 |
| KR20060091591A (ko) * | 2005-02-16 | 2006-08-21 | 삼성전자주식회사 | 음성신호 성분을 강화하여 음성신호의 특징을 추출하는 방법 및 그 장치 |
| KR20200063984A (ko) * | 2018-11-28 | 2020-06-05 | 삼성전자주식회사 | 음성 인식 장치 및 방법 |
| KR20210039049A (ko) * | 2019-10-01 | 2021-04-09 | 엘지전자 주식회사 | 음성 인식을 수행하는 인공 지능 장치 및 그 방법 |
| KR20220112986A (ko) * | 2021-02-05 | 2022-08-12 | 박정민 | 인증장치 및 이를 이용한 사용자 음성 기반 암호키 생성방법 |
Non-Patent Citations (1)
| Title |
|---|
| [1] Label Embedding for soft training of Deep Networks (Xu Sun; Peking University, 2017) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116938761A (zh) * | 2023-09-15 | 2023-10-24 | 深圳市扬名伟创信息技术有限公司 | 一种物联网终端快速调测系统及方法 |
| CN116938761B (zh) * | 2023-09-15 | 2024-01-12 | 深圳市扬名伟创信息技术有限公司 | 一种物联网终端快速调测系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102608470B1 (ko) | 데이터 인식 장치 및 방법과 트레이닝 장치 및 방법 | |
| Liu et al. | An MFCC‐based text‐independent speaker identification system for access control | |
| Ali et al. | Edge-centric multimodal authentication system using encrypted biometric templates | |
| CN103475490B (zh) | 一种身份验证方法及装置 | |
| Monrose et al. | Toward {Speech-Generated} Cryptographic Keys on {Resource-Constrained} Devices | |
| US20200296098A1 (en) | Voiceprint security with messaging services | |
| Prabakaran et al. | A review on performance of voice feature extraction techniques | |
| KR102227624B1 (ko) | 워터마크를 삽입한 음성 인증 시스템 및 이에 대한 방법 | |
| CN103678977A (zh) | 保护信息安全的方法及其电子装置 | |
| KR102506123B1 (ko) | IoT 장비로부터 수집한 센싱 데이터를 이용한 딥 러닝 기반의 키 생성 매커니즘 | |
| Duraibi | Voice biometric identity authentication model for IoT devices | |
| Dawood et al. | A robust voice spoofing detection system using novel CLS-LBP features and LSTM | |
| Nagakrishnan et al. | A robust cryptosystem to enhance the security in speech based person authentication | |
| Li et al. | Security and privacy problems in voice assistant applications: A survey | |
| Zewoudie et al. | The use of audio fingerprints for authentication of speakers on speech operated interfaces | |
| Al Marzuqi et al. | Device activation based on voice recognition using Mel frequency cepstral coefficients (MFCC’s) algorithm | |
| Hamza et al. | A novel automatic voice recognition system based on text-independent in a noisy environment | |
| Lin et al. | A multiscale chaotic feature extraction method for speaker recognition | |
| Saleema et al. | Voice biometrics: the promising future of authentication in the internet of things | |
| Ali et al. | Fake audio detection using hierarchical representations learning and spectrogram features | |
| Kuznetsov et al. | Methods of countering speech synthesis attacks on voice biometric systems in banking | |
| CN115083426A (zh) | 基于对抗样本生成的高保真语音脱敏方法和装置 | |
| Abd El-Samie et al. | Sensitivity of automatic speaker identification to SVD digital audio watermarking | |
| Zhang et al. | Long sequence biohashing speech authentication based on biometric fusion and modified logistic measurement Matrix | |
| Anarkat et al. | Detection of Mimicry Attacks on Speaker Verification System for Cartoon Characters’ Dataset |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |