KR20230047613A - 생체신호를 이용한 개인 식별 방법 - Google Patents

Abstract

본 발명은 1차원 생체신호와, 이를 변환한 2차원 생체신호 각각을 이용하여 분류 모델을 생성하고, 각 분류 모델의 출력을 종합적으로 고려하여 개인을 식별하는 방법에 관한 것이다. 본 발명의 일 실시예에 따른 생체신호를 이용한 개인 식별 방법은 1차원 생체신호를 2차원 스펙트로그램(spectrogram)으로 변환하는 단계, 상기 1차원 생체신호를 이용하여 제1 분류 모델을 학습시키고, 상기 2차원 스펙트로그램을 이용하여 제2 분류 모델을 학습시키는 단계, 타겟 생체신호를 상기 제1 및 제2 분류 모델에 입력하고, 상기 제1 및 제2 분류 모델에서 각각 출력된 분류 스코어를 곱하여 최종 스코어 행렬을 산출하는 단계 및 상기 최종 스코어 행렬 내 최대 성분에 대응하는 클래스를 식별하는 단계를 포함하는 것을 특징으로 한다.

Description

생체신호를 이용한 개인 식별 방법{PERSONAL IDENTIFICATION METHOD USING BIO SIGNAL}

본 발명은 1차원 생체신호와, 이를 변환한 2차원 생체신호 각각을 이용하여 분류 모델을 생성하고, 각 분류 모델의 출력을 종합적으로 고려하여 개인을 식별하는 방법에 관한 것이다.

개인 식별은 인증 및 보안이 요구되는 다양한 생활 환경과 산업 전반에 이용되고 있다. 종래에는 개인 식별을 위해 안면 인식, 지문 인식, 홍채 인식 등의 방법이 이용되어 왔으나, 이러한 방법은 부재자나 망자에게도 인증을 허용함으로써 보안에 취약하며, 인증을 위해 처리해야할 데이터가 방대하므로 신속하고 효율적인 인증이 불가한 문제가 있다.

이러한 문제점을 해결하기 위하여 최근에는 심전도 데이터를 이용하여 피검자를 식별하는 기술이 개발되고 있다. 그러나, 심전도 데이터는 신체 상태에 따른 민감도가 매우 높고, 피검자가 처한 외부 환경으로 인한 노이즈를 많이 포함하므로, 이를 이용한 개인 식별 동작은 그 정확도가 낮다는 문제점이 있다.

본 발명은 1차원의 생체신호를 이용한 분류 결과와 2차원 생체신호를 이용한 분류 결과를 종합하여 최종적으로 개인을 식별하는 방법을 제공하는 것을 목적으로 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 생체신호를 이용한 개인 식별 방법은 1차원 생체신호를 2차원 스펙트로그램(spectrogram)으로 변환하는 단계, 상기 1차원 생체신호를 이용하여 제1 분류 모델을 학습시키고, 상기 2차원 스펙트로그램을 이용하여 제2 분류 모델을 학습시키는 단계, 타겟 생체신호를 상기 제1 및 제2 분류 모델에 입력하고, 상기 제1 및 제2 분류 모델에서 각각 출력된 분류 스코어를 곱하여 최종 스코어 행렬을 산출하는 단계 및 상기 최종 스코어 행렬 내 최대 성분에 대응하는 클래스를 식별하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 1차원 생체신호를 상기 2차원 스펙트로그램(spectrogram)으로 변환하는 단계는 상기 1차원 생체신호 중 기준 생체신호를 추출하고, 상기 기준 생체신호를 상기 2차원 스펙트로그램으로 변환하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 1차원 생체신호 중 상기 기준 생체신호를 추출하는 단계는 상기 1차원 생체신호에 포함된 R 피크점을 검출하고, 상기 R 피크점을 전후한 미리 설정된 샘플들을 상기 기준 생체신호로 추출하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 1차원 생체신호를 상기 2차원 스펙트로그램으로 변환하는 단계는 상기 1차원 생체신호를 멜(mel) 스펙트로그램으로 변환하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 제1 분류 모델을 학습시키는 단계는 웨이블릿 스캐터링(wavelet scattering)을 이용하여 상기 1차원 생체신호의 특징을 추출하고, 상기 특징 및 상기 특징에 대응하는 라벨 데이터를 이용하여 상기 제1 분류 모델을 학습시키는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 1차원 생체신호의 특징을 추출하는 단계는 상기 웨이블릿 스캐터링의 차수별 계수의 평균값을 상기 1차원 생체신호의 특징으로 결정하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 제1 분류 모델을 학습시키는 단계는 상기 특징과 상기 라벨 데이터로 구성되는 훈련 데이터 셋에 랜덤 서브스페이스(random subspace) 방식을 적용하여, 상기 제1 분류 모델에 포함된 복수의 분류기를 학습시키는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 타겟 생체신호를 상기 제1 및 제2 분류 모델에 입력하는 단계는 상기 타겟 생체신호에 포함된 R 피크점을 검출하고, 상기 R 피크점을 전후한 미리 설정된 샘플들을 상기 제1 및 제2 분류 모델에 입력하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 최종 스코어 행렬을 산출하는 단계는 상기 복수의 분류기에서 출력된 분류 스코어를 평균하고, 상기 평균된 분류 스코어와 상기 제2 분류 모델에서 출력된 분류 스코어를 곱하여 상기 최종 스코어 행렬을 산출하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 제2 분류 모델을 학습시키는 단계는 상기 2차원 스펙트로그램 및 상기 2차원 스펙트로그램에 대응하는 라벨 데이터를 이용하여 합성곱 신경망(convolutional neural network)을 포함하는 상기 제2 분류 모델을 학습시키는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 제1 및 제2 분류 모델은 소프트맥스(softmax) 함수를 이용하여 상기 타겟 생체신호에 대한 분류 스코어를 출력하는 것을 특징으로 한다.

일 실시예에서, 상기 분류 스코어는 상기 타겟 생체신호에 대한 클래스별 확률인 것을 특징으로 한다.

일 실시예에서, 상기 최종 스코어 행렬을 산출하는 단계는 상기 제1 및 제2 분류 모델에서 각각 출력된 분류 스코어를 요소별로(elementwise) 곱하여 상기 최종 스코어 행렬을 산출하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 의하면, 1차원의 생체신호를 이용한 분류 결과와 2차원 생체신호를 이용한 분류 결과를 종합함으로써, 노이즈에 강한 개인 식별 모델을 구축할 수 있는 효과가 있다.

또한, 본 발명에 의하면, 웨이블릿 스캐터링을 이용하여 1차원 생체신호의 특징을 추출하고, 추출된 특징을 랜덤 서브스페이스 방식으로 개별 분류기의 학습에 이용함으로써, 1차원 생체신호에 대해서도 노이즈에 대한 강건성(robustness)을 확보할 수 있는 장점이 있다.

또한, 본 발명에 의하면, 노이즈에 민감한 1차원 생체신호를 2차원 스펙트로그램으로 변환하여 이미지화하고, 이를 합성곱 신경망의 학습에 이용함으로써, 이미지 분류 모델에 수반되는 강건성을 확보할 수 있는 장점이 있다.

상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.

도 1은 본 발명의 일 실시예에 따른 생체신호를 이용한 개인 식별 방법을 도시한 순서도.
도 2는 1차원 생체신호에 포함된 노이즈가 제거된 모습을 도시한 도면.
도 3은 1차원 생체신호에서 추출된 기준 생체신호를 도시한 도면.
도 4는 1차원 생체신호가 멜 스펙트로그램으로 변환된 모습을 도시한 도면.
도 5는 웨이블릿 스캐터링을 통해 1차원 생체신호의 특징을 추출하는 과정을 설명하기 위한 도면.
도 6은 랜덤 서브스페이스 방식을 적용하여 복수의 분류기를 학습시키는 과정을 설명하기 위한 도면.
도 7은 합성곱 신경망이 타겟 생체신호를 입력받아 분류 스코어를 출력하는 과정을 설명하기 위한 도면.
도 8은 생체신호를 이용한 개인 식별 과정의 일 예시를 도시한 도면.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.

본 명세서에서 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것으로, 특별히 반대되는 기재가 없는 한, 제1 구성요소는 제2 구성요소일 수도 있음은 물론이다.

또한, 본 명세서에서 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서, "A 및/또는 B" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, A, B 또는 A 및 B 를 의미하며, "C 내지 D" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, C 이상이고 D 이하인 것을 의미한다

본 발명은 1차원 생체신호와, 이를 변환한 2차원 생체신호 각각을 이용하여 분류 모델을 생성하고, 각 분류 모델의 출력을 종합적으로 고려하여 개인을 식별하는 방법에 관한 것이다. 이하, 도 1 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 생체신호를 이용한 개인 식별 방법을 구체적으로 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 생체신호를 이용한 개인 식별 방법을 도시한 순서도이다.

도 2는 1차원 생체신호에 포함된 노이즈가 제거된 모습을 도시한 도면이고, 도 3은 1차원 생체신호에서 추출된 기준 생체신호를 도시한 도면이다.

도 4는 1차원 생체신호가 멜 스펙트로그램으로 변환된 모습을 도시한 도면이다.

도 5는 웨이블릿 스캐터링을 통해 1차원 생체신호의 특징을 추출하는 과정을 설명하기 위한 도면이고, 도 6은 랜덤 서브스페이스 방식을 적용하여 복수의 분류기를 학습시키는 과정을 설명하기 위한 도면이다.

도 7은 합성곱 신경망이 타겟 생체신호를 입력받아 분류 스코어를 출력하는 과정을 설명하기 위한 도면이다. 또한, 도 8은 생체신호를 이용한 개인 식별 과정의 일 예시를 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 생체신호를 이용한 개인 식별 방법은 1차원 생체신호를 2차원 스펙트로그램으로 변환하는 단계(S100), 1차원 생체신호로 제1 분류 모델을 학습시키고 2차원 생체신호로 제2 분류 모델을 학습시키는 단계(S200)를 포함할 수 있다.

이어서, 생체신호를 이용한 개인 식별 방법은 타겟 생체신호를 제1 및 제2 분류 모델에 입력하는 단계(S300), 제1 및 제2 분류 모델에서 출력된 분류 스코어를 곱하여 최종 스코어 행렬을 산출하는 단계(S400), 마지막으로 최종 스코어 행렬 내 최대 성분에 대응하는 클래스를 식별하는 단계(S500)를 포함할 수 있다.

다만, 도 1에 도시된 생체신호를 이용한 개인 식별 방법은 일 실시예에 따른 것이고, 발명을 이루는 각 단계들이 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 일부 구성요소가 부가, 변경 또는 삭제될 수 있다. 또한, 도 1에 순차 도시된 각 단계들은 발명의 동작 순서를 한정하는 것이 아니며, 필요에 따라 일부 단계들의 순서가 뒤바뀌어 동작될 수 있다.

한편, 본 발명의 생체신호를 이용한 개인 식별 방법은 신호 처리가 가능한 프로세서에 의해 수행되며, 프로세서는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors) 중 적어도 하나의 물리적인 요소를 포함할 수 있다.

프로세서는 컴퓨터의 구성요소로 구현될 수 있다. 이 경우, 컴퓨터에는 본 발명의 동작에 필요한 프로그램이 저장될 수 있고, 프로세서는 해당 프로그램을 이용하여 후술되는 동작을 수행할 수 있다.

이하, 도 1에 도시된 각 단계에 대해 구체적으로 설명하도록 한다.

프로세서는 1차원 생체신호(10)를 2차원 스펙트로그램(spectrogram, 20)으로 변환할 수 있다(S100).

여기서 1차원 생체신호(10)는 생체에서 발생하고 시간에 따라 변화하는 신호로서, 개인별 특이성을 갖는 전기 신호 또는 비전기 신호를 모두 포함할 수 있다. 예컨대, 1차원 생체신호(10)는 심전도, 음성, 뇌파 등의 신호를 포함할 수 있으며, 이하에서는 1차원 생체신호(10)를 심전도(electrocardiogram; ECG)로 가정하여 발명의 동작을 설명하도록 한다.

한편, 1차원 생체신호(10)는 미리 지정된 개인들 각각으로부터 획득된 신호일 수 있다. 각 개인별로 획득된 1차원 생체신호(10)는 개인별 식별정보로 라벨링(labeling)되어 후술되는 분류 모델의 훈련 데이터 셋으로 이용될 수 있다.

한편, 1차원 생체신호(10)는 신체 상태 및 외부 환경에 의한 노이즈를 포함할 수 있다. 이를 제거하기 위하여, 프로세서는 1차원 생체신호(10)를 필터링할 수 있다. 구체적으로, 프로세서는 1차원 생체신호(10)를 저역통과필터(Low Pass Filter; LPF) 및 고역통과필터(High Pass Filter; HPF)에 순차적으로 통과시킴으로써 노이즈를 제거할 수 있다.

도 2를 참조하면, 프로세서의 필터링 동작에 따라 1차원 생체신호(10)에 포함된 고주파 및 저주파 성분을 제거될 수 있고, 1차원 생체신호(10)의 균일성(uniformity)이 향상될 수 있다.

프로세서는 필터링된 1차원 생체신호(10)를 2차원 스펙트로그램(20)으로 변환할 수 있다. 여기서 스펙트로그램은 생체신호를 시각화하기 위한 도구로, 시간에 따른 크기로 표현되는 1차원 생체신호(10)를, 시간축 및 주파수축을 포함하는 2차원 이미지로 표현하되, 시간 및 주파수의 변화에 따른 신호 크기의 변화량을 농도 및/또는 색상으로 표현하는 이미지일 수 있다.

2차원 스펙트로그램(20)은 1차원 생체신호(10)에 비해 데이터 사이즈가 클 수 있다. 이 때, 도 2에 도시된 바와 같이 반복되는 파형을 갖는 1차원 생체신호(10) 전부를 2차원 스펙트로그램(20)으로 변환하는 경우, 2차원 스펙트로그램(20)에 필요 이상의 많은 정보가 포함되며, 이를 분류 모델의 학습에 이용하는 경우 훈련 데이터 셋의 크기가 과도하게 커져 모델의 학습 속도가 느려질 수 있고, 프로세서의 동작 부하가 커질 수 있다.

이를 방지하기 위하여, 프로세서는 1차원 생체신호(10) 중 기준 생체신호(10s)를 추출하고, 기준 생체신호(10s)를 2차원 스펙트로그램(20)으로 변환할 수 있다.

보다 구체적으로, 프로세서는 1차원 생체신호(10)를 구성하는 반복되는 파형들 중 하나의 파형만을 기준 생체신호(10s)로 추출할 수 있다. 이를 위해, 프로세서는 생체신호에 포함된 R 피크점을 검출하고, R 피크점을 전후한 미리 설정된 샘플들을 기준 생체신호(10s)로 추출할 수 있다.

도 3을 참조하면, 1차원 생체신호(10)가 심전도일 때, 프로세서는 당해 기술분야에서 피크점 검출에 이용되는 대역통과필터, 미분연산, 제곱연산, 이동 평균을 이용한 적분연산 등을 이용하여 R 피크점을 검출할 수 있다. 이어서, 프로세서는 R 피크점을 전후하는 샘플들, 예컨대 400 샘플들을 기준 생체신호(10s)로 추출할 수 있다. 즉, 프로세서는 R 피크점을 중심으로 하는 800샘플들을 기준 생체신호(10s)로 추출할 수 있다.

미리 설정된 샘플의 개수는 사용자에 의해 임의로 설정될 수 있으나, 도 3에 도시된 바와 같이, 기준 생체신호(10s)가 P파와 T파까지 모두 포함하도록 설정될 수 있다. 한편, 1차원 생체신호(10)가 심전도가 아닌 경우 미리 설정된 샘플의 개수는 1차원 생체신호(10)를 이루는 반복되는 파형들 중에서 한 주기만을 포함하도록 설정될 수 있다.

기준 생체신호(10s)가 추출되면, 프로세서는 기준 생체신호(10s)만을 2차원 스펙트로그램(20)으로 변환할 수 있다.

한편, 인간은 생체신호의 주파수를 선형적으로 인식하지 않고, 로그 스케일에 따라 인식한다. 예컨대, 인간은 500[Hz]와 1000[Hz]의 신호를 구별하는 것보다 10000[Hz]와 10500[Hz]의 신호를 구별하기 어렵다. 이러한 인간의 인지 특성을 고려하기 위하여, 프로세서는 1차원 생체신호(10)를 멜(mel) 스펙트로그램으로 변환할 수 있다.

도 4를 참조하면, 멜 스펙트로그램은 2차원 스펙트로그램(20)의 이미지를 구성하는 주파수축이 멜 스케일로 변환된 스펙트로그램일 수 있고, 주파수(f)의 멜 스케일(Mel(f))로의 변환은 하기 [수학식 1]에 따를 수 있다.

앞선 과정을 통해 2차원 스펙트로그램(20)이 생성되면, 프로세서는 1차원 생체신호(10)를 이용하여 제1 분류 모델을 학습시키고, 2차원 스펙트로그램(20)을 이용하여 제2 분류 모델을 학습시킬 수 있다(S200).

이하, 1차원 생체신호(10)를 이용한 제1 분류 모델의 학습 방법에 대해 먼저 설명하도록 한다.

프로세서는 웨이블릿 스캐터링(wavelet scattering)을 이용하여 1차원 생체신호(10)의 특징을 추출하고, 추출된 특징과 이에 대응하는 라벨 데이터를 이용하여 제1 분류 모델을 학습시킬 수 있다.

웨이블릿 스캐터링은 1차원 생체신호(10)와 같은 시계열 데이터로부터 저분산 특징을 추출할 수 있다. 구체적으로, 웨이블릿 스캐터링은 미리 정의된 필터, 즉 가중치가 고정된 필터를 계층적으로 적용함으로써, 학습 데이터가 부족한 상황에서도 효과적으로 특징을 추출할 수 있다.

도 5를 참조하면, 입력 신호(F)인 1차원 생체신호(10)는 0차 스캐터링(layer 0)에서 스케일링 필터(

)에 의해 평균 연산될 수 있다. 이로 인해, 입력 신호(F)의 고주파 성분이 소실되나, 고주파 성분들은 스캐터링 차수가 증가함에 따라 복구될 수 있다.

이후 스캐터링 차수(layer 1, layer 2,…)에서 입력 신호(F)는 복수의 웨이블릿 필터(

)에 합성곱 연산되고, 이의 절대값에 스케일링 필터(

)를 적용함으로써 차수별 계수가 산출되며, 해당 계수들은 입력 신호(F)의 스캐터링 차수별 특징일 수 있다.

이어서, 프로세서는 웨이블릿 스캐터링의 차수별 계수의 평균값을 입력 신호(F), 즉 1차원 생체신호(10)의 특징으로 결정할 수 있다. 다시 말해, 프로세서는 0차 스캐터링에서 얻어진 계수, 1차 스캐터링에서 얻어진 계수, 2차 스캐터링에서 얻어진 계수, … n차 스캐터링에서 얻어진 계수의 평균값을 1차원 생체신호(10)의 특징으로 결정할 수 있다.

1차원 생체신호(10)의 특징이 결정되면, 프로세서는 해당 특징과 1차원 생체신호(10)에 대응하는 라벨 데이터(예컨대, 개인별 식별정보)를 훈련 데이터 셋(training dataset)으로 구성하고, 이를 이용하여 제1 분류 모델을 학습시킬 수 있다.

보다 구체적으로, 프로세서는 훈련 데이터 셋에 랜덤 서브스페이스(random subspace) 방식을 적용하여, 제1 분류 모델에 포함된 복수의 분류기를 학습시킬 수 있다.

도 6을 예로 들어 설명하면, 제1 분류 모델은 세 개의 분류기(classifier #1 내지 #3)를 포함할 수 있다. 각각의 분류기는 다양한 판별 분석 방법을 이용할 수 있고, 예컨대, KNN(K-Nearest Neighbor), 의사결정트리(Decision tree) 등을 이용할 수 있다.

프로세서는 각각의 분류기를 학습시키기 위하여 랜덤 서브스페이스 방식을 이용할 수 있다. 구체적으로, 프로세서는 훈련 데이터 셋을 모두 이용하되, 훈련 데이터 셋을 구성하는 1차원 생체신호(10)의 특징을 샘플링할 수 있다.

다시 도 6을 참조하면, 프로세서는 웨이블릿 스캐터링을 통해 얻어진 n개의 특징(f1 내지 fn) 중에서 임의로 3개의 특징을 샘플링하고, 이를 각 분류기의 학습에 이용할 수 있다. 구체적으로, 프로세서는 제1, 제2, 제4 특징(f1, f2, f4)을 이용하여 제1 분류기(classifier #1)를 학습시킬 수 있고, 제2, 제5, 제7 특징(f2, f5, f7)을 이용하여 제2 분류기(classifier #2)를 학습시킬 수 있으며, 제2, 제3, 제9(f2, f3, f9) 특징을 이용하여 제3 분류기(classifier #3)을 학습시킬 수 있다.

이와 같이, 랜덤 서브스페이스 방식을 통해 각 분류기는 각자 다른 특징에 기초하여 학습될 수 있고, 이에 따라 각 분류기의 출력 간의 상관관계가 줄어 노이즈에 대한 강건성(robustness)을 가질 수 있다.

즉, 본 발명에 의하면, 웨이블릿 스캐터링을 이용하여 1차원 생체신호(10)의 특징을 추출하고, 추출된 특징을 랜덤 서브스페이스 방식으로 개별 분류기의 학습에 이용함으로써, 1차원 생체신호(10)에 대해서도 노이즈에 대한 강건성(robustness)을 확보할 수 있는 장점이 있다.

다음으로, 2차원 스펙트로그램(20)을 이용한 제2 분류 모델의 학습 방법에 대해 설명하도록 한다.

앞서 설명한 바와 같이 2차원 스펙트로그램(20)은 이미지로 표현되므로, 제2 분류 모델은 이미지 내 특징 추출 및 이미지 분류를 위한 합성곱 신경망(Convolutional Neural Network; CNN)을 포함할 수 있다. 프로세서는 2차원 스펙트로그램(20)과 이에 대응하는 라벨 데이터를 이용하여 제2 분류 모델을 학습시킬 수 있다.

도 7을 참조하면, 합성곱 신경망은 여러 쌍의 합성곱 레이어 및 풀링(pooling) 레이어를 포함할 수 있고, 한 쌍의 합성곱 레이어 및 풀링 레어이의 출력이 다음 쌍의 합성곱 레이어 및 풀링 레이어에 입력되는 구조를 가질 수 있다.

구체적으로, 입력 신호(input)인 2차원 스펙트로그램(20)은 첫번째 합성곱 레이어에 입력될 수 있고, 첫번째 합성곱 레이어의 출력은 첫번째 풀링 레이어에 입력될 수 있다. 첫번째 풀링 레이어의 출력은 두번째 합성곱 레이어에 입력될 수 있고, 두번째 합성곱 레이어의 출력은 두번째 풀링 레이어에 입력될 수 있다. 이러한 과정이 수차례 반복될 수 있으며, 마지막 풀링 레이어의 출력은 완전 연결 레이어(fully connected layer)에 입력될 수 있다.

완전 연결 레이어에서는 소트프맥스(softmax) 함수가 사용될 수 있고, 이러한 합성곱 신경망의 구조를 고려하여, 라벨 데이터는 클래스, 즉, 식별하고자 하는 개인들에 대응하는 행렬로 구성될 수 있다. 예를 들어, 본 발명의 식별 대상인 개인의 수가 4명인 경우 라벨 데이터는 1열 4행 또는 4열 1행의 행렬로 구성될 수 있으며, 개인별로 대응하는 행 및/또는 열의 값이 1로, 나머지는 0으로 설정될 수 있다.

보다 구체적으로, 본 발명의 식별 대상인 개인이 A 내지 D까지 총 10명인 경우 A에 대응하는 라벨 데이터는 {1,0,0,0}일 수 있고, B에 대응하는 라벨 데이터는 {0,1,0,0}일 수 있고, ,,,D에 대응하는 라벨 데이터는 {0,0,0,1}일 수 있다.

전술한 바와 같이 본 발명은 노이즈에 민감한 1차원 생체신호(10)를 2차원 스펙트로그램(20)으로 변환하여 이미지화하고, 이를 합성곱 신경망의 학습에 이용함으로써, 이미지 분류 모델에 수반되는 강건성을 확보할 수 있는 장점이 있다.

전술한 바와 같이 제1 및 제2 분류 모델의 학습이 완료되면, 프로세서는 타겟 생체신호를 제1 및 제2 분류 모델에 입력할 수 있다(S300). 여기서 타겟 생체신호는 누구의 것인지 식별하고자 하는 신호로서, 제1 및 제2 분류 모델의 테스팅 데이터 셋(testing dataset)일 수 있다.

앞서 설명한 바와 같이, 제1 및 제2 분류 모델은 기준 생체신호(10s)에 기반하여 학습된 바, 프로세서는 타겟 생체신호를 기준 생체신호(10s)에 대응되도록 변환하고, 이를 제1 및 제2 분류 모델에 입력할 수 있다.

이를 위해, 프로세서는 타겟 생체신호에 포함된 R 피크점을 검출하고, R 피크점을 전후한 미리 설정된 샘플들(예컨대, 전후 400 샘플)을 제1 및 제2 분류 모델에 입력할 수 있다. 피크점 전후의 샘플들을 추출하는 방법에 대해서는 도 3을 참조하여 설명한 바 여기서는 자세한 설명을 생략하도록 한다.

이어서 프로세서는 제1 및 제2 분류 모델에서 각각 출력된 분류 스코어를 곱하여 최종 스코어 행렬을 산출할 수 있다(S400).

분류 스코어는 타겟 생체신호에 대한 클래스별 확률일 수 있다. 구체적으로, 분류 스코어는 식별 대상인 개인들에 대응하는 행렬로 구성되며, 행렬의 요소들은 타겟 생체신호에 대한 클래스별 확률일 수 있다. 예를 들어, 식별 대상 개인이 A 부터 D까지 총 4명인 경우, 분류 스코어는 {0.7, 0.1, 0.1, 0.1}과 같이 출력될 수 있다. 이는 타겟 생체신호가 A의 것일 확률이 0.7이고, B, C, D의 것일 확률이 0.1임을 나타낼 수 있다.

이와 같이 클래스별 확률을 행렬의 형태로 출력하기 위하여, 제1 및 제2 분류 모델은 소프트맥스 함수를 이용할 수 있다. 한편, 제1 분류 모델이 도 6에 도시된 바와 같이 복수의 분류기를 포함하는 경우, 각각의 분류기는 소프트맥스 함수를 이용하여 분류 스코어를 출력할 수 있다.

프로세서는 제1 분류 모델에서 출력된 분류 스코어와, 제2 분류 모델에서 출력된 분류 스코어를 곱하여 최종 스코어 행렬을 산출할 수 있다. 최종 스코어 행렬 역시 클래스별 확률을 나타내는 행렬일 수 있으며, 이러한 행렬을 산출하기 위하여 프로세서는 제1 및 제2 분류 모델에서 각각 출력된 분류 스코어를 요소별로(elementwise) 곱할 수 있다.

예컨대, 식별 대상 개인이 A 부터 D까지 총 4명일 때, 타겟 생체신호에 대한 제1 분류 모델의 출력이 {0.7, 0.1, 0.1, 0.1}이고, 제2 분류 모델의 출력이 {0.4, 0.3, 0.2, 0.1}일 때, 프로세서는 각 행렬을 요소별로 곱셈하여 {0.28, 0.03, 0.02, 0.01}의 최종 스코어 행렬을 산출할 수 있다.

한편, 도 6에 도시된 바와 같이 제1 분류 모델이 복수의 분류기를 포함하는 경우, 프로세서는 복수의 분류기에서 출력되는 각 분류 스코어를 평균하고, 평균된 분류 스코어와 제2 분류 모델에서 출력된 분류 스코어를 곱하여 최종 스코어 행렬을 산출할 수 있다.

구체적으로, 각 분류기는 소프트맥스 함수를 통해 클래스별 확률을 나타내는 분류 스코어(S1, S2, S3)를 출력할 수 있다. 예를 들어, 식별 대상 개인이 A 부터 D까지 총 4명일 때, 제1 분류기는 {0.6, 0.1, 0.2, 0.1}를, 제2 분류기는 {0.8, 0.05, 0.1, 0.05}, 제3 분류기는 {0.4, 0.2, 0.2, 0.2}를 분류 스코어로 출력할 수 있다.

프로세서는 각 분류기에서 출력된 분류 스코어를 평균하여 {0.6, 0.1167, 0.167, 0.1167}의 행렬(S_avg)을 산출할 수 있고, 이를 제2 분류 모델에서 출력된 분류 스코어에 요소별 곰셈하여 최종 스코어 행렬을 산출할 수 있다.

마지막으로, 프로세서는 최종 스코어 행렬 내 최대 성분에 대응하는 클래스를 식별할 수 있다(S500).

직전 예에서, 제2 분류 모델에서 출력된 분류 스코어가 {0.4, 0.3, 0.2, 0.1}일 때, 프로세서는 {0.24, 0.035, 0.033, 0.01167}을 최종 스코어 행렬로 산출할 수 있다. 프로세서는 최대 성분인 0.24에 대응하는 클래스인 개인 A를 식별할 수 있다. 다시 말해, 프로세서는 타겟 생체신호에 대응하는 개인을 A로 식별할 수 있다.

이하, 도 8을 참조하여 본 발명이 심전도를 이용하여 개인을 식별하는 과정을 예시적으로 설명하도록 한다.

프로세서는 미리 지정된 개인별 심전도를 웨이블릿 스캐터링하여 차수별 스캐터링 계수를 산출하고, 차수별로 산출된 계수를 평균하여 심전도의 특징(feature vector)을 추출할 수 있다. 이후 추출된 특징과 해당 심전도를 가진 개인의 라벨 데이터를 훈련 데이터 셋으로 구성하고, 랜덤 서브스페이스 방식을 이용하여 복수의 분류기를 학습시킬 수 있다.

동시에, 프로세서는 미리 지정된 개인별 심전도를 멜 스펙트로그램으로 변환하고, 변환된 이미지와 해당 심전도를 가진 개인의 라벨 데이터를 훈련 데이터 셋으로 구성하여 합성곱 신경망을 학습시킬 수 있다.

학습이 완료되면 프로세서는 타겟 심전도를 복수의 분류기 및 합성곱 신경망에 각각 입력할 수 있다. 복수의 분류기 각각은 분류 스코어를 출력할 수 있고, 프로세서는 분류기별로 출력된 분류 스코어를 평균하여 제1 분류 스코어를 산출할 수 있다. 한편, 합성곱 신경망 역시 제2 분류 스코어를 출력할 수 있다.

프로세서서 최종적으로 얻어진 제1 및 제2 분류 스코어를 요소별로 곱하여 최종 스코어 행렬을 산출할 수 있고, 해당 행렬 내 최대 성분에 대응하는 클래스를 식별함으로써, 타겟 심전도에 대한 개인 식별 동작을 수행할 수 있다.

전술한 본 발명에 의하면, 1차원의 생체신호를 이용한 분류 결과와 2차원 생체신호를 이용한 분류 결과를 종합함으로써, 노이즈에 강한 개인 식별 모델을 구축할 수 있는 효과가 있다.

이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

Claims (13)

1차원 생체신호를 2차원 스펙트로그램(spectrogram)으로 변환하는 단계;
상기 1차원 생체신호를 이용하여 제1 분류 모델을 학습시키고, 상기 2차원 스펙트로그램을 이용하여 제2 분류 모델을 학습시키는 단계;
타겟 생체신호를 상기 제1 및 제2 분류 모델에 입력하고, 상기 제1 및 제2 분류 모델에서 각각 출력된 분류 스코어를 곱하여 최종 스코어 행렬을 산출하는 단계; 및
상기 최종 스코어 행렬 내 최대 성분에 대응하는 클래스를 식별하는 단계를 포함하는
생체신호를 이용한 개인 식별 방법.

제1항에 있어서,
상기 1차원 생체신호를 상기 2차원 스펙트로그램(spectrogram)으로 변환하는 단계는
상기 1차원 생체신호 중 기준 생체신호를 추출하고, 상기 기준 생체신호를 상기 2차원 스펙트로그램으로 변환하는 단계를 포함하는
생체신호를 이용한 개인 식별 방법.

제2항에 있어서,
상기 1차원 생체신호 중 상기 기준 생체신호를 추출하는 단계는
상기 1차원 생체신호에 포함된 R 피크점을 검출하고, 상기 R 피크점을 전후한 미리 설정된 샘플들을 상기 기준 생체신호로 추출하는 단계를 포함하는
생체신호를 이용한 개인 식별 방법.

제1항에 있어서,
상기 1차원 생체신호를 상기 2차원 스펙트로그램으로 변환하는 단계는
상기 1차원 생체신호를 멜(mel) 스펙트로그램으로 변환하는 단계를 포함하는
생체신호를 이용한 개인 식별 방법.

제1항에 있어서,
상기 제1 분류 모델을 학습시키는 단계는
웨이블릿 스캐터링(wavelet scattering)을 이용하여 상기 1차원 생체신호의 특징을 추출하고, 상기 특징 및 상기 특징에 대응하는 라벨 데이터를 이용하여 상기 제1 분류 모델을 학습시키는 단계를 포함하는
생체신호를 이용한 개인 식별 방법.

제5항에 있어서,
상기 1차원 생체신호의 특징을 추출하는 단계는
상기 웨이블릿 스캐터링의 차수별 계수의 평균값을 상기 1차원 생체신호의 특징으로 결정하는 단계를 포함하는
생체신호를 이용한 개인 식별 방법.

제5항에 있어서,
상기 제1 분류 모델을 학습시키는 단계는
상기 특징과 상기 라벨 데이터로 구성되는 훈련 데이터 셋에 랜덤 서브스페이스(random subspace) 방식을 적용하여, 상기 제1 분류 모델에 포함된 복수의 분류기를 학습시키는 단계를 포함하는
생체신호를 이용한 개인 식별 방법.

제1항에 있어서,
상기 타겟 생체신호를 상기 제1 및 제2 분류 모델에 입력하는 단계는
상기 타겟 생체신호에 포함된 R 피크점을 검출하고, 상기 R 피크점을 전후한 미리 설정된 샘플들을 상기 제1 및 제2 분류 모델에 입력하는 단계를 포함하는
생체신호를 이용한 개인 식별 방법.

제7항에 있어서,
상기 최종 스코어 행렬을 산출하는 단계는
상기 복수의 분류기에서 출력된 분류 스코어를 평균하고, 상기 평균된 분류 스코어와 상기 제2 분류 모델에서 출력된 분류 스코어를 곱하여 상기 최종 스코어 행렬을 산출하는 단계를 포함하는
생체신호를 이용한 개인 식별 방법.

제1항에 있어서,
상기 제2 분류 모델을 학습시키는 단계는
상기 2차원 스펙트로그램 및 상기 2차원 스펙트로그램에 대응하는 라벨 데이터를 이용하여 합성곱 신경망(convolutional neural network)을 포함하는 상기 제2 분류 모델을 학습시키는 단계를 포함하는
생체신호를 이용한 개인 식별 방법.

제1항에 있어서,
상기 제1 및 제2 분류 모델은 소프트맥스(softmax) 함수를 이용하여 상기 타겟 생체신호에 대한 분류 스코어를 출력하는
생체신호를 이용한 개인 식별 방법.

제1항에 있어서,
상기 분류 스코어는 상기 타겟 생체신호에 대한 클래스별 확률인
생체신호를 이용한 개인 식별 방법.

제1항에 있어서,
상기 최종 스코어 행렬을 산출하는 단계는
상기 제1 및 제2 분류 모델에서 각각 출력된 분류 스코어를 요소별로(elementwise) 곱하여 상기 최종 스코어 행렬을 산출하는 단계를 포함하는
생체신호를 이용한 개인 식별 방법.

Images