KR101615480B1 - 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법 및 장치 - Google Patents

시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법 및 장치 Download PDF

Info

Publication number
KR101615480B1
KR101615480B1 KR1020150036176A KR20150036176A KR101615480B1 KR 101615480 B1 KR101615480 B1 KR 101615480B1 KR 1020150036176 A KR1020150036176 A KR 1020150036176A KR 20150036176 A KR20150036176 A KR 20150036176A KR 101615480 B1 KR101615480 B1 KR 101615480B1
Authority
KR
South Korea
Prior art keywords
threshold value
histogram
spike
raw data
value
Prior art date
Application number
KR1020150036176A
Other languages
English (en)
Inventor
장원두
임창환
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020150036176A priority Critical patent/KR101615480B1/ko
Application granted granted Critical
Publication of KR101615480B1 publication Critical patent/KR101615480B1/ko

Links

Images

Classifications

    • A61B5/0476—

Landscapes

  • Image Analysis (AREA)

Abstract

시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법 및 장치가 제시된다. 본 발명에서 제안하는 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법은 로(Raw) 데이터를 획득하여 상기 로(Raw) 데이터의 MSDW의 값을 유사도 및 비유사도 형태로 변환하여 실시간으로 재구성하고, 히스토그램을 만드는 단계, 상기 히스토그램을 이용하여 임계값을 실시간으로 결정하는 단계, 상기 결정된 임계값을 이용하여 스파이크 영역을 실시간으로 검출하고, 업데이트 하는 단계를 포함할 수 있다.

Description

시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법 및 장치{Method and Apparatus for Automatic Threshold Control of Unsupervised Form for Real Time Detection of Spike in Time Series Data}
본 발명은 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도학습 형식의 자동 임계값 조정 방법 및 장치에 관한 것이다.
시계열 데이터에서 스파이크의 검출은 다양한 분야에서 사용된다. 예를 들어, 두피에서 측정되는 뇌파신호(EEG)에는 눈 깜빡임/눈 움직임과 같은 다른 생체신호가 유입되는데 이런 외부신호가 스파이크의 형태를 보이므로 특정 너비의 스파이크를 검출함으로 오염된 신호를 데이터 분석에 사용하지 않을 수 있다.
간질환자는 뇌의 이상부위에서 불규칙한 스파이크형태의 이상신호(이하 간질패턴)를 발생시키는 것으로 알려져 있는데, 이 이상신호를 검출/분석함으로 병변을 발견할 수 있다. 또한, ECG에서 RR인터벌 등을 자동 분석하는 데 사용된다.
스파이크를 검출하는 것은 다음과 같이 두 단계로 나누어 생각해 볼 수 있다.
1) 주어진 신호를 형태에 따라(스파이크와의) 유사도/비유사도 형태로 점수화 하는 단계.
2) 설정된 임계값(기준치)를 점수에 적용하여, 임계값을 넘는 경우 스파이크로써 검출하도록 하는 단계.
하지만, 여기에서 적절한 임계값을 정하는 것은 간단하지 않은 문제이며, 사용자에 따라 최적의 임계값은 달라지게 된다. 하지만 다양한 스파이크의 검출 시마다 적절한 임계값을 일일이 설정하는 것은 번거로운 일이며, 경우에 따라 매우 어렵게 된다. 예를 들어, 전문가가 아닌 일반을 대상으로 시판되는 제품의 경우 개별 임계값 설정을 일반인이 하도록 하는 경우 제품 성능의 안정성을 보장하기 어렵게 된다.
본 발명이 이루고자 하는 기술적 과제는 종래 기술에 따른 문제점인 각 신호에 대해 적절한 임계값을 개별로 설정해야 하거나, 신호 대 잡음비(Signal to noise ratio), 또는 예상되는 스파이크의 빈도를 알아야 한다는 단점을 개선하기 위한 방법 및 장치를 제공하는데 있다. 따라서 단일채널의 시계열 데이터에서, 다수의 유한 임펄스 필터와 규칙기반시스템의 조합으로, 전문가의 추가 조작 없이 스파이크를 검출하는 방법을 제안한다.
일 측면에 있어서, 본 발명에서 제안하는 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법은 로(Raw) 데이터를 획득하여 상기 로(Raw) 데이터의 MSDW의 값을 유사도 및 비유사도 형태로 변환하여 실시간으로 재구성하고, 히스토그램을 만드는 단계, 상기 히스토그램을 이용하여 임계값을 실시간으로 결정하는 단계, 상기 결정된 임계값을 이용하여 스파이크 영역을 실시간으로 검출하고, 업데이트 하는 단계를 포함할 수 있다.
로(Raw) 데이터를 획득하여 상기 로(Raw) 데이터의 MSDW의 값을 유사도 및 비유사도 형태로 변환하여 실시간으로 재구성하고, 히스토그램을 만드는 단계는 로(Raw) 데이터를 획득하는 단계, 상기 획득한 로(Raw) 데이터의 전처리 과정을 수행하는 단계, 상기 전처리 과정을 수행한 로(Raw) 데이터의 특징 값을 계산하는 단계, 상기 특징 값이 국소 최소값인지 판단하는 단계, 상기 특징 값이 국소 최소값일 경우, 특징 값을 유사도 및 비유사도 형태로 변환하는 단계, 상기 특징 값이 국소 최소값이 아닐 경우, 다음 샘플링까지 대기하는 단계를 포함할 수 있다.
상기 히스토그램을 이용하여 임계값을 실시간으로 결정하는 단계는 상기 히스토그램이 초기화되었는지 판단하는 단계, 상기 히스토그램이 초기화된 경우, 상기 히스토그램을 업데이트 하는 단계, 상기 업데이트된 히스토그램을 이용하여 임계값을 실시간으로 결정하는 단계, 상기 히스토그램이 초기화되지 않은 경우, 상기 로(Raw) 데이터가 충분한지 판단하는 단계, 상기 로(Raw) 데이터가 충분할 경우, 상기 히스토그램을 초기화하는 단계, 상기 로(Raw) 데이터가 충분하지 않은 경우, 다음 샘플링까지 대기하는 단계를 포함할 수 있다.
상기 결정된 임계값을 이용하여 스파이크 영역을 실시간으로 검출하고, 업데이트 하는 단계는 스파이크 영역이 상기 결정된 임계 값보다 큰지 판단하는 단계, 상기 임계 값보다 큰 경우, 상기 스파이크 영역을 검출하고, 상기 스파이크 영역을 업데이트하는 단계, 상기 임계 값보다 작은 경우, 다음 샘플링까지 대기하는 단계를 포함할 수 있다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 시스템은 로(Raw) 데이터를 획득하여 상기 로(Raw) 데이터의 MSDW의 값을 유사도 및 비유사도 형태로 변환하여 실시간으로 재구성하고, 히스토그램을 만드는 히스토그램 생성부, 상기 히스토그램을 이용하여 임계값을 실시간으로 결정하는 임계값 결정부, 상기 결정된 임계값을 이용하여 스파이크 영역을 실시간으로 검출하고, 업데이트 하는 검출 및 업데이트부를 포함할 수 있다.
상기 히스토그램 생성부는 로(Raw) 데이터를 획득하여 전처리 과정을 수행하고, 상기 전처리 과정을 수행한 로(Raw) 데이터의 특징 값을 계산하고, 상기 특징 값이 국소 최소값인지 판단할 수 있다. 하는 것을 특징으로 하는 실시간 스파이크 검출을 위한 임계값 조정 시스템.
상기 특징 값이 국소 최소값일 경우, 특징 값을 유사도 및 비유사도 형태로 변환하고, 상기 특징 값이 국소 최소값이 아닐 경우, 다음 샘플링까지 대기할 수 있다.
상기 임계값 결정부는 상기 히스토그램이 초기화되었는지 판단하고, 상기 히스토그램이 초기화된 경우, 상기 히스토그램을 업데이트 하고, 상기 업데이트된 히스토그램을 이용하여 임계값을 실시간으로 결정할 수 있다.
상기 임계값 결정부는 상기 히스토그램이 초기화되지 않은 경우, 상기 로(Raw) 데이터가 충분한지 판단하고, 상기 로(Raw) 데이터가 충분할 경우, 상기 히스토그램을 초기화하고, 상기 로(Raw) 데이터가 충분하지 않은 경우, 다음 샘플링까지 대기할 수 있다.
상기 검출 및 업데이트부는 스파이크 영역이 상기 결정된 임계 값보다 큰지 판단하고, 상기 임계 값보다 큰 경우, 상기 스파이크 영역을 검출하고, 상기 스파이크 영역을 업데이트하고, 상기 임계 값보다 작은 경우, 다음 샘플링까지 대기할 수 있다.
본 발명의 실시예들에 따르면 단일채널의 시계열 데이터로부터 높은 정확도로 스파이크 영역을 검출할 수 있다. 템플릿 선정이나 임계값(threshold) 설정과 같이 추가적인 전문가의 설정 없이도 높은 성능을 기대할 수 있다. 사용자가 착용한 후에 곧바로 사용할 수 있다는 장점이 있으므로, 모바일 EEG 장치 등에 적용되어 좋은 결과를 얻을 수 있다.
도 1은 종래 기술에 따른 MSDW를 사용하는 스파이크 검출 방법을 설명하기 위한 흐름도다.
도 2는 본 발명의 일 실시예에 따른 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 시스템의 구성을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 히스토그램의 예시도이다.
도 5는 본 발명의 또 다른 일 실시예에 따른 히스토그램의 예시도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 종래 기술에 따른 MSDW를 사용하는 스파이크 검출 방법을 설명하기 위한 흐름도다.
종래 기술에 따른 스파이크 검출기술에는 Klein의 인공물 검출법, 템플릿 매칭(Template matching), MSDW, 및 독립성분분석(ICA) 등이 있다.
Klein의 인공물 검출법은 단채널 EEG에서 눈깜빡임 인공물을 검출하는 방법이다. 주어진 데이터에 인공물이 없다고 가정하고, 데이터의 분포가 일반적인지의 여부를 판단하여 인공물의 포함 여부를 판별한다. 일반적인 경우(인공물이 없을 경우) 데이터 분포는 Weibull, Frechet, Gumbel 분포중 하나를 따르는 것으로 가정한다.
템플릿 매칭(Template matching)은 스파이크의 대표적인 형태를 템플릿으로 정하고, 이 템플릿과 테스트 신호와의 상관관계, 또는 거리 값을 바탕으로 스파이크를 검출하는 방법이다. 이러한 방법은 스파이크의 범위를 결정할 수 있다는 장점이 있다.
MSDW은 단채널 EEG에서 스파이크를 검출하는 방법이다. 전문가가 미리 템플릿 등을 설정하거나 스파이크의 분포를 미리 알 필요 없이 임계값을 설정하는 것 만으로 단채널 EEG로부터 눈 깜빡임 인공물 등의 스파이크를 검출할 수 있다.
MSDW은 먼저, 로 뇌전도 데이터를 획득하고(Raw EEG data acquisition)(110), 전처리 과정을 수행(Preprocessing(median filter))(120)할 수 있다. 다음으로, 특징 값을 추출할 수 있다(Feature (MSDW) calculation)(130). 그리고, 모든 국소 최소값들은 선택하고(Select All Local minima)(140), 상기 국소 최소 값들(local maxima) 중 선행하는 국소 최대값과의 차이가 임계값보다 큰 값을 선택할 수 있다(Select minimum in which difference to their preceding maxima is bigger than the threshold)(150). 그리고, 마지막으로 스파이크 영역(artifact region)을 검출할 수 있다(160).
독립성분분석(ICA)은 N개의 독립적인 발신원을 가지는 데이터가 서로 섞여 있는 경우, N개의 서로 다른 지점에서 데이터를 측정하여 원 신호를 추정해 내는 방법이다. 뇌파 데이터에서 인공물의 발신원과 뇌파의 발신원이 다르다는 성질을 이용하여 뇌파데이터에서 인공물을 자동 검출/제거하는 데에 사용된다.
임계값 설정 기술에는 Otsu 임계값 설정 방법, 고정 임계값 사용법, 고정비율 임계값 설정 방법, 및 Kim&McNames 방법 등이 있다.
Otsu 임계값 설정 방법은 이미지 처리(이진화)에서 많이 사용되는 방법으로 흑백(그레이 스케일)의 영상을 이진 영상(검은색과 흰 색의 두 가지 색으로만 구성)으로 전환하기 위해 사용된다. 흑백영상을 이진 영상으로 바꾸기 위해서는 기준이 되는 값을 설정해야 하는데, 이 값을 자동으로 찾아주는 방법이다.
고정 임계값 사용법은 사용자 별 차이를 무시하고, 모든 사용자에 대해 동일한 임계값을 사용하는 방법이다.
고정비율 임계값 설정 방법은 신호 대 잡음비, 다시 말해 전체 신호중 검출하고자 하는 스파이크의 신호비율이 일정하다고 가정하고 스파이크의 검출횟수가 해당 비율에 해당하도록 임계값을 자동 설정하는 방법이다.
Kim&McNames 방법은 생체신호에서의 스파이크 검출을 위해 개발된 알고리즘이다. 확률밀도함수를 사용하여 매우 드물게 발생하는 스파이크와 일반 신호를 나누는 지점 (임계값)을 자동으로 구하는 알고리즘이다. 스파이크 유사도에 대한 임의의 확률밀도함수 PDF 가 주어졌을 때에 임계값을 구하는 알고리즘은 다음과 같다.
1) 확률밀도함수에서 국소최대치를 구하고, 각각의 최대치가 하나의 패턴그룹을 나타낸다고 가정한다.
2) 밀도값이 가장 큰 패턴그룹을 정상패턴으로 정의하고, 가장 오른쪽에 있는 패턴그룹을 스파이크 패턴그룹으로 가정한다.
3) 패턴그룹이 하나만 있는 경우, PDF를 무시하고, 스파이크 패턴을 미리 예상한 개수만큼 검출한다.
4) 두 패턴 그룹 사이에 있으면서 아래의 조건을 만족하는 국소최소값 중 가장 큰 값을 임계값으로 정한다.
a) 임계값은 미리 설정된 범위 이내에 있어야 한다.
b) 국소최소값은 두 패턴그룹의 밀도값 중 작은 값의 일정 비율(
Figure 112015025585870-pat00001
)보다 작아야 한다.
하지만, 이러한 종래 기술에는 문제점이 있다. 먼저, 스파이크 검출기술에서 Klein의 인공물 검출법은 epoch 단위로 판별이 가능할 뿐, 스파이크의 구간을 검출할 수 없다. 스파이크의 정점(Peak point)이 epoch에 포함되지 않은 경우, 정점과 epoch와의 거리가 멀어짐에 따라 검출율이 급속히 감소한다.
템플릿 매칭(Template matching)의 경우, 템플릿의 선택이 성능을 결정하는 매우 중요한 요소이며, 템플릿 선정은 개인별로 전문가에 의해 이루어져야 하므로, 실제 제품에 적용하여 사용하기에는 어려움이 많다.
독립성분분석(ICA)은 신호를 검출하는 지점의 수가 원신호의 수와 동일하여야 한다는 제약을 가지고 있어, EEG 등에서의 정확한 검출을 위해서는 다수의 채널정보가 필요하다. 이에 따라 배터리, 부품의 개수 등에 민감한 모바일 장치의 개발 등에 적용하기 어려우며, 복잡한 알고리즘으로 인해 처리시간이 많이 걸리므로 실시간 처리에 적용하기 어렵다
임계값 설정기술에서 Otsu 임계값 설정 방법은 이미지 처리(이진화)에서 많이 사용되는 방법이므로, 두 종류의 신호비율이 대등한 경우에 좋은 결과를 내며, 생체신호에서의 스파이크와 같이 드물게 발생하는 신호 (Outlier)의 검출에는 적용하기 어렵다.
고정 임계값 사용법은 사용자에 따라 최적의 임계값이 서로 다르므로, 사용자의 신호패턴에 따라 검출결과가 만족스럽지 않을 수 있다.
고정비율 임계값 설정법은 신호 대 잡음비가 일정하지 않은 경우 좋은 결과를 낼 수 없다.
그리고, Kim&McNames 방법은 오프라인(Offline)에서의 수행을 전제로 하므로, 실시간 데이터의 처리에는 적합하지 않다. 이러한 방법의 구체적인 수행 순서는 다음과 같다.
1) 유사성의 시리즈를 계산(article에서 교차 상관을 사용하여)하고, 시리즈의 국소 최소값들(local maxima)을 사용하여 PDF를 계산한다. 이것은 특정 유사성 k에 있어서의 밀도를 나타낸다.
2) 가장 큰 모드가 정상 값을 나타낸다고 가정하면, 오른쪽 모드는 스파이크를 나타낸다. 싱글 모드만 있는 경우, 임계값은 이전에 결정된 SNR(signal-to-noise ratio)에 따라 결정된다.
3) PDF에서 국소 최대값들(local maxima) 및 국소 최소값들(local minima)를 찾는다. 두 모드 사이의 국소 최소값들(local minima)의 모든 횡축은 임계값을 위한 후보가 될 수 있다. 정상 모드 후의 i번째 최대값 및 최소값의 횡축은 M i 및 m i 로 각각 나타낸다.
4) 아래의 조건들 중 최대값 후보를 임계값으로 선택할 수 있다.
조건 a. τmin = F(mi) = τmax, 여기에서 τmin 및 τmin는 앞에서 말한 각각 최소 및 최대 임계값이다.
조건 b. F(mi) <
Figure 112015025585870-pat00002
·min{F(Mi), F(Mi+1)}, 여기에서
Figure 112015025585870-pat00003
는 국소 최소값들의 밸리(valleys)를 제거하기 위해 사용자가 지정한 매개 변수 이다.
도 2는 본 발명의 일 실시예에 따른 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법을 설명하기 위한 흐름도이다.
시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법은 로(Raw) 데이터를 획득하여 상기 로(Raw) 데이터의 MSDW의 값을 유사도 및 비유사도 형태로 변환하여 실시간으로 재구성하고, 히스토그램을 만드는 단계(210), 상기 히스토그램을 이용하여 임계값을 실시간으로 결정하는 단계(220), 상기 결정된 임계값을 이용하여 스파이크 영역을 실시간으로 검출하고, 업데이트 하는 단계(230)를 포함할 수 있다.
단계(210)에서, 로(Raw) 데이터를 획득하여 상기 로(Raw) 데이터의 MSDW의 값을 유사도 및 비유사도 형태로 변환하여 실시간으로 재구성하고, 히스토그램을 만들 수 있다.
단계(210)은 로(Raw) 데이터를 획득하는 단계(211), 상기 획득한 로(Raw) 데이터의 전처리 과정을 수행하는 단계(212), 상기 전처리 과정을 수행한 로(Raw) 데이터의 특징 값을 계산하는 단계(213), 상기 특징 값이 국소 최소값인지 판단하는 단계(214), 상기 특징 값이 국소 최소값일 경우, 특징 값을 유사도 및 비유사도 형태로 변환하는 단계(215), 상기 특징 값이 국소 최소값이 아닐 경우, 다음 샘플링까지 대기하는 단계(216)를 포함할 수 있다.
단계(220)에서, 상기 히스토그램을 이용하여 임계값을 실시간으로 결정할 수 있다.
단계(220)는 상기 히스토그램이 초기화되었는지 판단하는 단계(221), 상기 히스토그램이 초기화된 경우, 상기 히스토그램을 업데이트 하는 단계(222), 상기 업데이트된 히스토그램을 이용하여 임계값을 실시간으로 결정하는 단계(223), 상기 히스토그램이 초기화되지 않은 경우, 상기 로(Raw) 데이터가 충분한지 판단하는 단계(224), 상기 로(Raw) 데이터가 충분할 경우, 상기 히스토그램을 초기화하는 단계(225), 상기 로(Raw) 데이터가 충분하지 않은 경우, 다음 샘플링까지 대기하는 단계(216)를 포함할 수 있다.
이러한 방법은 Kim & McNames의 방법을 실시간 처리에 적합하도록, 알고리즘을 수행하는 데에 필요한 사전지식의 양을 줄이며, 전체 데이터를 저장하지 않아도 알고리즘이 수행되는 데에 문제가 없도록 수정하였다. 수정된 사항은 다음과 같다.
1. 확률밀도함수(PDF) 대신 히스토그램(histogram)을 사용한다.
2. 모드가 하나만 검출될 경우에는 이전에 사용된 임계값(threshold)을 그대로 사용하도록 하였다. (Kim & McNames 방법에서는 SNR 비율을 사용하여 임계값(threshold)을 결정).
3. 앞서 설명한 Kim & McNames의 4)단계에서 최대값 대신 최소값 후보를 사용하고, 조건 a를 삭제, 조건 b를 간단하게 수정하였다. 새로 작성된 자동 결정방법의 알고리즘 수행 순서는 다음과 같다.
1) 초기화를 위한 충분한 데이터가 축적될 때까지 대기한다. 그 후, MSDW를 사용하여 히스토그램을 계산한다.
2) 하나의 모드만 있는 경우, 임계값은 이차적인 모드가 관찰될 때까지 변경되지 않는다.
3) 히스토그램에서 국소 최대값(local maxima) 및 국소 최소값(local minima)을 찾는다. 두 모드 사이의 모든 국소 최소값(local minima)은 임계값의 후보가 된다. 정상 모드 후의 i번째 최대값 및 최소값의 횡축은 M i 및 m i 로 각각 나타낸다.
4) 아래의 조건들 중 가장 작은 후보를 임계값으로 선택할 수 있다.
조건 a. F(Mi) <
Figure 112015025585870-pat00004
·F(M0), 여기에서
Figure 112015025585870-pat00005
는 새로우(shallow) 국소 최소값들을 제거하기 위해 사용자가 지정한 매개 변수 이다.
단계(230)에서, 상기 결정된 임계값을 이용하여 스파이크 영역을 실시간으로 검출하고, 업데이트할 수 있다.
단계(230)는 스파이크 영역이 상기 결정된 임계 값보다 큰지 판단하는 단계(231), 상기 임계 값보다 큰 경우, 상기 스파이크 영역을 검출하고, 상기 스파이크 영역을 업데이트하는 단계(232), 상기 임계 값보다 작은 경우, 다음 샘플링까지 대기하는 단계(216)를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 시스템의 구성을 나타내는 도면이다.
본 실시예에 따른 자동 임계값 조정 시스템(300)은 프로세서(310), 버스(320), 네트워크 인터페이스(330), 메모리(340) 및 데이터베이스(350)를 포함할 수 있다. 메모리(340)는 운영체제(341) 및 실시간 스파이크 검출 루틴(342)을 포함할 수 있다. 프로세서(310)는 히스토그램 생성부(311), 임계값 결정부(312), 검출 및 업데이트부(313)를 포함할 수 있다. 다른 실시예들에서 자동 임계값 조정 시스템(300)은 도 3의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 자동 임계값 조정 시스템(300)은 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.
메모리(340)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(340)에는 운영체제(341)와 실시간 스파이크 검출 루틴(342)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(340)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(330)를 통해 메모리(340)에 로딩될 수도 있다.
버스(320)는 자동 임계값 조정 시스템(300)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(320)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스(330)는 자동 임계값 조정 시스템(300)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(330)는 자동 임계값 조정 시스템(300)은 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
데이터베이스(350)는 실시간 스파이크 검출을 위해 필요한 자동 임계값 조정에 관한 모든 정보를 저장 및 유지하는 역할을 할 수 있다. 도 3에서는 자동 임계값 조정 시스템(300)의 내부에 데이터베이스(350)를 구축하여 포함하는 것으로 도시하고 있으나, 이에 한정되는 것은 아니며 시스템 구현 방식이나 환경 등에 따라 생략될 수 있고 혹은 전체 또는 일부의 데이터베이스가 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.
프로세서(310)는 기본적인 산술, 로직 및 자동 임계값 조정 시스템(300)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(340) 또는 네트워크 인터페이스(330)에 의해, 그리고 버스(320)를 통해 프로세서(310)로 제공될 수 있다. 프로세서(310)는 히스토그램 생성부(311), 임계값 결정부(312), 검출 및 업데이트부(313)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(340)와 같은 기록 장치에 저장될 수 있다.
히스토그램 생성부(311), 임계값 결정부(312), 검출 및 업데이트부(313)는 도 2의 단계들(210~230)을 수행하기 위해 구성될 수 있다.
자동 임계값 조정 시스템(300)은 히스토그램 생성부(311), 임계값 결정부(312), 검출 및 업데이트부(313)를 포함할 수 있다.
히스토그램 생성부(311)는 로(Raw) 데이터를 획득하여 상기 로(Raw) 데이터의 MSDW의 값을 유사도 및 비유사도 형태로 변환하여 실시간으로 재구성하고, 히스토그램을 만들 수 있다. 이때, 로(Raw) 데이터를 획득하여 전처리 과정을 수행하고, 상기 전처리 과정을 수행한 로(Raw) 데이터의 특징 값을 계산할 수 있다.
그리고, 상기 특징 값이 국소 최소값인지 판단할 수 있다. 상기 특징 값이 국소 최소값일 경우, 특징 값을 유사도 및 비유사도 형태로 변환하고, 상기 특징 값이 국소 최소값이 아닐 경우, 다음 샘플링까지 대기할 수 있다.
임계값 결정부(312)는 상기 히스토그램이 초기화되었는지 판단하고, 상기 히스토그램이 초기화된 경우, 상기 히스토그램을 이용하여 임계값을 실시간으로 결정할 수 있다.
그리고, 상기 히스토그램이 초기화되지 않은 경우, 상기 로(Raw) 데이터가 충분한지 판단할 수 있다. 상기 로(Raw) 데이터가 충분할 경우, 상기 히스토그램을 초기화하고, 상기 로(Raw) 데이터가 충분하지 않은 경우, 다음 샘플링까지 대기할 수 있다.
검출 및 업데이트부(313)는 스파이크 영역이 상기 결정된 임계 값보다 큰지 판단할 수 있다. 상기 임계 값보다 큰 경우, 상기 스파이크 영역을 검출하고, 상기 스파이크 영역을 업데이트하고, 상기 임계 값보다 작은 경우, 다음 샘플링까지 대기할 수 있다.
도 4는 본 발명의 일 실시예에 따른 히스토그램의 예시도이다.
예를 들어, 히스토그램이 도 4와 같이 나온 경우에는 3번 빈(Bin)(410)과 7번 빈(Bin)(420)을 중심으로 각각 2개의 모드(mode)가 형성된다. 조건을 만족하는 국소 최소값(local minimum)은 6번 빈(bin)(430) 이므로 6번 빈(bin)(430)의 구간 중 중간 값이 임계값(threshold)으로 설정된다.
도 5는 본 발명의 또 다른 일 실시예에 따른 히스토그램의 예시도이다.
히스토그램이 도 5와 같이 나온 경우에, 첫 번째 국소 최대값(local maximum) 이후 가장 처음 나온 국소 최소값(local minimum)은 2번 빈(bin)(510)이지만, 이것은 4)단계 조건 a에 만족하지 않으므로 기각되고, 그 후의 국소 최소값(local minimum) 6번 빈(bin)(5210)의 중간 값이 임계값(threshold)로 설정된다.
표 1은 눈깜빡임을 포함한 뇌파검출에 대한 실시예이다. 눈깜빡임 인공물의 검출 결과를 나타내었다. 데이터는 24명으로부터 각각 210초간 측정된 EEG 신호를 사용하였고, 기존의 방법과 비교하였다. 검출은 방법들 사이의 비교를 위해서 모의 실시간(simulated real-time) 환경에서 수행되었다. 여기에서 모의 실시간(simulated real-time)이라고 하는 것은 각각의 데이터가 지정된 샘플링 시간(sampling time)마다 한 샘플씩 각각의 시스템에 입력되는 환경을 의미한다.
표 1에서 눈깜빡임의 검출성능을 비교하였고, 여기에서 M1, M2, M3 은 각각 common threshold 방법, fixed portion 방법, 그리고 새롭게 제안된 방법(real-time KM)이다.
<표 1>
Figure 112015025585870-pat00006

제안하는 방법은 EEG 데이터 분석제품 제반에 이용될 수 있다. 뇌파신호에 유입된 다른 생체신호 (이하 인공물) 를 제거하는 것은 대부분의 EEG 분석에 필요한 전처리 과정이며, 특히 배터리, 비용 등의 문제로 뇌파를 수집하는 채널 수가 적은 모바일 장비의 경우 단일채널의 데이터로부터 인공물을 제거하는 알고리즘은 제품구현에 있어 필요조건이다.
특히 일반인을 대상으로 하는 뉴로피드백 등의 장치는 장치를 처음 사용하게 되는 사용자가 직접 임계값 등의 시스템 설정을 하는 것이 어렵기 때문에, 여기에서 제안하는 임계값을 자동으로 설정하는 방법을 통해 사용자 편의성을 증대시킬 수 있다.
간질패턴은 숙련된 의사에 의해 육안으로 검출가능하지만 데이터의 길이가 긴 경우 이를 육안으로 모두 체크하는 것은 여간 어려운 일이 아니다. 여기에 본 발명의 방법을 사용하여 자동화함으로 의사의 데이터 검사시간을 대폭 단축시킬 수 있다.
또한, ECG 데이터 분석제품 제반에 이용될 수 있다. ECG의 RR 인터벌을 자동 계산함으로 대용량의 ECG 데이터 분석을 보다 간편하게 할 수 있다.
그리고, 눈깜빡임 신호를 이용하는 안구 키보드/ 마우스에 이용될 수 있다. 카메라 대신 눈 주위에 붙인 전극을 사용하여 눈깜빡임 신호를 인식하고, 이를 이용하여 키보드/ 마우스를 구현하는데, 눈깜빡임을 검출하여 사용자가 눈만으로 의사표현을 할 수 있도록 한다.
향후 적용이 예상되는 분야로는 EEG, ECG, ECoG 등의 분석이 필요한 의료 제반분야 및 사지마비 환자를 대상으로 하는 눈깜빡임 신호를 이용한 안구 키보드/ 마우스 개발에도 적용 가능할 것으로 보인다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 실시간 스파이크 검출을 위한 임계값 조정 방법에 있어서,
    로(Raw) 데이터를 획득하여 상기 로(Raw) 데이터의 MSDW의 값을 유사도 및 비유사도 형태로 변환하여 실시간으로 재구성하고, 히스토그램을 만드는 단계;
    상기 히스토그램을 이용하여 임계값을 실시간으로 결정하는 단계; 및
    상기 결정된 임계값을 이용하여 스파이크 영역을 실시간으로 검출하고, 업데이트 하는 단계
    를 포함하는 실시간 스파이크 검출을 위한 임계값 조정 방법.
  2. 제1항에 있어서,
    로(Raw) 데이터를 획득하여 상기 로(Raw) 데이터의 MSDW의 값을 유사도 및 비유사도 형태로 변환하여 실시간으로 재구성하고, 히스토그램을 만드는 단계는,
    로(Raw) 데이터를 획득하는 단계;
    상기 획득한 로(Raw) 데이터의 전처리 과정을 수행하는 단계;
    상기 전처리 과정을 수행한 로(Raw) 데이터의 특징 값을 계산하는 단계;
    상기 특징 값이 국소 최소값인지 판단하는 단계; 및
    상기 특징 값이 국소 최소값일 경우, 특징 값을 유사도 및 비유사도 형태로 변환하는 단계
    를 포함하는 실시간 스파이크 검출을 위한 임계값 조정 방법.
  3. 제2항에 있어서,
    상기 특징 값이 국소 최소값이 아닐 경우, 다음 샘플링까지 대기하는 단계
    를 더 포함하는 실시간 스파이크 검출을 위한 임계값 조정 방법.
  4. 제1항에 있어서,
    상기 히스토그램을 이용하여 임계값을 실시간으로 결정하는 단계는,
    상기 히스토그램이 초기화되었는지 판단하는 단계;
    상기 히스토그램이 초기화된 경우, 상기 히스토그램을 업데이트 하는 단계; 및
    상기 업데이트된 히스토그램을 이용하여 임계값을 실시간으로 결정하는 단계
    를 포함하는 실시간 스파이크 검출을 위한 임계값 조정 방법.
  5. 제4항에 있어서,
    상기 히스토그램이 초기화되지 않은 경우, 상기 로(Raw) 데이터가 충분한지 판단하는 단계
    를 더 포함하는 실시간 스파이크 검출을 위한 임계값 조정 방법.
  6. 제5항에 있어서,
    상기 로(Raw) 데이터가 충분할 경우, 상기 히스토그램을 초기화하는 단계; 및
    상기 로(Raw) 데이터가 충분하지 않은 경우, 다음 샘플링까지 대기하는 단계
    를 더 포함하는 실시간 스파이크 검출을 위한 임계값 조정 방법.
  7. 제1항에 있어서,
    상기 결정된 임계값을 이용하여 스파이크 영역을 실시간으로 검출하고, 업데이트 하는 단계는,
    스파이크 영역이 상기 결정된 임계 값보다 큰지 판단하는 단계; 및
    상기 임계 값보다 큰 경우, 상기 스파이크 영역을 검출하고, 상기 스파이크 영역을 업데이트하는 단계
    를 포함하는 실시간 스파이크 검출을 위한 임계값 조정 방법.
  8. 제7항에 있어서,
    상기 임계 값보다 작은 경우, 다음 샘플링까지 대기하는 단계
    를 더 포함하는 실시간 스파이크 검출을 위한 임계값 조정 방법.
  9. 실시간 스파이크 검출을 위한 임계값 조정 시스템에 있어서,
    로(Raw) 데이터를 획득하여 상기 로(Raw) 데이터의 MSDW의 값을 유사도 및 비유사도 형태로 변환하여 실시간으로 재구성하고, 히스토그램을 만드는 히스토그램 생성부;
    상기 히스토그램을 이용하여 임계값을 실시간으로 결정하는 임계값 결정부; 및
    상기 결정된 임계값을 이용하여 스파이크 영역을 실시간으로 검출하고, 업데이트 하는 검출 및 업데이트부
    를 포함하는 실시간 스파이크 검출을 위한 임계값 조정 시스템.
  10. 제9항에 있어서,
    상기 히스토그램 생성부는,
    로(Raw) 데이터를 획득하여 전처리 과정을 수행하고, 상기 전처리 과정을 수행한 로(Raw) 데이터의 특징 값을 계산하고, 상기 특징 값이 국소 최소값인지 판단하는 것을 특징으로 하는 실시간 스파이크 검출을 위한 임계값 조정 시스템.
  11. 제10항에 있어서,
    상기 특징 값이 국소 최소값일 경우, 특징 값을 유사도 및 비유사도 형태로 변환하고, 상기 특징 값이 국소 최소값이 아닐 경우, 다음 샘플링까지 대기하는 것을 특징으로 하는 실시간 스파이크 검출을 위한 임계값 조정 시스템.
  12. 제9항에 있어서,
    상기 임계값 결정부는,
    상기 히스토그램이 초기화되었는지 판단하고, 상기 히스토그램이 초기화된 경우, 상기 히스토그램을 업데이트 하고, 상기 업데이트된 히스토그램을 이용하여 임계값을 실시간으로 결정하는 것을 특징으로 하는 실시간 스파이크 검출을 위한 임계값 조정 시스템.
  13. 제12항에 있어서,
    상기 임계값 결정부는,
    상기 히스토그램이 초기화되지 않은 경우, 상기 로(Raw) 데이터가 충분한지 판단하고,
    상기 로(Raw) 데이터가 충분할 경우, 상기 히스토그램을 초기화하고, 상기 로(Raw) 데이터가 충분하지 않은 경우, 다음 샘플링까지 대기하는 것을 특징으로 하는 실시간 스파이크 검출을 위한 임계값 조정 시스템.
  14. 제9항에 있어서,
    상기 검출 및 업데이트부는,
    스파이크 영역이 상기 결정된 임계 값보다 큰지 판단하고,
    상기 임계 값보다 큰 경우, 상기 스파이크 영역을 검출하고, 상기 스파이크 영역을 업데이트하고, 상기 임계 값보다 작은 경우, 다음 샘플링까지 대기하는 것을 특징으로 하는 실시간 스파이크 검출을 위한 임계값 조정 시스템.
KR1020150036176A 2015-03-16 2015-03-16 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법 및 장치 KR101615480B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150036176A KR101615480B1 (ko) 2015-03-16 2015-03-16 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150036176A KR101615480B1 (ko) 2015-03-16 2015-03-16 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101615480B1 true KR101615480B1 (ko) 2016-04-25

Family

ID=55918948

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150036176A KR101615480B1 (ko) 2015-03-16 2015-03-16 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101615480B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102511137B1 (ko) 2022-06-20 2023-03-17 대한민국 크로마토그램 이미지의 유사도 분석방법 및 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
논문 1
논문 2
논문 3

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102511137B1 (ko) 2022-06-20 2023-03-17 대한민국 크로마토그램 이미지의 유사도 분석방법 및 시스템

Similar Documents

Publication Publication Date Title
KR101812406B1 (ko) 피부질환 진단 방법 및 피부질환 진단 시스템
CN110353673B (zh) 一种基于标准互信息的脑电通道选择方法
Wang et al. Living-skin classification via remote-PPG
US20130096453A1 (en) Brain-computer interface devices and methods for precise control
KR101842750B1 (ko) 뇌파 훈련을 위한 실시간 시뮬레이터 및 이를 이용한 인터페이스 장치
Satuvuori et al. Which spike train distance is most suitable for distinguishing rate and temporal coding?
KR20120052610A (ko) 신경망 학습을 통한 동작 인식 방법 및 장치
Alvarado-González et al. P300 detection based on EEG shape features
Arnau-González et al. ES1D: A deep network for EEG-based subject identification
Zhu et al. An efficient visibility graph similarity algorithm and its application on sleep stages classification
CN110503636B (zh) 参数调整方法、病灶预测方法、参数调整装置及电子设备
Qian et al. Decision-level fusion of EEG and pupil features for single-trial visual detection analysis
CN112507916B (zh) 一种基于面部神态的人脸检测方法和系统
KR101615480B1 (ko) 시계열 데이터에서의 실시간 스파이크 검출을 위한 비지도 학습 형식의 자동 임계값 조정 방법 및 장치
KR101345216B1 (ko) 다수 피험자의 뇌전도 분석 방법 및 장치
KR20160016357A (ko) 기능적 자기 공명 영상의 패턴 분류 장치 및 방법
KR101413853B1 (ko) 적외선 영상을 이용한 생체 신호 측정 방법 및 장치
JP2020203032A (ja) 脳症判定プログラム、脳症判定方法および情報処理装置
CN114861738A (zh) 一种基于脑电溯源和偶极子选择的运动想象分类方法
CN111012337A (zh) 基于脑网络和正则化判别分析的脑电分析方法
WO2021254788A1 (en) Method for selecting features from electroencephalogram signals
Fouad et al. Attempts towards the first brain-computer interface system in INAYA Medical College
CN117653147B (zh) 一种基于脑电信号特征的分类方法
Bourbakis et al. A new multi-resolution approach to EEG brain modeling using local-global graphs and stochastic petri-nets
Thang et al. Investigation of regularization theory for four-class classification in brain-computer interface

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee