KR102271306B1 - 자가학습이 가능한 svm 기반 가스 분류기 - Google Patents

Abstract

자가학습이 가능한 SVM 기반 가스 분류기가 제공되며, 학습에 사용되는 두 개의 라그랑주 승수 중 하나인 α_i2를 찾기 위한 인덱스 선택 유닛(Index Selecting Unit), α_i2를 제외한 나머지 하나의 라그랑주 승수인 α_i1를 찾기 위한 비교 유닛(Comparing Unit), 두 개의 라그랑주 승수를 업데이트하기 위한 라그랑주 승수 업데이트 유닛(Lagrange Multiplier Updating Unit), 예측 오류 및 학습 파라미터를 업데이트하기 위한 학습 파라미터 업데이트 유닛(Training Parameter Updating Unit)을 포함하는 학습부, 샘플의 클래스를 예측하기 위해 이용되는 결정 유닛(Decision Unit)을 포함하는 예측부 및 학습과 예측에 이용되는 커널 연산을 수행하는 1-Norm 유닛 및 커널 유닛(Kernel Unit)을 포함하는 공유부를 포함한다.

Description

자가학습이 가능한 SVM 기반 가스 분류기{SUPPORT VECTOR MACHINE BASED GAS CLASSIFIER CAPABLE OF SELF LEARNING}

본 발명은 자가학습이 가능한 SVM 기반 가스 분류기에 관한 것으로, 학습 및 분류 기능의 공유구조로 하드웨어 면적을 감소시키면서도 실시간 자가학습 및 분류기능을 모두 지원할 수 있는 장치를 제공한다.

실내외 가스 유출은 사람의 건강에 심각한 문제를 일으킨다. 연소성과 발암성의 특성을 갖는 무색무취의 유독가스에 일정 농도 이상으로 노출될 경우, 질병을 유발은 물론 죽음에 이를 수 있어서, 산업현장, 인구밀집지역, 가정, 학교 등 다양한 환경에서 인명피해를 막기 위해 유독가스를 감시하는 시스템은 필수적이다. 가스 감시 시스템은 특정 가스를 정확히 검출하기 위해 높은 분별력, 온칩 집적화 기능, 민감한 감도, 그리고 다양한 종류의 가스를 검출할 수 있는 반도체 기반의 마이크로 가스 센서를 사용한다. 이때, 가스 센서는 특정 가스에 대한 과다노출, 온도 및 습도의 변화 등으로 노화가 진행되기 때문에, 동일 환경에서 동일 가스에 대해 다른 가스로 분류할 수 있는 문제가 발생할 수 있다. 이에, 센서의 상태 및 환경을 파악하여 실시간으로 자가학습할 수 있는 기계학습 기반의 시스템이 요구된다.

이때, FT-IR 기반 분광 스펙트럼에서 SVM 분류기를 이용하여 가스 탐지를 하는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2019-0054744호(2019년05월22일 공개)에는, 표적가스 스펙트럼과 비표적가스 스펙트럼을 이용하고, 초평면(Hyperplane)을 훈련시키는 방식인 SVM(Support Vector Machine) 분류기를 기반으로, 원거리 화학 가스를 탐지하기 위하여, 푸리에 변환 적외선(Fourier Transporm Infrared Ray) 분광 기법 중 SVM 훈련은, 훈련 스펙트럼들을 획득하고, 훈련 스펙트럼에 전처리 과정을 수행하며, 훈련 스펙트럼들 각각이 이루는 특징 벡터를 분류하기 위해 초평면을 연산하고, 초평면을 이용하여 가스의 유무를 판별하기 위하여 판별함수를 연산하는 구성이 개시되어 있다.

다만, 상술한 구성을 이용하는 경우 스펙트럼을 판별하기 위한 장치가 요구되므로 하드웨어의 면적과 비용이 증가하게 된다. 또, SVM은 기본적으로 계산량이 많고 복잡한 QP(Quadratic Programming) 문제를 풀어야 하므로, 구현을 위하여 효율적인 학습 알고리즘을 사용하는 것이 중요하지만, SVM 중 Chunking 알고리즘은 값이 0인 라그랑주 승수를 삭제함으로써 QP 문제의 크기를 줄인 후 학습을 수행한다고 할지라도, 학습 데이터가 많을 경우 여전히 계산량이 많아 지연이 발생한다. 그리고, 학습 데이터를 처리하기 위해 디컴포지션(Decomposition) 방법을 사용하여 워킹셋(Working Set) 단위로 학습을 진행한다고 할지라도, 학습 데이터가 많아질수록 선형적으로 워킹셋도 증가하기 때문에 학습에 필요한 메모리와 계산 시간도 함께 증가한다.

본 발명의 일 실시예는, MSMO(Modified Sequential Minimal Optimization) 알고리즘을 이용하여 자가학습이 가능한 SVM 기반의 가스 분류기를 제공하고, 학습 및 분류 알고리즘의 공유구조를 사용함으로써 하드웨어 면적을 감소시키면서도 자가학습이 가능한 최적의 SVM 하드웨어 구조를 제공할 수 있으며, 가스 분류의 성능은 더욱 높일 수 있는, 자가학습이 가능한 SVM 기반 가스 분류기를 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 학습에 사용되는 두 개의 라그랑주 승수 중 하나인 α_i2를 찾기 위한 인덱스 선택 유닛(Index Selecting Unit), α_i2를 제외한 나머지 하나의 라그랑주 승수인 α_i1를 찾기 위한 비교 유닛(Comparing Unit), 두 개의 라그랑주 승수를 업데이트하기 위한 라그랑주 승수 업데이트 유닛(Lagrange Multiplier Updating Unit), 예측 오류 및 학습 파라미터를 업데이트하기 위한 학습 파라미터 업데이트 유닛(Training Parameter Updating Unit)을 포함하는 학습부, 샘플의 클래스를 예측하기 위해 이용되는 결정 유닛(Decision Unit)을 포함하는 예측부 및 학습과 예측에 이용되는 커널 연산을 수행하는 1-Norm 유닛 및 커널 유닛(Kernel Unit)을 포함하는 공유부를 포함한다.

본 발명의 다른 실시예는, SVM(Support Vector Machine)을 이용하여 마진(Margin)을 최대로 하는 결정경계를 찾는 단계, 결정경계에서 최단거리에 존재하는 벡터인 서포트 벡터(Support Vector)를 찾는 학습 단계 및 서포트 벡터에 기반하여 입력된 가스의 종류를 분류하는 분류 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, MSMO(Modified Sequential Minimal Optimization) 알고리즘을 이용하여 자가학습이 가능한 SVM 기반의 가스 분류기를 제공하고, 학습 및 분류 알고리즘의 공유구조를 사용함으로써 하드웨어 면적을 감소시키면서도 자가학습이 가능한 최적의 SVM 하드웨어 구조를 제공할 수 있으며, 가스 분류의 성능은 더욱 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 자가학습이 가능한 SVM 기반 가스 분류기를 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 SVM의 기본 구조 및 SVM의 성능 평가 그래프를 도시한 도면이다.
도 3은 도 1의 시스템에 포함된 1-Norm 유닛을 설명하기 위한 구조도이다.
도 4는 도 1의 시스템에 포함된 인덱스 선택 유닛을 설명하기 위한 구조도이다.
도 5는 도 1의 시스템에 포함된 비교 유닛을 설명하기 위한 구조도이다.
도 6은 도 1의 시스템에 포함된 라그랑주 승수 업데이트 유닛을 설명하기 위한 구조도이다.
도 7은 도 1의 시스템에 포함된 학습 파라미터 업데이트 유닛을 설명하기 위한 구조도이다.
도 8은 도 1의 시스템이 FPGA 기반으로 구현된 검증 플랫폼을 설명하기 위한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 자가학습이 가능한 SVM 기반 가스 분류기를 설명하기 위한 도면이다. 도 1을 참조하면, 자가학습이 가능한 SVM 기반 가스 분류기(1)는, 학습부(Training Part, 100), 예측부(Classification Part, 200), 공유부(Sharing Block, 300)를 포함할 수 있다. 학습부(100)는, 인덱스 선택 유닛(Index Selecting Unit, 110), 비교 유닛(Comparing Unit, 120), 라그랑주 승수 업데이트 유닛(LM(Lagrange Multiplier) Updating Unit, 130), 학습 파라미터 업데이트 유닛(TP(Training Parameter) Updating Unit, 140)를 포함할 수 있다. 예측부(200)는, 결정 유닛(Decision Unit)을 포함할 수 있다. 공유부(300)는, 1-Norm 유닛(310) 및 커널 유닛(Kernel Unit, 320)을 포함할 수 있다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

인덱스 선택 유닛(110)은, 학습에 사용되는 두 개의 라그랑주 승수 중 하나인 α_i2를 찾기 위하여 구비되고, 비교 유닛(120)은, α_i2를 제외한 나머지 하나의 라그랑주 승수인 α_i1를 찾기 위하여 구비되며, 라그랑주 승수 업데이트 유닛(130)은, 두 개의 라그랑주 승수를 업데이트하기 위하여 구비되고, 학습 파라미터 업데이트 유닛(140)은, 예측 오류 및 학습 파라미터를 업데이트하기 위하여 구비된다. 또, 예측부(200)는, 샘플의 클래스를 예측하기 위해 이용되는 결정 유닛을 포함하며, 공유부(300)의 1-Norm 유닛(310) 및 커널 유닛(320)은, 학습과 예측에 이용되는 커널 연산을 수행하기 위하여 구비될 수 있다. 여기서, 커널 유닛(320)의 출력단과 라그랑주 승수 업데이트 유닛(130)의 입력단이 연결될 수 있다.

또, 특징 메모리(Feature Memory, 410)는, 학습 및 분류에 사용되는 샘플을 저장할 수 있고, 클래스 메모리(Class Memory, 420)는 샘플의 클래스를 저장하도록 구비되며, 라그랑주 승수 메모리(LM memory, 430)는, 라그랑주 승수를 저장하도록 구비되고, 오류 메모리(Error Memory, 440)는 예측 오류를 저장할 수 있다. 이때, 특징 메모리(420)의 출력단은 공유부(300)의 1-Norm 유닛(310)의 입력단과 연결되고, 클래스 메모리(420)의 출력단은 예측부(200)의 결정 유닛의 입력단과 연결되고, 라그랑주 승수 메모리(430)의 출력단도 예측부(200)의 결정 유닛의 입력단과 연결되고, 오류 메모리(440)의 출력단은 학습부(100)의 인덱스 선택 유닛(110) 및 비교 유닛(120)의 입력단과 각각 연결되고, 오류 메모리(440)와 학습 파라미터 업데이트 유닛(140)이 연결된다. 또, 라그랑주 승수 메모리(430)는 라그랑주 승수 업데이트 유닛(130)과 연결되고, 클래스 메모리(420)의 출력단과 라그랑주 승수 업데이트 유닛(130)이 연결될 수 있다.

도 2는 도 1의 시스템에 포함된 SVM의 기본 구조 및 SVM의 성능 평가 그래프를 도시한 도면이다. 도 2에서는 본 발명의 일 실시예에서 적용하는 SVM 및 MSMO에 대하여 설명하기로 한다. 이때, 도 2에서 설명한 개념은 이하 도 3 내지 도 7을 설명할 때 중복하여 설명하지 않는다.

도 2의 (a)를 참조하면, SVM은 기계학습 알고리즘 중 하나로, 선형 데이터뿐만 아니라, 커널 연산을 활용하여 비선형 데이터의 분류에도 사용할 수 있다. 대부분의 기계학습 알고리즘은 학습오류를 최소화하는 경험적 위험 최소화 원칙을 사용하여 학습을 진행하는 반면에, SVM은 전체 집단을 하위 집단으로 세분화한 뒤, 이 집단에 대한 경험적 위험도를 최소화하는 구조적 위험 최소화 원칙을 사용하여 학습을 진행한다. 이에 따라, SVM은 간단한 구조를 가짐에도 불구하고 높은 예측 성능과 우수한 일반화 성능을 가진다.

SVM은 학습을 통해 도 2와 같이 마진(Margin)을 최대로 하는 결정 경계(f(x))를 찾은 후 분류 작업을 수행한다. 마진은 결정 경계로부터 가장 가까운 벡터까지의 거리의 두 배를 뜻하고, b는 바이어스(Bias)를 의미하는 상수이다. 이때, 결정 경계에서 가장 가까운 거리에 존재하는 벡터를 서포트 벡터(Support Vector)라 한다. 즉, SVM의 학습은 가장 좋은 결정 경계를 가지도록 하는 서포트 벡터를 찾는 과정이다.

이때, SVM은 수학식 1을 풀어서 결정 경계를 찾게 된다. 이때, 모든 i에 대하여 O≤α≤C를 만족해야 하고, 이하의 수학식 2를 만족해야 한다.

수학식 1에서 α는 조건부 최적화 문제를 풀기 위하여 도입된 라그랑주 승수이다. W(α)는 라그랑주 승수에 대한 함수를 의미하고, y_i는 i 번째 샘플의 클래스를 의미한다. i 번째 클래스가 1 이면 y_i=1, i 번째 샘플의 클래스가 2 이면 y_i=-1이다. X_i는 i 번째 샘플을 의미하고, K(X_i,X_j)는 i 번째 샘플과 j 번째 샘플의 커널 함수를 통한 연산값을 의미한다.

커널 함수는 선형 분리가 가능하지 않은 샘플을 더 높은 차원의 새로운 공간으로 매핑하여 비선형 분류를 가능하게 한다. 커널 함수에는 다양한 함수가 존재하는데, 본 발명의 일 실시예에서는 이하 수학식 3과 같은 하드웨어 친화적 커널을 이용할 수 있다.

이때, ||X_i-X_j||₁은 i 번째 샘플과 j 번째 샘플 간의 1-norm을 계산한 결과이고, γ는 사용자 설정 상수이다. 여기서, 1-Norm 유닛(310)의 1-Norm은 첫 글자를 대문자로 사용하여 계산에 사용되는 1-norm과 구분하기로 한다.

이때, MSMO(Modified Sequential Minimal Optimization) 알고리즘은, 최적화 과정에서 학습 데이터의 서브셋(Subset)의 경계(Boundaries)를 사용하여 샘플들의 최적성 조건 만족 여부를 확인하는 알고리즘인데, 이를 통해 SMO(Sequential Minimal Optimization)의 비효율성을 해결하고 더 적은 반복과정(Iteration)으로 효율적인 학습을 수행할 수 있다. 이때, SMO는 디컴포지션(Decomposition) 방법을 사용하지만, 청크 사이즈(Chunk Size)를 2로 고정하기 때문에, 많은 학습 데이터를 처리할 수 있지만, 최적성 조건 만족 여부를 확인하는 과정에서 비효율성을 가지고, 학습 과정에서 불필요한 반복이 발생하고 하드웨어 설계를 위하여 복잡한 제어기가 요구되기 때문에, 본 발명의 일 실시예에서는 SVM 기반 MSMO 알고리즘을 이용한다.

이때, MSMO 알고리즘은 수학식 1의 W(α)를 최대화하는 라그랑주 승수를 찾는다. 수학식 1과 같은 조건부 최적화 문제는 KKT(Karush-Kuhn-Tucker) 조건을 사용하여 풀 수 있다. 이때, KKT 조건의 만족 여부를 확인하기 위한 식을 간단히 나타내기 위해, αi와 yi의 값의 범위에 따라, I₀={i:0<α_i<C}, I1={i:α_i = 0, y_i = 1}, I2={i:α_i = C, y_i = - 1}, I₃={i:α_i = C, y_i = 1}, I₄={i:α_i = 0, y_i = - 1}와 같이 집합을 정의한다. 이때, C는 사용자 설정 상수이다.

MSMO 알고리즘은 세 단계로 학습을 수행하게 되는데, 첫 번째 단계에서는 KKT 조건을 만족하지 않는, 즉 최적성 조건을 위반하는 두 개의 라그랑주 승수를 선택해야 한다. 첫 번째 라그랑주 승수는 이하의 수학식 4를 만족해야 하고, 두 번째 라그랑주 승수는 첫 번째 선택된 라그랑주 승수에 의해 정해지는 파라미터 값에 따른 조건식인 이하의 수학식 5를 만족해야 한다.

이때, F_i는 i 번째 샘플의 예측값과 실제값 간의 차이인 예측 오류를 의미하고, b_up은, I₀∩I₁∩I₂ 집합에 속하는 모든 샘플의 예측 오류 중 가장 작은 값을 의미하고, i_up은 b_up 값을 가지는 샘플의 인덱스를 의미한다. b_low는, I₀∩I₃∩I₄ 집합에 속하는 모든 샘플의 예측 오류 중 가장 큰 값을 의미하고, i_low는, b_low 값을 가지는 샘플의 인덱스를 의미한다. τ는, 사용자 설정 상수이다. i₂는 수학식 4를 통하여 선택된 라그랑주 승수의 인덱스이고, i₁은 수학식 5를 통하여 선택된 라그랑주 승수의 인덱스이다.

MSMO 알고리즘의 두 번째 단계를 설명한다. 이때에는, 선택된 두 개의 라그랑주 승수를 업데이트한다. 먼저, 하기의 수학식 6을 통하여 i₂, 즉 2 번째 라그랑주 승수를 업데이트한다.

여기서, η는

의 계산 결과이고, 업데이트된 α_i2(α^new _i2)는 이하 수학식 7에 의해 잘라내(Clipped)지며, 그 결과는 α^new,clipped _i2로 표시한다.

이때, L과 H는 라그랑주 승수 업데이트에 이용되는 임계값으로, 이하 수학식 8 및 수학식 9를 통하여 산출될 수 있다.

이때, s는 s=y_i1y_i2를 의미한다. 최종적으로 업데이트된 α_i2를 사용하여 이하 수학식 10을 통하여 라그랑주 승수 α_i1을 업데이트 한다. 이때, old는 업데이트 전, new는 업데이트 후를 의미한다.

마지막 세 번째 단계에서는, 업데이트 된 라그랑주 승수를 기초로 하여, 예측 오류(F)와 b_low, b_up, i_low, i_up을 업데이트 한다. 예측 오류는 이하 수학식 11을 통해 계산한다.

△α_i1와 △α_i2는 각각 업데이트 전의 라그랑주 승수(α^old _i1, α^old _i2)와 업데이트 후의 라그랑주 승수(α^new _i1, α^new _i2) 간의 각각의 차이(△)를 의미한다. MSMO 알고리즘은 학습에 사용된 모든 샘플이 최적성 조건을 만족하는 경우, 학습을 종료하게 된다.

도 2의 (b)는 UCI 가스 데이터 셋(Dataset) 기반의 성능 평가 결과이다. 이때, 본 발명의 일 실시예에 따른 SVM 성능 평가를 위하여, UCI 가스 데이터 셋을 이용하는데, UCI 가스 데이터 셋은 6 종류의 가스로 구성된다. 또, 16 개의 가스 센서 어레이(Gas Sensor Array)에서 얻은 36 개월 간 총 13,910 개의 샘플이다. 샘플은, 10 개의 배치(Batch)로 나누어져 있고, 각 배치는 시간순으로 6 종류의 가스가 균일한 분포로 구성된다. 가스의 종류는, 암모니아, 아세트알데히드, 아세톤, 에틸렌, 에탄올, 톨루엔이며, 각각의 가스는 다양한 농도로 수집된다. 도 2의 (b)는 UCI 가스 데이터셋을 이용하여 본 발명의 일 실시예에 따른 SVM 성능 평가를 수행한 결과이다. 성능 평가를 위하여, 각 배치별로 3-폴드(Fold) 교차검증 방법을 이용한다. 평가 결과, 평균 99.38%의 분류 정확도를 보이는 것을 확인하였고, 분류 정확도는 평가를 위해 사용된 총 샘플 수에서 총 예측 오차를 뺀 후, 그 값을 총 샘플 수로 나눈 값을 의미한다.

도 3은 도 1의 시스템에 포함된 1-Norm 유닛을 설명하기 위한 구조도이다. 이때, 도 3을 참조하면, 1-Norm 유닛(310)은, 상술한 커널 함수의 커널 연산을 위하여 필요한 값인 1-norm을 계산하게 된다. x^k _i는 i 번째 샘플의 k 번째 차원의 벡터를 의미한다. 따라서 1-Norm 유닛(310)은, i 번째 샘플과 j 번째 샘플간의 1-norm을 계산할 때, 각 차원에 해당하는 벡터 간의 SAD(Sum of Absolute Differences) 연산을 병렬적으로 수행하게 된다. 이후 1-Norm 유닛(310)에서 출력된 1-norm 값은 도 1과 같이 공유부(300)의 커널 유닛(320)으로 입력되고, 최종 커널 연산값을 출력할 수 있다. 또, 1-Norm 유닛(310)은, 커널 연산에 필요한 1-norm 계산을 수행하여 1-norm 값을 출력하며, 이때 1-norm 값은 커널 유닛(320)의 입력으로 사용된다. 이때, 1-norm은, 두 벡터 사이의 거리의 절대값의 합을 의미한다.

도 4는 도 1의 시스템에 포함된 인덱스 선택 유닛을 설명하기 위한 구조도이다. 도 4a를 참조하면, 인덱스 선택 유닛(110)은, 상술한 바와 같이 에러 메모리(400)와 연결되는데, numChanged를 통해 라그랑주 승수 업데이트 횟수를 확인하고, examineAll을 통해 모든 샘플에 대한 최적성 조건 확인 여부를 검사한다. 인덱스 선택 유닛(110)은, 최적성 조건을 위반하는 두 개의 샘플 중, 하나의 샘플의 인덱스 i2를 찾는데 사용된다. 입력은 b_low와 b_up이며 이를 이용하여 최적성 조건 만족 여부를 확인한다. 이때, 출력은 i2이다. 여기서, b_low는 예측 오류 중 가장 큰 값인 최댓값이고, b_up은 예측 오류 중 가장 작은 값인 최솟값이다.

모든 샘플이 최적성 조건을 만족하면 인덱스 선택 유닛(110)의 FSM(Finite State Machine)에서 종료 신호를 출력하여 학습을 완료한다. 이때, numChanged는, 학습을 위하여 선택된 최적성 조건 위반쌍인 두 개의 라그랑주 승수가 업데이트 된 횟수를 의미한다. 즉, numChanged는 선택된 i1, i2 번째 라그랑주 승수가 업데이트 될 때마다 1씩 증가한다. 또, examineAll은, 학습을 위하여 최적성 조건 위반쌍을 찾는 과정에서, 모든 샘플에 대하여 최적성 조건 만족 여부를 확인한 경우, 1로 출력한다. 즉, 더 이상 최적성 조건 만족 여부를 찾을 샘플이 없을 경우, 1이 된다.

도 4b를 참조하면, FSM은, SVM의 인덱스 선택 유닛(110)에서 사용하는 Finite State Machine이다. S0은, 초기 상태로, 학습 시작 신호가 들어오기 전까지 대기하고, S1은, 학습 시작 신호가 입력되면, S0에서 S1으로 상태가 변하고, 최적성 조건 위반쌍 중 하나의 샘플의 인덱스 i2를 찾는다. 또, S2에서는, S1에서 i2를 찾으면, i2를 출력하면서 S1에서 S2 상태로 변하게 된다. 이후 S2에서는 최적성 조건 위반쌍 중 나머지 i1를 찾게 되고, 이후 선택된 두 개의 라그랑주 승수의 업데이트 및 학습 파라미터 업데이트를 수행할 수 있다. 모든 업데이트가 완료되거나, 중간에 인터럽트(Interrupt) 조건을 만족하게 되면, S2에서 S1 상태로 변하게 된다.

도 5는 도 1의 시스템에 포함된 비교 유닛을 설명하기 위한 구조도이다. 도 5를 참조하면, 도 5와 같이 설계된 비교 유닛(120)은, α_i1을 선택하는데 사용된다. 만약 수학식 5를 만족하지 않는 경우, 인덱스 선택 유닛(110)은 다시 새로운 α_i2를 찾게 된다. 이때, 비교 유닛(120)은, 최적성 조건을 위반하는 i2 번째 샘플에 대응하는 각각의 파라미터인 F_i2를 입력 받아, 나머지 위반 샘플의 인덱스인 i1를 선택한다. 여기서, F_i2는 i2 번째 샘플의 예측 오류이다.

도 6은 도 1의 시스템에 포함된 라그랑주 승수 업데이트 유닛을 설명하기 위한 구조도이다. 도 6을 참조하면, 인터럽트(Interrupt) 신호인 CS_LM은, i) 학습 과정에서 선택된 두 개의 라그랑주 승수의 인덱스 i1과 i2가 같을 경우, ii) L과 H의 값이 같을 경우, iii) 업데이트된 α_i2 ^new,clipped(업데이트되고 잘려진 α_i2) 값과, 업데이트 전의 α_i2 ^old값의 차이가 임계값 τ 이하인 경우, 총 3 가지 중 하나라도 만족하는 경우에 1이 되고, 인덱스 선택 유닛(110)으로 복귀하여 MSMO 알고리즘의 첫 번째 단계를 수행하게 된다. LUT(LookUp Table)는 α_i2를 업데이트할 때 사용하는 1/η 값을 룩업 테이블(Look-up Table)로 구현한 것이다.

여기서, 라그랑주 승수 업데이트 유닛(130)은, 최적성 조건 만족 여부를 확인하여 선택된 두 인덱스 i1와 i2 각각에 대응하는 두 개의 라그랑주 승수를 업데이트하는데 사용될 수 있다. 입력은, 라그랑주 업데이트를 위한 커널 연산 값 인 K(i1, i2), 최적성 조건 위반쌍 i1, i2 번째 샘플들의 예측 오류값인 F_i1, F_i2, i1 및 i2번째 샘플들에 대응하는 참값인 Y_i1,Y_i2, 업데이트 전의 라그랑주 승수 값이다. 라그랑주 승수의 업데이트가 완료되면, 업데이트된 두 라그랑주 승수 값, 업데이트 전과 후의 라그랑주 승수 값의 차이값이 출력된다.

도 7은 도 1의 시스템에 포함된 학습 파라미터 업데이트 유닛을 설명하기 위한 구조도이다. 도 7을 참조하면, 학습 파라미터 업데이트 유닛(140)의 구조도를 도시하는데, 비교기(Comparator)를 이용하여 모든 라그랑주 승수의 값을 확인하고, 라그랑주 승수 값이 0과 C 사이의 값을 가지는 경우에만, 이에 해당하는 예측 오류를 업데이트하게 된다. 학습 파라미터 업데이트 유닛(140)은, 라그랑주 승수 업데이트에 사용되는 학습 파라미터, 즉 F_i, b_low, b_up, i_low, i_up을 업데이트 한다. 입력은, 업데이트 된 라그랑주 승수와 기존의 라그랑주 승수들, 업데이트 전과 후의 라그랑주 승수값의 차이값, 예측 오류 Fi, 최적성 조건 위반쌍의 인덱스인 (i1, i2), i1, i2 번째 샘플들에 대응하는 참값인 Y_i1,Y_i2, 커널 연산값이다. 학습 파라미터 업데이트 유닛(140)의 출력은, 조건에 의해 업데이트된 예측 오류 F_i, 그리고 예측 오류와 라그랑주 승수의 비교를 통해 업데이트 된 b_low, b_up, i_low, i_up이다.

학습 파라미터 업데이트 유닛(140) 내 비교기(Comparator)에 라그랑주 승수들, 즉 α_i가 차례로 입력되고, 예측 오류인 F_i를 업데이트 할 것인지를 확인할 수 있다. 이때, 비교기에서 조건을 만족하면 F_i를 업데이트하고, 그렇지 않으면 업데이트하지 않는다. Min Max 회로에서는, 예측 오류를 사용하여 최적성 조건 만족 여부를 확인할 때 사용하는 b_low, b_up, i_low, i_up을 업데이트 한다. 따라서, 최종 출력값은 예측 오류 F_i와 b_low, b_up, i_low, i_up이다.

도 8은 도 1의 시스템이 FPGA 기반으로 구현된 검증 플랫폼을 설명하기 위한 도면이다. 본 발명의 일 실시예에 따른 SVM 기반 가스 분류기의 실시간 학습 가능 여부 및 성능 검증을 위하여 도 8과 같이 Xlinx Zynq UltraScale+ FPGA(Field Programmable Gate Array) 기반 검증 환경을 구축한 뒤, 구현 및 실시간 검증을 수행하였다. 구현 결과, 이하 표 1과 같이 총 3,337개의 CLB(Configurable Logic Block) LUTs(LookUp Table), 219개의 CLB 레지스터(Registers)로 구현 가능함을 확인하였고, 성능 검증 결과 108MHz의 최대 동작 주파수로 146.67Mbps의 학습 속도를 보이는 것을 확인하였다. 이를 통해 본 발명의 일 실시예에 따른 가스 분류기의 실시간 학습이 가능함을 확인하였다.

Modules	CLB LUTs	CLB Registers
공유부(Sharing Block)	2,581	12
인덱스 선택 유닛(IS Unit)	27	19
비교 유닛(Comparing Unit)	26	20
라그랑주 승수 업데이트 유닛(LM Updating Unit)	134	10
학습 파라미터 업데이트 유닛(TP Updating Unit)	313	40
총계	3,337	219

종래기술과 하드웨어 면적 비교를 위하여 본 발명의 일 실시예에 따른 가스 분류기는 Altera cyclone Ⅱ FPGA 기반 구현되었고, 이하 표 2에 비교 결과가 제시된다. 구현 결과, 본 발명의 일 실시예에 따른 가스 분류기는 총 4,478개의 논리 소자(Logic Elements), 33개의 임베디드 승산기(Embedded Multiplier)로 구현 가능함을 확인하였다. 종래기술은 총 6,842개의 논리 소자, 41개의 임베디드 승산기로 SVM 기반 하드웨어를 구현한 것을 고려하면, 본 발명의 일 실시예에 따른 가스 분류기는, 종래기술의 논리 소자 대비 35% 감소한 결과를 가지는 것을 확인하였다.

FPGA Resources	종래기술	본 발명	감소율
논리소자	6,842	4,478	35%
임베디드 승산기	41	33	20%
클럭 주파수	50MHz	62MHz	-

본 발명의 일 실시예에 따른 SVM 기반 가스 분류기는, UCI 가스 데이터셋을 이용하여 분류 정확도를 확인한 결과, 99.4%의 정확도를 가지는 것으로 확인되었다. 또, 실시간 학습 및 검증을 위한 하드웨어 구조 설계를 포함하며, FPGA 기반 구현 결과, 3,337개의 CLB LUTs로 구현 가능함을 확인하였고, 108MHz의 동작 주파수에서 실시간 동작 가능함이 확인되었다.

이와 같은 도 2 내지 도 8의 자가학습이 가능한 SVM 기반 가스 분류기에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 자가학습이 가능한 SVM 기반 가스 분류기에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 자가학습이 가능한 SVM 기반 가스 분류기는, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 자가학습이 가능한 SVM 기반 가스 분류기
100: 학습부 110: 인덱스 선택 유닛
120: 비교 유닛 130: 라그랑주 승수 업데이트 유닛
140: 학습 파라미터 업데이트 유닛 200: 예측부
300: 공유부 310: 1-Norm 유닛
320: 커널 유닛 410: 특징 메모리
420: 클래스 메모리 430: 라그랑주 승수 메모리
440: 오류 메모리

Claims (25)

1. 학습에 사용되는 두 개의 라그랑주 승수 중 하나인 α_i2를 찾기 위한 인덱스 선택 유닛(Index Selecting Unit), 상기 α_i2를 제외한 나머지 하나의 라그랑주 승수인 α_i1를 찾기 위한 비교 유닛(Comparing Unit), 상기 두 개의 라그랑주 승수를 업데이트하기 위한 라그랑주 승수 업데이트 유닛(Lagrange Multiplier Updating Unit), 예측 오류 및 학습 파라미터를 업데이트하기 위한 학습 파라미터 업데이트 유닛(Training Parameter Updating Unit)을 포함하는 학습부;
   샘플의 클래스를 예측하기 위해 이용되는 결정 유닛(Decision Unit)을 포함하는 예측부;
   학습과 예측에 이용되는 커널 연산을 수행하는 1-Norm 유닛 및 커널 유닛(Kernel Unit)을 포함하는 공유부;
   를 포함하는 자가학습이 가능한 SVM 기반 가스 분류기.
   
2. 제 1 항에 있어서,
   상기 자가학습이 가능한 SVM 기반 가스 분류기는,
   학습 및 분류에 사용되는 샘플을 저장하는 특징 메모리(Feature Memory), 상기 샘플의 클래스를 저장하는 클래스 메모리(Class Memory), 상기 라그랑주 승수를 저장하는 라그랑주 승수 메모리(LM memory), 예측 오류를 저장하는 오류 메모리(Error Memory)를 더 포함하는 것을 특징으로 하는 자가학습이 가능한 SVM 기반 가스 분류기.
   
3. 제 1 항에 있어서,
   상기 공유부는,
   학습 및 분류에 사용되는 샘플을 저장하는 특징 메모리(Feature Memory)의 출력값을 입력값으로 받는 것을 특징으로 하는 자가학습이 가능한 SVM 기반 가스 분류기.
   
4. 제 1 항에 있어서,
   상기 공유부의 1-Norm 유닛은,
   i 번째 샘플과 j 번째 샘플 간의 1-norm을 계산할 때 각 차원에 대응하는 벡터 간의 SAD(Sum of Absolute Differences) 연산을 병렬적으로 수행하고, 상기 SAD 연산의 결과인 1-norm 값은 상기 커널 유닛으로 입력되도록 출력하는 것을 특징으로 하는 자가학습이 가능한 SVM 기반 가스 분류기.
   
5. 제 4 항에 있어서,
   상기 SAD 연산의 결과는 가산기를 통하여 병렬합산되어 출력되는 것을 특징으로 하는 자가학습이 가능한 SVM 기반 가스 분류기.
   
6. 제 1 항에 있어서,
   상기 학습부의 상기 인덱스 선택 유닛은, 예측 오류를 저장하는 오류 메모리(Error Memory)의 출력값을 입력값으로 받도록 상기 오류 메모리의 출력단과 상기 인덱스 선택 유닛의 입력단이 연결되는 것을 특징으로 하는 자가학습이 가능한 SVM 기반 가스 분류기.
   
7. 제 1 항에 있어서,
   상기 학습부의 상기 인덱스 선택 유닛은,
   상기 인덱스 선택 유닛의 입력단 중 하나인 numChanged를 통하여 라그랑주 승수 업데이트 횟수를 확인하고, 상기 인덱스 선택 유닛의 입력단 중 다른 하나인examineAll을 통하여 모든 샘플에 대한 최적성 조건 확인 여부를 검사하고, 상기 모든 샘플이 최적성 조건을 만족하면 FSM(Finite State Machine)에서 종료 신호를 출력하여 학습을 완료하는 것을 특징으로 하는 자가학습이 가능한 SVM 기반 가스 분류기.
   
8. 제 1 항에 있어서,
   상기 학습부의 비교 유닛은,
   상기 두 개의 라그랑주 승수 중 α_i1을 선택하기 위해 구비되는 것을 특징으로 하는 자가학습이 가능한 SVM 기반 가스 분류기.
   
9. 제 1 항에 있어서,
   상기 학습부의 비교 유닛이 기 저장된 수학식을 만족하지 않는 경우, 상기 인덱스 선택 유닛에서 상기 α_i2를 검색하는 것을 특징으로 하는 자가학습이 가능한 SVM 기반 가스 분류기:
   상기 기 저장된 수학식은,
   i1=i_up, if b_low - F_i2 > F_i2-b_up
   i1=i_low, if b_low-F_i1 < F_i2-b_up
   이고, F_i는 i 번째 샘플의 예측값과 실제값의 차이인 예측 오류, b_up은 I₀∪ I₁∪I₂ 집합에 속하는 모든 샘플의 예측 오류 중 최솟값, i_up은 b_up값을 가지는 샘플의 인덱스, b_low는 I₁∪I₃∪I₄ 집합에 속하는 모든 샘플의 예측 오류 중 최댓값, i_low는 b_low값을 가지는 샘플의 인덱스, i1은 라그랑주 승수의 인덱스이다.
   
10. 제 9 항에 있어서,
    상기 I₀는 i:0<α_i <C를 만족하는 집합, I₁는 i:α_i=0_, y_i=1를 만족하는 집합, I2는 i:α_i=C, y_i=-1을 만족하는 집합, I3는 i:α_i = C, y_i=1을 만족하는 집합, I₄는 i:α_i=0, y_i=-1을 만족하는 집합이고, C는 사용자 설정 상수이고, y_i는 i 번째 샘플의 클래스인 것을 특징으로 하는 자가학습이 가능한 SVM 기반 가스 분류기.
    
11. 제 1 항에 있어서,
    상기 학습부의 라그랑주 승수 업데이트 유닛은,
    학습 과정에서 선택된 상기 두 개의 라그랑주 승수의 인덱스 i1과 i2가 동일한 경우,
    상기 학습에 사용되는 두 개의 라그랑주 승수인 α_i1과 α_i2를 입력으로 하는 두 개의 소자인 L과 H의 출력값이 동일한 경우,
    업데이트된 라그랑주 승수 α_i2 ^{new, clipped} 값과 업데이트 전 라그랑주 승수 α_i2 ^old 값의 차이가 임계값 τ 이하인 경우
    중 적어도 하나 또는 적어도 하나의 조합을 만족하는 경우 1을 출력하고, 상기 인덱스 선택 유닛으로 회귀하여 MSMO(Modified Sequential Minimal Optimization) 알고리즘의 KKT(Karush-Kuhn-Tucker) 조건을 만족하지 않아 최적성 조건을 위반하는 두 개의 라그랑주 승수를 선택하는 과정을 진행하는 것을 특징으로 하는 자가학습이 가능한 SVM 기반 가스 분류기.
    
12. 제 11 항에 있어서,
    상기 L 및 H는, 상기 라그랑주 승수를 업데이트할 때 이용되는 기 정의된 임계값이고, 아래의 수학식으로 산출되는 것을 특징으로 하는 자가학습이 가능한 SVM 기반 가스 분류기:
    

    

    
    

    

    
    상기 s는, y_i1y_i2이고, α^old _i1과 α^old _i2는 α_i1과 α_i2가 업데이트되기 이전의 라그랑주 승수이고, C는 사용자 설정 상수이다.
    
13. 제 1 항에 있어서,
    상기 학습부의 학습 파라미터 업데이트 유닛은, 비교기를 이용하여 모든 라그랑주 승수의 값을 확인하고, 상기 라그랑주 승수의 값이 0과 기 설정된 사용자 설정 상수인 C 사이의 값을 가지는 경우에만 기 저장된 예측 오류를 업데이트하는 것을 특징으로 하는 자가학습이 가능한 SVM 기반 가스 분류기.
    
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제

Images