KR102133972B1 - 다중 분류기 통합 제어 시스템 및 방법 - Google Patents

Abstract

본원의 일 측면에 따른 분류 대상의 분류를 위한 다중 분류기 통합 제어 시스템에 의해 수행되는 다중 분류기 통합 제어 방법에 있어서, 다중 분류기 각각에 적용되는 분류 알고리즘 및 구조 정보에 대한 기본 정보를 수집하고, 수집된 기본 정보에 기초하여 분류 대상에 따라 복수의 분류기를 로드하는 단계; 로드된 복수의 분류기에 분류 대상이 입력되면, 각 분류기마다 분류 과정을 통해 적어도 하나 이상의 분류 항목을 제공하는 단계; 각 분류기에서 제공되는 분류 항목들 중 중복되는 분류 항목을 가지는 중복 항목과 중복되지 않은 분류 항목을 가지는 고유 항목을 구분하고, 중복 항목에 대한 가중치 및 예측결과 신뢰도를 수렴하기 위한 가중치 함수를 설정하는 분류 준비 단계; 분류 대상에 대한 입력 정보를 수집하고, 수집된 입력 정보를 분류기에 입력하기 위해 사전처리하고, 사전처리된 정보를 복수의 분류기에 대입하여 분류 과정을 수행하여 분류 항목들의 가중치와 예측 결과 신뢰도를 계산하는 분류수행단계; 및 설정된 가중치함수를 이용하여 분류기에서 계산한 중복 항목의 가중치와 예측 결과 신뢰도를 하나의 값으로 수렴시키는 통합수렴단계를 포함한다. 로드된 분류기는 분류항목에 대한 가중치 및 예측 결과 신뢰도를 출력하는 분류기이다.

Description

다중 분류기 통합 제어 시스템 및 방법{MULTIPLE-CLASSIFIER INTEGRATED CONTROL SYSTEM AND METHOD THEREOF}

본 발명은 기계학습 분야에서 범용적인 분류 과정 수행 및 다양한 환경에서 생성된 분류기를 통합하기 위한 방법과 이를 이용한 프로그램에 관한 것으로서, 구체적으로 본 발명에서 설명하고자 하는 기술은 분류 대상에 의존적이지 않으며 각 분류기에 의한 분류항목의 변화에 내성을 가지는 다중 분류기 통합 제어 시스템에 관한 것이다.

일반적인 분류기는 분류 대상에 특화된 가중치를 가지고 있어 정해진 대상에 대한 분류 성능이 다른 알고리즘에 비해 뛰어나다고 할 수 있다. 그러나 분류기에 새로운 항목을 추가하기 위해서는 새로운 분류 모델을 구축하기 위한 학습 과정이 수행되어야 한다. 분류기에 추가된 항목도 모든 계층의 가중치들을 분류할 수 있도록 최적화하는 과정을 수행하기 때문에 분류기를 새로 제작하는 수준의 최적화 시간이 소요된다.

이때, 최적화 과정은 가장 마지막 계층만 학습하는 방식도 존재는 하지만, 이는 기존의 특징 추출 가중치에 추가된 항목을 끼워 맞추는 방식에 가깝기 때문에 추가된 항목을 분류하는데 최적화되었다고는 할 수 없다. 이러한 구조적 문제로 인하여 기존 분류기는 분류항목이 고정된 환경에서는 강력한 성능을 자랑하지만, 반대로 업데이트를 자주 수행해야 하는 환경에서는 적용하기 힘들어지는 문제점을 가지고 있다.

이와 같이, 단일 분류기의 경우 분류 항목이 변화될 경우 성능이 저하되는 문제점을 해소하기 위해, 서로 다른 분류 알고리즘을 가진 복수의 분류기를 사용하여 각각의 분류기의 단점을 극복하고 장점을 살리는 기법이 존재한다. 크게, 복수개의 분류기들이 직렬로 배치되는 캐스케이드 기법과 병렬로 배치되는 앙상블 기법으로 구분될 수 있다.

캐스케이드 방식은 여러 종류의 분류기를 직렬로 배치하여 단계적으로 처리하는 방법에 해당한다. 주로 계산이 간단한 분류기 모델부터 먼저 배치되며 단계가 높아짐에 따라 분류 알고리즘의 복잡도가 높은 분류기가 배치된다. 캐스케이드 방식의 특징은 여러 단계의 분류기를 거치면서 조건을 만족하는 결과가 나오면 그 시점에서 결과를 반환하여 불필요한 연산비용을 최소화 하는 것이다. 그러나 이 방식은 단계별로 분류 대상을 걸러내는 과정을 가지므로 분류기를 추가하는 경우 기존의 순서를 고려하고 그에 맞게 분류기를 생성하는 과정을 수행하여야 된다. 순서에 맞지 않게 분류기를 새로 추가할 경우 해당 분류기가 수행될 기회가 오지 않거나 이후에 처리 되어야 할 대상을 중도에 걸러버리는 문제가 발생할 수 있다. 또한, 분류기의 순서가 중간에 추가하기 까다롭게 구성되어 있는 경우 해당 분류기 이전 순서부터 다시 설계해야 하는 문제점이 발생할 수 있다. 때문에 앙상블 방식에 비해 분류기의 분류항목 자체는 자유롭지만, 고려해야 할 사항이 많아 구조가 커질수록 분류기를 새로 추가하기가 쉽지 않다.

앙상블 방식은 다양하게 학습된 여러 종류의 분류기 결과를 수렴하는 과정을 수행한다. 앙상블 방식은 가중치 방식과 투표 방식으로 구분된다. 투표 방식의 앙상블 방식은 가장 많은 선택을 받은 대상으로 분류 결과를 반환하며, 가중치 방식의 앙상블 방식은 각 분류기 별로 가중치를 부여한 후에 연산된 가중치를 종합하여 결과를 반환한다. 앙상블 방식은 투표 방식과 가중치 방식 모두 객관적인 결과를 반환하기 위해서 모든 분류기들이 같은 분류항목을 가져야 한다.

이와 같이, 종래의 분류기는 1개로 구성되거나 복수 개로 구성될 수 있지만, 분류기의 배치나 구조에 따라 제약 조건이 발생하여 분류항목의 변화에 취약하다는 구조적 문제점이 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 분류기의 구조가 함수 형태의 고정된 틀에서 벗어나 유연성 및 확장성을 증가시키는 데 목적이 있다.

또한, 분류기의 유연성과 확장성을 확보하여 추가할 대상을 최적화하기 위해 학습하는 시간을 줄이고, 분류기가 수행할 수 있는 제약조건을 완화하여 범용적인 구조를 갖추는데 그 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 개시의 제 1측면에 따른 분류 대상의 분류를 위한 다중 분류기 통합 제어 시스템에 의해 수행되는 다중 분류기 통합 제어 방법에 있어서, 다중 분류기 각각에 적용되는 분류 알고리즘 및 구조 정보에 대한 기본 정보를 수집하고, 수집된 기본 정보에 기초하여 분류 대상에 따라 복수의 분류기를 로드하는 단계; 로드된 복수의 분류기에 분류 대상이 입력되면, 각 분류기마다 분류 과정을 통해 적어도 하나 이상의 분류 항목을 제공하는 단계; 각 분류기에서 제공되는 분류 항목들 중 중복되는 분류 항목을 가지는 중복 항목과 중복되지 않은 분류 항목을 가지는 고유 항목을 구분하고, 중복 항목에 대한 가중치 및 예측결과 신뢰도를 수렴하기 위한 가중치 함수를 설정하는 분류 준비 단계; 분류 대상에 대한 입력 정보를 수집하고, 수집된 입력 정보를 분류기에 입력하기 위해 사전처리하고, 사전처리된 정보를 복수의 분류기에 대입하여 분류 과정을 수행하여 분류 항목들의 가중치와 예측 결과 신뢰도를 계산하는 분류수행단계; 및 설정된 가중치함수를 이용하여 분류기에서 계산한 중복 항목의 가중치와 예측 결과 신뢰도를 하나의 값으로 수렴시키는 통합수렴단계를 포함한다. 로드된 분류기는 분류항목에 대한 가중치 및 예측 결과 신뢰도를 출력하는 분류기이다.

전술한 본원의 과제 해결 수단에 의하면, 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법을 이용하면, 분류 대상이 추가 되었을 때 분류기를 완전히 새로 학습시켜야 하는 상황을 방지하여 소모시간을 줄일 수 있게 된다. 기존의 단일 분류기는 단순 성능 향상 업데이트를 할 때도 분류기를 새로 제작하는 수준의 시간이 소모된다. 그러나 본 발명의 구조를 활용하면 단순히 분류기를 추가하는 것만으로도 성능이 향상되고 분류항목 추가에 대응할 수 있다. 또한, 복수개의 분류기 모듈을 사용하면서도 각각의 분류 항목을 활용할 수 있다는 점에서 기존의 분류기 구조와 차별되는 응용력을 갖출 수 있다.

도 1은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법의 진행 단계를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 분류를 수행하기 전에 다중 분류기 통합 제어 시스템의 환경을 미리 갖추는 단계를 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 분류를 수행하고 알고리즘 별 가중치를 구하는 과정을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 각 분류기 별로 확보한 가중치 및 예측결과 신뢰도를 같은 분류항목 별로 묶어서 중복되는 값을 하나의 값으로 수렴시키는 과정을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 복수의 분류기 구축과정과 분류 수행과정을 나타낸 순서도이다.
도 7은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 분류 항목을 수렴시키는 다중 분류기 통합 제어 시스템의 구성을 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 분류기를 병렬적으로 수행시키는 다중 분류기 통합 제어 시스템의 과정을 나타낸 순서도이다.
도 9는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 순차적으로 수행되는 캐스케이드 분류기의 동장 과정을 나타낸 순서도이다.
도 10은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 병렬적으로 수행되는 앙상블 분류기의 동작 과정을 나타낸 순서도이다.
도 11은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 병렬적으로 수행되는 앙상블 분류기의 동작 예시를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 앙상블 분류기를 이용하여 동일한 대상을 분류할 수 있는 분류기를 예시를 나타낸 순서도이다.
도 13은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 분류대상이 같은 분류기를 통합하는 예시를 나타낸 순서도이다.
도 14는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 앙상블 분류기를 이용하여 다른 대상을 분류하는 경우 문제점을 나타낸 순서도이다.
도 15는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 분류대상이 다른 분류기를 통합하는 예시를 나타낸 순서도이다.
도 16은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 시스템이 중복항목으로 분류된 분류 항목에 대한 예시를 표시한 흐름도이다.
도 17은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 시스템이 고유항목으로 분류된 분류 항목에 대한 예시를 표시한 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 시스템의 구성을 나타낸 블록도이다.

통신 모듈(110)은 외부 통신망과 설정된 통신 포맷으로 통신하여 분류 데이터 등을 송수신할 수 있다. 또한 통신 모듈(110)은 각종 외부 장치(서버 또는 단말) 로부터 다중 분류기 통합 제어 프로그램등의 업데이트 정보 등을 수신하여 프로세서(130)로 전송할 수 있다.

통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

메모리(120)에는 다중 분류기 통합 제어 프로그램이 저장된다. 이러한 메모리(120)에는 다중 분류기 통합 제어 시스템(100)의 구동을 위한 운영 체제나 다중 분류기 통합 제어 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.

이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.

또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(120)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

프로세서(130)는 다중 분류기 통합 제어 방법을 제공하는 전체 과정을 제어한다. 프로세서(130)가 수행하는 분류준비 단계(200), 분류수행 단계(300), 통합수렴 단계(400)에 대한 각 단계에 대해서는 도 2 내지 도 12를 참조하여 후술하기로 한다.

이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

데이터베이스(140)는 프로세서(130)의 제어에 따라, 다중 분류기 통합 제어 시스템에 필요한 데이터를 저장 또는 제공한다. 이러한 데이터베이스(140)는 메모리(120)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(120)의 일부 영역에 구축될 수도 있다.

도 2는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법의 진행 단계를 나타낸 블록도이다.

다중 분류기 통합 제어 방법은 분류준비 단계(200), 분류수행 단계(300), 통합수렴 단계(400)으로 구성되며 순차적으로 수행된다. 분류준비 단계(200)은 분류를 수행하기 전에 통합 시스템(100)의 분류기 환경을 미리 갖추는 단계에 해당한다.

분류준비 단계(200)은 크게 각 분류기의 정보 수집, 각 분류기 로드, 인덱스 라벨링, 중복항목 수집, 가중치함수 설정으로 구분되며 시스템 초기화, 분류대상 변경, 분류기 업데이트 등으로 구성된다.

분류수행 단계(300)은 시스템 내에서 실질적인 분류기 작동 과정을 수행하는 단계에 해당한다. 입력 정보 정제 및 분류 결과 필터링에 해당하는 전처리 및 후처리 과정을 포함하여 각 분류기의 분류대상에 대한 가중치 및 예측 결과 신뢰도를 구하는 단계로 구성된다.

통합수렴 단계(400)은 각 분류기 별로 확보한 가중치 및 예측 결과 신뢰도를 같은 분류항목 별로 묶어서 중복되는 값을 하나의 값으로 수렴시키는 단계에 해당한다. 분류항목이 다른 각 분류기를 통합시키는 핵심 단계에 해당하며, 중복항목 및 고유항목 추출, 중복항목 결과 수렴, 신뢰성 평가, 결과 통합의 과정을 수행한다.

따라서, 본 발명을 통하여 제시하고자 하는 분류기는 분류하고자 하는 대상을 추가하거나 삭제하기 용이하면서도, 추가 후 재학습 과정 없이 바로 활용이 가능하도록 설계될 수 있다.

도 3은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 분류를 수행하기 전에 다중 분류기 통합 제어 시스템의 환경을 준비하는 단계를 나타낸 순서도이다.

분류준비 단계(200)은 분류기 정보수집(201), 분류기 로드(202), 인덱스 라벨링(203), 중복항목 수집(204), 가중치함수 설정(205) 의 5단계로 구분된다. 분류기 정보수집(201)은 다중 분류기 통합 제어 시스템에서 사용될 각 분류기에 대한 정보를 읽어 들이는 과정을 의미한다. 분류 알고리즘의 종류 및 구조, 입력 및 출력 정보, 분류항목과 같은 정보를 수집한다.

분류기 로드(202)는 분류 알고리즘의 종류 및 구조 정보를 이용하여 각각의 분류기를 로드하는 과정을 의미한다. 이때 사용 가능한 분류기는 내부 구현에 관계없이 분류할 대상의 정보를 입력 받고 각 분류항목에 대한 가중치 및 예측 결과 신뢰도를 출력할 수 있는 분류기이다.

인덱스 라벨링(203)은 배열 형태로 결과를 제공하는 분류기에 간접 참조 방식을 적용하는 과정을 의미한다. 분류기마다 차이는 있지만 가중치 및 예측 결과 신뢰도에 접근하는 방식은 크게 라벨 방식과 인덱스 방식으로 구분된다. 라벨 방식은 주로 사용자가 정의한 분류기 형태에 나타나며 명칭으로 조회를 하는 방식이다.

인덱스 방식은 주로 기계학습으로 생성된 분류기 형태에 나타나며 분류 번호로 조회를 하는 방식이다. 인덱스 방식은 배열형태로 결과가 제공되며 0번째 대상, 1번째 대상과 같이 분류기의 분류순서대로 번호가 매겨진다. 이러한 형태는 순서가 매우 중요해질 뿐만 아니라 각 번호가 어떤 분류항목인지를 알려주는 정보가 없다면 사용이 불가능해진다. 이로 인해, 인덱스 방식으로 접근하는 분류기는 간접 참조 방식을 적용하여 어떤 분류항목인지를 쉽게 알 수 있고 순서도 고려할 필요가 없도록 한다. 다른 분류기의 같은 0번지의 값이라도 이는 그저 분류되는 순서일 뿐 실제 분류된 항목은 다를 수 있다. 따라서, 분류항목의 명칭으로 구분이 가능하도록 라벨을 부여하여 순서로 인한 혼동을 해결한다.

중복항목 수집(204)은 각 분류기에서 제공하는 분류항목을 모두 포함하여 중복된 분류항목을 찾아내는 과정을 의미한다. 각각의 분류기는 서로 다른 분류항목을 분류할 수도 있지만 같은 항목을 분류할 가능성도 존재한다. 서로 다른 분류기가 같은 항목을 분류했다는 것은 동일한 대상을 다른 방식으로 분류를 시도해 보았을 때 결과가 일치한다는 의미가 되며 이는 곧 신뢰성의 향상으로 이어진다. 때문에 중복되는 항목을 수렴시키기 위해 중복되는 항목의 리스트를 구축한다.

가중치함수 설정(205)은 중복되는 항목의 가중치 및 예측 결과 신뢰도를 수렴시키기 위한 수식을 설정하는 과정을 의미한다. 여기서의 수식은 단순한 평균 또는 최댓값이 될 수 있으며, 사용자가 정의한 수식이 될 수도 있다. 사용자가 정의한 수식에 따른 분류 결과값인 예측결과 신뢰도를 하나로 수렴시키는 과정을 수행한다. 때문에 사용자가 정의하는 수식은 두 개 이상의 값을 입력 받고, 하나의 출력을 반환하는 함수 형태로 정의된다. 현재 과정에서는 수식을 구성하기만 하며 실제 연산은 가중치 및 예측 결과 신뢰도를 확보한 이후에 수행된다.

도 4는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 분류를 수행하고 알고리즘 별 가중치를 구하는 과정을 나타낸 순서도이다.

분류수행 단계(300)은 분류대상 정보수집(301), 정보 필터링(302), 알고리즘 수행(303), 결과 필터링(304) 등의 4단계로 구분된다. 분류대상 정보수집(301)은 분류과정을 수행할 대상에 대한 정보를 읽어 들이는 과정을 의미한다. 시스템에서 분류를 수행하기 위해 입력 받은 정보를 해당 과정에서 전달받으며, 본 발명에서는 영상을 분류하는 시스템을 예시로 하여 영상 정보가 입력데이터로 제공된다.

정보 필터링(302)은 분류대상 정보수집(301)에서 전달받은 정보를 각각의 분류기에 대입하기 위하여 변환하는 과정을 의미한다. 각각의 분류기에서 요구하는 입력이 전달받은 정보와 상이할 수 있기 때문에 각각의 분류기에 맞는 형태로 변환하는 과정을 거치며 변환된 정보는 분류기의 개수만큼 생성된다. 영상 정보를 예시로 영상의 크기와 색상 포맷을 분류기 별로 변환하는 과정을 수행한다.

알고리즘 수행(303)은 변환된 정보를 각각의 분류기에 대입하여 분류를 수행하는 과정을 의미한다. 정보 필터링(302)에서 생성된 정보를 분류하며, 각각의 분류기에서 분류 가중치와 예측 결과 신뢰도를 구한다.

결과 필터링(304)은 각 분류기가 구한 가중치와 예측 결과 신뢰도를 특정 범위로 수렴시키는 과정을 의미한다. 이는 각 분류기마다 반환하는 가중치와 예측 결과 신뢰도의 범위가 다를 수 있기 때문에 모든 분류기가 똑같은 범위 내에서 결과를 반환할 수 있도록 출력 범위를 조절한다.

도 5는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 각 분류기 별로 확보한 가중치 및 예측결과 신뢰도를 같은 분류항목 별로 묶어서 중복되는 값을 하나의 값으로 수렴시키는 과정을 나타낸 순서도이다.

통합수렴 단계(400)은 가중치 라벨링(401), 중복항목 결과수렴(402), 분류기 신뢰평가(403), 고유항목 신뢰반영(404), 가중치 수렴(405), 분류결과 반환(406) 등의 6단계로 구분된다.

가중치 라벨링(401)은 배열형태로 반환되는 분류결과를 분류항목 명으로 접근이 가능하도록 사전 방식의 자료구조에 분류결과를 저장하는 과정을 의미한다. 이는 인덱스 라벨링(203)에서 생성된 자료구조에 결과 필터링(304) 과정으로 얻은 결과를 저장하여 분류항목의 명칭으로 접근할 수 있도록 하며, 각 분류기의 인덱스 방식과 라벨 방식의 구분을 제거하는 역할을 한다.

중복항목 결과수렴(402)은 중복되는 항목 각 분류기의 라벨링된 분류항목을 모아서 같은 분류항목의 결과를 하나의 값으로 수렴시키는 과정을 의미한다. 값을 수렴시키는 수식은 가중치함수 설정(205) 과정에서 정의된 수식을 이용하며, 수렴된 값은 정확도와 신용도를 나타낸다. 정확도와 신용도를 나타내기 위한 수렴된 값을 구하는 수식은 본 발명에서는 예시로 평균을 정확도, 신용도를 편차라고 가정하여 평균에서 편차를 뺀 값을 사용한다.

분류기 신뢰평가(403)는 분류기의 신뢰수준을 평가한 가중치를 구하는 과정을 의미한다. 중복항목 결과수렴(402) 과정에서 얻은 수렴된 값을 기반으로 분류기의 학습 신뢰성을 계산하며, 수렴된 값과 기존 분류기의 값의 차이가 클수록 신뢰성 가중치는 줄어든다. 이 신뢰성 가중치는 분류기의 성능을 신뢰할 수 있다는 의미를 가지며 신뢰성 가중치가 낮으면 분류기가 얻은 가중치 및 예측 결과 신뢰도가 그만큼 적게 반영된다.

고유항목 신뢰반영(404)은 신뢰성 가중치를 기반으로 분류기 별 가중치를 조절하는 과정을 의미한다. 고유항목은 다른 분류기와 분류항목이 겹치지 않은 항목이라 정의하며 고유항목은 단 하나의 값만 존재하므로 그 자체로는 신뢰성을 확인하기 어렵다. 때문에 같은 분류기 내에 포함된 중복항목의 수렴된 값을 통하여 분류기의 상대적인 신뢰성을 판단한다. 각 분류기의 중복항목 가중치와 수렴된 중복항목 값의 편차에 대한 비율을 계산하고, 이를 분류기의 가중치 및 예측 결과 신뢰도에 반영한다. 기존 분류기가 제공한 값과 수렴한 값의 차이가 클 경우 다른 분류기들의 보편적인 평가와 상이한 결과를 도출했다는 의미가 되므로 분류기의 신뢰성은 떨어진다. 해당 분류기의 신뢰성이 떨어진다면 그 분류기의 고유항목 또한 제대로 분류되었다고 확신할 수 없게 된다.

가중치 수렴(405)은 신뢰성이 보다 높은 수렴된 중복항목과 분류기 평가가 반영된 고유항목의 결과를 하나의 결과로 통합하는 과정을 의미한다. 신뢰성을 확보하기 위해 중복항목과 고유항목으로 분할하여 연산된 가중치 및 예측 결과 신뢰도를 최종적으로 종합하여 통합된 결과를 생성한다.

분류결과 반환(406)은 가중치 수렴(405) 과정에서 통합된 결과를 시스템에서 외부로 반환하는 과정을 의미한다. 반환되는 결과는 JSON 자료구조와 같은 문자열 형태로 반환되며, 이는 출력 결과를 다양한 환경에서 사용이 가능하도록 한다.

도 6은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 복수의 분류기 구축과정과 분류 수행과정을 나타낸 순서도이다.

분류기 구축단계(501) 에서는 적용하고자 하는 분류기를 로드하고 구축하는 과정을 수행한다. 분류기 정보수집과정(201)과 분류기 로드과정(202)을 통해서 다양한 분류기를 시스템에 로드시키며, 분류기는 병렬적으로 배치된다.

고유항목 구축단계(502) 에서는 로드된 분류기를 통해서 분류가 가능한 항목을 사전 방식의 자료구조 형태로 구축하는 과정을 수행한다. 인덱스 라벨링과정(203) 과 중복항목 수집과정(204) 이 수행되며, 라벨 부여, 중복항목 추출, 고유항목 추출, 항목통합의 과정을 포함한다.

분류대상 존재단계(503) 에서는 분류를 수행할 대상의 유무를 확인하는 과정을 수행한다. 모든 분류대상을 분류할 때까지 반복하는 분기점 역할을 가지며, 모든 분류대상이 분류되면 시스템의 분류 과정은 종료된다.

분류대상 입력단계(504) 에서는 남아있는 분류대상 중에서 우선순위가 가장 높은 대상을 가져오는 과정을 수행한다. 분류대상 정보수집과정과 정보 필터링과정(302)을 포함하며, 우선순위는 중요도 및 요청 받은 순서에 따라 결정된다.

분류기 수행단계(505) 에서는 병렬로 배치된 여러 분류기의 가중치와 예측 결과 신뢰도를 구하는 과정을 수행한다. 알고리즘 수행과정(303)과 결과 필터링과정(304)을 포함하며, 각 분류기의 종류에 관계없이 로드된 모든 분류기를 수행시켜서 가중치 및 예측 결과 신뢰도를 확보하는 과정을 수행하고, 분류기가 반환하는 범위를 조절하는 과정을 거친다.

가중치 수렴단계(600)에서는 각 분류기의 가중치 및 예측 결과 신뢰도를 분류항목 별로 수렴시켜 각 분류항목 별 정확도를 반환하는 과정을 수행한다. 신뢰성과 분류항목 증가를 목적으로 분류기 평가, 가중치 평가가 수행되며, 이를 수행하기 위해 중복항목을 기반으로 신뢰성 가중치를 확보하는 과정을 포함한다.

도 7은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 분류 항목을 수렴시키는 다중 분류기 통합 제어 시스템의 구성을 나타낸 순서도이다.

가중치 수렴(600) 단계는 학습 환경이 다른 다양한 분류기의 결과를 하나로 묶어주는 역할을 가진다. 이를 위해 각 분류기가 분류 가능한 항목을 명확히 하고, 분류기의 중복항목 결과 분포를 확보하여 분류기의 결과를 신뢰성 있는 값으로 변환하는 과정을 수행한다.

분류결과 수집(601) 단계에서는 각 분류기의 결과를 수집하는 과정을 수행한다. 분류결과 통합을 목적으로 수행되며, 분류기 정보와 분류항목으로 접근하는 사전 방식의 자료구조를 구축하고 가중치 및 예측 결과 신뢰도를 저장하는 방식으로 결과가 수집된다.

라벨링 적용확인(602) 단계에서는 분류결과 수집(601) 단계에서 생성된 자료구조에서 인덱스로 접근해야 하는 분류항목이 존재하는지 확인하는 과정을 수행한다. 인덱스로 저장된 분류항목이 존재하지 않는다면 모든 분류항목을 문자열 또는 라벨로 접근이 가능하므로 라벨링 과정을 무시하고 진행하게 된다.

분류결과 라벨링(603) 단계에서는 사전 방식의 자료구조에서 인덱스로 저장된 항목을 라벨로 변경하는 과정을 수행한다. 인덱스로 접근하는 방식은 각 분류기의 상대적인 위치로 접근하는 방식이므로 순서가 변경되는 경우에는 제 역할을 수행하지 못한다. 그래서 인덱스로 접근할 수 있는 분류항목을 라벨로 접근할 수 있도록 명칭을 변경하고 가중치 및 예측 결과 신뢰도를 변경된 항목으로 이전시킨다.

분류결과 그룹화(604) 단계에서는 분류기의 구분 없이 분류항목이 같은 항목끼리 묶는 과정을 수행한다. 2개 이상의 같은 항목이 존재할 경우 해당 항목들은 하나의 그룹을 형성하며, 같은 항목이 존재하지 않을 경우 해당 항목은 그룹을 형성하지 않는다.

중복항목 존재(605) 단계에서는 형성된 그룹이 존재하는지를 확인하는 과정을 수행한다. 중복되는 항목의 가중치 및 예측 결과 신뢰도를 수렴시켜 신뢰평가를 수행할지에 대한 여부를 결정하며, 중복되는 대상이 없을 경우 특정 항목에 대한 평가가 불가능하므로 개별 분류 대상에 특화된 분류기로 가정하고 별도의 신뢰평가를 진행하지 않는다.

중복항목 추출(606) 단계에서는 그룹으로 형성된 항목들의 가중치 및 예측 결과 신뢰도를 수렴시키기 위해 그룹에 해당하지 않는 항목을 제외하는 과정을 수행한다. 그룹 단위로 하나의 수렴된 값이 연산되어 반환되므로 고유항목은 이미 수렴된 값이라 가정하고 수렴하는 과정에서 제외된다.

중복항목 결과수렴(607) 단계에서는 각 같은 분류항목에 해당하는 가중치 및 예측 결과 신뢰도를 신뢰할 수 있는 하나의 값으로 변환하는 과정을 수행한다. 사전에 정의된 가중치함수를 이용하여 값을 반환받는 과정을 수행하며, 이때의 과정을 모든 그룹에 적용하여 그룹의 개수만큼 결과를 확보한다.

분류기 신뢰평가(608) 단계에서는 각 그룹별로 그룹 내의 가중치 및 예측 결과 신뢰도와 수렴된 값을 비교하고, 본래의 분류기의 신뢰 수준을 계산하는 과정을 수행한다. 신뢰도는 해당 분류기가 어느 정도로 신뢰할 수 있는지를 나타내며, 수렴된 값과 분류기 별 분류항목의 가중치 및 예측 결과 신뢰도가 큰 차이를 보일수록 해당 결과를 반환한 분류기의 신뢰도는 떨어진다. 낮은 신뢰도를 가진 분류기는 시스템에서 학습이 제대로 진행되지 않았다고 판단하며, 이를 반영하기 위해 전체적인 가중치를 감소시킨다.

고유항목 추출(609) 단계에서는 고유항목을 분류기 별로 묶어서 그룹을 형성하는 과정을 수행한다. 분류기 단위로 신뢰도를 반영하기 위해 활용되며 중복항목은 수렴된 값이 이미 신뢰도를 반영하므로 이 과정에서 제외된다.

고유항목 신뢰반영(610) 단계에서는 분류기 별로 그룹이 형성된 고유항목에 대해 해당 분류기의 신뢰도에 부합하도록 가중치 및 예측 결과 신뢰도를 변환하는 과정을 수행한다. 신뢰도는 분류기 신뢰평가(608) 단계에서 얻은 신뢰도를 이용하며, 고유항목은 분류대상 별 검증이 불가능하므로 분류기 자체의 신뢰성으로 이를 대신한다.

각 항목 통합(611) 단계에서는 가중치 및 예측 결과 신뢰도가 수렴된 중복항목과 분류기 단위로 신뢰도가 반영된 고유항목을 하나로 합치는 과정을 수행한다. 최종결과를 반환하기 위해 자료구조를 구축하고 중복항목의 수렴된 값과 고유항목의 변환된 값을 구축된 자료구조에 대입한다.

도 8은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 분류기를 병렬적으로 수행시키는 다중 분류기 통합 제어 시스템의 과정을 나타낸 순서도이다.

다중 분류기 통합 제어 시스템은 병렬로 처리된 결과를 중복항목과 고유항목으로 분리하여 가중치를 수렴시킨다. 중복항목은 수렴된 값이 사용되며, 수렴된 값을 기반으로 분류기 별 신뢰성 가중치를 계산한다. 고유항목은 신뢰성 가중치가 반영된 분류기에 의해 분류되며 중복항목과 고유항목을 재결합하여 신뢰성이 반영된 통합 결과를 반환한다.

도 9는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 순차적으로 수행되는 캐스케이드 분류기의 동장 과정을 나타낸 순서도이다.

단계별로 다음 분류기를 수행할지 여부에 대한 결과를 도출하고 이에 따라 절차를 끝낼지에 대한 분기를 매번 수행한다. 해당 방법은 연산이 적고, 빠르게 분류 가능한 대상을 미리 분류하여 불필요한 연산을 줄일 수 있다.

도 10은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 병렬적으로 수행되는 앙상블 분류기의 동작 과정을 나타낸 순서도이다. 상대적으로 빠르지만 정확도가 떨어지는 분류기를 종합하여 오차를 줄이는 방식에 주로 사용되는 방법이다.

도 11은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 병렬적으로 수행되는 앙상블 분류기의 동작 예시를 나타낸 도면으로서, 앙상블 분류기를 종합하여 분류기의 정확도를 향상시키는 예시이다. 분류기를 종합해서 새로운 분류기를 형성하며, 특징을 분류한 그래프를 통하여 앙상블 분류기의 작동 원리를 표현한다.

도 12는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 앙상블 분류기를 이용하여 동일한 대상을 분류할 수 있는 분류기를 예시를 나타낸 순서도로서, A, B, C, D를 구분한다고 가정할 때, 각 분류기는 A, B, C, D에 대한 가중치를 반환하며 이를 통합하여 새로운 가중치의 A, B, C, D를 반환한다.

도 13은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 분류대상이 같은 분류기를 통합하는 예시를 나타낸 순서도로서, A, B, C, D를 구분한다고 가정할 때, 중복항목과 고유항목으로 분리하여 가중치를 수렴시키는 수식을 적용하고, 분리된 항목을 재결합하여 신뢰성이 반영된 새로운 값을 반환한다.

도 14는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 앙상블 분류기를 이용하여 다른 대상을 분류하는 경우 문제점을 나타낸 순서도이다. 앙상블 분류기는 정확도를 향상시키는 목적으로 사용되므로 같은 대상을 분류하는 다양한 알고리즘에 사용되도록 특화되어있다. 앙상블 분류기가 사용하는 방식은 크게 가중치 방식과 투표 방식으로 구분되는데 두 방식 모두 분류대상이 동일하지 않으면 제대로 된 결과를 반환하기 어렵다. 때문에 병렬로 여러 분류기를 이용하는 방식에는 제약이 존재하며, 조건에 맞지 않는 분류기를 가져와서 확장하는 것은 불가능하다.

도 15는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 방법에서 분류대상이 다른 분류기를 통합하는 예시를 나타낸 순서도이다. 2개 이상의 분류기에서 사용되는 항목은 중복항목에 해당하고, 그렇지 않은 항목은 고유항목에 해당되어 가중치 수렴과정을 수행하게 된다. 중복항목이 수렴된 후 이에 대한 분류기의 신뢰평가를 기반으로 고유항목의 신뢰도를 평가하며 이후에 항목을 통합시킨다.

도 16는 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 시스템이 중복항목으로 분류된 분류 항목에 대한 예시를 표시한 흐름도로, 중복항목에 해당하는 대상을 분류할 때 가중치 및 예측 결과 신뢰도 계산이 진행되는 과정을 나타낸다.

도 17은 본 발명의 일 실시예에 따른 다중 분류기 통합 제어 시스템이 고유항목으로 분류된 분류 항목에 대한 예시를 표시한 흐름도로, 고유항목에 해당하는 대상을 분류할 때 가중치 및 예측 결과 신뢰도 계산이 진행되는 과정을 나타낸다.

도 16과 17은 예시의 차이에 해당하며 과정은 동일하게 진행된다. 본 도면에서 사용된 예시에서는 가중치를 수렴하는 수식은 각 항목별 평균과 편차를 이용하며, 고유항목의 결과는 중복항목에서 평가한 신뢰도 가중치를 통하여 변환된다. 신뢰도 가중치는 분류기의 중복항목 결과와 수렴된 값이 얼마나 큰 차이를 보이느냐에 따라 결정되며 해당 분류기에 중복항목이 여러 개 존재할 경우 곱 연산을 통하여 중첩된다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

100: 다중 분류기 통합 제어 시스템
110: 통신모듈
120: 메모리
130: 프로세서
140: 데이터베이스(DB)
200: 분류준비 단계
300: 분류수행 단계
400: 통합수렴 단계

Claims (9)

1. 분류 대상의 분류를 위한 다중 분류기 통합 제어 시스템에 의해 수행되는 다중 분류기 통합 제어 방법에 있어서,
   상기 다중 분류기 각각에 적용되는 분류 알고리즘 및 구조 정보에 대한 기본 정보를 수집하고, 상기 수집된 기본 정보에 기초하여 분류 대상에 따라 복수의 분류기를 로드하는 단계;
   상기 로드된 복수의 분류기에 상기 분류 대상이 입력되면, 각 분류기마다 분류 과정을 통해 적어도 하나 이상의 분류 항목을 제공하는 단계;
   상기 각 분류기에서 제공되는 분류 항목들 중 중복되는 분류 항목을 가지는 중복 항목과 중복되지 않은 분류 항목을 가지는 고유 항목을 구분하고, 상기 중복 항목에 대한 가중치 및 예측결과 신뢰도를 수렴하기 위한 가중치 함수를 설정하는 분류 준비 단계;
   상기 분류 대상에 대한 입력 정보를 수집하고, 상기 수집된 입력 정보를 분류기에 입력하기 위해 사전처리하고, 상기 사전처리된 정보를 상기 복수의 분류기에 대입하여 분류 과정을 수행하여 상기 분류 항목들의 가중치와 예측 결과 신뢰도를 계산하는 분류수행단계; 및
   상기 설정된 가중치함수를 이용하여 상기 분류기에서 계산한 중복 항목의 가중치와 예측 결과 신뢰도를 하나의 값으로 수렴시키는 통합수렴단계; 를 포함하고,
   상기 로드된 분류기는 분류항목에 대한 가중치 및 예측 결과 신뢰도를 출력하는 분류기인
   다중 분류기 통합 제어 방법.
2. 제 1 항에 있어서,
   상기 분류기의 구조 정보는 단일 분류기, 병렬적으로 배치되는 앙상블 분류기 또는 직렬로 배치되는 캐스캐이드 분류기를 하나 이상 사용하여 결과를 조합하는 구조를 갖는 것인
   다중 분류기 통합 제어 방법.
3. 제 1 항에 있어서,
   상기 분류 준비 단계는 상기 분류기의 분류 순서대로 분류 대상을 인덱싱하고, 분류 항목의 명칭을 구분하기 위해 라벨링하고, 상기 인덱싱 및 라벨링한 분류 대상을 저장할 데이터베이스를 생성하는 단계를 포함하는
   다중 분류기 통합 제어 방법.
4. 제 3항에 있어서,
   상기 분류수행단계는 각 분류기가 계산한 가중치와 예측 결과 신뢰도를 기설정된 범위로 수렴시키는 결과 필터링 단계를 더 포함하는 것인 다중 분류기 통합 제어 방법.
5. 제 4 항에 있어서,
   상기 결과 필터링 단계는 필터링된 결과를 상기 생성한 데이터베이스에 저장하는 단계를 포함하는 다중 분류기 통합 제어 방법.
6. 제 1 항에 있어서,
   상기 통합수렴단계는 상기 수렴된 중복 항목의 가중치와 예측 결과 신뢰도를 기반으로 분류기의 신뢰성을 평가하고, 상기 평가한 중복 항목의 신뢰성을 기초로 해당 분류기의 고유 항목의 신뢰성을 평가하고, 상기 중복 항목 및 고유 항목에서 평가된 신뢰성을 기초로 통합된 결과를 생성하는 단계 및 상기 통합된 결과를 외부 장치로 반환하는 단계를 포함하는
   다중 분류기 통합 제어 방법.
7. 제 1 항에 있어서,
   상기 분류준비단계는 상기 분류 대상의 분류 요청 순서 또는 분류 대상의 중요도가 입력되면, 상기 분류 요청 순서 또는 중요도에 기초하여 분류 우선순위를 설정하는 단계를 포함하는 다중 분류기 통합 제어 방법.
8. 제 2 항에 있어서,
   상기 앙상블 분류기의 경우, 가중치와 예측 결과 신뢰도를 계산하고, 상기 가중치와 예측 결과 신뢰도에 따라 분류기가 반환하는 예측 결과의 범위를 조절하는 다중 분류기 통합 제어 방법.
9. 다중 분류기 통합 제어 시스템에 있어서,
   통신 모듈;
   분류 대상을 분류하는 다중 분류기 통합 제어 프로그램이 저장된 메모리;
   상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 프로그램의 실행에 의해,
   상기 다중 분류기 각각에 적용되는 분류 알고리즘 및 구조 정보에 대한 기본 정보를 수집하고, 상기 수집된 기본 정보에 기초하여 분류 대상에 따라 복수의 분류기를 로드하고,
   상기 로드된 복수의 분류기에 상기 분류 대상이 입력되면, 각 분류기마다 분류 과정을 통해 적어도 하나 이상의 분류 항목을 제공하고,
   상기 각 분류기에서 제공되는 분류 항목들 중 중복되는 분류 항목을 가지는 중복 항목과 중복되지 않은 분류 항목을 가지는 고유 항목을 구분하고, 상기 중복 항목에 대한 가중치 및 예측결과 신뢰도를 수렴하기 위한 가중치 함수를 설정하고,
   상기 분류 대상에 대한 입력 정보를 수집하고, 상기 수집된 입력 정보를 분류기에 입력하기 위해 사전처리하고, 상기 사전처리된 정보를 상기 복수의 분류기에 대입하여 분류 과정을 수행하여 상기 분류 항목들의 가중치와 예측 결과 신뢰도를 계산하고,
   상기 설정된 가중치함수를 이용하여 상기 분류기에서 계산한 중복 항목의 가중치와 예측 결과 신뢰도를 하나의 값으로 수렴시키고,
   상기 로드된 분류기는 분류항목에 대한 가중치 및 예측 결과 신뢰도를 출력하는 분류기인
   다중 분류기 통합 제어 시스템.

Images