KR102258531B1 - 복합 입력 인지 시스템용 통합 인지 분석부 - Google Patents

Abstract

본 발명은 입력 인지 시스템에 관한 것으로, 보다 상세하게는, 음성, 텍스트, 영상 등 다양한 유형의 입력 데이터를 입력받아 통합하여 분석함으로써, 현재 상황을 판단하거나 의도를 파악하는 복합 입력 인지 시스템용 통합 인지 분석부에 관한 것이다.
본 발명의 실시예에 따르면, 입력 클라이언트에 대하여 음성, 영상, 텍스트 등 다양한 유형의 입력 데이터를 수집하고, 인공지능 기술에 기반하여 입력 데이터를 분석하여 객체 및 그 의미를 판단하여 판단결과에 따라 적합한 출력 데이터를 생성함으로써, 인지 가능 범위를 확장하고 상황에 따라 다양한 출력을 내보냄으로써 로봇과 같은 출력 시스템에 보다 진보된 형태의 인공지능 시스템을 구현할 수 있도록 하는 효과가 있다.

Description

복합 입력 인지 시스템용 통합 인지 분석부{ANALYSIS UNIT FOR INTEGRATED RECOGNITION FOR MULTIPLE INPUT RECOGNITION SYSTEM}

본 발명은 입력 인지 시스템에 관한 것으로, 특히 음성, 텍스트, 영상 등 다양한 유형의 입력 데이터를 입력받아 통합하여 분석함으로써, 현재 상황을 판단하거나 의도를 파악하는 복합 입력 인지 시스템용 통합 인지 분석부에 관한 것이다.

정보, 전자 기술의 발전에 따라, 일상에서 널리 이용되는 각종 전자장치들은 사용자와의 인터렉션(Interaction)을 위해 다양한 형태의 입력방식을 지원하도록 연구, 개발되고 있다. 예를 들어, TV, 오디오 등의 가전제품의 경우 특정 어플리케이션의 실행을 기반으로 사용자에 의한 발화에 따라 음성을 제어를 위한 입력값으로 이용하는 음성 입력 방식으로 운용될 수 있다. 즉, 가전제품은 음성 입력을 인식하여 사용자의 발화 의도를 도출하고, 발화 의도에 대응하는 온/오프, 볼륨조절, 재생 및 정지 등의 구동을 수행하는 음성 인식 기능이 탑재될 수 있다.

이러한 음성 인식 기능은, 기계 학습 알고리즘을 활용하는 인공지능 시스템을 기반으로 구현될 수 있다. 인공지능 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템으로써 기계 학습을 통해 입력 데이터를 분석하고, 그 의도를 판단하는 것으로, 기계 학습에 따라 사용할수록 인식률이 향상되는 특징이 있다. 인공지능 기술은 입력 데이터의 특징을 스스로 분류 및 학습하는 알고리즘이 적용되어 있으며, 인간 두뇌의 인지, 판단 등의 기능을 모사하는 다양한 기술들이 적용되어, 사용자의 언어를 인식하고, 정보를 판단하여 논리적으로 추론하고 예측할 수 있도록 구성되어 있다.

이러한 인공지능 시스템은 하나의 입력에 대하여 분석하고 그 결과에 따른 하나의 출력을 도출하는 것을 목표로 개발되고 있다. 예를 들어, 전자장치 제어의 경우 분석 대상으로부터 음성 입력, 텍스트 입력, 제어기 입력 등 다양한 유형의 입력이 동시에 발생할 수 있으나, 기존의 인공지능 시스템은 이중 어느 하나의 입력에 대한 분석을 수행하여 하나의 출력만을 도출하게 된다.

따라서, 기존의 인공지능 시스템은 다양한 입력 주체에 대하여 개별적으로 판단하지 못하고, 연속된 입력에 대해서만 제한적으로 대응할 수 있으며 이에 단편적인 결과만을 얻을 수 밖에 없다는 한계가 있다.

공개특허공보 제10-2019-0026518호(공개일자: 2019.03.13.)

본 발명은 전술한 한계를 극복하기 위해 안출된 것으로, 본 발명은 정보를 수집하고자 하는 대상인 입력 클라이언트로부터 다양한 유형의 정보를 수집하고, 수집한 정보를 통합하여 분석함으로써 해당 클라이언트를 식별하고, 현재 상황 또는 입력 클라이언트의 의도를 판단하고 판단결과에 대응하는 출력 데이터를 생성하여 출력 시스템에 제공하는 것을 과제로 한다.

전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 복합 입력 인지 시스템용 통합 인지 분석부는, 입력 클라이언트에 대한 서로 다른 유형의 복수의 입력 데이터를 수신하여 분석하는 복합 입력 인지 시스템의 통합 인지 분석부로서, 복수의 입력 수단으로부터 수집되어 전처리된 입력 데이터를 전달받아 수집하는 입력 수집기, 타이머를 참조하여 수집된 입력 데이터별 발생시간에 따른 타임라인을 부여하는 입력 합성기 및, 하나 이상의 판단로직에 기초하여 상기 입력 클라이언트 및 객체의 종류 및 상태에 따라 현재 발생한 이벤트를 판단하는 제1 논리 판단기를 포함할 수 있다.

상기 통합 인지 분석부는, 상기 타임라인을 참조하여 각 입력 데이터에 따라 입력 클라이언트의 종류 및 이벤트에 포함되는 객체의 종류를 식별하고, 식별된 객체의 상태를 판단하는 객체상태 매니저를 포함할 수 있다.

상기 통합 인지 분석부는, 상기 제1 논리 판단기에 의해 판단된 이벤트에 대하여, 확장된 추가 리소스를 통해 상기 이벤트에 대한 2차 판단을 수행하고, 출력 시스템에 제공하는 제2 논리 판단기, 상기 제2 논리 판단기의 요청에 따라 외부 시스템이 서비스하는 확장 데이터를 제공하는 확장 서비스 매니저 및, 네트워크를 통해 상기 외부 시스템과 연결되고, 상기 확장 서비스 매니저를 통해 상기 외부 시스템에서 배포하는 외부 API를 호출하는 외부 API 매니저를 포함할 수 있다.

상기 통합 인지 분석부는, 상기 입력 수집기에 의해 수집된 입력 데이터의 유형에 따라 등록된 객체임을 인증하는 객체 인증기 및, 시스템상에 하나 이상의 객체를 등록, 갱신 및 제외하는 인증 매니저를 포함할 수 있다.

상기 판단로직은, 둘 이상의 입력 데이터의 조합에 따라 상기 이벤트를 판단하는 혼합입력 판단로직일 수 있다.

상기 판단로직은, 둘 이상의 입력 데이터 중 하나 이상을 조건으로 설정하고, 이후 상기 조건이 부합하는 상황이 도래하면, 상기 이벤트가 발생한 것으로 판단하는 능동입력 판단로직일 수 있다.

상기 판단로직은, 하나 이상의 입력 데이터 및 상기 입력 데이터에 부여된 타임라인에 따라 상기 이벤트를 판단하는 타임라인 기반 판단로직일 수 있다.

상기 판단로직은, 입력 데이터에 포함된 일부 또는 전부에 대한 내용을 트리거로 설정하고, 상기 트리거가 개시되면 상기 이벤트가 발생한 것으로 판단하는 트리거 판단로직일 수 있다.

본 발명의 실시예에 따르면, 입력 클라이언트에 대하여 음성, 영상, 텍스트 등 다양한 유형의 입력 데이터를 수집하고, 인공지능 기술에 기반하여 입력 데이터를 분석하여 객체 및 그 의미를 판단하여 판단결과에 따라 적합한 출력 데이터를 생성함으로써, 인지 가능 범위를 확장하고 상황에 따라 다양한 출력을 내보냄으로써 로봇과 같은 출력 시스템에 보다 진보된 형태의 인공지능 시스템을 구현할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 전체 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 내부 구성을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템에 탑재되는 전처리부의 구성을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템에 탑재되는 통합 인지 분석부의 구성을 나타낸 도면이다.
도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 목표 시스템의 유형에 따라 적용되는 형태를 예시한 도면이다.
도 6은 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 각 구성부의 시스템 모듈 구조를 예시한 도면이다.

설명에 앞서, 명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부(Unit)", "...서버(Server)", "...시스템(System)" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, 본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 또한, "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용된다.

본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현될 수 있거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "...부(Unit)", "...서버(Server)", "...시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 시스템에서 구현하는 각 기능은 모듈단위의 프로그램으로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.

이하의 설명에서, 본 발명의 실시예에 따른 '인공지능 기반 복합 입력 인지 시스템'의 용어는 '복합 입력 인지 시스템' 또는 '시스템'으로 약식 표기될 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템을 설명한다.

도 1은 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 전체 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템(100)은 각 지역에 위치한 모니터링 대상인 입력 클라이언트(Input Client)로부터 복수의 입력수단(10)을 통해 다양한 유형의 입력 데이터를 수집하여 통합적으로 분석하고, 그 분석결과에 따라 현재 발생한 이벤트를 판단하고, 이에 따른 결과를 하나 이상의 서로 다른 유형의 출력 시스템(50)을 통해 출력하는 것을 특징으로 한다.

특히, 본 발명의 실시예에 따른 인공지능 기반 복합 인지 시스템(100)은, 기존의 인공지능 시스템이 일반적으로 하나의 입력에 대한 하나의 출력만을 구현하는 것이라는 한계를 극복하여 둘 이상의 입력에 대하여 통합적으로 관리하여 이벤트에 대한 인지 가능한 범위를 확장하고, 상황에 따라 다양한 출력을 제공하는 것을 특징으로 한다.

이를 위해, 본 발명의 실시예에 따르면 모니터링 대상인 사용자 즉, 입력 주체인 입력 클라이언트의 주변에 위치한 다양한 유형의 입력수단(10)을 통해 입력 데이터를 수집하게 된다. 이러한 입력수단(10)으로는, 입력 클라이언트의 음성을 입력받는 마이크(11), 입력 클라이언트 및 그 주변을 촬영하는 카메라(12), 사용자의 조작을 입력받는 리모트 콘트롤러(13) 및, 입력 클라이언트의 주변, 일례로서 온도, 조도 및 습도 등의 다양한 주변환경에 대한 정보를 감지하는 센서(14) 등이 있다.

그리고, 전술한 입력수단(10)은 공지의 IoT 시스템 또는 로봇 시스템과 연계되어 입력 클라이언트 및 그 입력 클라이언트의 주변환경으로부터 다양한 유형의 정보를 감지하고, 이를 입력 데이터로서 네트워크를 통해 복합 입력 인지 시스템(100)에 전송할 수 있다.

또한, 전술한 입력수단(10)에 의해 수집된 입력 데이터는 복합 입력 인지 시스템(100)에 의해 분석되어 발생한 이벤트가 판단되고, 판단된 이벤트에 대응한 출력 데이터는 각 지역에 위치한 복수의 출력 시스템(50)에 제공되어 그 제어에 이용될 수 있다.

이러한 출력 시스템(50)으로는 복합 입력 인지 시스템(100)으로부터 제공되는 음원을 출력하는 스피커(51), 영상 형태의 출력 데이터를 재생하는 모니터(52), 제어 데이터에 따라 설정된 동작을 수행하는 로봇(53), IoT 시스템 제어 등 기타 제어 데이터에 따라 설정된 프로세스를 실행하는 장비 제어기(54) 등이 있다.

전술한 출력 시스템(50)은 공지의 IoT 시스템 또는 로봇 시스템으로 구현될 수 있고, 출력 데이터에 대응하여 입력 클라이언트 및 그 입력 클라이언트의 주변환경에 의해 발생한 이벤트에 대응하는 기능을 수행할 수 있다.

전술한 복수의 입력수단(10) 및 출력 시스템(50)은 네트워크를 통해 복합 입력 인지 시스템(100)과 연결되어 입력 데이터를 송신하거나 출력 데이터를 수신할 수 있다.

여기서, 전술한 네트워크로는, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중, 어느 하나가 이용될 수 있다.

복합 입력 인지 시스템(100)은, 입력 클라이언트와 관련된 다양한 종류의 데이터를 수집하고, 각 입력 데이터를 취합하여 통합적으로 분석함으로써 입력 클라이언트의 의도, 주변상황 및 환경 등을 정확하게 인지함과 아울러, 이에 대응하는 출력 데이터를 생성하여 출력 시스템을 제어할 수 있다.

이에 따라, 본 발명의 실시예에 따른 복합 입력 인지 시스템(100)은 기존의 인공지능 시스템들이 입력 클라이언트로부터 획득 가능한 다양한 데이터를 개별적으로 판단하지 못하고, 연속된 입력에 대하여 제한적인 분석 및 대응만을 제공한다는 한계를 극복하며 다양한 입력수단을 통해 수집되는 데이터에 대한 통합 인지를 수행하고 출력 시스템 각각에 개별적인 출력 데이터를 제공, 관리함으로써 연속된 입력에 대하여 능동적인 처리가 가능하게 된다.

또한, 본 발명의 복합 입력 인지 시스템(100)은 출력 시스템(50)의 각 기능별로 세분화되어 독립적으로 동작 할 수 있도록 구성될 수 있고, 보다 다양한 형태의 데이터를 처리할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 구조를 상세히 설명한다.

도 2는 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 내부 구성을 나타낸 도면이다.

도 2를 참조하면, 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템(100)은, 각 지역에 설치된 복수의 입력수단으로부터 하나 이상의 입력 클라이언트에 의한 이벤트 발생에 따른 서로 다른 유형의 복수의 입력 데이터를 수신하고, 각 입력 데이터의 유형에 따라 구분하여 정형화하는 전처리부(110), 전처리된 복수의 입력 데이터를 수집하는 입력 수집부(120), 수집된 복수의 입력 데이터에 대하여, 하나 이상의 판단 기준에 따라 각 입력 데이터가 갖는 의미를 판단하는 통합 인지 분석부(130), 각 입력 데이터별 의미를 통합하여 발생한 이벤트가 무엇인지 도출하고, 상기 이벤트에 대응하는 출력 데이터를 생성하는 출력 합성부(140) 및 출력 시스템에 대응하여 상기 출력 데이터를 분배 및 출력하는 출력 분배부(150)를 포함할 수 있다.

먼저, 전처리부(110)는 다양한 입력수단(10)으로부터 연속적으로 전달되는 다양한 종류의 입력 데이터를 시스템이 처리할 수 있는 형태로 변환하는 데이터 전처리와 관련된 절차를 수행할 수 있다.

입력수단(10)으로부터 입력되는 데이터는 그 종류에 따라 다양한 포맷을 가질 수 있다. 일례로서, 입력수단(10)은 음성 입력수단(11), 영상 입력수단(12) 및 환경 센서(14)등 일 수 있고, 각각 입력 클라이언트로부터 발화된 음성 데이터, 입력 클라이언트를 촬영한 영상 데이터 또는, 입력 클라이언트 주변의 온도 데이터 등일 수 있다.

전처리부(110)는 이러한 다양한 포맷에 맞추어 시스템이 요구하는 형식으로 전환하게 된다. 이를 위해, 전처리부(110)는 각각의 데이터 형식을 판단하고 변환을 수행하는 복수의 분석기를 포함할 수 있고, 이러한 분석기는 음성, 음원 등과 관련된 데이터를 처리함과 아울러, 특히 음성을 텍스트로 변환하는 음성 분석기(111), 영상과 관련된 데이터를 처리하는 영상 분석기(113) 및 텍스트 등의 문장을 그 언어의 종류에 따라 형태소를 분석하는 자연어 분석기(115) 등을 포함할 수 있다.

입력 수집부(120)는 전처리부(110)에 의해 변환되는 입력 데이터를 연속적으로 수집할 수 있다. 입력수단(10)으로부터 수집되는 입력 데이터는 둘 이상이 동시, 순차적, 또는 불규칙하게 입력될 수 있고, 입력 수집부(120)는 전처리 과정이 완료된 데이터를 통합 인지 분석부(130)에 전달할 수 있다.

통합 인지 분석부(130)는 전달된 복수의 입력 데이터에 대하여, 하나 이상의 판단 기준에 따라 분석을 수행하여 각 입력 데이터가 갖는 의미를 판단함과 아울러, 발생한 이벤트의 식별 및 발생여부를 판단할 수 있다.

본 발명의 실시예에 따르면, 다수의 입력 데이터에 대하여 동시에 수신 및 분석이 가능하며, 이에 따라 입력 클라이언트에 대한 현재 상황을 인지하여 적합한 출력 데이터를 제공할 수 있으며, 이러한 입력 데이터는 입력 클라이언트의 발화, 제스처 등에 기초한 수동형 입력뿐만 아니라, 입력 클라이언트 주변의 온습도 변화, IoT 시스템의 동작 등에 능동형 입력 데이터에 대해서도 유기적으로 반응할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 각 입력수단의 상태에 따른 판단을 수행할 수 있으며, 특히 각 입력 데이터에 설정되는 타임라인(Timeline)을 기반으로 하여 이벤트를 수행할 수 있다. 여기서, 타임라인은 각 입력 데이터가 전송되는 시점으로 설정될 수 있고, 타임라인을 통해 입력 클라이언트의 발화시점, 해당 시점에서의 온도 등을 판단할 수 있고, 이후 해당 이벤트를 판단하여 출력 데이터를 생성할 수 있도록 한다.

또한, 본 발명의 일 실시예에 따르면, 입력 데이터가 트리거(Trigger)의 역할을 하여 해당 조건 또는 시점에 이벤트에 따른 출력 데이터를 생성하는 논리를 구현할 수 있다. 특정 시점에서 특정 액션의 발생을 이벤트로 설정한 경우, 통합 인지 분석부(130)는 그 이벤트를 설정함과 아울러, 입력 데이터에 포함된 트리거를 판단하여 출력 데이터를 설정할 수 있도록 한다.

일례로서, '내일 6시에 깨워줘'라는 입력 데이터가 접수된 경우, '내일 6시'라는 시점과, '깨워줘'라는 특정 액션을 판단하여 이벤트로 설정하고, '내일 6시'가 트리거로 설정되어 이후 해당 시점이 도래하면 이벤트를 발생시키게 된다.

즉, 통합 인지 분석부(130)는, 미리 설정된 판단로직에 따라 입력 데이터를 분석할 수 있다.

본 발명의 실시예에 따르면, 판단로직은 그 형태에 따라 혼합입력 로직, 능동입력 로직, 타임라인 기반 로직 및, 트리거 로직으로 구분될 수 있다. 먼저, 혼합 입력 방식은 둘 이상의 입력 데이터의 조합에 따라 이벤트를 판단하는 방식이다.

일례로서, 입력 클라이언트로부터 '지금 실내 온도가 몇 도지?'라는 문장이 발화된 경우, 통합 인지 분석부(130)는 상기의 문장에 대한 음성 데이터의 STT 전처리를 통한 텍스트를 입력 받음과 동시에, 환경 센서로부터 입력 클라이언트의 위치에 따라 주변에 위치한 환경센서로부터 현재 온도에 대한 제어 데이터인 '25 ℃'를 입력 받을 수 있다. 이에 따라, 통합 인지 분석부(130)는 두 입력 데이터를 혼합입력 로직에 따라 통합 및 판단함으로써, 이후 '현재 실내 온도는 25도 입니다'의 출력 데이터를 생성할 수 있도록 한다.

또한, 능동입력 판단로직은, 둘 이상의 입력 데이터 중 하나 이상을 조건으로 설정하고, 이후 상기 조건이 부합하는 상황이 도래하면 이벤트가 발생한 것으로 판단하는 방식이다.

일례로서, 모니터링 대상인 지역 내 설치된 환경 센서 중, 인체감지 센서로부터 사람감지 결과에 대한 제어 데이터로서 '사람 없음'을 연속하여 입력 받을 수 있고, 조건으로서 '현재상태 1시간 경과'가 설정된 경우, 통합 인지 분석부(130)는 '사람 없음' 상태가 1시간을 경과하면 이벤트가 발생한 것으로 판단함으로써, '조명 오프(off)'의 출력 데이터를 생성할 수 있도록 한다.

또한, 타임라인 기반 판단로직은, 하나 이상의 입력 데이터 및 입력 데이터에 부여된 타임라인에 따라 이벤트를 판단하는 방식이다.

일례로서, 입력 클라이언트로부터 'XXX 노래 틀어줘'라는 문장이 발화된 직후, '내가 방금 뭐라고 했지?'라는 문장이 발화된 경우, 통합 인지 분석부(130)는 전 타임라인이 설정된 'XXX 노래 틀어줘'의 입력 데이터와, 후 타임라인이 설정된 '내가 방금 뭐라고 했지?'의 입력 데이터를 연속적으로 입력 받을 수 있고, 통합 인지 분석부(130)는 타임라인을 통해 '방금'이라는 시점을 식별할 수 있다. 이후, 이에 해당하는 문장인 'XXX 노래 틀어줘'에 따른 '"XXX 노래 틀어줘"라고 말씀하셨습니다'라는 출력 데이터를 생성할 수 있도록 한다.

또한, 트리거 판단로직은, 입력 데이터에 포함된 일부 또는 전부에 대한 내용을 트리거로 설정하고, 그 트리거가 개시되면 이벤트가 발생한 것으로 판단하는 방식이다.

일례로서, 입력 클라이언트로부터 '내일 오전 7시에 깨워줘'라는 문장이 발화된 경우, 통합 인지 분석부(130)는 상기의 문장을 입력받아 '내일 오전 7시'를 트리거로 설정할 수 있다. 이에 따라, 익일 오전 7시가 도래하면, 시스템은 트리거가 작동하여 알람을 출력 데이터로서 생성할 수 있다.

출력 합성부(140)는 전술한 통합 인지 분석부(130)에 의한 인지 판단 결과에 따라 각 입력 데이터별 의미를 통합하여 발생한 이벤트가 무엇인지 도출하고, 그 이벤트에 대응하는 출력 데이터를 생성할 수 있다.

전술한 바와 같이, 입력 데이터에 대하여 통합 인지 분석부(130)가 어느 하나의 판단로직에 기초하여 분석을 수행하고 판단결과를 도출하면, 출력 합성부(140)는 그 판단결과를 취합하여 입력 데이터의 의미 즉, 입력 클라이언트가 발화하거나 행동한 내용을 식별하고, 그에 따른 이벤트를 인지할 수 있다. 그리고, 인지된 이벤트에 대응하여 적합한 출력 데이터를 생성할 수 있다.

출력 분배부(150)는 생성된 출력 데이터를 그 데이터에 해당하는 입력 클라이언트의 출력 시스템(50)에 전송할 수 있다. 여기서, 출력 시스템(50)은 스피커, 모니터 등의 IoT 시스템 및 자율 운행이 가능한 로봇 시스템 등일 수 있고, 출력 분배부(150)는 생성된 출력 데이터에 적합한 출력 대상인 출력 시스템(50)을 결정하고, 출력 데이터를 대응하는 출력 시스템(50)에 분배하여 제공할 수 있다.

이에, 출력 시스템(50)은 입력 클라이언트의 의도에 따른 구동을 수행할 수 있다.

또한, 본 발명의 실시예에 따른 복합 입력 인지 시스템(100)은 시스템의 운용을 위한 데이터 베이스 등의 구성요소를 더 포함할 수 있다.

룰 데이터 베이스(160)는 입력 데이터를 구성하는 객체의 종류 및 상태를 판단할 수 있는 룰(rule)이 저장될 수 있다. 초기에는 미리 설정된 기본 룰에 따라 입력 데이터에 따른 상황을 판단하게 되며, 이후 반복된 객체 식별에 따라 축척된 히스토리를 반영하여 입력 데이터 분석의 정확도를 점진적으로 향상시킬 수 있다.

객체 히스토리 데이터 베이스(165)는 초기 구동부터 현재까지 누적된 객체 분석과정 및 출력 데이터 생성과정에서 축적된 객체 판단과 관련된 객체 히스토리를 저장할 수 있다. 즉, 시스템은 입력 데이터 분석시 식별되는 하나 이상의 객체 식별 결과를 축적, 저장할 수 있고, 지속적인 객체 분석 내용을 히스토리 정보로서 객체 히스토리 데이터 베이스(165)에 저장될 수 있다.

데이터 베이스 관리부(170)는, 전술한 룰 데이터 베이스(160) 및 객체 히스토리 데이터 베이스(165)에 데이터를 저장, 저장된 데이터를 갱신, 삭제 등, 공지의 데이터 베이스 관리 시스템(DBMS)과 같은 기능을 제공할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 전처리부의 구조를 설명한다.

도 3은 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템에 탑재되는 전처리부의 구성을 나타낸 도면이다.

도 3을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템에 탑재되는 전처리부(110)는, 음성 데이터를 트리거 정보로 변환하는 보이스 트리거(1111), 음성 데이터를 텍스트 정보로 변환하는 STT(1113) 및, 음성 데이터를 발화한 입력 클라이언트를 식별하는 화자 인식 모듈 중, 하나 이상을 포함하는 음성 분석기(111)와, 영상 데이터에 대응하는 입력 클라이언트의 얼굴 영역을 감지하는 얼굴감지 모듈(1131), 영상 데이터상에서 입력 클라이언트의 동작을 인식하는 제스처인식 모듈 및 얼굴인식 모듈을 포함하는 영상 분석기(113) 및, 텍스트 정보에 대하여 형태소 분석을 통해 음성 데이터의 언어를 탐지하고, 언어별로 토큰화, POS 태깅 및 불용어 처리를 수행하는 하나 이상의 언어별 형태소 분석모듈(1151 ~ 1153)을 포함하는 자연어 분석기(115)를 포함할 수 있다.

음성 분석기(111)는 입력 클라이언트로부터 발화된 음성 데이터를 전처리하는 역할을 한다. 이를 위한 구성으로서, 음성 분석기(111)는 보이스 트리거(Voice Trigger; 1111), STT(Speech to Text; 1113) 및 화자 인식 모듈(1115) 등을 탑재할 수 있다.

여기서, 보이스 트리거(1111)는 음성 데이터에 특정 대상에 대한 명령어가 포함되어 있을 경우, 그 명령어에 대응하는 단어 또는 구를 추출할 수 있고, STT(1113)는 음성 데이터를 텍스트 형식의 데이터로 변환 할 수 있다. 또한, 화자 인식 모듈(1115)은 음성 데이터의 파형에 따라 발화자 즉, 입력 클라이언트를 식별 및 확정할 수 있다.

영상 분석기(113)는 입력 클라이언트 또는 입력 클라이언트 주변에 대하여 촬영된 영상 데이터를 전처리하는 역할을 한다. 이를 위한 구성으로서, 영상 분석기(113)는 얼굴감지 모듈(1131), 제스처인식 모듈(1133) 및 얼굴인식 모듈(1135)을 탑재할 수 있다.

얼굴감지 모듈(1131)은 영상 데이터의 각 프레임에 등장하는 객체 중, 사람에 해당하는 객체를 추적하고 얼굴영역을 감지할 수 있으며, 제스처인식 모듈(1133)은 추적된 사람 객체의 손가락, 팔, 어깨 및, 다리 등의 각 신체부위에 따른 동작 등의 움직임을 인식할 수 있다. 또한, 얼굴인식 모듈(1135)은 추적된 사람 객체의 얼굴영역을 이용하여 입력 클라이언트를 식별 및 확정할 수 있다.

자연어 분석기(115)는 전술한 음성 분석기(111), 특히 STT(1113)에 의해 텍스트화된 입력 데이터에 대한 형태소 분석을 수행할 수 있다. 이때, 입력 클라이언트가 발화한 음성은 한국어뿐만 아니라, 영어, 중국어 및 일본어 등 다양한 국가의 언어일 수 있으며, 이에 자연어 분석기(115)는 입력 데이터의 텍스트의 언어별로 형태소 분석을 수행할 수 있다.

전술한 자연어 분석기(115)는 음성 데이터의 언어를 탐지하고, 언어별로 토큰화를 수행하여 문장을 분해하며, POS 태깅(Part Of Speech Tagging) 및 불용어 처리를 통해 단어에 따라 문장의 분석을 수행할 수 있도록 변환할 수 있다.

이를 위해, 자연어 분석기(115)는 적어도 한국어 형태소 분석 모듈(1151), 영어 형태소 분석 모듈(1153) 및 중국어 형태소 분석 모듈(1155)을 탑재할 수 있고, 입력 데이터의 텍스트 종류에 따라 각각의 분석 모듈을 통해 분석을 수행하게 된다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 통합 인지 분석부의 구성을 상세히 설명한다.

도 4는 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템에 탑재되는 통합 인지 분석부의 구성을 나타낸 도면이다.

도 4를 참조하면, 통합 인지 분석부(130)는, 입력 수집부(120)로부터 전처리된 입력 데이터를 전달받아 수집하는 입력 수집기(131), 타이머(132)를 참조하여 수집된 입력 데이터별 발생시간에 따른 타임라인을 부여하는 입력 합성기(133), 타임정보를 참조하여 각 입력 데이터에 따라 해당 입력 클라이언트의 종류 및 이벤트에 포함되는 객체의 종류를 식별하고, 식별된 객체의 상태를 판단하는 객체상태 매니저(134), 하나 이상의 판단로직에 기초하여 입력 클라이언트 및 객체의 종류 및 상태에 따라 현재 발생한 이벤트를 판단하는 제1 논리 판단기(135), 제1 논리 판단기(135)에 의해 판단된 이벤트에 대하여, 확장된 추가 리소스를 통해 이벤트에 대한 2차 판단을 수행하고, 출력 합성부(140)에 전달하는 제2 논리 판단기(136), 제2 논리 판단기(136)의 요청에 따라 외부 시스템이 서비스하는 확장 데이터를 제공하는 확장 서비스 매니저(137), 네트워크를 통해 외부 시스템과 연결되고, 확장 서비스 매니저를 통해 상기 외부 시스템에서 배포하는 외부 API를 호출하는 외부 API 매니저(138), 상기 입력 수집기에 의해 수집된 입력 데이터의 유형에 따라 등록된 객체임을 인증하는 객체 인증기(139) 및, 시스템상에 하나 이상의 객체를 등록, 갱신 및 제외하는 인증 매니저(1391)를 포함할 수 있다.

입력 수집기(131)는 시스템이 수집하고 전처리된 다양한 유형의 입력 데이터를 연속적으로 수집할 수 있다. 입력 데이터는 다수의 입력 클라이언트로부터 임의의 시점에 하나 이상이 전송될 수 있고, 입력 수집기(131)는 수집된 입력 데이터에 대한 전처리가 완료되면 그 전처리된 입력 데이터를 입력 클라이언트 별로 수집하여 입력 합성기(133)에 전달할 수 있다.

입력 합성기(133)는 수집된 입력 데이터별로 발생시간에 따라 타임라인을 부여하고 제1 분석을 위한 제1 논리 판단기(135)에 전달할 수 있다. 이를 위해 통합 인지 분석부(130)는 현재 시간을 생성하는 타이머(132)를 포함할 수 있고, 입력 합성기(133)는 타이머(132)가 출력하는 시간을 참조하여 각 입력 데이터에 대한 타임라인을 부여하고, 각 입력 데이터를 합성하여 이후 분석시 타임라인 기반 판단로직을 적용할 수 있도록 한다.

객체상태 매니저(134)는 타임정보를 참조하여 각 입력 데이터에 따라 해당 입력 클라이언트의 종류 및 이벤트에 포함되는 객체의 종류를 식별하고, 식별된 객체의 상태를 판단할 수 있다.

입력 데이터에는 하나 이상의 객체가 등장할 수 있다. 일 예로서, 입력 데이터가 "지금 뭐하고 있어?"라는 음성 데이터인 경우, 시간을 가리키는 객체인 '지금', 행위를 가리키는 객체인 '뭐하고 있어'가 포함될 수 있고, 입력 데이터 자체에는 직접 등장하지 않지만, 발화자인 입력 클라이언트와, 상기 질의 대상인 '로봇' 등이 객체로서 등장하는 것으로 추정할 수 있다.

이에, 객체상태 매니저(134)는 입력 데이터에 등장하는 객체의 종류를 식별하고, 이러한 객체 및 발생한 이벤트를 식별하며, 객체인 입력 클라이언트 및 로봇 등에 대하여 그의 상태를 판단할 수 있다.

제1 논리 판단기(135)는 합성된 입력 데이터에 대하여 인공지능 기반 분석을 통해 입력 데이터가 갖는 의미를 판단할 수 있다. 이러한 분석 절차는 하나 이상의 판단로직에 기초하여 수행될 수 있고, 제1 논리 판단기(135)는 식별된 입력 클라이언트 및 객체의 종류 및 상태에 따라 현재 발생한 이벤트의 구체적 내용을 판단할 수 있다.

이러한 제1 논리 판단기(135)는 데이터 베이스 관리부(170)를 참조하여 분석을 위한 룰을 획득할 수 있고, 축적된 객체 히스토리 데이터를 고려하여 입력 데이터에서 등장하는 객체 및 이벤트를 인지하게 된다.

전술한 분석을 위한 판단로직으로는, 둘 이상의 입력 데이터의 조합에 따라 이벤트를 판단하는 혼합입력 판단로직, 둘 이상의 입력 데이터 중 하나 이상을 조건으로 설정하고, 이후 조건이 부합하는 상황이 도래하면, 이벤트가 발생한 것으로 판단하는 능동입력 판단로직, 하나 이상의 입력 데이터 및 입력 데이터에 부여된 타임라인에 따라 이벤트를 판단하는 타임라인 기반 판단로직 및, 입력 데이터에 포함된 일부 또는 전부에 대한 내용을 트리거로 설정하고, 트리거가 개시되면 이벤트가 발생한 것으로 판단하는 트리거 판단로직 중, 하나 이상일 수 있다.

제2 논리 판단기(136)는 입력 데이터 분석에 있어서, 시스템 자체에 구축된 인공지능 기법 및 데이터뿐만 아니라, 외부의 데이터를 더 활용하여 재차 분석 절차를 수행함으로써 분석 정확도를 더욱 향상시킬 수 있다. 이를 위해, 제2 논리 판단기(136)는 시스템 내 데이터 베이스 관리부(170)뿐만 아니라, 외부 시스템에서 배포하는 외부 API를 참조할 수 있고, 확장 서비스 매니저(137)에 외부 데이터를 요청할 수 있다.

또한, 제2 논리 판단기(136)는 분석 완료된 결과를 출력 합성부(140)에 제공할 수 있다.

확장 서비스 매니저(137)는 요청에 따라 외부 시스템이 제공하는 각종 데이터를 수집하여 제공할 수 있다. 데이터 분석시에는 전술한 판단로직 이외에도 다양한 데이터 분석 솔루션이 활용될 수 있고, 확장 서비스 매니저(137)는 제2 논리 판단기(136)의 요청에 따라 외부 API 매니저(138)가 API를 통해 획득한 데이터를 전달할 수 있다.

외부 API 매니저(138)는 정보통신망을 통해 외부 시스템과 연결되고, 외부 시스템이 배포중인 API를 설정하고, 이를 호출하여 분석에 활용 가능한 다양한 종류의 데이터, 인공지능 학습에 요구되는 학습 데이터 등을 수집할 수 있고, 수집된 데이터를 확장 서비스 매니저(137)에 제공할 수 있다.

이러한 구성에 따라, 분석결과는 출력 합성부(140)에 전달되고, 출력 합성부(140)는 분석결과로부터 도출되는 식별된 객체 및 이벤트에 적합한 출력 데이터를 생성하게 된다.

한편, 본 발명의 실시예에 따른 통합 인지 분석부(130)는 입력 데이터로부터 식별된 객체를 인증하기 위한 기술적 수단인 객체 인증기(139) 및 인증 매니저(1391)를 더 포함할 수 있다. 본 발명의 실시예에 따르면, 이러한 객체 인증과 관련된 구성을 통해 출력 데이터의 출력시 그 출력 시스템을 특정함으로써, 입력 클라이언트의 의도에 따라 이벤트가 해당 출력 시스템에 정확하게 발현되도록 하기 위한 인증 절차를 거치게 된다.

객체 인증기(139)는 전처리된 입력 데이터의 유형에 따라 등록된 객체임을 인증하는 것으로, 입력 데이터에 포함된 하나 이상의 객체가 시스템에 등록된 객체인지 여부를 인증하고, 이후 입력 데이터의 출력시 출력 데이터에 그 객체에 대응하는 출력 시스템으로 출력되는지 확인할 수 있다.

인증 매니저(1391)는 시스템상에 하나 이상의 객체를 등록, 갱신 및 제외하는 기능을 제공할 수 있다. IoT 장비, 스피커 및 로봇 등 다양한 출력 시스템들은 본 발명의 복합 입력 인지 시스템에 등록되어 제어될 수 있고, 인증 매니저(1391)는 이러한 출력 시스템을 최초 등록하거나, 갱신 또는 제외하는 기능을 제공하고, 각 객체에 대한 객체 인증기(139)의 문의에 따라 등록여부를 회신할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 목표 시스템의 유형에 따른 구현형태를 설명한다.

도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 목표 시스템의 유형에 따라 적용되는 형태를 예시한 도면이다.

도 5a를 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반 복합 입력 인지 시스템은 다양한 플랫폼에 기반하여 다양한 유형의 IoT 시스템 등에 적용될 수 있고, 이는 목적 시스템의 형태에 적합하게 적용될 수 있다.

먼저, 입력수단이 마이크 장치, 환경 센서 등 라이트 장치(Light Client)일 경우, 이러한 입력수단의 제어유닛은 MCU 기반으로 구현될 수 있고, 오디오 입력, 센서 입력, 오디오 출력, 장비 제어 등의 최소 기능과, 통신을 위한 네트워크 제어부만으로 구성될 수 있다.

이에, 본 발명의 인공지능 기반 복합 입력 인지 시스템의 전 구성부는, 입력수단이 아닌 외부의 클라우드 서버 등에 구축될 수 있고, 입력 및 출력 데이터를 네트워크를 통해 송수신하는 형태로 구현될 수 있다.

즉, 입력 전처리 및 출력 전처리 기능이 클라우드 서버상에서 구현되며, 인공지능 기반 복합 인지 시스템 및 데이터 베이스 시스템, 개별 객체 상태 로직 및 확장 서비스 관리자 등이 모두 클라우드 서버 상에 구축될 수 있다.

도 5b를 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반 복합 입력 인지 시스템은 암 프로세서(ARM Processor) 기반의 목적 시스템, 예를 들어, 안드로이드 기반 스마트폰, 셋탑박스, AI 스피커, 태블릿 PC 등에 적용될 수 있다. 이러한 미디엄 장치(Medium Client)의 경우, 오디오 입력, 센서 입력 이외에도 어플리케이션 형태로 입력 전처리 기능 및 출력 전처리 기능이 구현 및 탑재될 수 있다.

따라서, 인공지능 기반 복합 입력 인지 시스템 및 이의 나머지 구성부인 데이터 베이스 시스템, 개별 객체 상태 로직 및 확장 서비스 관리자 등은 클라우드 서버 상에 구축될 수 있다.

이러한 구성은, 현재 기술 수준으로 볼 때 암 프로세서가 일정 수준 이상의 연산 능력을 포함함에 따라 인공지능 기반 복합 입력 인지 시스템의 일부 기능을 어플리케이션 형태로 분산하여 탑재할 수 있어, 컴퓨팅 자원의 효율적 분배를 구현하기 위함이다.

도 5c를 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반 복합 입력 인지 시스템은 x86_64 프로세서(x86_64 Processor) 기반의 목적 시스템, 예를 들어, PC, 서버 등에 적용될 수 있다. 이러한 스탠드 언론 장치(Standalone Client)의 경우, 오디오 입력, 센서 입력 이외에도 어플리케이션 형태로 입력 전처리 기능 및 출력 전처리 기능뿐만 아니라, 인공지능 기반 복합 입력 인지 시스템, 데이터 베이스 시스템, 객체 상태 로직 등이 구현 및 탑재될 수 있다.

따라서, 공통 지능 데이터 베이스 시스템 및 확장 서비스 관리자 등의 추가 기능이 클라우드 서버 상에 구축될 수 있고, 이는 네트워크를 통해 목적 시스템과 연동하여 통합 인지 기능을 구현할 수 있다.

또한, 도 5d를 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반 복합 입력 인지 시스템은 각 기능은 네트워크 장비간 분산되는 형태로 목적 시스템에 적용될 수 있다. 일 예로서, 가정, 회사 등에 네트워크 접속을 위해 설치되는 사설 라우터가 암 프로세서 기반이고, 입력수단이 면도기, 진동 칫솔 및 스피커 등인 경우, 입력수단의 제어유닛은 MCU 기반으로 구현될 수 있고, 오디오 입력, 센서 입력, 오디오 출력, 장비 제어 등의 최소 기능과, 근거리 무선 통신을 위한 블루투스 모듈을 탑재함으로써 인공지능 입력 장치의 역할을 수행할 수 있다.

또한, 사설 라우터에는, 입력 전처리 기능, 출력 전처리 기능 및 인공지능 기반 복합 입력 인지 시스템, 데이터 베이스 시스템 및 객체 상태 로직 등이 구현 및 탑재되어 인공지능 허브 라우터의 역할을 수행할 수 있고, 클라우드 서버에 구현되는 공통 지능 데이터 베이스 시스템 및 확장 서비스 관리자와 네트워크를 통해 연동하여 통합 인지 기능을 구현할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 구성부의 구현 형태를 설명한다.

도 6은 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템의 각 구성부의 시스템 모듈 구조를 예시한 도면이다.

도 6을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 복합 입력 인지 시스템을 구성하는 각 구성부는, 컴포저(Composer) 형태로 모듈화 될 수 있다. 이러한 컴포저는 복수의 프로그래밍 언어 및 플랫폼별로 구현될 수 있으며, 하나의 컴포저는 복수의 링커(Linker), 소켓API 및 코어로직(Core logic)으로 구성될 수 있다.

인공지능 기반 복합 입력 인지 시스템은 컴포저를 통해 개별 로직에 접근가능하며, 각 컴포저는 특정 로직을 네이티브 코드(native code)로 오버라이드(override)할 수 있다.

이러한 컴포저는 다양한 프로그래밍 언어, 예를 들면 C++, Android JAVA, C#, Node.js 및 PHP 을 지원할 수 있다.

또한, 컴포저는 다양한 인터페이스를 포함할 수 있으며, 이러한 인터페이스로는, 컴포저의 구성, 동작 및 인증 관련 기능을 제어하기 위한 'Operation Control Interface', 시스템에 입력을 발생시키기 위한 'Trigger input Interface' 및 시스템에서 발생한 출력을 처리하기 위한 'Output event Interface' 등이 있다.

링커는 컴포저 내부에서 각 개별 모듈을 연결해주는 역할을 수행할 수 있다. 각 링커의 연결 관계는 컴포저에 의해 사전에 정의되며, GNU C로 작성되어 어떠한 종류의 시스템에도 공통으로 사용이 가능하다는 특징이 있다.

이러한 링커로는 'Direct function call Linker', 'TCP/IP Server Linker', 'TCP/IP Client Linker', 'JSON REST Linker', 'WebSocket Linker' 등이 있다.

상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.

10 : 입력수단 50 : 출력 시스템
100 : 복합 입력 인지 시스템 110 : 전처리부
111 : 음성 분석기 113 : 영상 분석기
115 : 자연어 분석기 1120 : 입력 수집부
130 : 통합 인지 분석부 131 : 입력 수집기
132 : 타이머 133 : 입력 합성기
134 : 객체상태 매니저 135 : 제1 논리 판단기
136 : 제2 논리 판단기 137 : 확장 서비스 매니저
138 : 외부 API 매니저 140 : 출력 합성부
150 : 출력 분배부 160 : 룰 데이터 베이스
165 : 객체 히스토리 데이터 베이스 170 : 데이터 베이스 관리부

Claims (8)

1. 입력 클라이언트에 대한 서로 다른 유형의 복수의 입력 데이터를 수신하여 분석하는 복합 입력 인지 시스템의 통합 인지 분석부로서,
   복수의 입력 수단으로부터 수집되어 전처리된 입력 데이터를 전달받아 수집하는 입력 수집기;
   타이머를 참조하여 수집된 입력 데이터별 발생시간에 따른 타임라인을 부여하는 입력 합성기; 및
   하나 이상의 판단로직에 기초하여 상기 입력 클라이언트 및 객체의 종류 및 상태에 따라 현재 발생한 이벤트를 판단하는 제1 논리 판단기를 포함하고,
   상기 통합 인지 분석부는,
   상기 제1 논리 판단기에 의해 판단된 이벤트에 대하여, 확장된 추가 리소스를 통해 상기 이벤트에 대한 2차 판단을 수행하고, 출력 시스템에 제공하는 제2 논리 판단기;
   상기 제2 논리 판단기의 요청에 따라 외부 시스템이 서비스하는 확장 데이터를 제공하는 확장 서비스 매니저; 및
   네트워크를 통해 상기 외부 시스템과 연결되고, 상기 확장 서비스 매니저를 통해 상기 외부 시스템에서 배포하는 외부 API를 호출하는 외부 API 매니저
   를 포함하는 복합 입력 인지 시스템용 통합 인지 분석부.
2. 제 1 항에 있어서,
   상기 통합 인지 분석부는,
   상기 타임라인을 참조하여 각 입력 데이터에 따라 입력 클라이언트의 종류 및 이벤트에 포함되는 객체의 종류를 식별하고, 식별된 객체의 상태를 판단하는 객체상태 매니저
   를 포함하는 복합 입력 인지 시스템용 통합 인지 분석부.
3. 삭제
4. 제 1 항에 있어서,
   상기 통합 인지 분석부는,
   상기 입력 수집기에 의해 수집된 입력 데이터의 유형에 따라 등록된 객체임을 인증하는 객체 인증기; 및
   시스템상에 하나 이상의 객체를 등록, 갱신 및 제외하는 인증 매니저
   를 포함하는 복합 입력 인지 시스템용 통합 인지 분석부.
5. 제 1 항에 있어서,
   상기 판단로직은,
   둘 이상의 입력 데이터의 조합에 따라 상기 이벤트를 판단하는 혼합입력 판단로직인 복합 입력 인지 시스템용 통합 인지 분석부.
6. 제 1 항에 있어서,
   상기 판단로직은,
   둘 이상의 입력 데이터 중 하나 이상을 조건으로 설정하고, 이후 상기 조건이 부합하는 상황이 도래하면, 상기 이벤트가 발생한 것으로 판단하는 능동입력 판단로직인 복합 입력 인지 시스템용 통합 인지 분석부.
7. 제 1 항에 있어서,
   상기 판단로직은,
   하나 이상의 입력 데이터 및 상기 입력 데이터에 부여된 타임라인에 따라 상기 이벤트를 판단하는 타임라인 기반 판단로직인 복합 입력 인지 시스템용 통합 인지 분석부.
8. 제 1 항에 있어서,
   상기 판단로직은,
   입력 데이터에 포함된 일부 또는 전부에 대한 내용을 트리거로 설정하고, 상기 트리거가 개시되면 상기 이벤트가 발생한 것으로 판단하는 트리거 판단로직인 복합 입력 인지 시스템용 통합 인지 분석부.

Images