KR20160121382A - 텍스트 마이닝 시스템 및 툴 - Google Patents

Abstract

본 발명은 복수의 입력 데이터 집합들에서 관련 텍스트를 추출하는 텍스트 마이닝 시스템을 제공한다. 텍스트 마이닝 시스템은 하나 이상의 사용자들이 복수의 입력 데이터 집합들에 대한 복수의 소스들을 선택할 수 있도록 구성된 입력 인터페이스 모듈을 포함한다. 텍스트 마이닝 시스템은 또한, 복수의 입력 데이터 집합들을 수신하고, 복수의 입력 데이터 집합들을 분석하여 출력 데이터 집합을 생성하도록 구성되는 텍스트 분석 모듈을 포함한다. 텍스트 분석 모듈은 복수의 입력 데이터 집합들을 분석 텍스트 집합으로 변환하도록 구성된 데이터 처리 모듈을 포함한다. 텍스트 분석 모듈은 또한, 분석 텍스트 집합 안에서 복수의 상관관계들을 판단하도록 구성된 탐색적 분석 모듈을 포함한다. 텍스트 분석 모듈은 분석 텍스트 집합에서 반복적으로 발생하는 복수의 토픽들을 식별하도록 구성된 토픽 모델링 모듈, 및 텍스트 분석 모듈을 위한 복수의 리포트를 생성하도록 구성된 리포팅 모듈을 더 포함한다. 텍스트 마이닝 시스템은 복수의 입력 데이터 집합들, 분석 텍스트 집합, 및 출력 데이터 집합을 저장하도록 구성된 메모리 회로를 더 포함한다.

Description

텍스트 마이닝 시스템 및 툴{TEXT MINING SYSTEM AND TOOL}

본 발명은 일반적으로 텍스트 마이닝 시스템에 관한 것으로서, 보다 상세하게는 몇몇 소스들에서 도출된 텍스트로부터 관련 정보를 도출하기 위한 시스템 및 툴에 관한 것이다.

종종 다른 말로는 텍스트 데이터 마이닝 또는 텍스트 분석이라고도 불려지는 텍스트 마이닝은 몇몇 소스들에서 받은 텍스트에서 관련 정보를 도출하는 동작을 일컫는다. 통상적인 텍스트 마이닝 작업들에는 다른 무엇보다, 텍스트 분류, 텍스트 클러스터링, 개념 또는 개체 추출, 미세 분류체계들의 생성, 감성 분석, 문서 요약, 및 개체 관계 모델링이 포함된다.

텍스트 마이닝 시스템은 특정 이벤트에 대한 많은 정보 일체를 구축하는데 사용될 수 있다. 텍스트 마이닝은 보안, 생의학, 온라인 매체, 마케팅 감성 분석, 학문 및 소프트웨어 등과 같은 다양한 분야에서 광범위한 연구 및 사업을 수행하는데 널리 적용될 수 있다. 그에 더하여, 텍스트 마이닝은 광고나 다른 원치 않는 자료일 가능성이 있는 메시지들의 특성을 판단하는 방법으로서, 소정의 이메일 스팸 필터들에 사용될 수도 있다.

그러나, 현재의 텍스트 마이닝 시스템들과 관련하여, 분석 애플리케이션의 최종 사용자는 일부가 실질적 전문지식을 요하는 고비용의 일로 판명되는 모든 작업들을 수행함에 있어 충분히 숙련되어 있어야만 한다. 또한, 텍스트 마이닝 시 수집되는 방대한 양의 사전적이고, 구문적이며, 의미론적인 모호함을 내포하는 데이터는 대부분 부분 체계화, 비체계화, 및 잘못 체계화되어 있다. 이용 가능한 텍스트 마이닝 툴들은 문서들이 다만 특정 사용자 정의 단어들이나 구절들을 포함한다는 것만을 찾아낼 수 있어 그 정보를 해석하고 그것을 이용할 수 있기 위해서는 사용자의 개입이 필요한 텍스트 기반 검색을 이용한다.

따라서, 텍스트 마이닝을 자동화함으로써 사용자들이 해당 분야의 특별한 전문지식을 가져야 할 필요성을 줄이는 것이 요망될 수 있다.

간략히 말해, 본 발명의 한 양태에 따르면, 복수의 입력 데이터 집합들에서 관련 텍스트를 추출하기 위한 텍스트 마이닝 시스템이 제공된다. 텍스트 마이닝 시스템은 하나 이상의 사용자들이 복수의 입력 데이터 집합들에 대한 복수의 소스들을 선택할 수 있도록 구성된 입력 인터페이스 모듈을 포함한다. 텍스트 마이닝 시스템은 또한, 복수의 입력 데이터 집합들을 수신하고, 복수의 입력 데이터 집합들을 분석하여 출력 데이터 집합을 생성하도록 구성되는 텍스트 분석 모듈을 포함한다. 텍스트 분석 모듈은 복수의 입력 데이터 집합들을 분석 텍스트 집합으로 변환하도록 구성된 데이터 처리 모듈을 포함한다. 텍스트 분석 모듈은 또한, 분석 텍스트 집합 안에서 복수의 상관관계들을 판단하도록 구성된 탐색적 분석 모듈을 포함한다. 텍스트 분석 모듈은 분석 텍스트 집합에서 반복적으로 발생하는 복수의 토픽들을 식별하도록 구성된 토픽 모델링 모듈, 및 텍스트 분석 모듈을 위한 복수의 리포트를 생성하도록 구성된 리포팅 모듈을 더 포함한다. 텍스트 마이닝 시스템은 복수의 입력 데이터 집합들, 분석 텍스트 집합, 및 출력 데이터 집합을 저장하도록 구성된 메모리 회로를 더 포함한다.

다른 양태에 따르면, 복수의 입력 데이터 집합들에서 관련 텍스트를 추출하기 위한 텍스트 마이닝 툴이 제공된다. 텍스트 마이닝 툴은 사용자가 복수의 입력 데이터 집합들에 대한 복수의 소스들을 선택할 수 있도록 구성된 입력 인터페이스 모듈, 및 사용자가 데이터 처리 작업을 일으킬 하나 이상의 변수들을 선택할 수 있도록 구성된 데이터 처리 인터페이스를 포함한다. 데이터 처리 작업은 복수의 입력 데이터 집합들을 분석 텍스트 집합으로 변환한다. 텍스트 마이닝 툴은 또한, 사용자가 탐색적 분석 작업을 일으킬 하나 이상의 분석 타입들을 선택할 수 있도록 구성된 탐색적 분석 인터페이스를 포함한다. 탐색적 분석 작업은 분석 텍스트 집합 내에서의 복수의 상관관계들을 판단한다. 텍스트 마이닝 툴은 사용자가 토픽 모델링 작업을 일으킬 하나 이상의 입력 파라미터들을 선택할 수 있도록 구성된 토픽 모델링 인터페이스를 더 포함한다. 토픽 모델링 작업은 분석 텍스트 집합에서 반복적으로 발생하는 복수의 토픽들, 및 선택된 기준에 기반하여 복수의 리포트들을 생성하도록 구성된 리포팅 인터페이스를 식별한다.

또 다른 양태에 따르면, 복수의 입력 데이터 집합들에서 관련 텍스트를 추출하기 위한 방법이 제공된다. 상기 방법은 복수의 소스들로부터 복수의 입력 데이터 집합들을 선택하는 단계, 및 복수의 입력 데이터 집합들을 변환하여 분석 텍스트 집합을 생성하는 단계를 포함한다. 상기 방법은 또한, 탐색적 분석을 수행하여 분석 텍스트 집합 안에 존재하는 상관관계들을 판단하는 단계, 및 탐색적 분석의 결과들에 기반하여 하나 이상의 모델들을 생성하는 단계를 포함한다. 상기 방법은 분석 텍스트 집합에서 반복적으로 발생하는 토픽들을 식별하기 위해 토픽 모델링을 수행하는 단계, 선택된 기준에 기반하여 복수의 리포트들을 생성하는 단계, 및 출력 데이터 집합을 생성하는 단계를 더 포함한다.

이들 및 다른 본 발명의 특징, 양태, 및 이점은 이하의 상세한 설명을 첨부된 도면을 참조하여 파악할 때 보다 잘 이해될 수 있을 것이며, 도면 전체를 통하여 동일한 부호는 동일한 구성요소를 나타낸다.
도 1은 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 시스템의 블록도이다.
도 2는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 시스템을 이용하여, 입력 데이터 집합들에서 관련 텍스트를 추출하는 하나의 방법에 대한 흐름도이다.
도 3은 본 기법의 양태들에 따라 구현되는 예시적 텍스트 분석 모듈의 블록도이다.
도 4는 본 기법의 양태들에 따라 구현되는, 분석 텍스트 집합을 분류하는 하나의 방법에 대한 흐름도이다.
도 5는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적 홈 스크린이다.
도 6a 내지 6c는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적 데이터 처리 스크린들이다.
도 7은 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적인 탐색적 분석 스크린이다.
도 8a 및 8b는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적 리포트 생성 스크린들이다.
도 9는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 모델 정의를 도시한 예시적 텍스트 분류 스크린이다.
도 10은 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적인 모델 구축 스크린이다.
도 11은 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적인 모델 진단 스크린이다.
도 12는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적인 반복 히스토리 보기 스크린이다.
도 13은 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적인 토픽 모델링 스크린이다.
도 14는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적인 토픽 분포 차트 보기 스크린이다.
도 15는 본 기법의 양태들에 따라 구현되는 복수의 입력 데이터 집합들로부터 관련 텍스트를 추출하도록 구성된 범용 컴퓨터의 블록도이다.

본 발명은 정확한 데이터 분석이 가능하도록 입력 데이터 집합들에서 관련 텍스트를 추출하도록 구성된 텍스트 마이닝 시스템을 제공한다. 텍스트 마이닝 시스템은 입력 텍스트를 체계화하고, 체계화된 텍스트 안에서 패턴들을 도출하고, 체계화된 텍스트의 평가 및 해석을 통해 텍스트에서 관련 정보를 도출한다. 예시적 실시예에서, 텍스트 마이닝 기법은 데이터 처리, 탐색적 분석, 텍스트 분류, 토픽 모델링 및 리포트 생성 같은 다양한 작업들을 포함한다. 이러한 작업들은 필요에 따라 각각 수행될 수 있으며, 상기 특정된 순서를 따를 필요는 없다.

명세서에서 "한 실시예", "어떤 실시예", "예시적 실시예"라는 언급들은 기술된 해당 실시예가 특정한 특성, 구조 또는 특징을 포함할 수 있음을 가리키지만, 모든 실시예가 반드시 그러한 특정한 특성, 구조 또는 특징을 포함하지 않을 수도 있다. 게다가 그러한 문구들이 반드시 같은 실시예를 지칭하는 것은 아니다. 또한 특정한 특성, 구조, 또는 특징이 어떤 실시예와 관련하여 기술될 때, 그것은 본 명세서에 명시적으로 기술되든지 그렇지 않든지 여부와 무관하게 다른 실시예들과 관련하여 그러한 특성, 구조, 또는 특징에 영향을 미치는 것이 당업자의 지식 안에 있다고 할 수 있다.

도 1은 본 기법에 따라 입력 데이터 집합들에서 관련 텍스트를 추출하도록 구성되는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 시스템의 블록도이다. 텍스트 마이닝 시스템(10)은 통상적으로, 사용자 인터페이스(12), 텍스트 분석 모듈(14), 및 메모리 회로(16)를 포함한다. 각각의 구성요소는 이하에서 더 상세히 기술된다.

텍스트 마이닝 시스템(10)은 몇몇 소스들(24, 26 및 28)로부터 입력 데이터 집합들(18, 20, 22)을 수신하도록 구성된다. 입력 데이터 집합들의 예들은 실질적으로, 소셜 미디어 플랫폼들, 세일즈 및 마케팅 채널들, 금융 리포트들 등과 같은 여러 소스들에서 획득한 많은 양의 텍스트, 문자/숫자 데이터 등을 포함한다. 본 명세서 및 청구범위의 목적 상, "소셜 미디어 플랫폼"이라는 용어는 사람들이 서로 연결되거나 통신할 수 있게 하는 모든 타입의 컴퓨터화된 메커니즘에 관한 것일 수 있다. 어떤 소셜 미디어 플랫폼들은 형식적인 방식으로 사용자들 간 단대단(end-to-end) 통신을 돕는 애플리케이션들일 수 있다. 다른 소셜 네트워크들은 덜 형식적일 수 있으며, 사용자가 통신을 개시하거나 수신할 수 있는 사용자의 이메일 연락처 리스트, 전화번호 리스트, 메일링 리스트, 또는 다른 데이터베이스로 구성될 수 있다. 또한, "사용자"라는 용어가 자연인과, "사용자"로서 운용되는 다른 개체들 모두를 일컬을 수 있다는 것을 알 수 있을 것이다. 예들로는 법인, 기관, 기업, 팀, 또는 기타 사람들의 그룹이 포함된다.

사용자 인터페이스(12)는 사용자가 소정 동작을 위한 일련의 키워드들을 제공할 수 있도록 구성된다. 키워드들과 관련된 입력 데이터 집합들은 일반적으로 참조 부호 24, 26, 28로 참조되는 여러 소스들로부터 얻어진다. 소스들의 예들에는 트위터, 페이스북 등과 같은 소셜 미디어 네트워크들, 다양한 비즈니스 유닛들로부터 나온 비즈니스 리포트들, 및 특정 주식 시장들로부터의 추세 및 예측들 등이 있다.

텍스트 분석 모듈(14)이 사용자 인터페이스(12)와 연결되어, 사용자가 특정한 키워드들로부터 도출된 입력 데이터 집합들(18, 20, 22)을 수신하고 입력 데이터 집합들을 숙독하여 출력 데이터 집합(30)을 생성하도록 구성된다. 출력 데이터 집합(30)은 입력 데이터 집합들로부터 추출된 관련 텍스트를 일컫는다. 텍스트 분석 모듈(14)은 입력 데이터 집합들(18, 20, 22)로부터 관련 텍스트를 추출하기 위해 선택된 키워드들과 관련된 데이터 처리, 탐색적 분석, 텍스트 분류, 토픽 모델링 및 리포트 생성 같은 다양한 동작들을 수행한다. 텍스트 분석 모듈(14)은 사용자가 복수의 언어들로부터 입력 데이터 집합들을 선택할 수 있게 함으로써 언어 호환성을 제공하도록 더 구성된다.

메모리 회로(16)는 텍스트 분석 모듈(14)에 연결되어, 입력 데이터 집합들(18, 20, 22)과 출력 데이터 집합(30)을 저장하도록 구성된다. 관련 텍스트가 입력 데이터 집합들(18, 20, 22)로부터 추출되는 방식은 이하에서 더 상세히 설명된다.

도 2는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 시스템을 이용하여, 입력 데이터 집합들에서 관련 텍스트를 추출하는 하나의 방법에 대한 흐름도이다. 입력 데이터 집합들은 상술한 바와 같은 다양한 소셜 미디어 플랫폼들로부터 도출될 수 있다. 해당 프로세스의 각각의 단계가 이하에서 기술된다.

블록 42에서, 사용자가 특정한 키워드들로부터 도출된 입력 데이터 집합들이 수신된다. 키워드들은 사용자가 사용자 인터페이스(12)를 통해 제공한다. 일반적으로, 입력 데이터 집합들은 소정 제품, 그 제품명, 사업 또는 기관의 명칭 등에 대한 키워드들을 포함할 수 있다. 일 실시예에서, 입력 데이터 집합들은 사용자가 특정한 언어 설정에 기반한 어떤 언어로 되어 있을 수 있다. 언어들의 예들에는, 비한정적인 것으로서 영어, 독일어, 스페인어, 포르투갈어, 프랑스어 등이 포함된다.

블록 44에서, 입력 데이터 집합들은 분석 텍스트 집합으로 변환된다. 일 실시예에서, 입력 데이터 집합들은 데이터 처리 작업을 수행하여 비관련 텍스트를 필터링하도록 전처리된다. 예를 들어, 스탑 워드(stop words), 특수 문자, 전화 번호, URL, 공백, 이메일 어드레스 등이 입력 데이터 집합들에서 제거되는 비관련 텍스트 예들 중 일부이다. 다른 예에서, 명사, 동사, 형용사 등과 같은 비관련 텍스트가 제거되거나 함께 그룹지어져서 분석 텍스트 집합을 형성하도록 한다.

블록 46에서, 탐색적 분석이 수행되어 분석 텍스트 집합 내에 존재하는 상관관계들을 판단한다. 탐색적 분석은 입력 데이터 집합들 가운데 존재하는 복잡한 관계들을 규정한다. 탐색적 분석의 예들에는 빈도 분석 및 관계 분석이 포함된다.

블록 48에서, 하나 이상의 분류된 텍스트 집합들을 제공하는 하나 이상의 모델들이 그러한 탐색적 분석의 결과에 기반하여 생성된다. 각각의 모델은 사용자가 정한 소정 목표를 달성하기 위한 하나 이상의 분류된 텍스트 집합들을 제공한다. 텍스트 분류 프로세스는 분석 텍스트 집합 내 내재적 구조를 인식하는 단계, 및 유사도에 따라 변수들을 하나 이상의 카테고리들 안에 함께 그룹짓는 단계를 포함한다.

블록 50에서, 분석 텍스트 집합에서 자주 나타나는 토픽들을 식별하기 위한 토픽 모델링이 수행된다. 분석 텍스트 집합은 분류된 텍스트 집합이거나 비분류된 텍스트 집합일 수 있다. 토픽들은 분석 텍스트 집합들 안에 존재하는 몇 가지 주제들에 기반하여 식별된다. 그 프로세스는 수학적 틀 안에서 반복적으로 발생하는 텍스트의 식별자를 캡처하여, 단어들의 통계에 기반하여 분석 텍스트 집합을 검사하고, 토픽을 식별하고, 각각의 분석 텍스트 집합 내 토픽들의 밸런스를 판단하는 것을 가능하게 한다. 또한, 토픽 내 각각의 단어의 상대적 중요도가 결정된다.

블록 52에서, 사용자가 제공한 요망되는 기준들에 기초하여 몇 가지 리포트들이 생성된다. 여러 리포트들이 상기 프로세스 플로우의 다양한 단계들에서 생성될 수 있다. 리포팅 틀 안의 하나의 장소에서 서로 다른 리포트들이 보여질 수 있어, 리포트들에 걸친 결과들이 용이하게 비교될 수 있다.

블록 54에서, 상술한 탐색적 분석, 분류 및 토픽 모델링 단계들의 결과에 기반하여 출력 데이터 집합이 생성된다. 생성된 출력 데이터 집합은 이제 다양한 분석 동작들에 사용된다. 텍스트 분석 모듈이 동작하는 방식이 이하에서 보다 상세히 기술된다.

도 3은 본 기법의 양태들에 따라 구현되는 예시적 텍스트 분석 모듈의 블록도이다. 텍스트 분석 모듈(60)은 데이터 처리 모듈(62), 탐색적 분석 모듈(64), 텍스트 분류 모듈(66), 토픽 모델링 모듈(68) 및 리포팅 모듈(70)을 포함한다. 각각의 구성요소는 이하에서 더 상세히 기술된다.

데이터 처리 모듈(62)은 입력 데이터 집합들을 분석 텍스트 집합으로 변환하도록 구성된다. 데이터 처리 모듈(62)은 입력 데이터 집합들을 클리닝(cleaning up)하여 이 동작을 수행한다. 일 실시예에서, 데이터 처리 모듈(62)은 입력 데이터 집합들로부터 비관련 요소들을 필터링하는 전처리 작업을 수행하도록 구성된다. 사용자가 제공하는 입력 데이터 집합들은 사용자가 특정한 언어 설정에 기반한 어떤 언어로 되어 있을 수 있다. 언어들의 예들에는, 비한정적인 것으로서 영어, 독일어, 스페인어, 포르투갈어, 프랑스어 등이 포함된다. 입력 데이터 집합들의 클리닝은 비관련 텍스트의 검출, 정정, 또는 제거를 수반한다. 데이터 처리 모듈(62)은 토큰화, 문장 분할, 스피치 태깅(speech tagging), 명명된 개체의 추출, 청킹(chuncking), 파싱, 대용어 해소(co-reference resolution) 등을 포함하는 다양한 작업들을 더 수행한다.

탐색적 분석 모듈(64)은 데이터 처리 모듈(62)이 생성한 분석 텍스트 집합에 대해 동작하며, 분석 텍스트 집합 안에 존재하는 다양한 상관관계들을 판단하도록 구성된다. 일 실시예에서, 탐색적 분석 모듈(64)은 이하에서 더 상세히 기술되는 빈도 분석 모듈(72) 및 관계 분석 모듈(74)을 더 포함한다.

빈도 분석 모듈(72)은 분석 텍스트 집합의 상세 분석을 수행하도록 구성된다. 상세 분석은 희소 용어들의 제거, 분석을 위해 최소 문턱 빈도수를 가지는 단어들의 식별, 가장 빈번히 발생하는 유니그램들(unigrams) 또는 바이그램들(bigrams)(두 단어들의 조합)에 대한 식별, 및 분석 텍스트 집합 내 최상위(top) 용어들에 대한 식별과 같은 동작들을 포함한다.

관계 분석 모듈(74)은 변수들, 스피치의 일부, 및 최상위 용어들의 개수에 따라, 발생하는 키워드들의 빈도를 판단하도록 구성된다. 예시적 일 실시예에서, 어떤 최상위 키워드에 대한 사용자의 선택 시, 분석 텍스트 집합 내 관련 단어들이 검색된다. 분석 텍스트 집합 내 관련 단어 각각에 대해, 관련 점수가 계산된다. 관련 점수는 선택된 것과 다른 단어들 사이에서 존재하는 관련성의 강도를 나타낸다. 또한, 용어 빈도 같이 분석 텍스트 집합 내 특정 용어의 발생 회수를 나타내는 파라미터들 또한 계산된다.

텍스트 분류 모듈(66)은 탐색적 분석 모듈(64)의 결과들에 기반하여 분석 텍스트 집합의 복수의 모델들을 생성하도록 구성된다. 앞서 언급한 바와 같이, 분석 텍스트 집합은 분류된 텍스트 집합이거나 비분류된 텍스트 집합일 수 있다. 텍스트 분류 모듈(66)은 모델 구축, 모델 진단, 예측 및 장치 학습 모델들을 이용한 반복 히스토리 같은 여러 동작들을 수행한다.

일 실시예에서, 텍스트 분류는 먼저 분석 텍스트 집합의 부분집합(가령, 샘플 데이터 집합)을 수동으로 분류하여 수행된다. 텍스트 분류 모듈(66)은 샘플 데이터 집합에 대한 복수의 카테고리들을 식별하여 실제 분류 모듈을 생성함으로써 분석 텍스트 집합을 분류하고, 그런 다음 분석 텍스트 집합에 상기 식별된 카테고리들을 적용하여 예측 분류 모듈을 생성한다. 텍스트 분류 모듈(66)은 실제 분류 모듈과 예측 분류 모듈을 반복적인 방식으로 더 비교한다.

그런 다음 수동적 분류에 사용되는 파라미터들이 분석 텍스트 집합의 나머지에 외삽된다(extrapolated). 일 실시예에서, 감시(supervised) 장치 학습 알고리즘들이 분석 텍스트 집합에 적용된다. 감시 장치 학습은 장치 학습 규칙들이나 수동적으로 코딩된 규칙들을 이용하여 맞춤화될 수 있다. 예를 들어, 모델 구축 중에 지원 벡터 머신(support vector machine(SVM)), 랜덤 포레스트(random forest), GLMNET, 및 최대 엔트로피 등과 같은 훈련 데이터 및 알고리즘들을 이용하여 모델들이 생성될 수 있다.

토픽 모델링 모듈(68)은 분석 텍스트 집합에서 반복적으로 발생하는 복수의 토픽들을 식별하도록 구성된다. 토픽 모델링 모듈(68)은 실질적으로 큰 볼륨의 표제되지 않은(unlabeled) 텍스트를 분석하는 간단한 방법을 제공한다. 통상적으로 분석 텍스트 집합은 함께 자주 발생하는 워드들의 집단(클러스터)을 포함한다. 토픽 모델링 모듈(68)은 단어들을 유사 의미들과 연결하며, 정황적 단서들을 이용하여 다중 의미를 가지는 워드들의 사용을 구별한다. 더 나아가, 토픽 모델링 모듈(68)은 통계적 정규성을 통해 그 집단에 배어 있고 그러한 토픽들로 텍스트에 주석을 다는 숨은 토픽 패턴들을 식별한다. 토픽 주석 달기는 텍스트들을 체계화하고, 종합하고 검색하는데 더 사용된다.

토픽 모델링 모듈(68)은 텍스트들을 검사하기 위해 비감시 장치 학습 알고리즘들을 활용한다. 예시적 일 실시예에서, LDA(Latent Dirichlet Allocation)가 사용된다. LDA 알고리즘은 텍스트의 일부분들이 왜 유사한지를 설명하기 위해 관찰정보들의 집합들이 비관찰 그룹들에 의해 설명될 수 있게 하는 개연성 있는 언어자료(corpus)의 모드를 생성한다.

리포팅 모듈(70)은 사용자가 텍스트 분석 모듈(60)에 의해 생성된 여러 리포트들에 접근할 수 있도록 구성된다. 리포트들은 워드 클라우드로서 토픽들과 토픽 당 키워드들의 보기를 가능하게 할 뿐 아니라 토픽 분포 차트들 보기에 대한 확률을 제공하는 방식으로 생성된다. 리포팅 모듈(70)은 사용자가 한 위치에서 여러 리포트들에 접근할 수 있게 하기 위한 리포트 저장을 추가로 돕는다. 분석 텍스트 집합이 수동적으로 분류되는 방식을 이하에서 보다 상세히 기술한다.

도 4는 본 기법의 양태들에 따라 구현되는, 분석 텍스트 집합을 분류하는 하나의 방법에 대한 흐름도이다. 해당 프로세스의 각각의 단계가 이하에서 기술된다.

블록 76에서, 분석 텍스트 집합에서 샘플 데이터 집합이 선택된다. 앞서 언급한 바와 같이, 샘플 데이터 집합은 분석 텍스트 집합의 부분집합이다. 블록 77에서, 샘플 데이터 집합은 실제 분류 모듈을 생성하기 위해 사용자가 정의한 다수의 파라미터들을 사용하여 수동적으로 분류된다. 텍스트 분류 프로세스는 입력 데이터 집합들 내 내재적 구조를 인식하는 단계, 및 유사도에 따라 변수들을 하나 이상의 카테고리들 안에 함께 그룹 짓는 단계를 포함한다. 또한, 분석 텍스트 집합에 식별된 카테고리들을 적용하여 예측 분류 모듈이 생성된다. 실제 분류 모듈 및 예측 분류 모듈은 반복적인 방식으로 비교된다.

블록 78에서, 분석 텍스트 집합의 나머지를 분류하기 위해 샘플 데이터 집합이 외삽된다. 외삽은 모델 구축, 모델 진단, 예측 및 장치 학습 모델들을 이용한 반복 히스토리 같은 동작들을 수행하여 행해진다. 예를 들어, 모델 구축 중에 지원 벡터 머신(support vector machine(SVM)), 랜덤 포레스트(random forest), GLMNET, 및 최대 엔트로피 등과 같은 훈련 데이터 및 알고리즘들을 이용하여 모델들이 생성될 수 있다.

상술한 텍스트 마이닝 시스템은 컴퓨팅 장치 상에서 실행되도록 구성된 텍스트 마이닝 툴로서 구현될 수 있다. 텍스트 마이닝 툴은 입력 데이터 집합들에서 관련 텍스트를 추출하도록 구성되며, 여러 인터페이스들을 포함한다. 관련 인터페이스들 중 일부가 이하에서 보다 상세히 기술된다.

도 5는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적 홈 스크린이다. 홈 스크린(80)은 사용자들이 "ADD DATASET(데이터 집합 추가)" 탭(82)을 사용하여 입력 데이터 집합을 추가할 수 있게 한다. 입력 데이터 집합들이 추가되는 경로는 "DATASET PATH(데이터 집합 경로)" 탭(84)을 통해 특정될 수 있다. 또한, 다양한 기존 입력 데이터 집합들이 창(86)을 사용하여 보여질 수 있다.

도 6a 내지 6c는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적 데이터 처리 스크린들이다. 데이터 처리 스크린들(6a 내지 6c)은 분석 텍스트 집합을 생성하기 위해 사용자가 입력 데이터 집합들에 대해 여러 데이터 처리 동작들을 수행할 수 있게 한다. 도시된 실시예에서, 데이터 전처리 스크린(90)은 사용자가 주로 리포트 생성(셀 92) 및 리포트 보기(셀 94)와 관련된 동작들을 수행할 수 있게 한다. 리포트 생성 동작들 중에, 사용자는 데이터 전처리 스크린(90) 안에 제공된 데이터 집합 필드(셀 96)를 사용하여 입력 데이터 집합들을 선택할 수 있다. 데이터 처리 스크린들(6a 및 6b)은 또한, 사용자가, 사용자가 특정한 언어 설정에 기반하여 영어, 독일어, 스페인어, 포르투갈어, 및 프랑스어 같은 복수의 언어들로 데이터 처리 관련 동작들을 수행할 수 있게 한다. 사용자는 분석 언어 필드(셀 97)를 사용하여 언어 설정을 특정할 수 있다. 예시된 실시예에서, 사용자가 특정한 언어 설정은 영어이다.

데이터 전처리 스크린(90)은 패널 레벨들(98), 변수 패널(100), 및 리포트들(102)에 속하는 창들을 더 포함한다. 변수 패널(100)은 사용자가 무조건적 변수들(셀 104)을 포함하는 복수의 변수들을 선택할 수 있게 한다. 또한, 선택된 변수에 대해 사용자에게 데이터의 빠른 보기를 위한 데이터 집합 보기 패널(셀 106)이 제공된다. 데이터 집합 보기 패널(셀 106)은 또한, 사용자가 선택된 변수들을 통해 특정 용어에 대해 검색하게 할 수도 있다. 사용자는 또한, 나중에 분석 수행에 사용될 수 있는 검색된 데이터에 대해 "Create Indicator(지시자 생성)(셀 108)" 탭을 이용하여 지시자 변수를 생성할 수 있다.

도 6b는 사용자가 여러 데이터 클리닝 동작들(셀 112)을 수행할 수 있게 하는 데이터 클리닝 스크린(110)을 도시한다. 데이터 클리닝 스크린(110)은 사용자가 새 변수들을 선택하거나 기존 변수들을 조작하는 것을 돕는다. 데이터 클리닝 동작들(셀 112)은 입력 데이터 집합들로부터 잡음을 제거한다. 수행되는 데이터 클리닝 동작들의 예들에는 전화 번호 제거, 특수 문자 제거, 스톱 워드들의 제거, URL들의 제거, 공백 제거, 이메일 어드레스 제거 등이 포함된다. 데이터 클리닝 스크린(110)은 또한, 사용자가 데이터 클리닝 동작들의 시퀀스를 정렬할 수 있게 하며, 상기 시퀀스는 요건에 따라 사용자에 의해 변경될 수 있다. 또한, 사용자는 정렬된 데이터 클리닝 동작들의 시퀀스 중 어느 국면/단계에 어떤 변수를 생성하는 것이 가능하다.

도 6c는 사용자가 제공한 소정 경계 기호들에 기초하여 입력 데이터 집합들을 분할함으로써, 사용자가 관찰 분할(셀 122)을 수행할 수 있게 하는 관찰 분할 스크린(120)을 도시한다. 분할 후의 입력 데이터 집합들은 분석을 수행하는 데 더 사용될 수 있다. 관찰 분할(셀 122)은 입력 데이터 집합들에 존재하는 정서들/카테고리들에 대한 보다 나은 이해를 가능하게 한다. 입력 데이터 집합 및 취급 프로세스는 데이터 집합(셀 124) 및 취급 프로세스(셀 126) 필드들을 각각 사용하여 선택된다. 변수에 대한 분할(셀 130), 경계 기호(셀 132), 분할할 최소 길이(셀 134), 및 분할 후의 최소 길이(셀 136)에 속하는 필드들을 이용하여 여러 분할 옵션들(셀 128)이 특정된다. 관찰 분할 스크린(120) 안에 제공되는 분할 미리 보기 창(셀 138)은 사용자가, 선택된 분할 옵션들과 관련된 코멘트들을 미리 보게 돕는다.

도 7은 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적인 탐색적 분석 스크린이다. 도시된 실시예에서, 탐색적 분석 스크린(150)은 빈도 분석(셀 152) 및 관계 분석(154)을 포함한다. 빈도 분석(셀 152) 및 관계 분석(154) 각각은 리포트 생성(셀 156) 및 리포트 보기(셀 158)에 속하는 필드들을 더 포함한다.

빈도 분석(셀 152)은 분석 텍스트 집합의 상세 분석을 행하고, 희소 용어들의 제거, 분석을 위한 최소 문턱 빈도수를 가지는 단어들의 식별, 가장 빈번히 발생하는 유니그램들(unigrams) 또는 바이그램들(bigrams)(두 단어들의 조합)에 대한 식별, 및 최상위(top) 용어들에 대한 식별과 같은 동작들을 수행한다. 예시적 실시예에서, 사용자는 옵션 창(162)에서 여러 옵션들과 함께 변수 패널(160)을 이용하여 어떤 변수를 선택할 수 있다. 옵션 창(162)에서 제공되는 여러 옵션들에는 특성(셀 164), 스피치의 일부(셀 166) 및 분석 타입(셀 168)이 포함된다. 사용자는 최소 단어 길이(셀 170), 최소 문서 빈도(셀 172), 개체의 타입(셀 174), 빈번한 용어들(셀 176) 및 최상위 용어들(셀 178)과 같은 파라미터들을 특정할 수 있다.

관계 분석(셀 154)은 사용자가 선택한 변수, 스피치의 일부 및 최상위 키워드들의 수에 따라, 발생 키워드들의 빈도수를 생성하여 디스플레이한다.

도 8a는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적인 리포트 생성 스크린(180)이다. 도시된 바와 같이, 빈도 분석 수행에 따라 생성된 리포트가 막대 차트(셀 182), 텍스트 태그 클라우드(셀 184), 또는 표들(셀 186)과 같은 여러 시각화된 것들의 형식으로 보여질 수 있다. 빈도 분석과 관련된 여러 파라미터들이 키워드들(셀 188), 빈도수(셀 190), 빈도 점유(frequency share)(셀 192), 코멘트들의 수(셀 194) 및 코멘트 점유(셀 196) 와 같은 테이블 형태로 보여진다.

도 8b는 두 개의 서로 상이한 입력 데이터 집합들에 대해 수행되는 두 가지 주파수 분석 동작들을 사용자가 비교할 수 있게 하는 비교 스크린(200)을 도시한다. 비교를 위한 입력 데이터 집합들 및 각각의 리포트들이 스크린(200) 안에 제공되는 참조 번호 202 내지 208로 표시되는 선택 필드들을 통해 선택될 수 있다. 비교 모드는 무선 버튼(210)을 사용하여 선택되며, 비교 테이블(셀 212)을 사용하여 보여진다. 비교 결과들은 유사 단어들의 수, 비유사 단어들의 수, 카파(kappa) 값, 카이 제곱(chi-square) 값 등과 같은 주요 비교 속성들을 강조한다. 비교 스크린(200)은 다양한 사용자 친화적 포맷들(탭 214)을 통해 비교 결과들을 방출하는 옵션을 사용자에게 제공한다.

도 9는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 모델 정의를 도시한 예시적 텍스트 분류 스크린이다. 텍스트 분류 스크린(220)은 모델 정의(셀 222), 모델 구축(셀 224), 모델 진단(셀 226), 예측(셀 228), 및 반복 히스토리(셀 230)에 속하는 여러 필드들을 포함한다. 모델 정의(셀 222) 탭을 불러 오면, 훈련 데이터 집합(셀 232), 및 지원 벡터 머신들(SVM), 랜덤 포레스트, GLMNET, 및 최대 엔트로피 등과 같은 "옵션" 필드(234)에서 이용 가능한 다양한 알고리즘들을 이용하여 여러 장치 학습 모델들이 생성될 수 있다. 훈련 데이터 집합(232)은 특정된 카테고리들을 포함하는 최종 결과 변수와 함께 모든 변수들의 포괄적 집합을 포함한다. 예를 들어 변수들은 문서의 고유 단어들을 묘사할 수 있고, 요구되는 카테고리들은 긍정, 부정 및 중립과 같은 감성 등급을 묘사할 수 있다.

도 10은 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적인 모델 구축 스크린이다. 모델 구축 스크린(240)은 입력 데이터 집합들의 선택(셀 242), 종속 변수들(셀 244) 및 반복 회수(셀 246)에 속하는 여러 필드들을 포함한다. 모델 구축 스크린(240)은 선택된 모델과 관련된 통계들을 나타내기 위한 창(248)을 더 포함한다.

도 11은 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적인 모델 진단 스크린이다. 도시된 바와 같이, 모델이 구축되면, 그것은 모델 진단 스크린(250)을 이용하는 모델 진단의 일부로서 모델 통계들에 기반해 추가 평가된다. 모델은 창(252)을 이용하여 보여진 바와 같이 특정 모델과 관련된 예측 대 실제 데이터를 이용하여 평가된다. 동일한 평가가, 부채꼴 차트(셀 254) 같은 여러 가시적 사항들을 이용하여 보여질 수도 있다.

도 12는 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적인 반복 히스토리 보기 스크린이다. 상술한 바와 같이 모델 진단이 수행되면, 텍스트를 분류하기 위한 모델 섹션을 포함하는 보다 큰 데이터 집합에 대한 점수 매기기(스코어링)가 요구되는 예측 단계가 뒤따른다. 예측 단계의 결과는 표들 및 차트들(셀 264)의 도움으로 다양한 반복들의 비교를 돕는 반복 히스토리(셀 262)로 이어진다.

도 13은 본 기법의 양태들에 따라 구현되는 텍스트 마이닝 툴의 예시적인 토픽 모델링 스크린이다. 토픽 모델링 스크린(270)은 토픽들의 개수와 관련해 모델 선택을 가능하게 하고 사용자가 선택한 하나 이상의 기준에 따라 리포트들을 생성하는 선택(셀 272) 및 리포트(셀 274) 필드를 포함한다. 그 외에, 토픽 모델링 스크린(270)은 또한, 소정 주제들에 기반하여 문서들의 집단을 검색 및 탐색하는 것을 허용한다. 토픽 및 토픽 당 키워드들을 단어 클라우드로서 보는 것을 가능하게 할 뿐 아니라 도 14에 도시된 것과 같은 토픽 분포 차트 보기 확률을 제공하는 토픽 모델링의 결과로서 리포트들이 생성될 수 있다(토픽 분포 스크린(280)).

상술한 시스템들은 여러 언어로 데이터 집합들을 처리하는 것을 포함하는 여러 이점들을 제공한다. 또한, 여기 기술된 기법은 실제 분류 기법 및 예측 기법들을 사용하여 데이터를 특정 카테고리들로 분류하는 것에 대해 준비된다. 여기 기술된 기법은 또한, 다양한 주제들 하에서 텍스트 중 반복해서 발생되는 단어들의 모델링을 포함한다.

상술한 기법은 도 1 및 도 3에 기술된 텍스트 마이닝 시스템에 의해 수행될 수 있다. 상술한 기법은 장치, 시스템, 방법, 및/또는 컴퓨터 프로그램 제품으로 구현될 수 있다. 따라서, 상술한 발명의 대상의 일부나 전부는 하드웨어 및/또는 소프트웨어(펌웨어, 상주 소프트웨어, 마이크로코드, 상태 머신, 게이트 어레이 등을 포함) 안에서 구현될 수 있다. 또한, 발명의 대상은 명령어 실행 시스템에 의하거나 그와 연관되어 사용할 매체 안에 수록된 컴퓨터 이용가능 또는 컴퓨터 판독가능 프로그램 코드를 가지는 컴퓨터 이용가능 또는 컴퓨터 판독가능 저장 매체 상에 있는 분석 툴과 같은 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 이 내용과 관련하여 컴퓨터 이용가능 또는 컴퓨터 판독가능 매체는 명령어 실행 시스템, 장치 또는 기기에 의하거나 그와 관련하여 사용할 프로그램을 포함하거나, 저장하거나, 전송하거나, 전파하거나, 운송할 수 있는 어떤 매체일 수 있다.

컴퓨터 이용가능 또는 컴퓨터 판독가능 매체는 예컨대, 비한정적인 것으로서 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 기기, 또는 전파 매체일 수 있다. 한정이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.

발명의 대상이 컴퓨터 실행가능 명령어들의 일반적 맥락 안에서 실시될 때, 실시예는 한 개 이상의 시스템, 컴퓨터, 또는 다른 기기들에 의해 실행되는 프로그램 모듈들을 포함할 수 있다. 일반적으로 프로그램 모듈은 특정 작업을 수행하거나 특정한 추상적 데이터 유형들을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조를 포함한다. 통상적으로, 프로그램 모듈들의 기능은 다양한 실시예들에서 원하는 바대로 결합되거나 분산될 수 있다.

도 15는 본 기법에 따라 복수의 입력 데이터 집합들에서 관련 텍스트를 추출하도록 구성된 예시적 컴퓨팅 시스템(300)의 블록도이다. 아주 기본적인 구성(302) 내에, 컴퓨팅 시스템(300)은 통상적으로 하나 이상의 프로세서들(304)과 시스템 메모리(306)를 포함한다. 메모리 버스(308)가 프로세서(304) 및 시스템 메모리(306) 간의 통신에 사용될 수 있다.

원하는 구성에 따라, 프로세서(304)는 비한정적으로, 마이크로프로세서(μP), 마이크로콘트롤러(μC), 디지털 신호 프로세서(DSP), 또는 이들의 어떤 조합을 포함하는 어떤 유형의 것일 수 있다. 프로세서(304)는 레벨 원(level one) 캐시(310) 및 레벨 투 캐시(312), 프로세서 코어(314), 및 레지스터들(316)과 같은 하나 이상의 캐싱 레벨들을 포함할 수 있다. 예시적 프로세서 코어(314)는 산술 로직 유닛(ALU), 플로팅 포인트(floating point) 유닛(FPU), 디지털 신호 프로세싱 코어(DSP 코어), 또는 이들의 어떤 조합을 포함할 수 있다. 예시적 메모리 제어기(318)가 프로세서(304)와 함께 사용될 수도 있고, 혹은 일부 구현예들 상에서 메모리 제어기(318)는 프로세서(304)의 내장 부품일 수 있다.

원하는 구성에 따라, 시스템 메모리(306)는 비한정적으로, (RAM과 같은) 휘발성 메모리, (ROM, 플래시 메모리 등과 같은) 비휘발성 메모리, 또는 이들의 조합을 포함하는 어떤 유형의 것일 수 있다. 시스템 메모리(306)는 운영체제(320), 애플리케이션(322)으로서의 텍스트 분석 모듈(324), 및 프로그램 데이터(326)로서 복수의 입력 데이터 집합들(328)을 포함할 수 있다.

텍스트 분석 모듈(324)은 입력 데이터 집합들(328)을 수신하고, 입력 데이터 집합들(328)을 분석하여 출력 데이터 집합을 생성하도록 구성된다. 이렇게 기술된 기본 구성(302)이 점선 안의 구성요소들로써 도 15에 예시된다.

컴퓨팅 시스템(300)은 추가 구성들이나 기능, 및 기본 구성(302) 및 어떤 요구되는 장치들과 인터페이스들 간의 통신을 돕기 위한 추가 인터페이스들을 가질 수 있다. 예를 들어, 버스/인터페이스 제어기(330)가 저장 인터페이스 버스(338)를 거쳐 기본 구성(302) 및 하나 이상의 데이터 저장 장치들(332) 간의 통신을 돕기 위해 사용될 수 있다. 데이터 저장 장치들(332)은 착탈식 저장 장치들(334), 비착탈식 저장 장치들(336), 또는 이들의 조합일 수 있다.

착탈식 저장 장치 및 비착탈식 저장 장치들의 예들에는 몇 가지를 들자면, 플렉시블 디스크 드라이브들과 하드 디스크 드라이브들(HDD)과 같은 자기 디스크 장치들, 컴팩트 디스크(CD) 드라이브들이나 DVD(digital versatile disk) 드라이브들과 같은 광 디스크 드라이브들, 반도체 드라이브들(SSD), 및 테이프 드라이브들이 포함된다. 예시적 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈이나 기타 데이터 같은 정보의 저장을 위해 어떤 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체를 포함할 수 있다.

시스템 메모리(306), 착탈식 저장 장치들(334) 및 비착탈식 저장 장치들(336)은 컴퓨터 저장 매체의 예들이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disks) 또는 다른 광학 저장부, 마그네틱 카세트, 마그네틱 테이프, 마그네틱 디스크 저장부 또는 다른 마그네틱 저장기, 또는 원하는 정보를 저장하는데 사용될 수 있고 컴퓨팅 시스템(300)에 의해 액세스될 수 있는 어떤 다른 매체를 포함하나, 그에 국한되지 않는다. 그러한 어떤 컴퓨터 저장 매체는 컴퓨팅 시스템(300)의 일부일 수 있다.

컴퓨팅 시스템(300)은 또한, 버스/인터페이스 제어기(330)를 통해 다양한 인터페이스 장치들(가령, 출력 장치들(342), 주변기기 인터페이스들(344), 및 통신 기기들(346))에서 기본 구성(302)으로의 통신을 돕기 위한 인터페이스 버스(340)를 포함할 수 있다. 예시적 출력 장치들(342)은 하나 이상의 A/V 포트들(352)을 통해 디스플레이나 스피커들과 같은 다양한 외부 장치들로 통신하도록 구성될 수 있는 그래픽 처리부(348) 및 오디오 처리부(350)를 포함한다.

예시적 주변기기 인터페이스들(344)은 하나 이상의 I/O 포트들(358)을 통해 입력 장치들(가령, 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등)이나 다른 주변기기 장치들(가령, 프린터, 스캐너 등)과 같은 외부 장치들과 통신하도록 구성될 수 있는 직렬 인터페이스 제어기(354) 또는 병렬 인터페이스 제어기(356)를 포함한다. 예시적 통신 장치(346)는 하나 이상의 통신 포트들(364)을 거쳐 네트워크 통신 링크를 통한 하나 이상의 다른 컴퓨팅 장치(들)(362)과의 통신을 돕도록 구성될 수 있는 네트워크 제어기(360)를 포함한다.

네트워크 통신 링크는 통신 매체의 일 예일 수 있다. 통신 매체는 통상적으로, 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 반송파나 다른 전송 메커니즘 같은 변조된 데이터 신호 속의 다른 데이터를 통해 구현될 수 있으며, 어떤 정보 전달 매체라도 포함할 수 있다. "변조된 데이터 신호"는 신호 안에 정보를 인코딩하기 위한 방식으로 세팅되거나 변경되는 신호의 특성들 중 한 개 이상을 가지는 신호일 수 있다. 한정하는 것이 아닌 예로서, 통신 매체는 유선 네트워크나 직접 유선 연결 같은 유선 매체, 및 청각, RF(radio frequency), 마이크로웨이브, 적외선(IR) 및 다른 무선 매체 같은 무선 매체를 포함할 수 있다. 본 명세서에서 사용된 컴퓨터 판독가능 매체라는 용어는 저장 매체 및 통신 매체 모두를 포함할 수 있다.

컴퓨팅 시스템(300)은 상술한 기능들 중 어느 하나를 포함하는 셀폰, PDA(personal data assistant), 퍼스널 매체 재생 장치, 무선 웹 시계 장치, 퍼스널 헤드셋 장치, 애플리케이션 고유 장치, 또는 하이브리드 장치와 같은 스몰 폼 팩터(small-form factor) 휴대(또는 모바일) 전자 장치의 일부로서 구현될 수 있다. 컴퓨팅 시스템(300)이 랩탑 컴퓨터 및 비랩탑 컴퓨터 구성들 모두를 포함하는 퍼스널 컴퓨터로서 구현될 수도 있다는 것을 알아야 한다.

일반적으로 여기 사용되고 특히 첨부된 청구범위들(가령, 첨부된 청구범위의 본문들)에서 사용되는 용어들은 "개방형" 용어들로서 포괄적으로 의도되어 있다는 것을 당업자라면 이해할 수 있을 것이다(가령, "포함한다"는 용어는 "포함하지만 그에 국한되지 않는다"로 해석되어야 하고, "가진다"는 용어는 "적어도 ~을 가진다"로 해석되어야 하는 식이다). 당업자라면 시작되는 청구범위의 내용 중 어떤 특정 수가 의도되는 경우, 그러한 의도는 청구범위 안에서 명시적으로 설명될 것이며, 그러한 설명의 부재 시, 그와 같은 의도는 존재하지 않는다는 것 역시 이해할 수 있을 것이다.

예를 들어, 이해를 돕기 위한 것으로서, 이하에 첨부된 청구범위는 청구범위의 내용을 시작하기 위해 "적어도 하나" 및 "하나 이상"이라는 시작 문구들의 사용을 포함할 수 있다. 그러나, 그러한 문구들의 사용이, 청구범위가 "하나 이상"이나 "적어도 하나", 그리고 "어느(a)"나 "한(a)"과 같은 부정 관사들을 포함할 때라도, "어느"나 "한"으로 시작되는 그 청구범위 내용이 그렇게 시작된 청구범위의 내용을 포함하는 어떤 특정 청구범위를 그러한 내용 한 가지만을 포함하는 실시예들로 한정한다는 것을 의미하는 것으로 해석되어서는 안될 것이다(가령, "어느" 및 /또는 "한"은 "적어도 하나"나 "하나 이상"을 의미하는 것으로 해석되어야 한다); 청구범위의 내용을 시작하는데 사용되는 정관사들의 사용에 대해서도 같은 사항이 적용된다. 또한, 시작되는 청구범위의 내용 중 어떤 특정 수가 명시적으로 언급되는 경우라도, 당업자라면 그러한 내용이 적어도 그 언급된 수를 의미하는 것으로 해석되어야 한다는 것을 인지할 수 있을 것이다(가령, 다른 수식어들 없이 "두 언급사항들"에 대한 단순 언급은 적어도 두 개의 언급사항들, 또는 둘 이상의 언급사항들을 의미한다).

여기서는 여러 실시예들의 소정 특징들만을 예시하고 기술하였으나 이 분야의 숙련자들에 있어 여러 변형 및 변경이 상기될 수 있을 것이다. 따라서, 첨부된 청구 범위들이 그러한 변경 및 수정 모두를 본 발명의 진정한 개념 안에 들어오는 것으로서 포괄하도록 되어 있다는 것을 알아야 한다.

Claims (20)

1. 복수의 입력 데이터 집합들에서 관련 텍스트를 추출하는 텍스트 마이닝 시스템으로서, 상기 시스템은
   하나 이상의 사용자들이 복수의 입력 데이터 집합들에 대한 복수의 소스들을 선택할 수 있도록 구성된 입력 인터페이스 모듈;
   상기 복수의 입력 데이터 집합들을 수신하고, 상기 복수의 입력 데이터 집합들을 분석하여 출력 데이터 집합을 생성하도록 구성되는 텍스트 분석 모듈; 및
   상기 복수의 입력 데이터 집합들, 분석 텍스트 집합, 및 상기 출력 데이터 집합을 저장하도록 구성된 메모리 회로를 포함하되,
   상기 텍스트 분석 모듈은
   상기 복수의 입력 데이터 집합들을 분석 텍스트 집합으로 변환하도록 구성된 데이터 처리 모듈;
   상기 분석 텍스트 집합 내에서의 복수의 상관관계들을 판단하도록 구성된 탐색적 분석 모듈;
   상기 분석 텍스트 집합에서 반복적으로 발생하는 복수의 토픽들을 식별하도록 구성되는 토픽 모델링 모듈; 및
   상기 텍스트 분석 모듈에 대한 복수의 리포트들을 생성하도록 구성되는 리포팅 모듈을 포함하는 것인 텍스트 마이닝 시스템.
2. 제1항에 있어서, 상기 데이터 처리 모듈은 상기 복수의 입력 데이터 집합들로부터 비관련 요소들을 필터링하여 전처리 작업을 수행하도록 더 구성되는 텍스트 마이닝 시스템.
3. 제1항에 있어서, 상기 텍스트 분석 모듈은 상기 탐색적 분석 모듈의 결과들에 기반하여 복수의 모델들을 생성하도록 구성되는 텍스트 분류 모듈을 더 포함하고, 각각의 모델이 사용자가 정한 소정 목표를 달성하기 위한 하나 이상의 분류된 텍스트 집합들을 제공하는 텍스트 마이닝 시스템.
4. 제3항에 있어서, 상기 텍스트 분류 모듈은,
   샘플 데이터 집합에 대한 복수의 카테고리들을 식별하여 실제 분류 모듈을 생성하고,
   상기 분석 텍스트 집합에 상기 식별된 카테고리들을 적용하여 예측 분류 모듈을 생성함으로써, 상기 분석 텍스트 집합을 분류하도록 더 구성되고,
   상기 샘플 데이터 집합은 상기 분석 텍스트 집합의 부분집합인 텍스트 마이닝 시스템.
5. 제3항에 있어서, 상기 텍스트 분류 모듈은 상기 실제 분류 모듈과 상기 예측 분류 모듈을 반복적인 방식으로 비교하도록 더 구성되는 텍스트 마이닝 시스템.
6. 제1항에 있어서, 상기 탐색적 분석 모듈은 특정 범위 안의 빈도로 빈번하게 발생하는 유니그램(unigram)들, 바이그램(bigram)들 및 텍스트들을 판단하기 위해, 상기 분석 텍스트 집합에 대해 빈도 분석을 수행하도록 구성되는 텍스트 마이닝 시스템.
7. 제1항에 있어서, 상기 탐색적 분석 모듈은 상기 분석 텍스트 집합 내 단어들 간 상관관계를 나타내는 관련도 점수를 결정하기 위해, 상기 분석 텍스트 집합에 대해 관계 분석을 수행하도록 구성되는 텍스트 마이닝 시스템.
8. 제1항에 있어서, 상기 탐색적 분석 모듈은 상기 빈도 분석 및 관계 분석에 대응하는 시각적 표현들을 막대 차트들, 텍스트 태그 클라우드, 표들 또는 이들의 조합의 형태로 생성하도록 더 구성되는 텍스트 마이닝 시스템.
9. 제1항에 있어서, 상기 토픽 모델링 모듈은 복수의 장치 학습 알고리즘들을 사용하여 상기 분석 텍스트 집합에서 반복적으로 발생하는 상기 복수의 토픽들을 식별하는 텍스트 마이닝 시스템.
10. 제1항에 있어서, 상기 리포팅 모듈은 사용자들이 상기 텍스트 분석 모듈에 의해 생성된 복수의 리포트들에 접근할 수 있도록 더 구성되는 텍스트 마이닝 시스템.
11. 제1항에 있어서, 상기 텍스트 분석 모듈은 복수의 언어들 상에서 작동되도록 구성되는 텍스트 마이닝 시스템.
12. 복수의 입력 데이터 집합들에서 관련 텍스트를 추출하는 텍스트 마이닝 툴로서,
    사용자가 복수의 입력 데이터 집합들에 대한 복수의 소스들을 선택할 수 있도록 구성된 입력 인터페이스 모듈;
    사용자가 데이터 처리 작업을 일으키기 위한 하나 이상의 변수들을 선택할 수 있도록 구성되되, 상기 데이터 처리 작업은 상기 복수의 입력 데이터 집합들을 분석 텍스트 집합으로 변환하는 것인 데이터 처리 인터페이스;
    상기 사용자가 탐색적 분석 작업을 일으킬 하나 이상의 분석 타입들을 선택할 수 있도록 구성되되, 상기 탐색적 분석 작업은 상기 분석 텍스트 집합 내에서의 복수의 상관관계들을 판단하는 것인 탐색적 분석 인터페이스;
    상기 사용자가 토픽 모델링 작업을 일으킬 하나 이상의 입력 파라미터들을 선택할 수 있도록 구성되되, 상기 토픽 모델링 작업은 상기 분석 텍스트 집합 내에서 반복해서 발생되는 복수의 토픽들을 식별하는 것인 토픽 모델링 인터페이스; 및
    선택된 기준에 기반하여 복수의 리포트들을 생성하도록 구성되는 리포팅 인터페이스를 포함하는 텍스트 마이닝 툴.
13. 제12항에 있어서, 상기 데이터 처리 인터페이스는 상기 사용자가 하나 이상의 데이터 클리닝 작업 사이에서 선택할 수 있게 더 구성되는 텍스트 마이닝 툴.
14. 제12항에 있어서, 상기 탐색적 분석 인터페이스는 상기 사용자가 주파수 분석 및 관계 분석 사이에서 선택할 수 있게 더 구성되는 텍스트 마이닝 툴.
15. 제12항에 있어서, 상기 텍스트 분석 모듈은 입력 데이터 집합들을 복수의 언어들로 분석하도록 구성되는 텍스트 마이닝 툴.
16. 복수의 소스들로부터 복수의 입력 데이터 집합들을 선택하는 단계;
    상기 복수의 입력 데이터 집합들을 변환하여 분석 텍스트 집합을 생성하는 단계;
    탐색적 분석을 수행하여 상기 분석 텍스트 집합 안에서 존재하는 상관관계들을 판단하는 단계;
    상기 탐색적 분석의 결과들에 기반하여 하나 이상의 모델들을 생성하는 단계;
    상기 분석 텍스트 집합에서 반복적으로 발생하는 토픽들을 식별하기 위해 토픽 모델링을 수행하는 단계;
    선택된 기준에 기반하여 복수의 리포트들을 생성하는 단계; 및
    출력 데이터 집합을 생성하는 단계를 포함하는, 복수의 입력 데이터 집합들에서 관련 텍스트를 추출하는 방법.
17. 제16항에 있어서, 특정 범위 안의 빈도로 빈번하게 발생하는 유니그램(unigram)들, 바이그램(bigram)들 및 텍스트들을 판단하기 위해, 상기 분석 텍스트 집합에 대해 빈도 분석을 수행하는 단계를 더 포함하는 방법.
18. 제16항에 있어서, 상기 분석 텍스트 집합 내 단어들 간 상관관계를 나타내는 관련도 점수를 결정하기 위해, 상기 분석 텍스트 집합에 대해 관계 분석을 수행하는 단계를 더 포함하는 방법.
19. 제16항에 있어서, 상기 사용자가 한 위치에서 상기 복수의 리포트들에 접근할 수 있도록 상기 복수의 리포트들을 저장하는 단계를 더 포함하는 방법.
20. 제16항에 있어서, 상기 복수의 입력 데이터 집합들은 다중 언어인 방법.

Images