KR100431960B1 - 지능형 게시판 통합관리를 위한 자동 응답 및 문서 필터링 시스템 - Google Patents

지능형 게시판 통합관리를 위한 자동 응답 및 문서 필터링 시스템 Download PDF

Info

Publication number
KR100431960B1
KR100431960B1 KR10-2001-0010146A KR20010010146A KR100431960B1 KR 100431960 B1 KR100431960 B1 KR 100431960B1 KR 20010010146 A KR20010010146 A KR 20010010146A KR 100431960 B1 KR100431960 B1 KR 100431960B1
Authority
KR
South Korea
Prior art keywords
document
category
question
filtering
response
Prior art date
Application number
KR10-2001-0010146A
Other languages
English (en)
Other versions
KR20020069761A (ko
Inventor
김동우
유진용
김명찬
김한준
Original Assignee
김동우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김동우 filed Critical 김동우
Priority to KR10-2001-0010146A priority Critical patent/KR100431960B1/ko
Publication of KR20020069761A publication Critical patent/KR20020069761A/ko
Application granted granted Critical
Publication of KR100431960B1 publication Critical patent/KR100431960B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 고객 질문에 대한 응답을 실시간으로 제공하고 비방 문서 등을 자동 필터링하기 위한 시스템에 관한 것으로, 상기 시스템은;
자동 응답 및 문서 필터링 서버와 텍스트 마이닝 서버를 포함하고 다수의 관리자 컴퓨터와 접속되어 있으며; 상기 자동 응답 및 문서 필터링 서버는 고객 컴퓨터로부터 질문 혹은 게시 문서를 수신하여 텍스트 마이닝 서버로 전송하고, 텍스트 마이닝 서버로부터 전송된 응답을 고객 컴퓨터로 전송하거나 필터링 문서를 게시판에 게시하며, 상기 텍스트 마이닝 서버는 카테고리별 할당된 학습문서를 토대로 생성된 문서분류함수에 따라 상기 자동 응답 및 문서 필터링 서버로부터 전송된 게시 문서 혹은 질문 각각의 카테고리를 분류하고, 분류된 카테고리별 질문에 대한 최적의 응답을 선택하거나 게시 문서를 필터링하여 상기 자동 응답 및 문서 필터링 서버로 전송함을 특징으로 한다.

Description

지능형 게시판 통합관리를 위한 자동 응답 및 문서 필터링 시스템{AUTOMATIC RESPONSE AND DOCUMENT FILTERING SYSTEM}
본 발명은 고객 지원 시스템에 관한 것으로, 특히 고객 질문에 대한 응답을 실시간으로 제공하고 비방 문서 등을 자동 필터링하기 위한 시스템에 관한 것이다.
일반적인 쇼핑 몰 등의 웹 사이트에는 자사의 제품이나 서비스와 관련하여 고객들의 의문점이나 불만에 대응하기 위한 질문 메뉴, 흔히 Q A라고 불리우는 메뉴가 있다. 이러한 메뉴를 통해 고객이 질문을 입력하면 전자메일 등의 수단을 통해 사이트 운영사로 전송되고, 운영사에서는 이를 분석하여 적절한 답변을 역시 전자메일 등을 통해 해당 고객으로 전송해 주고 있다.
그러나 고객이 증가할수록 운영사에서는 질의에 응답하기 위한 인력을 지속적으로 확보하여야 하는 부담감이 있으며, 고객은 질문에 대한 응답 지연에 대한 불만이 고조될 수 있다. 운영사와 고객 양측에서 가질 수 있는 문제를 해결하기 위해 Q A 란에 FAQ란을 만들어 고객들이 질문을 올리기 전에 먼저 FAQ란을 검색하도록 유도하고 있으나, 서비스 내용이나 제품이 늘어날수록 FAQ 내용도 그에 따라 방대해지기 때문에, 고객들은 상대적으로 FAQ 이용상의 불만을 호소하게 된다. 이러한 이용상의 불만을 예로 들면, FAQ 검색시간의 장기화, 검색을 위한 정신노동의 수반, 소망하는 자료를 찾지 못하였을 경우의 허탈감 등을 들 수 있을 것이다.
아울러 종래의 게시판에는 제품 사용에 대한 소감, 배송상의 문제점, 결제 방식 개선방안 등과 같이 고객들의 자유로운 의견이 게시됨은 물론, 자사제품을 비방하거나 욕설하는 문서들이 올려 질 수 있다. 이에 여러 사람이 방문하여 열람할 수 있는 게시판에 게시되는 문서들을 적절하게 필터링할 필요성 있다.
본 발명의 목적은 미분류된 질문이 수신된 경우 수신된 질문을 학습문서로 할당하고 이에 대응하는 카테고리를 생성하여 수 많은 질문에 자동 응답할 수 있는 자동 응답 및 문서 필터링 시스템을 제공함에 있다.
도 1은 본 발명의 바람직한 실시예에 따른 자동 응답 및 문서 필터링 시스템 구성도.
도 2는 본 발명의 바람직한 실시예에 따른 자동 응답 및 문서 필터링 시스템과 관리자 단말기의 프로그램 구조도.
도 3은 본 발명의 바람직한 실시예에 따른 자동 응답 및 문서 필터링 처리 흐름도.
도 4는 본 발명의 실시예에 따른 필터링 문서 카테고리의 예를 보여준 화면표시 예시도.
도 5는 본 발명의 실시예에 따라 필터링 강도를 조정하기 위한 환경 설정 화면표시 예시도.
도 6은 본 발명의 실시예에 따른 특정 게시판에 대한 필터링 통계 자료 화면 표시 예시도.
상기 목적을 달성하기 위한 본 발명의 일 양상에 따른 자동 응답 및 문서 필터링 방법은;
접속중인 고객 컴퓨터로부터 질문을 수신하는 단계와;
수신된 질문을 분석하여 학습에 의해 미리 분류된 카테고리들중 하나로 분류하는 단계와;
상기 분류된 카테고리에 할당된 응답들중 하나를 선택하는 단계와;
선택된 응답을 질문 의뢰한 고객 컴퓨터로 전송하는 단계;를 포함하는 것을 특징으로 한다.
또한 상기 목적을 달성하기 위한 본 발명의 일 양상에 따른 자동 응답 및 문서 필터링 시스템은 자동 응답 및 문서 필터링 서버와, 텍스트 마이닝 서버를 포함하고;
상기 자동 응답 및 문서 필터링 서버는 고객 컴퓨터로부터 질문 혹은 게시 문서를 수신하여 텍스트 마이닝 서버로 전송하고, 텍스트 마이닝 서버로부터 전송된 응답을 고객 컴퓨터로 전송하거나 필터링 문서를 게시판에 게시하며,
상기 텍스트 마이닝 서버는 카테고리별 할당된 학습문서를 토대로 생성된 문서분류함수에 따라 상기 자동 응답 및 문서 필터링 서버로부터 전송된 게시 문서 혹은 질문 각각의 카테고리를 분류하고, 분류된 카테고리별 질문에 대한 최적의 응답을 선택하거나 게시 문서를 필터링하여 상기 자동 응답 및 문서 필터링 서버로 전송함을 특징으로 한다.
이하 첨부 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
우선 도 1은 본 발명의 바람직한 실시예에 따른 자동 응답 및 문서 필터링 시스템 구성도를 도시한 것이다. 본 발명의 실시예에 따른 자동 응답 및 문서 필터링 시스템(100)은 크게 자동 응답 및 문서 필터링 서버(110)와 텍스트 마이닝 서버(Text Mining Server:TMS)(120) 및 Q A DB(130)로 구성되며 인터넷(40)을 통해 다수의 고객 컴퓨터 단말기(10,20,30)들과 접속된다. 그리고 자동 응답 및 문서 필터링 시스템(100)은 다수의 관리자(카테고리 담당자와 루트 담당자 포함)컴퓨터 시스템(50)과 접속되어 질문 및 응답 문서를 송수신한다.
상기 자동 응답 및 문서 필터링 서버(110)는 고객 컴퓨터로부터 질문 혹은 게시 문서를 수신하여 텍스트 마이닝 서버(120)로 전송하고, 텍스트 마이닝 서버(120)로부터 전송된 응답을 고객 컴퓨터(10,20,30)로 전송하거나 필터링 문서를 게시판에 게시한다. 또한 상기 자동 응답 및 문서 필터링 서버(110)는 다수의 관리자 컴퓨터 시스템(50)으로부터 전송되는 응답(이러한 응답은 관리자에 의해 작성된 응답임)을 고객 컴퓨터(10,20,30)로 전송한다. 이러한 응답을 메일 전송하기 위해서는 메일서버(도시하지 않았음)를 구비하는 것이 바람직할 것이다.
한편 텍스트 분석 엔진인 TMS(120)는 카테고리별 할당된 학습문서를 토대로 생성된 문서분류함수에 따라 상기 자동 응답 및 문서 필터링 서버(110)로부터 전송된 게시 문서 혹은 질문 각각의 카테고리를 분류하고, 분류된 카테고리별 질문에 대한 최적의 응답을 선택하거나 게시 문서를 필터링하여 상기 자동 응답 및 문서 필터링 서버(110)로 전송한다. 또한 TMS(120)는 고객 컴퓨터(10,20,30)로부터 재전송 질문이 수신되면 이를 카테고리별로 지정된 담당자 컴퓨터 단말기, 즉 다수의 관리자 컴퓨터 시스템(50)중 어느 하나로 전송하여 주고, 관리자 컴퓨터 시스템(50)으로부터 학습지시 명령이 수신되면 수신된 재전송 질문을 해당 카테고리의 학습문서로 할당하여 학습시키는 역할을 수행한다. 상기 TMS(120)와 접속된 Q A DB(130)에는 카테고리별 질문에 따른 응답 문서들과 수신된 질문이 저장된다.
참고적으로 본 발명의 이해를 돕기 위해 상기 TMS(120)에서 수행되는 텍스트 마이닝 프로세스 대하여 좀 더 구체적으로 설명하면, 우선 본 발명의 일실시예에 따른 텍스트 마이닝 서버(120)는 다음과 같은 과정을 거쳐 자동으로 문서를 분류한다.
1. 분류하고자 하는 문서집합의 특성에 맞는 카테고리를 정의한다.
2. 정의된 카테고리의 성격에 맞는 학습문서를 할당한다.
3. 할당된 학습문서를 토대로 자동 분류를 위한 문서분류함수를 생성한다.
4. 생성된 문서분류 함수에 따라 문서를 자동으로 분류한다.
5. 필요한 경우 새로운 카테고리를 추가로 정의한다.
6. 문서 분류의 정확도를 높이기 위해 각 카테고리에 할당된 학습문서를 갱신하거나 추가한다.
즉, 본 발명의 일실시예에 따른 TMS(120)는 우선 특정 카테고리에 할당된 학습문서를 먼저 분석한다. 이러한 경우 각각의 카테고리별로 학습문서에 대해 특정한 특징어(feature word)의 출현여부가 조사되거나 혹은 출현빈도가 카운트된다. 특징어는 문서분류에 잘 활용될 수 있는 적절한 명사 혹은 동사로 구성되며 관리자에 의해 또는 통계분석에 따라 정해질 수 있고, 적절한 개수로 한정될 수도 있다.
이에 따라 특징어의 출현빈도에 따라 또는 출현여부에 따라 각각의 학습문서에 대해 좌표값이 할당된다. 이러한 좌표계는 특징어로 이루어지는 벡터공간(vector space)에서의 좌표값으로 볼 수 있다. 예를 들어 특징어가 "컴퓨터", "키보드", "프로그램" 의 3 개로만 구성되고 어떤 학습문서에서 "컴퓨터"란 특징어가 3회, "키보드"란 특징어가 1회, "프로그램"이란 특징어가 2회 나타난다면 이 학습문서의 상기 특징어로 이루어진 벡터 공간에서의 좌표값은 (3.1.2)가 된다. 이와 같은 좌표값은 각각의 문서가 반지름 1로 정규화된 n차원 공간의 구(sphere) 표면 상에 표시될 수 있도록 길이가 1로 정규화된 n차원 (n개의 특징어가 있다고 가정할 경우) 공간의 구(sphere) 표면 상에 표시될 수 있도록 길이가 1인 벡터로 정규화 된다.
다음으로 특정 카테고리내의 모든 학습문서에 대해서 입력문서에서 추출된 특징어의 출현 확률을 하기 수학식 1에 의해 계산한다.
상기 수학식 1에서 좌변은 특정한 카테고리 내의 모든 문서에 있어서 특징어 ti가 나타날 확률이다. 우변에서 tf(t, c)는 카테고리 c에서 특징어 t의 출현빈도이다. V는 특징어 공간의 크기로 정규화된 경우는 1이 된다. 즉, 우변은 모든 특징어의 카테고리 Ci에서의 출현빈도에 대한 특징어 ti의 출현빈도의 비율을 의미한다. 그리고 우변은 좌변을 계산하기 위한 근사식이다. 분자에서 1을 더한 것은 전체가 0이 되어 이후의 곱셈을 통해 산출되는 확률값이 0이 되어버리는 것을 피하기 위한기법이다.
이 값이 구해지면 이제 입력문서가 어떤 카테고리에 속하는지를 판단할 준비가 다 되었다는 것을 의미한다. 입력문서 d에 있는 모든 특징어에 대해 하기 수학식 2와 같은 확률이 산출된다.
좌변의 수식으로 표현된 확률은 특정한 카테고리에 속한다고 할 때 문서 d의 출현 확률, 즉 특정한 카테고리에 속한 모든 문서 중에서 문서 d와 같은 특징어 벡터 공간상의 좌표값을 가진 문서의 출현확률을 의미한다. 우변의 각 곱셈항들은 상기 수학식 1에 의해 구해진다. 위의 계산은 우변의 각 곱셈항에 해당하는 확률이 서로 독립이라는 가정에 근거한다.
다음으로 하기 수학식 3에 의해 특정한 문서가 카테고리 ci에 속할 확률이 산출된다.
위의 값이 앞서 언급한 문서분류함수에 해당한다. 위에서 P(ci)는 전체문서의 수 중에서 카테고리에 속하는 문서의 수로 계산되는 카테고리 출현 확률이다. 또한 P(d)는 특징어 벡터 공간에서 문서 d와 동일한 좌표값을 가지는 문서의출현 확률이다. 그러나 위의 문서분류함수는 절대값을 구하는 것이 아니고 각각의 카테고리에 대해 상대적인 비교만을 하면 충분하기 때문에 모든 경우에 같은 값을 가지는 분모 P(d)항은 계산할 필요가 없다. 결과적으로 사용되는 아래 문서분류함수를 사용하여 각 카테고리에 대한 문서 d의 상대적인 확률값을 계산한다. 즉,을 모두 구해 이 중 최대값이 되는 카테고리에 그 문서 d를 할당하면 카테고리별로 문서가 분류되는 것이다.
한편 상술한 텍스트 마이닝 서버(120)에서 학습문서를 어떠한 문서로 선택하느냐에 따라 문서 자동분류의 정확도 내지 신뢰도가 크게 영향을 받는다. 본 발명의 일실시예에 따른 텍스트 마이닝 서버(120)에서는 관리자가 현재 상황을 분석하여 각 카테고리에 할당된 학습문서를 적절하게 갱신한다. 이에 따라 일일이 수집하는 노동부담은 물론 여러 사람이 작업을 함으로써 또는 같은 사람이라 하더라도 다른 시기에 작업을 함으로써 학습문서 선택에 대한 일관성을 잃어 결과적으로 문서분류가 안정되게 이루어지지 못하는 결과를 초래할 수도 있다.
이를 위해 본 발명의 또 다른 일실시예에서는 분류된 문서집합에 대해 각 카테고리별로 적합한 학습문서를 자동으로 추천하게 하여 보다 정확한 문서 분류가 이루어질 수 있도록 하였다. 이를 보다 구체적으로 설명하면,
우선 문서분류의 성능이 좋아지려면 특징어로 구성되는 벡터공간이 좋은 좌표계를 구성하도록 학습문서가 선택되어야 한다. 즉, 특징어들의 출현빈도 특성이 카테고리별로 확연히 차이가 나도록 학습문서를 선택해주어야 한다는 것이다.
좀 더 상세히 설명하면,
각 카테고리 ci에서 특징어 w 들의 확률분포곡선 즉,
를 모두 계산한다. 그리고가 나타내는 카테고리별 확률분포곡선들간의 상대거리가 가능한 한 멀어지도록 학습문서를 선택한다.
본 발명에서는 이들 확률 분포곡선간의 거리를 수학식 4와 같이 정의한다.
그리고 상기 수학식 4에서는 하기 수학식 5로 정의한다.
상기 수학식 4는 확률분포곡선와간의 거리를 정의한 것이고, 수학식 5에 대해서는 이미 수학식 1에서 설명하였다. 상기 수학식 5에서 λ값은 1로 한다.
그런데 이 거리 함수는 비대칭형(nonsymmetric)이어서 a로부터 b까지의 거리값이 b로부터 a까지의 거리값과 다르게 된다. 이러한 비대칭형의 성질을 없애주기 위해 가중평균값을 계산하여 이를 실제적인 거리함수로서 수학식 6과 같이 정의한다.
이 KLdist(Kullback-Leibler 거리) 함수는 다른 카테고리에 할당되었을 때와 대비하여 특정한 카테고리에 할당되었을때의 무질서도(entropy)를 의미한다. 자동분류함수의 성능이 좋아지려면 이러한 무질서도값이 커지는 방향으로 학습문서가 선택되어져야 한다. 즉, 본 발명의 또 다른 실시예에 따른 TMS(120)는 이 KLdist가 가능한 한 커지도록 하기 위해, 미분류된 학습문서 후보가 될 수 있는 문서 d를 특정 카테고리에 할당되었다고 가정하고 그 외 각 카테고리와의 거리 KLdist(,)를 구한다. 그리고 이 거리값이 소정의 임계값보다 크다면 그 문서를 카테고리 ci의 학습문서로 할당하면 일반적인 텍스트 마이닝 시스템 보다 정확하게 문서의 자동 분류가 이루어질 수 있다. 참고적으로 상기 임계값은 예를 들면 기존의 학습문서들간의 KLdist 값의 평균값을 구하고 그 값 혹은 그 값에서 약간치를 감산함에 의해 정해질 수 있다.
한편 본 발명의 바람직한 실시예에 따른 자동 응답 및 문서 필터링 시스템(100)과 관리자 컴퓨터 시스템(50)의 프로그램 구조는 도 2에 도시한 바와 같다. 본 발명의 실시예에 따른 자동 응답 및 문서 필터링 서버(110)와 TMS(120)는 하나의 물리적인 서버로 구현하였으나, 두 개의 물리적인 서버로 운영되어 본 발명을 실행할 수도 있다.
도 2를 참조하면, 서버(100)는 다수의 계층화된 프로그램을 포함하는데, 기저에는 Windows NT/2000, Linux 등과 같이 다양한 운영체제(210)가 있다. 기저 위에는 운영체제에 의존하는 웹 서버(211)가 위치하며, 웹 서버(211) 위에는 운영체제에 의존적으로 제공되는 JVM(Java Virtual Machine)(212)이 올려진다. 그리고 JVM(212)에 의존적인 응용 프로그램(Java Servlet/JSP/Java Application)(213)이 그 위에 위치한다. 한편 관리자 컴퓨터(50) 역시 Windows 98/2000/Linux와 같은 운영체제가 위치하며, 운영체제 위에 본 발명의 실시예에 따른 자동 응답 수행을 위한 자동 응답 관리자 어플리케이션과 관리 페이지가 각각 자바 어플리케이션과 웹 브라우저상에 위치하여 상기 서버(100)와 정의된 통신 프로토콜에 따라 데이터 통신을 수행한다.
이하 상술한 구성을 갖는 자동 응답 및 문서 필터링 시스템(100)의 동작을 도 3을 참조하여 상세히 설명하기로 한다.
도 3은 본 발명의 바람직한 실시예에 따른 자동 응답 및 문서 필터링 처리 흐름도를 도시한 것이다.
도 3을 참조하면, 우선 고객은 자신의 컴퓨터(10)를 통해 자동 응답 및 문서 필터링 서버(110)와 접속(300단계)한다. 이러한 접속상태에서 고객이 질문 혹은 문서를 게시하기 위하여 특정 메뉴를 선택하면 자동 응답 및 문서 필터링 서버(110)는 질문을 입력할 수 있는 특정한 웹 페이지 혹은 문서를 작성할 수 있는 웹 페이지를 고객 컴퓨터1(10)로 전송한다. 즉, 자동 응답 및 문서 필터링 서버(110)는 310단계에서 고객의 선택에 의해 질문/글 쓰기 여부를 판단한후 해당 웹 페이지를 전송한다. 이에 따라 고객은 제공된 웹 페이지의 질문 정보 필드를 채움으로서 질문 혹은 게시 문서를 자동 응답 및 문서 필터링 서버(110)로 전송할 수 있게 되는 것이다.
이하에서는 고객에 의해 올려진 게시 문서를 필터링 하는 방법과 고객에 의해 올려진 질문에 자동 응답하는 방법을 나누어 순차적으로 설명하기로 한다.
우선 게시 문서 필터링 방법을 설명하면, 자동 응답 및 문서 필터링 서버(110)는 고객에게 제공된 웹 페이지를 통해 글 쓰기가 완료되었는가를 검사(320단계)한다. 검사결과 글 쓰기가 완료되었다면 자동 응답 및 문서 필터링 서버(110)는 글 쓰기 완료된 HTML형식의 게시 문서를 TMS(120)로 전송하여 준다. 그러면 TMS(120)는 수신된 게시 문서의 형태소를 분석(330단계)하고, 특징어를 추출(340단계)하여 필터링 여부를 판단(350단계)한다. 필터링 여부 판단방법은 상기 게시 문서가 미리 학습에 의해 분류된 필터링 문서 카테고리에 포함되는가를 판단함으로서 이루어질 수 있다. 즉, 미리 학습에 의해 분류된 필터링 문서 카테고리와 상기 게시 문서 사이의 상관도가 미리 정해진 임계치를 초과하면 필터링하여야 할 문서로 판단하고, 그 반대인 경우에는 게시판에 올려도 무방한 문서로 판단한다. 따라서 TMS(120)는 350단계의 판단결과에 따라 게시 문서를 삭제하거나 필터링 완료된 게시 문서를 다시 자동 응답 및 문서 필터링 서버(110)로 전송하여 게시판에 게시(360단계)되도록 한다.
따라서 게시판에는 특정인 혹은 특정 제품에 대한 비방, 욕설 등을 포함하는 게시 문서 자체가 게시될 수 없게 되는 것이다.
도 4는 본 발명의 실시예에 따른 필터링 문서 카테고리의 예를 보여준 화면표시 예시도이며, 도 5는 본 발명의 실시예에 따라 필터링 강도를 조정하기 위한 환경 설정 화면표시 예시도이다. 도 4에 도시된 바와 같이 필터링 문서 카테고리 화면상에는 게시 문서로서 적절치 못한 문서들의 리스트가 순차적으로 표시되어 있으며 카테고리와의 상관도, 그리고 그 내용이 각각 표시되어 있다. 따라서 필터링 문서 카테고리 담당자는 삭제된 게시 문서의 내용들을 확인해 볼 수 있다.
한편 도 5의 환경 설정 화면 표시를 통해 필터링 문서 카테고리 담당자는 필터링 강도율을 조정할 수 있다. 이러한 필터링 강도율의 조정에 의해 게시 문서에 대한 필터링 효과는 더욱 더 강화될 수 있다.
도 6은 본 발명의 실시예에 따른 특정 게시판에 대한 필터링 통계 자료 화면 표시 예시도를 도시한 것으로, 특정 게시판에 게시되는 게시 문서중에서 필터링 제거된 문서(필터링 문서로 표기되어 있음)와 필터링 문서(비필터링 문서로 표기되어 있음)의 비율이 막대 그래프 형식으로 표시되어 있으며, 전체 게시판에서의 학습단어 비율 역시 표시되어 있다. 이러한 화면을 통해 관리자는 전체 게시되는 문서들에서 비방, 욕설 문서들의 비율을 확인할 수 있다.
이하 고객 질문에 대한 자동 응답 방법을 다시 도 3을 참조하여 설명하면,
우선 고객이 질문을 선택한 경우 자동 응답 및 문서 필터링 서버(110)가 제공하는 웹 페이지의 질문 정보 필드에는 고객이 답변을 수신할 수 있도록 전자메일 계정, 질문의 제목, 질문 내용 등이 포함되어 있으며, 본 발명의 추가적인 양상에 따라 고객의 연령, 질문과 관련된 구매 제품 정보 등의 개인 정보가 추가로 포함되어 있다. 이러한 질문 정보는 고객의 명령에 의해 자동 응답 및 문서 필터링서버(110)로 전송되고, 자동 응답 및 문서 필터링 서버(110)에서는 전송된 질문 정보가 재전송 질문인가를 판단(400단계)한다. 이러한 재전송 질문 판단방법은 고객이 응답 내용을 피드백시킬 수 있도록 특정한 피드백 경로, 예를 들면 HTML형식의 응답 문서에 만족, 불만족이 표시된 버튼을 포함시킴으로서 재전송 질문여부를 판단할 수 있다. 이와 같이 HTML 버튼에 대한 구현 기술은 본건 출원일 이전에 다양한 형태로 공지되어 있으므로 상세한 설명은 생략하기로 한다.
만약 400단계에서 수신된 질문이 최초의 질문이라면 자동 응답 및 문서 필터링 서버(110)는 수신된 질문 정보를 TMS(120)로 전송하고, 재전송 질문이면 카테고리별로 지정된 담당자 컴퓨터를 연결하여 재전송 질문을 전송하여 준다. 이와 같이 하는 이유는 고객 질문에 대하여 일차적으로는 신속한 응답을 제공하기 위한 것이며, 이러한 신속한 응답에 만족하지 못하는 고객의 경우에는 지정 담당자를 연결하여 수동 응답토록 함으로써 대 고객 서비스를 한층 더 강화시키기 위함이다.
이하 최초 질문에 대한 자동 응답 과정을 설명하면, 최초 질문을 전송받은 TMS(120)는 전송된 게시 문서의 형태소를 분석(410단계)하고, 특징어를 추출(420단계)한후 카테고리별로 할당된 학습문서를 토대로 생성된 문서분류함수에 따라 질문 문서를 카테고리별로 자동 분류(430단계)한다. 그리고 TMS(120)는 440단계로 진행하여 질문 문서가 카테고리 분류할 수 없는 미분류 문서인가를 검사한다. 만약 카테고리 분류된 질문 문서이면 450단계로 진행하여 질문에 따른 최적의 응답을 선택한다. 이를 위해 본 발명의 실시예에 따른 TMS(120)는 각 카테고리별 질문에 따른 응답 형태를 데이터베이스화 해 놓고 그중 질문에 가장 근접한 응답을 선택하여 고객에게 전송하는 방식을 채용한다. 일반적으로 응답의 형태는 질문의 내용 뿐 아니라, 그 외의 개인 정보들(질문시간, 질문 의뢰자 나이 등의 고객정보, 계절 등)에 따라 다를 수 있기 때문에, 일종의 룰(rule) 형태(rule base engine채용)로 제공 정보의 내용에 따른 응답을 만들어 놓고 룰 베이스 엔진(rule base engine채용)을 통해 그 중 가장 근접한 응답을 자동으로 선택토록 하는 것이 바람직하다.
이와 같이 450단계에서 질문에 따른 응답이 선택되었으면 TMS(120)는 응답 문서를 자동 응답 및 문서 필터링 서버(110)로 전송하여 준다. 그러면 자동 응답 및 문서 필터링 서버(110)는 응답문서를 전자메일 메세지로 구성하여 메일 서버(도시하지 않았음)를 통해 고객 컴퓨터1(10)로 전송함으로써, 고객은 자신의 컴퓨터(10)를 통해 질문에 따른 응답을 받아 볼 수 있게 되는 것이다. 한편 전자메일 메시지에는 상술한 바와 같은 만족/불만족 버튼 및 불만족 원인에 따른 다수의 버튼이 포함되어 있으므로, 고객은 자신의 질문에 대한 자동 응답결과에 만족하지 못하는 경우에는 불만족 버튼을 선택함으로써 후술하는 방법에 의해 지정 담당자의 수동 응답을 받아볼 수 있다.
한편 상기 440단계의 검사결과 질문 문서가 카테고리 분류할 수 없는 미분류 문서인 경우 TMS(120)는 미리 설정된 루트 담당자 컴퓨터(복수의 관리자 컴퓨터 시스템(50)들중 하나임)를 연결(470단계)하여 고객으로부터 전송된 질문문서를 전송하여 준다. 이에 따라 루트 담당자는 질문 문서를 받아 보고 질문에 따른 최적의 응답을 수동 답변하여 TMS(120)로 전송하여 주면, TMS(120)는 루트 담당자에 의한 응답 문서를 자동 응답 및 문서 필터링 서버(110)로 전송하여 줌으로서, 결과적으로 담당자에 의한 응답이 고객에게 메일 전송(490단계)된다. 이에 따라 최초 응답에 불만을 가지고 있는 고객은 담당자에 의한 응답을 받아봄으로써 만족스러운 결과를 얻게 되는 것이다.
한편 루트 담당자는 미분류 질문 문서를 별도의 카테고리로 분류하고 해당 문서를 학습문서로 할당하기 위해 카테고리명을 입력한후 학습지시 명령을 입력시킨다. 이에 따라 TMS(120)는 학습지시 명령이 수신(500단계)되었음이 판명되면 510단계로 진행하여 미분류된 질문 문서를 입력된 카테고리의 학습문서로 할당하여 학습시킨 연후에 본 발명의 실시예에 따른 자동 응답 방법을 종료한다. 이에 따라 본 발명의 실시예에 따른 자동 응답 및 문서 필터링 시스템은 미분류된 질문 문서를 담당자의 관리에 의해 별도의 카테고리로 분류하여 학습함으로써 다양한 질문에 대처할 수 있는 효과를 가질 수 있다.
이하 재전송 질문이 수신된 경우의 수동 응답과정을 설명하면, 우선 최초의 고객 질문에 대한 응답에 대응하여 재전송 질문이 수신(400단계)되면 자동 응답 및 문서 필터링 서버(110)는 미리 설정된 카테고리 담당자 컴퓨터(복수의 관리자 컴퓨터 시스템(50)들중 하나임)를 연결(480단계)하여 고객으로부터 전송된 질문문서를 전송하여 준다. 이에 따라 카테고리 담당자는 질문 문서를 받아 보고 질문에 따른 최적의 응답을 수동 답변하여 자동 응답 및 문서 필터링 서버(110)로 전송하여 주면, 자동 응답 및 문서 필터링 서버(110)는 카테고리 담당자에 의한 응답 문서를 메일 서버를 통해 고객에게 전송하여 준다. 이에 따라 최초 응답에 불만을 가지고 있는 고객은 담당자에 의한 응답을 받아봄으로써 만족스러운 결과를 얻게 되는 것이다. 또한 카테고리 담당자는 재전송된 질문을 학습시키기 위한 명령을 내리면, TMS(120)에서는 이를 수신(500단계)한 연후에 재전송 질문 문서를 분류된 카테고리의 학습문서로 할당하여 학습시킨 연후에 본 발명의 실시예에 따른 자동 응답 방법을 종료한다.
이에 따라 본 발명의 실시예에 따른 자동 응답 및 문서 필터링 시스템은 상기 카테고리 학습에 의해 고객 질문에 대하여 자동 응답 성능이 보다 강화될 수 있게 되는 것이다. 한편 고객이 질문한 카테고리가 최초에 잘못 분류되어 재전송 질문이 수신된 경우에는 지정된 카테고리 담당자 역시 변경되어야만 한다. 이러한 경우에는 지정된 카테고리 담당자가 재전송된 질문에 적합한 카테고리 담당자를 선택하여 그의 단말기에 연결시켜 줌으로써, 고객은 자신이 원하는 응답을 받아볼 수 있다.
상술한 바와 같이 본 발명은 고객의 질문에 신속히 자동 응답할 수 있는 장점이 있으며, 고객에 의해 작성된 문서를 게시하기 전에 우선적으로 욕설, 비방 문서와 같은 저속한 문서를 필터링 함으로써 건전한 게시판을 유지할 수 있는 장점이 있다.
또한 질문에 대한 자동 응답에 불만을 가지는 고객으로부터 재질문이 전송된 경우 지정된 담당자에 의해 수동 답변토록 함으로써 보다 정확한 답변이 이루어지도록 하여 대 고객 서비스의 질을 향상시킬 수 있는 장점이 있으며, 고객 질문에 응답하기 위한 담당자의 수를 제한할 수 있기 때문에 인력확보에 따른 재정적인 손실을 최소화할 수 있는 장점이 있다.
그리고 본 발명은 미분류된 질문이 수신되는 경우 수신된 질문을 학습문서로 할당하고 이에 대응하는 카테고리를 생성하여 반복적인 학습함으로서, 수 많은 고객 질문에 대하여 강인성(robustness)을 가질 수 있는 효과가 있다.
본 발명은 도면에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에 통상의 지식을 지닌자라면 이로부터 다양한 변형 및 균등한 타실시예가 가능하다는 점을 이해할 것이다. 따라서, 본발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (10)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 텍스트 마이닝 서버와, 고객 컴퓨터로부터 질문 혹은 게시 문서를 수신하여 상기 텍스트 마이닝 서버로 전송하는 자동 응답 및 문서 필터링 서버를 포함하는 자동 응답 및 문서 필터링 시스템에 있어서,
    카테고리별()로 할당되어 있는 학습문서를 토대로 문서분류함수를 생성하고, 그 생성된 문서분류함수에 따라 상기 자동 응답 및 문서 필터링 서버로부터 전송되는 게시 문서 혹은 질문 각각의 카테고리를 분류한후, 분류된 카테고리별 질문에 대한 최적의 응답을 선택하거나 게시 문서를 필터링하여 상기 자동 응답 및 문서 필터링 서버로 전송하는 상기 텍스트 마이닝 서버는;
    1) 분류된 각 카테고리()에서 각 특징어(w)들의 확률분포()를 계산하고,
    2) 미분류된 문서를 상기 분류된 카테고리()중 어느 하나의 특정 카테고리()에 순차적으로 할당하였다고 가정하였을때 그 특정 카테고리()에서의 특징어들(w)의 확률분포()를 계산하고, 그 계산된 확률분포와 상기 특정 카테고리()를 제외한 나머지 각 카테고리에서의 특징어들의 확률분포와의 확률분포간 거리를 계산하여 그 거리가 미리 정해진 임계값 보다 크면 그 미분류 문서를 상기 특정 카테고리()의 학습문서로 선정하여 관리자 단말기로 출력하고,
    3) 상기 관리자 단말기로부터 학습문서 확인 입력시 상기 미분류 문서를 상기 특정 카테고리()의 학습문서로 할당하여 새로이 문서분류함수를 갱신함을 특징으로 하는 자동 응답 및 문서 필터링 시스템.
KR10-2001-0010146A 2001-02-27 2001-02-27 지능형 게시판 통합관리를 위한 자동 응답 및 문서 필터링 시스템 KR100431960B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0010146A KR100431960B1 (ko) 2001-02-27 2001-02-27 지능형 게시판 통합관리를 위한 자동 응답 및 문서 필터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0010146A KR100431960B1 (ko) 2001-02-27 2001-02-27 지능형 게시판 통합관리를 위한 자동 응답 및 문서 필터링 시스템

Publications (2)

Publication Number Publication Date
KR20020069761A KR20020069761A (ko) 2002-09-05
KR100431960B1 true KR100431960B1 (ko) 2004-05-17

Family

ID=27695793

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0010146A KR100431960B1 (ko) 2001-02-27 2001-02-27 지능형 게시판 통합관리를 위한 자동 응답 및 문서 필터링 시스템

Country Status (1)

Country Link
KR (1) KR100431960B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100449083B1 (ko) * 2001-08-14 2004-09-16 (주) 이씨마이너 웹로그와 사용자 아이디 매칭을 통한 고객관계관리방법
US9864952B2 (en) * 2014-05-27 2018-01-09 Genesys Telecommunications Laboratories, Inc. Controlled question and answer knowledge system management confirming customer does not want to terminate/cancel service/relationship
KR102073928B1 (ko) * 2018-01-12 2020-02-05 (주)유비벨록스모바일 챗봇을 이용한 매뉴얼 검색 서비스 제공 서버 및 그의 매뉴얼 검색 서비스 제공 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000024523A (ko) * 2000-02-18 2000-05-06 변승환 인터넷 맞춤정보 서비스시스템
KR20000050045A (ko) * 2000-03-28 2000-08-05 백찬영 전자 메시지 자동 응답 시스템 및 방법
KR20000054518A (ko) * 2000-06-09 2000-09-05 배용철 인터넷을 기반으로 하는 멀티미디어 원격 교육 방법 및시스템
KR20010012393A (ko) * 1998-03-10 2001-02-15 가부시키가이샤 가라 전자 게시판 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010012393A (ko) * 1998-03-10 2001-02-15 가부시키가이샤 가라 전자 게시판 시스템
KR20000024523A (ko) * 2000-02-18 2000-05-06 변승환 인터넷 맞춤정보 서비스시스템
KR20000050045A (ko) * 2000-03-28 2000-08-05 백찬영 전자 메시지 자동 응답 시스템 및 방법
KR20000054518A (ko) * 2000-06-09 2000-09-05 배용철 인터넷을 기반으로 하는 멀티미디어 원격 교육 방법 및시스템

Also Published As

Publication number Publication date
KR20020069761A (ko) 2002-09-05

Similar Documents

Publication Publication Date Title
Shepherd et al. Venture capitalists' expertise: A call for research into decision aids and cognitive feedback
US7552060B2 (en) Method for determining compatibility
US7054876B2 (en) Program, apparatus, and method of conducting questionnaire
US8893024B2 (en) User evaluation in a collaborative online forum
US20150278223A1 (en) Generating network activity indicators for users of a social network
US20030200137A1 (en) Novel system and method for polling a group
US20060015390A1 (en) System and method for identifying and approaching browsers most likely to transact business based upon real-time data mining
US20070288338A1 (en) Algorithm for Explaining Credit Scores
DE202016009121U1 (de) Instrumententafelschnittstelle, Plattform und Umgebung zum Abgleich von Teilnehmern mit Abonnentenanbietern und Darstellen von erweiterten Abonnementanbieter-Leistungsmetriken
US20020116253A1 (en) Systems and methods for making a prediction utilizing admissions-based information
JP4335251B2 (ja) オンライン上の専門家選出方法およびシステム
KR20030003396A (ko) 사용자의 분야별 선호 프로파일을 이용한 컨텐츠 추천서비스 방법
CN111507573A (zh) 业务员考核方法、系统、设备及存储介质
JP2002092291A (ja) アンケート調査方法、アンケートシステム及び記録媒体
CN114997812A (zh) 一种人力资源综合管理大数据监管服务系统
KR100909654B1 (ko) 고객 만족도 조사 시스템 및 방법
KR20090009386A (ko) 질문-답변 서비스를 제공하는 메신저와 그 서비스 제공방법
KR100431960B1 (ko) 지능형 게시판 통합관리를 위한 자동 응답 및 문서 필터링 시스템
US20040053203A1 (en) System and method for evaluating applicants
US11586980B2 (en) IVA performance dashboard and interactive model and method
KR100904691B1 (ko) 질문―답변 서비스를 제공하는 장치 및 방법
JP2005209042A (ja) アンケートシステムおよびアンケートページ作成方法
KR100726828B1 (ko) 브랜드 관리 서비스 방법
JP6946162B2 (ja) 情報処理装置、情報処理装置、およびプログラム
JP2002007665A (ja) アンケート調査方法、アンケートシステム及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110325

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee