KR100473051B1

KR100473051B1 - 스팸메일 자동분류 방법

Info

Publication number: KR100473051B1
Application number: KR10-2002-0044530A
Authority: KR
Inventors: 이현수
Original assignee: 삼성에스디에스 주식회사
Priority date: 2002-07-29
Filing date: 2002-07-29
Publication date: 2005-03-10
Also published as: KR20040011121A

Abstract

본 발명은 스팸메일 자동분류 방법에 관한 것으로서, 메일을 파싱하는 제 1 단계; 메일 헤더 정보를 얻는 제 2 단계; 스팸메일의 발신자인지 Non-스팸메일 발신자인지를 확인하는 제 3 단계; 상기 발신자 메일 어드레스에 따라 스팸메일 디렉토리 또는 Non-스팸메일 디렉토리로 바로 이동시키는 제 4 단계; 상기 메일 어드레스가 어느 리스트에도 포함되지 않는 경우 상기 메일 헤더로부터 제목정보를 형태소 분석하여 해당 단어를 추출하는 제 5 단계; 상기 힌트사전에 포함되어 있는 경우 스팸메일 디렉토리로 바로 이동시키는 제 6 단계; 상기 해당 단어가 상기 힌트사전에 포함되어 있지 않은 경우, 상기 메일의 바디를 추출한 후 형태소 분석을 하여 메일의 단어를 추출하는 제 7 단계; 스팸메일 사전과 Non-스팸메일 사전에 상기 추출 단어들이 포함되어 있는지 조사하여 상기 스팸메일 사전에 있을 경우 스팸 가능성(Spam-Probability) 값을 증가시키고, Non-스팸메일 사전에 있을 경우 Non-스팸 가능성(Non-Spam-Probability) 값을 증가시키는 제 8 단계; 스팸 가능성 값과 Non-스팸 가능성 값을 비교하여 비교 결과에 따라 스팸메일 디렉토리 또는 Non-스팸메일 디렉토리로 전송하는 제 9 단계;를 포함한다.

Description

스팸메일 자동분류 방법{Automatic Spam-mail Dividing Method}

본 발명은 원하지 않는 광고성 이-메일인 스팸메일을 차단하기 위한 스팸메일 자동분류 방법에 관한 것이다.

현재 이-메일은 기업 내 사용자 뿐만 아니라 개인 사용자에게 있어서도 중요한 커뮤니케이션(Communication) 미디어로써 자리를 잡아가고 있다. 특히 기업내 업무가 메일을 통한 협업과 커뮤니케이션 도구로 자리를 잡아감에 따라 전체적인 업무의 메일 의존도는 커지고 있다고 할 수 있다. 그러나 메일에 대한 업무 의존도가 커져감에 따라 원하지 않는 메일을 수신할 가능성도 그만큼 커져 가고 있으며 이에 따라 업무시작이나 혹은 메일 클라이언트를 확인할 때 가장 먼저하는 일이 스팸메일을 삭제하는 일부터 수행을 해야하는 상황에 직면하게 되었다.

스팸메일이란 PC통신이나 인터넷 ID를 가진 사람에게 일방적·대량으로 전달되는 전자우편을 말한다. 즉, 발신자가 자신과 아무런 관계가 없는 수신자에게 발송하는 전자 메시지를 스팸(spam)이라고 하며 쓰레기나 다름없다고 하여 정크메일(junk mail)이라고도 한다. 스패머(스팸메일을 보내는 사람)는 유즈넷 토론그룹과 같은 곳으로부터 가입자 주소를 하나하나 모으거나, 또는 이메일 배포 목록을 만드는 회사로부터 목록을 구입한 다음, 그곳에 대량의 메일을 보내기도 하고 불특정 전자우편 주소를 자동으로 모아 일괄적으로 전송하는 스팸 전용 프로그램을 이용하기도 한다. 이와 같은 스팸메일은 컴퓨터 통신망에서 무차별로 살포되어 이를 원치 않는 사람이 읽거나 처리하는 데 많은 시간과 비용을 낭비하게 된다.

현재 스팸메일을 처리하는 방법으로는 IP 필터링(Fitering)에 의한 방법과 스팸메일을 처리하는 ISP(Internet Service Provider)에게 메일을 전송하여 스팸메일 발신자로 하여금 수신자에게 다시는 스팸메일을 전송하지 못하도록 하는 방법을 쓰고 있다.

먼저 IP 필터링은 메일 서버를 관리하는 관리자가 특정 IP를 가지고 들어오는 메일에 대해서 필터링을 수행함으로써 메일 사용자가 불필요한 메일을 수신하지 않도록 하는 방식을 의미한다. 그리고 ISP에 의한 방법은 메일 사용자가 스팸메일이라고 선택한 메일을 메일 클라이언트에 임베딩된 기능에 의해서 자동적으로 ISP에 등록을 하게되면 다음에 메일을 수신할 때 ISP 서버에 탑재된 디렉토리를 조회하여 메일 사용자가 다시는 스팸메일 사용자가 보낸 메일을 수신하지 않도록 하는 방식을 사용하고 있다.

이러한 종래 기술, 즉, IP 필터링에 의한 방법과 스팸메일을 처리하는 ISP에 의한 방법에 대하여, 스팸메일 발신자 역시 더욱 더 지능적인 방식으로 메일 헤더에 제목을 기입하지 않거나 자기 자신에게 메일을 보낸 후에 이를 임의의 사용자에게 다시 전송함으로써 기존 메일 클라이언트의 스팸메일 삭제 기능을 무력하게 되었다. 즉, 스패머가 자신이 이용하는 메일 서버 대신 임의의 다른 ISP나 기업의 메일 서버를 중계 서버로 이용해 마치 중계 서버의 사용자가 불특정 다수에게 광고성 메일을 보내는 것처럼 위장하는 중계 스팸 방식을 이용하여 통신업체의 필터링 차단 방식을 피하는 것이다. 더욱이, 인터넷 프로토콜(IP)추적 방지 프로그램이나 이-메일의 헤더(header)정보를 자동으로 바꾸는 프로그램의 등장은 발신자 추적을 더욱 어렵게 하고 있다. 인터넷 접속을 위해 컴퓨터가 부여받은 번호인 IP나 메일 발송 서버와 수신 서버의 IP주소 등을 담고 있는 헤더 정보를 분석하면 원칙적으로는 발신자를 추적할 수 있지만, 여러 컴퓨터를 거쳐 메일을 발송하면 추적이 어렵다. 또한 상기 IP 필터링의 경우 수신자의 의도와는 관계없이 관리자가 임의로 해당 IP로부터의 메일 수신을 금지하므로, 수신자가 수신을 원하거나 수신자에게 필요한 이-메일마저 수신되지 않을 가능성이 있다는 문제점이 지적되고 있다.

본 발명은 이러한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 관리자 또는 메일 수신자가 직접 스팸메일을 식별하여 이를 수신하지 않도록 하는 종래의 방법을 개선하여, 사용자의 메일 클라이언트에 들어오는 메일을 파싱하여 들어오는 정보를 자신이 구성한 사전과 헤더 정보 및 메일 본문의 단어를 이용하여 스팸메일인지 아닌지를 판별할 수 있도록 하는 스팸메일 자동 분류 방법을 제공하는 것을 목적으로 한다.

이하 첨부한 도면을 참고로 하여 본 발명의 양호한 실시예를 상술하기로 한다.

우선, 본 발명은 사용자가 사용한 메일을 분석하여 여기에서 나온 말뭉치를 분석하여 사전(事前)에 미리 사전(辭典)을 구성하여 사용하는 방식을 취한다. 상기 사전(辭典)은 사용자가 일반적인 Non-스팸메일에서 사용하는 단어의 셋(Set)과 스팸메일의 단어의 셋(Set)은 관련성이 적다는 가정하에서 만들어진 사전이다. 본 발명에 의한 사전방식의 스팸메일 자동 분류 시스템은 사용자의 요구에 최적화되어 효과적인 스팸메일 자동분류 시스템을 제공한다.

도 1은 본 발명의 스팸메일 자동분류 시스템 서버를 구성하는 각 단계를 도시한다.

먼저, 스팸메일 자동분류 시스템을 사용하기를 원하는 사용자 즉, 메일 수신자가 기업일 경우에는 기업의 조직도 정보 등을, 수신자가 일반 사용자일 경우에는 나이와 연령, 취미 등의 정보를 받아 디렉토리를 구성한다(S 102). 예를 들어 해당 기업이 광고업종인 경우에는 '△△광고'라는 문구를 포함하는 이-메일도 스팸메일이 아닐 가능성이 많으며 해당 부서가 홍보부서인 경우에는 '△△홍보'라는 문구를 포함하는 이-메일도 스팸메일이 아닐 가능성이 많으므로, 기업인 경우 해당 기업의 업종, 기업 내에서의 각 부서별 분류 등을 기준으로 디렉토리를 구성한다. 일반 사용자인 경우에도 나이, 연령, 취미 별로 스팸메일이 포함하는 문구가 상이할 것이므로 이를 분류한다.

다음, 현재 등록된 Non-스팸메일 또는 스팸메일 분류사전이 없을 경우 네트워크 상에서 사전 정보를 다운받아 설치한다(S 104). 예를 들어, 사용자가 신규기업인 경우 아직 LAN 설치도 되지 않아 사내(社內) 이-메일 시스템이 구축되지 않은 경우에는 축적된 메일이 전혀 없을 것이므로 이 경우에는 Non-스팸메일 또는 스팸메일 분류사전을 미리 축적하고 있는 사전제공 웹사이트에 네트워크로 접속하여 사전 정보를 다운받는다.

다음, 기업인 경우 조직도, 일반 사용자인 경우 나이 또는 연령, 취미에 따른 사전을 구성하기 위하여 메일 서버에 접속하여 메일을 가져온다(S 106).

다음, 상기 서버는, 각 조직이나 취미, 연혁, 나이 등에 맞는 사전을 구성하기 위하여, 사용자로부터 사용자가 수작업 등으로 상기 메일 서버로부터 가져온 상기 메일에 대한 분류 정보를 수신한다(S 108). 메일의 분류는 Non-스팸메일 또는 스팸메일로 양분하는 방식으로 이루어진다.

다음, 분류된 메일의 형태소를 분석하여 스팸메일 또는 Non-스팸메일 사전을 구성한다(S 110). 즉, Non-스팸메일 및 스팸메일 각각에 대하여 각 메일이 포함하고 있는 본문을 소정 기준(예를 들어 띄워쓰기, 동사, 명사, 복합명서, 어간어미, 조사, 접두사 별로 각 문장을 쪼개는 방식)에 의하여 각 형태소로 분리하고, 분리된 각 형태소는 소정 빈도 이상인 경우 각 사전에 리스트업된다. 예를 들어 100회 이상 노출된 경우 스팸메일 사전에 리스트업되는 기준인 경우, '성인△△'란 형태소가 120회 노출되었다면 리스트업되는 방식을 취할 수도 있고, 빈도 기준으로 전체 형태소 중 노출 횟도가 상위 1000번째 안에 들어가는 형태소들은 스팸메일 사전에 리스트업하는 방식을 취할 수도 있다.

다음, 스팸메일로 분류된 메일의 발신자의 메일 어드레스를 등록하여 스팸메일 발신자 리스트를 구성한다(S 112). 또한 사용자가 수신을 받기 원하는 Non-스팸메일의 발신자 리스트를 추가로 구성할 수도 있다(S 114).

이와 같은 방식으로 본 발명의 스팸메일 자동메일 시스템의 서버를 초기 설치할 수 있다.

이러한 방식으로 스팸메일의 자동분류 시스템의 서버가 설치된 경우 사용자는 자신에게 적합한 사전을 선택한다.

도 2는 본 발명의 시스템을 이용하기 위한 사용자의 사전 선택의 각 단계를 도시하는 순서도이다.

도면을 참고하면, 서버는 먼저 사용자가 신규사용자인지 기사용자인지 여부를 판단한다(S 202).

다음, 사용자가 신규사용자인 경우 등록여부를 확인한 후 사용자의 정보에 맞는 일반적 분류사전 디렉토리를 제공한다(S 204).

다음, 신규 사용자가 기업인 경우에는 사용자의 조직정보(업종, 부서 등)를 입력받아 제공된 디렉토리에 포함된 사전 중 가장 부합되는 사전을 제공하고, 일반사용자인 경우에는 사용자 정보(나이, 연령, 취미 등)를 입력받아 가장 알맞은 사전을 제공한다(S 206).

사용자가 기사용자인 경우에는 기등록 사전을 제공한다(S 208).

다음, 기사용자가 변동 사항(예를 들어 부서 변경 등)이 있는지 여부를 판단한다(S 210).

변동 사항이 있는 경우에는 변동된 정보를 입력받아 변동 정보에 따른 사전을 제공한다(S 212).

상기 기등록 사전과 상기 변동 정보에 따른 사전을 합하여 최적화된 사전을 구성하여 이를 기사용자에게 제공한다(S 214).

도 3은 본 발명의 스팸메일 자동분류 방법의 각 단계를 도시하는 순서도이다.

먼저, 상기 자동분류 시스템 서버는 수신자의 메일-어드레스로 들어온 메일을 파싱(parsing)한다(S 302).

다음, 서버는 상기 메일에서 메일 헤더 정보를 얻는다(S 304). 메일 헤더 정보는 수신한 메일의 제목 정보와 발신자 메일 어드레스를 포함한다.

다음, 서버는 발신자 메일 어드레스가 스팸메일의 발신자인지 Non-스팸메일 발신자인지를 확인한다(S 306). 이는 단계(S 112)에서 구성된 스팸메일 발신자 리스트 내지 단계(S 114)에서 구성된 Non-스팸메일 리스트에 포함되는지 여부에 의해 확인된다. 또한 본 발명은 사용자가 답장을 발신한 상대자일 경우 Non-스팸메일 발신자로 분류하도록 하기 위해 답신 발신자 리스트를 추가로 유지하도록 구성될 수 있다. 발신자 메일 어드레스가 스팸메일 리스트에 리스트업되어 있는 경우 스팸메일 디렉토리로, Non-스팸메일 리스트에 포함되는 경우 Non-스팸메일 디렉토리로 바로 이동한다. 메일 어드레스가 어느 리스트에도 포함되지 않는 경우 다음 단계로 이동한다.

다음, 서버는 메일 헤더로부터 제목정보를 형태소 분석하여 해당 단어를 추출한다(S 308).

다음, 서버는 상기 해당 단어가 서버에서 전송된 스팸메일 힌트사전에 있는 단어나 혹은 패턴(예를 들어 '광*고', '홍보' 등)인지를 확인한다(S 310). 해당 단어가 일정 빈도 이상 상기 힌트사전에 포함되어 있는 경우 스팸메일 디렉토리로 바로 이동하고, 그렇지 않은 경우 다음 단계로 이동한다.

다음, 들어온 메일의 바디(Body)를 추출한 후 형태소 분석을 하여 메일의 단어를 추출한다(S 312).

다음, 스팸메일 사전과 Non-스팸메일 사전에 추출된 단어들이 포함되어 있는지 조사한다(S 314).

다음, 스팸메일 사전에 있을 경우 스팸 가능성(Spam-Probability) 값을 증가시키고, Non-스팸메일 사전에 있을 경우 Non-스팸 가능성(Non-Spam-Probability) 값을 증가시킨다(S 316). 두 단어가 각각의 사전에 다 있을 경우에는 가중치(메일의 처음, 중간, 끝 부분 등에 따라 가중치를 둘 수 있다)가 높은 것을 선택한다.

다음, 스팸 가능성 값과 Non-스팸 가능성 값을 비교하여 스팸메일 디렉토리 또는 Non-스팸메일 디렉토리로 전송한다(S 318).

다음, Non-스팸메일로 판명될 경우 조직도 정보와 답신메일을 참조하여 재분류를 한다(S 320).

이상 본 발명을 양호한 실시예를 들어 설명하였으나 이는 발명의 이해를 위한 것이지 제한을 위한 것은 아님을 이해할 것이다. 또한 본 발명은 발명의 사상 및 범위를 벗어나지 않는 한도 내에서 본 발명이 속하는 기술 분야의 당업자에 의한 다양한 변형 및 수정이 가능함을 이해할 것이다.

상기한 바와 같은 본 발명의 구성에 의하면, 메일 발신자의 메일 본문을 근거하여 수신된 메일이 스팸메일인지 여부를 판단할 수 있도록 하는 효과가 있다.

또한 본 발명은 수신자의 의도와는 관계없이 수신자가 필요로 하는 메일이 스팸메일로 판단되어 메일 수신이 금지될 가능성을 배제하여 사용자에게 메일 수신폭을 넓힐 수 있으며, 또한 스팸메일로 자동분류된 메일도 스팸메일 디렉토리에 일단 저장됨으로써 필요한 경우 사용자가 이를 확인할 수 있는 효과가 있다.

또한 본 발명은 스팸메일 발신자의 발신자 메일 어드레스 변경을 이용한 스팸메일 발송에 대해서도 스팸메일을 효과적으로 구분하여 낼 수 있다는 효과가 있다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
스팸메일에 주로 사용되는 단어나 패턴을 저장하는 스팸메일 사전, 비스팸 메일에 주로 사용되는 단어나 패턴을 저장하는 비스팸메일 사전을 포함하는 스팸메일 자동분류 시스템 서버의 메일분류 방법에 있어서,

상기 스팸메일 자동분류 시스템 서버가 수신자의 메일-어드레스로 들어온 메일을 파싱하는 단계;

상기 서버가 수신 메일의 헤더 정보를 추출하여 제목 정보를 형태소 분석하고, 분석된 단어나 패턴이 상기 스팸메일 사전에 포함되는 경우에는 전송된 메일을 스팸메일로 판단하고 스팸메일 디렉토리로 이동시키는 스팸메일 제1 판단 단계; 및

상기 서버가 수신 메일의 바디 정보를 추출하여 형태소 분석하고, 분석된 단어나 패턴이 상기 스팸메일 사전에 포함되는 경우에는 스팸메일 가능성값을 증가시키고, 분석된 단어나 패턴이 상기 비스팸메일 사전에 포함되는 경우에는 비스팸메일 가능성값을 증가시키고, 상기 스팸메일 가능성값의 최종값이 상기 비스팸메일 가능성값의 최종값보다 클 경우 전송된 메일을 스팸메일로 판단하고 스팸메일 디렉토리로 이동시키는 스팸메일 제2 판단 단계를 포함하는 것을 특징으로 하는 자동분류 시스템 서버의 메일분류 방법.
삭제
삭제