KR102361830B1 - 메일 해석 서버 및 이를 이용한 메일 해석 방법 - Google Patents
메일 해석 서버 및 이를 이용한 메일 해석 방법 Download PDFInfo
- Publication number
- KR102361830B1 KR102361830B1 KR1020200064994A KR20200064994A KR102361830B1 KR 102361830 B1 KR102361830 B1 KR 102361830B1 KR 1020200064994 A KR1020200064994 A KR 1020200064994A KR 20200064994 A KR20200064994 A KR 20200064994A KR 102361830 B1 KR102361830 B1 KR 102361830B1
- Authority
- KR
- South Korea
- Prior art keywords
- received
- reply
- server
- received mail
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/06—Message adaptation to terminal or network requirements
- H04L51/063—Content adaptation, e.g. replacement of unsuitable content
-
- H04L51/22—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Strategic Management (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
수신 메일의 해석 정밀도를 향상시켜서 수신 메일에 대한 사용자의 처리 부담을 경감한다.
축적된 수신 메일에 대한 회신의 유무를 판정하는 판정부와, 회신되었다고 판정된 수신 메일에 포함되는 문자와 회신되지 않았다고 판정된 수신 메일에 포함되는 문자의 적어도 한쪽을 해석하고, 신경망을 이용한 기계 학습에 의하여 기계 학습 모델을 구축하는 학습부와, 수신한 수신 메일에 포함되는 문자에 대하여 상기 기계 학습 모델을 이용해서 해당 수신 메일에 대한 회신의 요부를 추정하는 추정부를 가진다.
축적된 수신 메일에 대한 회신의 유무를 판정하는 판정부와, 회신되었다고 판정된 수신 메일에 포함되는 문자와 회신되지 않았다고 판정된 수신 메일에 포함되는 문자의 적어도 한쪽을 해석하고, 신경망을 이용한 기계 학습에 의하여 기계 학습 모델을 구축하는 학습부와, 수신한 수신 메일에 포함되는 문자에 대하여 상기 기계 학습 모델을 이용해서 해당 수신 메일에 대한 회신의 요부를 추정하는 추정부를 가진다.
Description
본 발명의 일 실시 형태는 메일 해석 서버, 메일 해석 방법 및 프로그램에 관한 것이다.
근래, 전자 메일은 비즈니스나 학술계에서 빈번하게 이용되는 중요한 툴의 하나이다. 사용자는 날마다 대량의 전자 메일을 수신하여, 수신한 전자 메일 중에서 즉시 회신이 필요한 것과 그렇지 않은 것을 하나 하나 판단하여 처리를 실시하고 있다. 사용자는 대량의 전자 메일을 처리하기 위해 다대한 시간을 소비하고 있다.
특허 문헌 1에는, 사용자가 이미 수신한 전자 메일을 교사(敎師) 데이터로 하여, 해당 사용자가 새로이 수신한 전자 메일에 대해, 사용자마다의 동작(action) 요부(要否)의 정도(동작 우선도)를 평가하고, 그 결과를 제시할 수 있는 전자 메일 시스템에 대하여 기재되어 있다.
특허 문헌 1에서는, 회신이나 전송 등의 동작이 이루어진 전자 메일과, 아무 것도 동작하지 않은 전자 메일의 양쪽을 교사 데이터로 하여 기계 학습하고 있다. 또한, 동작이 이루어진 전자 메일로부터 추출된 키워드에 가중치를 부여함으로써 새로이 수신한 전자 메일에 필요한 동작을 스코어로 평가하고 있다.
특허 문헌 1에서는, 사용자의 메일 어플리케이션의 수신 폴더에 보존된 수신 메일을 교사 데이터로 하여 기계 학습하고 있다. 그 때문에, 계정이 같아도 수신 메일을 수신하는 단말 장치가 다르면, 단말 장치마다 해석 결과가 다른 경우가 있다.
또한, 특허 문헌 1에서는, 회신한 수신 메일 및 회신하지 않은 수신 메일의 양쪽의 수신 메일에 포함되는 키워드를 추출하여 스코어에 의해서 평가하고 있지만, 키워드의 관련성이 고려되어 있지 않다. 그 때문에, 회신한 수신 메일 및 회신하지 않은 수신 메일의 양쪽에 같은 키워드가 포함되는 경우, 수신 메일의 해석 정밀도가 저하할 염려가 있다.
그래서 본 발명의 일 실시 형태는 수신 메일의 해석 정밀도를 향상시켜서, 수신 메일에 대한 사용자의 처리 부담을 경감하는 것을 목적의 하나로 한다.
본 발명의 일 실시 형태에 관련되는 메일 해석 서버는, 축적된 수신 메일에 대한 회신의 유무를 판정하는 판정부와, 회신되었다고 판정된 수신 메일에 포함되는 문자와 회신되지 않았다고 판정된 수신 메일에 포함되는 문자의 적어도 한쪽을 해석하고, 신경망을 이용한 기계 학습에 의하여 기계 학습 모델을 구축하는 학습부와, 수신한 수신 메일에 포함되는 문자에 대하여 기계 학습 모델을 이용해서 해당 수신 메일에 대한 회신의 요부를 추정하는 추정부를 가진다.
상기 구성에 있어서, 판정부는 축적된 수신 메일 및 축적된 송신 메일을 대비하여, 송신 메일의 본문에 수신 메일의 본문의 일부를 포함하는지의 여부를 판정하고, 송신 메일이 수신 메일의 본문의 일부를 포함하는 경우, 해당 수신 메일은 회신되었다고 판정한다.
상기 구성에 있어서, 판정부는 축적된 수신 메일 및 축적된 송신 메일을 대비하여, 송신 메일에 수신 메일의 부대 정보를 포함하는지의 여부를 판정하고, 송신 메일의 부대 정보가 수신 메일의 부대 정보를 포함하는 경우, 해당 수신 메일은 회신되었다고 판정한다.
상기 구성에 있어서, 판정부가, 축적된 수신 메일에 대한 회신의 유무를 판정한 후, 회신되었다고 판정된 수신 메일에 대하여 회신까지에 요한 시간을 산출하는 시간 산출부를 더 가진다.
상기 구성에 있어서, 학습부는 해당 수신 메일에 포함되는 문자 및 회신까지에 요한 시간을 해석하고, 신경망을 이용한 기계 학습에 의하여 기계 학습 모델을 구축한다.
상기 구성에 있어서, 학습 모델은 복수의 계정을 구별하지 않고, 회신했다고 판정된 수신 메일에 기초하여 생성된다.
상기 구성에 있어서, 기계 학습 모델은 계정마다 회신했다고 판정된 수신 메일에 기초하여 갱신된다.
상기 구성에 있어서, 신경망은 문자 레벨의 합성곱 신경망이다.
본 발명의 일 실시 형태에 관련되는 메일 해석 방법은, 축적된 수신 메일에 대한 회신의 유무를 판정하고, 회신되었다고 판정된 수신 메일에 포함되는 문자와 회신되지 않았다고 판정된 수신 메일에 포함되는 문자의 적어도 한쪽을 해석하고, 신경망을 이용한 기계 학습에 의하여 기계 학습 모델을 구축하고, 새로이 수신한 수신 메일에 포함되는 문자에 대하여 기계 학습 모델을 이용해서 해당 수신 메일에 대한 회신의 요부를 추정하는 메일 해석 방법이다.
상기 방법에 있어서, 축적된 수신 메일에 대한 회신의 유무는 축적된 수신 메일 및 축적된 송신 메일을 대비하여, 송신 메일에 수신 메일의 본문의 일부를 포함하는지의 여부를 판정하고, 송신 메일이 수신 메일의 본문의 일부를 포함하는 경우, 해당 수신 메일은 회신되었다고 판정한다.
상기 방법에 있어서, 축적된 수신 메일에 대한 회신의 유무는 축적된 수신 메일 및 축적된 송신 메일을 대비하여, 송신 메일에 수신 메일의 부대 정보를 포함하는지의 여부를 판정하고, 송신 메일이 수신 메일의 부대 정보를 포함하는 경우, 해당 수신 메일은 회신되었다고 판정한다.
상기 방법에 있어서, 축적된 수신 메일에 대한 회신의 유무를 판정한 후, 회신되었다고 판정된 수신 메일에 대하여 회신까지에 요한 시간을 산출한다.
상기 방법에 있어서, 해당 수신 메일에 포함되는 문자 및 회신까지에 요한 시간을 해석하고, 신경망을 이용한 기계 학습에 의하여 기계 학습 모델을 구축한다.
상기 방법에 있어서, 신경망은 문자 레벨의 합성곱 신경망이다.
상기 방법에 있어서, 기계 학습 모델은 복수의 계정을 구별하지 않고, 회신했다고 판정된 수신 메일에 기초하여 생성된다.
상기 방법에 있어서, 기계 학습 모델은 계정마다 회신했다고 판정된 수신 메일에 기초하여 갱신된다.
본 발명의 일 실시 형태에 관련되는 프로그램은 상기 기재의 메일 해석 방법을 컴퓨터에 실행시키기 위한 프로그램이다.
본 발명의 일 실시 형태에 따르면, 수신 메일의 해석 정밀도를 향상시켜서, 수신 메일에 대한 사용자의 처리 부담을 경감할 수 있다.
도 1은 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 개요를 나타내는 도면이다.
도 2는 메일 어플리케이션에 있어서, 회신의 요부에 관한 확률과 함께 수신 메일을 수신했을 때의 표시 화면을 나타내는 도면이다.
도 3은 도 2에 나타내는 메일 어플리케이션에 있어서, 수신 메일이 선택된 경우의 표시 화면을 나타내는 도면이다.
도 4는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 하드웨어 구성을 설명하는 블록도이다.
도 5는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 기능 블록도이다.
도 6은 메일 해석 서버에 있어서, 기계 학습 모델을 생성하는 과정에 대하여 설명하는 도면이다.
도 7은 메일 해석 서버에 있어서, 새로이 수신한 수신 메일에 대하여 해석을 실시하고, 회신의 요부에 관한 확률을 추정하는 과정에 대하여 설명하는 도면이다.
도 8은 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 개요를 나타내는 도면이다.
도 9는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 기능 블록도이다.
도 10은 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 개요를 나타내는 도면이다.
도 11은 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 기능 블록도이다.
도 12는 메일 어플리케이션에 있어서, 회신의 요부에 관한 확률과 함께 수신 메일을 수신했을 때의 표시 화면을 나타내는 도면이다.
도 13은 메일 어플리케이션에 있어서, 수신 메일이 선택된 경우의 표시 화면을 나타내는 도면이다.
도 14는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 기능 블록도이다.
도 15는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 기능 블록도이다.
도 2는 메일 어플리케이션에 있어서, 회신의 요부에 관한 확률과 함께 수신 메일을 수신했을 때의 표시 화면을 나타내는 도면이다.
도 3은 도 2에 나타내는 메일 어플리케이션에 있어서, 수신 메일이 선택된 경우의 표시 화면을 나타내는 도면이다.
도 4는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 하드웨어 구성을 설명하는 블록도이다.
도 5는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 기능 블록도이다.
도 6은 메일 해석 서버에 있어서, 기계 학습 모델을 생성하는 과정에 대하여 설명하는 도면이다.
도 7은 메일 해석 서버에 있어서, 새로이 수신한 수신 메일에 대하여 해석을 실시하고, 회신의 요부에 관한 확률을 추정하는 과정에 대하여 설명하는 도면이다.
도 8은 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 개요를 나타내는 도면이다.
도 9는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 기능 블록도이다.
도 10은 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 개요를 나타내는 도면이다.
도 11은 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 기능 블록도이다.
도 12는 메일 어플리케이션에 있어서, 회신의 요부에 관한 확률과 함께 수신 메일을 수신했을 때의 표시 화면을 나타내는 도면이다.
도 13은 메일 어플리케이션에 있어서, 수신 메일이 선택된 경우의 표시 화면을 나타내는 도면이다.
도 14는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 기능 블록도이다.
도 15는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버의 기능 블록도이다.
(제 1 실시 형태)
본 실시 형태에서는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10)가, 새로이 수신한 수신 메일에 대하여 회신의 요부를 출력하는 과정에 대하여 도 1 내지 도 7을 참조해서 설명한다.
본 명세서 등에 있어서 전자 메일이란, 메일 본문에 1 이상의 문자를 포함하는 정보를 가지는 것이다. 전자 메일은 메일 본문뿐만 아니라, 부대 정보, 문서 파일, 표 계산 파일 및 프리젠테이션 파일 등의 첨부 파일을 포함한다. 여기에서, 부대 정보란, 메일의 문서 데이터에 부수하는 정보를 말하고, 예를 들면, 수신인명, 건명 및 문서 데이터에 관한 정보, 송신, 회신 등의 조작 정보, 조작 실행 일시, 작성 일시 및 문서 데이터의 작성자 등의 정보이어도 좋다.
또한, 본 명세서 등에 있어서, 송신 메일이란, 메일 해석 서버(10)를 이용하는 사용자에 의하여 작성되고, 임의의 사용자의 계정(메일 어드레스)으로 송신된 메일을 말한다. 또한, 수신 메일이란, 임의의 발신인에 의하여 작성되어, 메일 해석 서버(10)를 이용하는 사용자의 계정(메일 어드레스)에서 수신한 메일을 말한다. 또한, 단순히 전자 메일로 기재하는 경우에는, 수신 메일, 송신 메일, 전송 메일 및 삭제 메일을 구별하지 않는다.
[메일 해석 서버의 개요]
도 1은 본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10)를 설명하는 도면이다. 도 1에 메일 해석 서버(10), 메일 서버(20_1, 20_2) 및 단말 장치(30_1, 30_2)를 나타낸다. 메일 서버(20_1, 20_2)는 네트워크(40)를 통하여 전자 메일을 송수신한다.
또한, 단말 장치(30_1)는 메일 해석 서버(10)를 이용하는 사용자의 단말 장치이고, 단말 장치(30_2)는 임의의 사용자가 이용하는 단말 장치이다. 또한, 메일 서버(20_1)는 메일 해석 서버(10)를 이용하는 사용자의 계정을 관리하는 서버이고, 메일 서버(20_2)는 임의의 사용자의 계정을 관리하는 서버이다. 또한, 이후의 설명에 있어서, 메일 서버(20_1, 20_2)를 각각 구별하지 않는 경우에는, 메일 서버(20)로 기재한다. 또한, 단말 장치(30_1, 30_2)를 각각 구별하지 않는 경우에는, 단말 장치(30)로 기재한다.
메일 서버(20)는 등록 완료 계정의 전자 메일을 송수신하는 기능을 가진다. 또한, 메일 서버(20)는 계정마다 전자 메일의 메일 데이터를 유지하는 기능을 가진다. 여기에서, 메일 데이터란, 주소록, 전자 메일의 본문 및 부대 정보, 첨부 파일 등을 포함한다. 여기에서, 계정마다의 전자 메일의 메일 데이터는 메일 서버(20)의 기록 매체에 유지된다. 메일 서버(20_1)는 외부로부터 임의의 사용자의 계정에서 사용자의 계정 앞으로 수신한 수신 메일을 메일 해석 서버(10)로 송신한다. 또한, 메일 서버(20_1)는 사용자의 계정에서 임의의 사용자의 계정 앞으로 송신한 송신 메일을 메일 서버(20_2)로 송신한다.
메일 해석 서버(10)는 메일 서버(20_1)로부터 수신한 송수신 메일의 문자를 해석하여, 해당 수신 메일에 대한 회신의 요부를 추정한다. 여기에서, 메일의 문자란, 메일의 본문을 적어도 포함하고, 그 밖에, 부대 정보 및 다른 수신 메일의 인용 부분을 포함하고 있어도 좋다. 부대 정보에는, 송신원 메일 서버의 IP어드레스 등(Received필드), 발신인 정보(From필드), 메일의 내부 ID(Message―ID필드), 메일의 타이틀(Subject필드), 전자 메일의 파일 형식의 버전 정보(MIME―Version필드), 전자 메일의 파일 형식의 정보(Content―Type필드), 수신인 정보(To필드), 메일의 복사의 수신인 정보(Cc필드), 메일의 작성 일시 정보(Date필드), 회신처 메일 정보(References필드, In―Reply―To필드)가 포함된다. 메일 해석 서버(10)는 예를 들면, 회신할 필요성이 높은 것을 100%로 하여, 0%∼100%의 확률을 추정한다. 메일 해석 서버(10)는 회신의 요부에 관한 확률과 함께 수신한 수신 메일을 단말 장치(30)로 송신하는 기능을 가진다.
단말 장치(30)는 메일 해석 서버(10)에 접속하여 전자 메일에 관한 처리를 실행한다. 전자 메일에 관한 처리란, 예를 들면, 사용자의 계정에서 송신하는 송신용의 메일 데이터를 입력하는 기능 및 열람 대상의 메일 데이터를 표시하는 기능 등이다. 예를 들면, 단말 장치(30)가 전자 메일에 관한 처리를 실시할 때에는, 메일 어플리케이션을 사용함으로써 실행할 수 있다.
도 1에 나타내는 바와 같이, 단말 장치(30_2)는 전자 메일을 송신원의 메일 서버(20_2)로 송신하고, 송신원의 메일 서버(20)는 네트워크(40)를 통하여 송신처의 메일 서버(20_1)로 전자 메일을 송신한다. 송신처의 메일 서버(20_1)는 수신한 전자 메일을 메일 해석 서버(10)로 송신한다. 메일 해석 서버(10)는 수신한 전자 메일을 해석함으로써 송신원의 계정에 대하여 회신의 요부에 관한 확률을 0%∼100%로 하여 추정한다. 메일 해석 서버(10)는 회신의 요부에 관한 확률과 함께 전자 메일을 단말 장치(30)로 송신하고, 단말 장치(30)는 회신의 요부에 관한 확률과 함께 전자 메일을 수신할 수 있다.
도 2는 단말 장치(30)의 메일 어플리케이션(400)에 있어서, 회신의 요부에 관한 확률과 함께 수신 메일을 수신했을 때의 표시 화면을 나타내는 도면이다. 단말 장치(30)는 메일 어플리케이션(400)에 의하여 계정(401), 동작 표시 영역(402), 수신 메일 표시 영역(404)을 표시한다. 계정(401)에는, 메일 어플리케이션(400)을 사용하는 사용자의 계정이 표시된다. 동작 표시 영역(402)에는, 신규 메일, 회신, 전원에 회신 및 전송 등의 동작이 표시된다. 사용자는 어느 쪽인가의 동작을 선택하여 전자 메일을 작성한다. 수신 메일 표시 영역(404)에는, 수신 메일(405_1∼405_5)의 각각에 있어서, 회신의 요부에 관한 확률(406_1∼406_5)이 표시된다.
회신의 요부에 관한 확률은 사용자에 의하여 소정의 한계값이 미리 설정되어 있어도 좋다. 단말 장치(30)는 회신의 요부에 관한 확률이 소정의 한계값 이상인 경우에는, 해당 수신 메일의 표시를 변화시켜도 좋다. 단말 장치(30)는 예를 들면, 해당 수신 메일에 기재된 회신의 요부에 관한 확률에 대하여 강조 표시를 해도 좋다. 단말 장치(30)는 예를 들면, 도 2에 나타내는 바와 같이, 회신의 요부에 관한 확률이 80% 이상인 경우와, 60%∼80% 미만인 경우와, 0%∼60% 미만인 경우에서 회신의 요부에 관한 확률의 강조 표시가 달라 있어도 좋다.
도 3은 도 2에 나타내는 메일 어플리케이션(400)에 있어서, 수신 메일(405_1)이 선택된 경우의 표시 화면을 나타내는 도면이다. 도 3에 나타내는 바와 같이, 수신 메일(405_1)에는, 회신의 요부에 관한 확률과 함께 수신 메일(405_1)의 부대 정보, 메일 본문이 표시된다. 또한, 회신의 요부에 관한 확률과 함께 회신 등의 아이콘이 표시됨으로써 사용자에게 회신을 재촉해도 좋다.
사용자는 단말 장치(30)에 있어서, 회신의 요부에 관한 확률을 확인함으로써 해당 수신 메일이 회신의 필요성이 높은지 낮은지를 용이하게 판단할 수 있다. 사용자는 회신의 요부에 관한 확률이 높은 수신 메일부터 처리해 가면 좋기 때문에 수신한 수신 메일에 대한 사용자의 처리 부담을 경감할 수 있다.
[메일 해석 서버의 하드웨어 구성]
도 4는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10)의 하드웨어 구성을 설명하는 블록도이다. 도 4에 나타내는 바와 같이, 메일 해석 서버(10)는 제어부(101), ROM(102)(Read Only Memory), RAM(103)(Random Access Memory), 기록 매체(104) 및 통신부(105)를 포함한다.
제어부(101)는 예를 들면, CPU(Central Processing Unit) 등이고, 후술하는 기능 블록의 동작을 제어한다. 제어부(101)는 예를 들면, ROM(102) 및 기록 매체(104)에 기록되어 있는 동작 프로그램을 읽어내고, RAM(103)에 전개하여 동작 프로그램을 실행함으로써 각 기능 블록에 의하여 메일 해석 서버(10)의 처리 기능을 실현한다.
기록 매체(104)는 예를 들면, HDD(Hard Disk Drive) 등의 항구적인 정보 유지 및 정보의 변경이 가능한 기록 장치이다. 기록 매체(104)에는, 메일 서버(20)로부터 취득한 계정마다 송수신한 전자 메일의 메일 데이터가 저장되어 있다. 또한, 기록 매체(104)에는, 나중에 상세히 서술하는 회신 완료의 수신 메일에 기초하는 교사 데이터가 저장되어 있다. 또한, 기록 매체(104)에는, 나중에 상세히 서술하는 기계 학습에 의하여 생성된 기계 학습 모델이 저장되어 있다. 또한, 계정마다의 전자 메일의 메일 데이터, 교사 데이터 및 기계 학습 모델은 각각 다른 기록 매체에 저장되어 있어도 좋다.
ROM(102)은 불휘발성 메모리 등의 항구적인 정보 유지가 가능한 기록 장치이다. ROM(102)에는, 예를 들면, 메일 해석 처리를 실행하기 위한 프로그램이 저장되어 있다.
RAM(103)은 예를 들면, 휘발성 메모리 등의 일시적인 정보 유지에 이용되는 변경 가능한 기억 장치이다. RAM(103)은 ROM(102)에 기록되어 있는 기능 블록의 프로그램 등의 전개 영역 및 기능 블록의 동작에서 출력된 중간 데이터 등을 기억하는 저장 영역으로서 이용된다.
통신부(105)는 통신 인터페이스이다. 메일 해석 서버(10)는 통신부(105)를 통함으로써 단말 장치(30) 및 메일 서버(20)와 접속하고, 단말 장치(30)와의 사이 및 메일 서버(20)와의 사이에서 메일의 송수신을 실시할 수 있다.
또한, 본 실시 형태에서는 설명을 간단하게 하기 위해, 메일 해석 서버(10)의 하드웨어 구성으로서, 각종 블록을 가지는 것으로서 설명했지만, 본 발명의 일 실시 형태는 이에 한정되지 않는다. 예를 들면, 각종 블록의 적어도 하나가 메일 해석 서버(10)와는 별도의 장치로서 구성되어 있어도 좋다.
[메일 해석 서버의 기능 블록도]
도 5는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10)의 기능 블록도이다. 메일 해석 서버(10)는 전자 메일 취득부(111), 전자 메일 저장부(112), 판정부(113), 교사 데이터(114), 학습부(115), 기계 학습 모델(116), 추정부(117) 및 출력부(118)를 포함한다. 전자 메일 취득부(111), 판정부(113), 학습부(115), 추정부(117) 및 출력부(118)는 제어부(101)에 의하여 처리가 실행된다. 또한, 전자 메일 저장부(112), 기계 학습 모델(116) 및 교사 데이터(114)는 기록 매체(104)에 저장된다.
우선, 메일 해석 서버(10)가 기계 학습할 때에 사용하는 기능 블록에 대하여 설명한다.
전자 메일 취득부(111)는 소정의 기간마다 메일 서버(20_1)에서 축적된 송수신한 전자 메일을 취득한다. 취득한 전자 메일은 후술하는 학습부(115)에 의하여 기계 학습 모델(116)을 구축할 때에 이용된다. 또한, 전자 메일 취득부(111)는 메일 서버(20_1)에서 새로이 수신한 수신 메일을 취득한다. 취득한 새로이 수신한 수신 메일은 후술하는 추정부(117)에 의하여 회신의 유무에 관한 확률을 추정할 때에 이용된다.
전자 메일 저장부(112)는 전자 메일 취득부(111)에서 취득한 송수신된 전자 메일을 저장한다. 취득한 송수신된 전자 메일은 전자 메일 저장부(112)에 계정마다 저장된다.
판정부(113)는 소정의 기간마다 전자 메일 저장부(112)에 축적된 수신 메일 및 송신 메일을 읽어내고, 수신 메일마다 회신의 유무를 판정한다. 판정부(113)는 축적된 수신 메일 및 축적된 송신 메일을 대비하여, 송신 메일의 본문에 수신 메일의 본문의 일부를 포함하는지의 여부를 판정한다. 송신 메일이 수신 메일의 본문의 일부를 포함하는 경우, 해당 수신 메일은 회신되었다고 판정한다. 또한, 판정부(113)는 축적된 수신 메일 및 축적된 송신 메일을 대비하여, 송신 메일의 부대 정보가 수신 메일의 부대 정보를 포함하는 경우, 해당 수신 메일은 회신되었다고 판정해도 좋다. 여기에서, 수신 메일의 부대 정보란, 예를 들면, Message―ID, In―Reply―To, References이다. In―Reply―To에는 회신 대상의 하나의 Message―ID만이 기록된다. References에는 스레드(thread)의 메일의 Message―ID가 복수 기록된다. 예를 들면, 송신 메일의 하나가 삭제되어 버렸다고 해도, 그 후에 이어지는 메일의 References로부터 회신의 상황을 복원할 수 있다. 회신되었다고 판정된 수신 메일 및 회신되지 않았다고 판정된 수신 메일은 교사 데이터(114)에 저장된다.
학습부(115)는 교사 데이터(114)에 축적된 수신 메일에 대하여, 해당 수신 메일에 포함되는 문자를 해석하고, 신경망을 이용하여 기계 학습에 의해서 기계 학습 모델을 구축한다. 구축된 기계 학습 모델은 기계 학습 모델(116)에 저장된다. 여기에서, 신경망은 문자 레벨의 합성곱 신경망(Character―level Convolutional Neural Network)을 이용한다. 문자 레벨의 합성곱망은 단어 단위는 아니고, 문자 단위로 기계 학습한다. 그 때문에, 고유 명사, 업계 용어, 업계 특유의 생략형 등의 미지의 단어, 오기 등에 강하다는 특징이 있다.
본 발명에서 수신메일에 대한 확률을 추정하는 기계 학습 모델은 신경망 언어 모델(Feed Forward Neural Network Language Mode)라고 지칭되는 신경망 모델들 중 어느 하나일 수 있다. 자연어 처리를 위한 신경망 언어 모델(Language Model, LM)은 언어라는 현상을 모델링하고자 단어 시퀀스(또는 문장, 문자)에 확률을 할당(assign)하는 모델이다. 이러한 언어 모델(LM)은 통계적 언어 모델(Statistical Language Model, SLM), N-gram(N-gram Language Model) 등 다양한 모델이 존재한다.
또한, 최근에는 통계를 이용하는 방법보다는 RNN을 이용한 텍스트 분류, NLP를 위한 합성곱 신경망(Natural Language Processing Convolution Neural Network: NLP를 위한 CNN) 등과 같은 기계 학습을 통한 신경망이 널리 사용되고 있다. 본 발명에서 언급하고 있는 합성곱 신경망과 관련된 NLP를 위한 CNN은 2015. 11. 07 DENNY BRITZ에 의한 Understanding Convolutional Neural Networks for NLP(2015. 11. 07) 등 다수의 합성곱 신경망 모델이 개시되어 있다.
또한, 자연어 처리 신경망 모델과 관련하여 GPT나 BERT(2018. 10. 18 오픈 소스 형태로 공개됨) 등이 최근 응용 모델로 개발되었고 공개되었다.
본 발명에서 수신메일에 대한 확률을 추정하는 기계 학습 모델은 신경망 언어 모델(Feed Forward Neural Network Language Mode)라고 지칭되는 신경망 모델들 중 어느 하나일 수 있다. 자연어 처리를 위한 신경망 언어 모델(Language Model, LM)은 언어라는 현상을 모델링하고자 단어 시퀀스(또는 문장, 문자)에 확률을 할당(assign)하는 모델이다. 이러한 언어 모델(LM)은 통계적 언어 모델(Statistical Language Model, SLM), N-gram(N-gram Language Model) 등 다양한 모델이 존재한다.
또한, 최근에는 통계를 이용하는 방법보다는 RNN을 이용한 텍스트 분류, NLP를 위한 합성곱 신경망(Natural Language Processing Convolution Neural Network: NLP를 위한 CNN) 등과 같은 기계 학습을 통한 신경망이 널리 사용되고 있다. 본 발명에서 언급하고 있는 합성곱 신경망과 관련된 NLP를 위한 CNN은 2015. 11. 07 DENNY BRITZ에 의한 Understanding Convolutional Neural Networks for NLP(2015. 11. 07) 등 다수의 합성곱 신경망 모델이 개시되어 있다.
또한, 자연어 처리 신경망 모델과 관련하여 GPT나 BERT(2018. 10. 18 오픈 소스 형태로 공개됨) 등이 최근 응용 모델로 개발되었고 공개되었다.
또한, 신경망은 소정의 기간마다 재학습을 실시하여 기계 학습 모델(116)을 갱신한다. 신경망은 교사 데이터(114)에 축적된 수신 메일을 새로운 교사 데이터로서 재학습하여 기계 학습 모델(116)을 갱신한다.
또한, 기계 학습 모델(116)의 구축은 복수의 계정을 구별하지 않고 실행해도 좋고, 계정마다 실행해도 좋다. 예를 들면, 기계 학습 모델(116)은 복수의 계정을 구별하지 않고, 회신했다고 판정된 수신 메일에 대하여 구축된다. 또한, 기계 학습 모델(116)은 계정마다 회신했다고 판정된 수신 메일에 기초하여 갱신된다. 계정마다 기계 학습 모델(116)을 갱신함으로써 계정마다의 수신 메일의 해석 결과의 정밀도의 향상을 바랄 수 있다.
추정부(117)는 전자 메일 취득부(111)가 새로이 수신한 수신 메일을 취득하면, 기계 학습 모델(116)을 이용하여 새로이 수신한 수신 메일에 포함되는 문자를 해석하고, 해당 수신 메일에 대한 회신의 요부에 관한 확률을 추정한다.
출력부(118)는 추정부(117)가 추정한 회신의 요부에 관한 확률과 함께 수신 메일을 단말 장치(30)로 출력한다.
또한, 전자 메일 취득부(111)가 새로이 수신한 수신 메일은 전자 메일 저장부(112)에 저장되는 것과 함께 추정부(117)로 송신되어도 좋다. 또는, 해당 수신 메일은 전자 메일 저장부(112)에 저장되지 않고, 추정부(117)로 송신되어도 좋다. 전자 메일 취득부(111)가 새로이 수신한 수신 메일을 취득한 타이밍에서 전자 메일 저장부(112)에 저장되지 않아도 전자 메일 저장부(112)는 소정의 기간마다 송수신된 전자 메일을 메일 서버(20_1)로부터 취득하면 좋다.
[데이터 처리 방법]
다음으로, 본 발명의 일 실시 형태에 관련되는 메일 해석 방법에 대하여 도 6 및 도 7을 참조해서 설명한다. 제어부(101)는 각각의 처리를 메일 해석 서버(10)에 실행시킨다.
우선, 메일 해석 서버(10)에 있어서, 기계 학습 모델을 구축하는 과정에 대하여 도 6을 참조해서 설명한다. 전자 메일 취득부(111)는 소정의 기간마다 메일 서버(20_2)로부터 송수신된 전자 메일을 취득한다(단계 S301). 전자 메일 취득부(111)는 취득한 전자 메일을 전자 메일 저장부(112)에 저장한다(단계 S302). 다음으로, 판정부(113)는 전자 메일 저장부(112)로부터 송신 메일 및 수신 메일을 읽어내고, 수신한 전자 메일에 대한 회신의 유무를 판정한다(단계 S303). 다음으로, 판정부(113)는 회신했다고 판정된 수신 메일과 회신되지 않았다고 판정된 수신 메일을 교사 데이터에 저장한다(단계 S304). 다음으로, 학습부(115)는 교사 데이터로서, 회신했다고 판정된 수신 메일을 해석하고, 신경망을 이용한 기계 학습에 의하여 기계 학습 모델을 구축한다(단계 S305). 다음으로, 학습부(115)는 구축한 기계 학습 모델을 기계 학습 모델(116)에 저장한다(단계 S306).
다음으로, 메일 해석 서버(10)에 있어서, 새로이 수신한 수신 메일에 대하여 해석을 실시하고, 회신의 요부에 관한 확률을 추정하는 과정에 대하여 도 7을 참조해서 설명한다. 전자 메일 취득부(111)는 메일 서버(20_2)로부터 새로이 수신한 수신 메일을 취득한다(단계 S311). 다음으로, 추정부(117)는 신경망에 의해 수신 메일에 포함되는 문자를 해석한다(단계 S312). 다음으로, 추정부(117)는 기계 학습 모델을 이용하여, 해당 수신 메일에 대한 회신의 요부에 관한 확률을 추정한다(단계 S313). 다음으로, 출력부(118)는 수신 메일을 회신하는 회신의 요부에 관한 확률과 함께 수신 메일을 단말 장치(30)로 출력한다(단계 S314).
단말 장치(30_1)로부터 단말 장치(30_2)로 송신 메일을 송신하는 경우에는, 메일 해석 서버(10)를 경유하지 않아도 좋다. 단말 장치(30_1)로부터 단말 장치(30_2)로 송신 메일을 송신하는 경우에는, 단말 장치(30_1)로부터 메일 서버(20_1)로 송신 메일을 송신한다. 메일 서버(20_1)는 메일 서버(20_2)를 통하여 단말 장치(30_2)로 송신한다. 메일 서버(20_1)는 단말 장치(30_1)로부터 송신 메일을 취득하면, 송신 메일을 메일 서버(20_1)의 기록 매체에 저장한다. 메일 해석 서버(10)가 송신 메일을 취득하는 경우에는, 도 6의 단계 S301에서 설명한 바와 같이, 소정의 기간마다 메일 서버(20_1)로부터 취득하면 좋다.
본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10)는 기계 학습 모델을 이용하여, 새로이 수신한 수신 메일에 포함되는 문자로부터 해당 수신 메일에 대한 회신의 요부에 관한 확률을 추정함으로써 회신의 요부에 관한 확률과 함께 수신 메일을 단말 장치(30)로 송신할 수 있다. 사용자는 단말 장치(30)에서 회신의 요부에 관한 확률을 확인함으로써 해당 수신 메일이 회신의 필요성이 높은지 낮은지를 용이하게 판단할 수 있다. 따라서, 수신한 수신 메일에 대한 사용자의 처리 부담을 경감할 수 있다.
종래에는 수신 메일에 포함되는 키워드의 출현 횟수를 카운트하고 있을 뿐이기 때문에 단어의 전후의 관계나 관련성을 고려할 수 없었다. 예를 들면, 종래에는 “SSL증명서의 갱신을 해 주십시오. 회신은 불필요합니다.”와, “SSL증명서의 갱신은 불필요합니다. 회신해 주십시오.”를 구별할 수 없다. 본 발명의 일 실시 형태에 관련되는 메일 서버(20)에서는 문자 레벨의 합성곱 신경망을 이용하고 있기 때문에 단어의 전후의 관계나 관련성을 고려하여 전자 메일을 해석할 수 있다.
또한, 종래에는 단어 레벨로 해석하고 있었기 때문에 고유 명사, 업계 용어, 업계 특유의 생략형 등의 사전에 없는 단어를 포함하는 문장을 단어의 열로 정확히 분할할 수 없었던 경우, 해석의 정밀도가 저하할 염려가 있었다. 본 발명의 일 실시 형태에 관련되는 메일 서버(20)에서는 문자 레벨로 해석하기 때문에 사전에 없는 단어가 포함되어 있어도 그에 의하여 정밀도가 저하할 염려가 없다.
또한, 스팸 메일로 판단되는 전자 메일은 계정에 상관없이, 사용되는 문자 및 단어에 대하여 공통성이 높다. 따라서, 계정에 상관없이, 스팸이라고 판정된 전자 메일을 형태소 해석하는 것에 의미가 있다.
이에 대하여, 회신이 필요한 전자 메일은 회신이 필요한 경향이 사용자에 따라서 크게 다르다. 또한, 회신을 요하는 전자 메일에서는 고유 명사, 업계 용어, 업계 고유의 생략형 등의 미지의 단어가 많다. 따라서, 전자 메일의 본문을 형태소 해석하기보다도 문자 레벨로 해석함으로써 회신의 요부에 관한 확률의 정밀도를 보다 향상시킬 수 있다.
또한, 본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10)에 있어서, 수신한 전자 메일에 포함되는 문자를 해석하고 있다. 그 때문에, 계정이 같으면, 복수의 단말 장치(30)로 출력되는 회신의 요부에 관한 확률은 복수의 단말 장치(30) 각각에서 같아진다. 따라서, 사용자는 수신한 단말 장치(30)에 의존하지 않고, 회신의 요부에 관한 확률과 함께 전자 메일을 수신할 수 있다.
(제 2 실시 형태)
제 1 실시 형태에서는 메일 해석 서버(10)와 메일 서버(20)를 별개의 장치로 구성하는 예에 대하여 설명했지만, 본 실시 형태에서는 메일 해석 서버(10)와 메일 서버(20)를 일체화하여 같은 장치로 구성하는 예에 대하여 도 8 및 도 9를 참조해서 설명한다.
[메일 해석 서버의 개요]
도 8은 본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10A)를 설명하는 도면이다. 도 8에 메일 해석 서버(10A), 메일 서버(20_2) 및 단말 장치(30_1, 30_2)를 나타낸다. 본 실시 형태에서 메일 해석 서버(10)는 제 1 실시 형태에서 설명한 메일 서버(20_1)의 전자 메일의 송수신 기능을 가진다. 또한, 본 실시 형태에 있어서, 메일 해석 서버(10)는 등록 완료 계정의 전자 메일을 송수신하는 기능을 가진다. 또한, 메일 해석 서버(10)는 계정마다 전자 메일을 유지하는 기능을 가진다.
[메일 해석 서버의 기능 블록도]
도 9는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10A)의 기능 블록도이다. 도 9에 나타내는 메일 해석 서버(10A)는 단말 장치(30_1)로부터 송신된 송신 메일을 메일 서버(20_2)로 송신하는 기능을 더 가지는 점에서 도 5에 나타내는 메일 해석 서버(10)와 달라 있다. 본 실시 형태에서는 제 1 실시 형태와 다른 기능을 가지는 기능 블록에 대하여 상세히 설명한다.
우선, 메일 해석 서버(10A)가 메일 서버(20_2)로부터 새로이 수신 메일을 수신한 경우의 처리에 대하여 설명한다. 전자 메일 취득부(111A)는 메일 서버(20_2)로부터 수신된 수신 메일을 취득하면, 전자 메일 저장부(112)에 저장한다. 또한, 전자 메일 취득부(111A)는 추정부(117)로 수신 메일을 송신한다. 또한, 판정부(113), 교사 데이터(114), 학습부(115), 기계 학습 모델(116) 및 추정부(117)에 대해서는, 제 1 실시 형태에서 설명한 기능과 동일하기 때문에 상세한 설명은 생략한다. 또한, 출력부(118)는 추정부(117)가 추정한 회신의 요부에 관한 확률과 함께 수신 메일을 단말 장치(30)로 출력한다.
다음으로, 메일 해석 서버(10A)가 단말 장치(30)로부터 송신된 송신 메일을 메일 서버(20_2)로 송신하는 경우의 처리에 대하여 설명한다. 전자 메일 취득부(111A)는 단말 장치(30)로부터 송신된 송신 메일을 취득하면, 전자 메일 저장부(112)에 저장한다. 또한, 전자 메일 취득부(111A)는 출력부(118A)로 송신 메일을 송신한다. 출력부(118A)는 메일 서버(20_2)로 송신 메일을 송신한다.
(제 3 실시 형태)
본 실시 형태에서는 단말 장치(30)의 브라우저 상에 표시되는 화면에 있어서, 사용자가 입력이나 조작을 실시함으로써 단말 장치(30)에서의 전자 메일의 주고받음을 가능하게 하는 메일 해석 서버(10B)에 대하여 도 10 및 도 11을 참조해서 설명한다.
[메일 해석 서버의 개요]
도 10은 본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10B)를 설명하는 도면이다. 도 10에 메일 해석 서버(10B), 메일 서버(20_2) 및 단말 장치(30)를 나타낸다.
[메일 해석 서버의 기능 블록도]
도 11은 본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10B)의 기능 블록도이다. 도 11에 나타내는 메일 해석 서버(10B)는 단말 장치(30)로 전자 메일을 출력하는 것은 아니고, 단말 장치(30)의 브라우저 상에 표시되는 화면에서 전자 메일을 표시하는 점에서 도 5에 나타내는 메일 해석 서버(10)와 달라 있다. 본 실시 형태에서는 제 1 실시 형태와 다른 기능을 가지는 기능 블록에 대하여 상세히 설명한다.
전자 메일 처리부(119)는 메일 서버(20_2)로부터 수신된 수신 메일을 취득하면, 전자 메일 저장부(112)에 저장한다. 또한, 전자 메일 처리부(119)는 추정부(117)로 수신 메일을 송신한다. 추정부(117)는 회신의 유무에 관한 확률을 추정하여, 전자 메일 저장부(112)에 저장된 해당 수신 메일과 함께 회신의 유무에 관한 확률을 저장한다. 전자 메일 처리부(119)는 단말 장치(30)의 수신 메일 열람 요구에 따라서 회신의 유무에 관한 확률과 함께 수신 메일을 단말 장치(30)의 브라우저 상에 표시되는 화면에서 표시한다.
전자 메일 처리부(119)는 단말 장치(30)의 브라우저 상에 표시되는 화면에 있어서, 생성된 송신 메일을 취득하면, 전자 메일 저장부(112)에 저장한다. 또한, 전자 메일 처리부(119)는 메일 서버(20_2)로 해당 송신 메일을 송신한다.
(변형예 1)
제 1 실시 형태에서는 메일 어플리케이션(400)의 수신 트레이에 있어서, 수신한 모든 수신 메일을 표시하는 예에 대하여 설명했지만, 본 발명의 일 실시 형태는 이에 한정되지 않는다. 수신 트레이와는 별도로, 요(要) 회신 트레이에 회신의 요부에 관한 확률이 소정의 한계값 이상인 수신 메일만을 표시시켜도 좋다. 또한, 소정의 한계값 미만인 수신 메일은 수신 트레이에 표시시켜도 좋다.
도 12는 단말 장치(30)의 메일 어플리케이션(400)에 있어서, 회신의 요부에 관한 확률과 함께 수신 메일을 수신했을 때의 표시 화면을 나타내는 도면이다. 도 2에 나타내는 메일 어플리케이션(400)의 표시와 다른 점은, 수신 트레이 외에, 요 회신 트레이를 가지는 점이다. 요 회신 트레이에 있어서, 회신의 요부에 관한 확률이 소정의 한계값 이상인 수신 메일만을 표시할 수 있다. 도 12에서는 회신의 요부에 관한 확률이 80% 이상인 수신 메일(405_1∼405_4)이 표시되어 있다. 또한, 회신의 요부에 관한 확률이 80% 미만인 수신 메일은 수신 트레이에 표시되기 때문에 사용자는 적절히 확인할 수 있다. 이에 따라, 사용자는 요 회신 트레이에서 수신한 회신의 우선도가 높은 수신 메일을 먼저 확인하여 회신하면 좋기 때문에 수신한 수신 메일에 대한 사용자의 처리 효율이 향상된다.
(변형예 2)
수신 메일에 대한 회신의 요부에 관한 확률은 계정마다 달라 있어도 좋다. 같은 수신 메일이어도 회신이 필요한 경향은 사용자에 따라서 크게 다르기 때문이다.
도 13은 메일 어플리케이션에 있어서, 수신 메일(407_1)이 선택된 경우의 표시 화면을 나타내는 도면이다. 도 3에 나타낸 바와 같이, '주식회사 YYYY의 스즈키'가 '주식회사 ZZZZ의 야마다'로부터의 수신 메일을 수신한 경우, 회신의 요부에 관한 확률이 80%로 출력된다. 한편, 도 13에 나타낸 바와 같이, '주식회사 YYYY의 다나카'가 '주식회사 ZZZZ의 야마다'로부터의 수신 메일을 수신한 경우, 회신의 요부에 관한 확률이 50%로 출력되어도 좋다.
본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10)는 계정마다 기계 학습 모델을 갱신한다. 그 때문에, 메일 해석 서버(10)는 하나의 수신 메일에 대하여 복수의 수신인이 포함되는 경우, 계정마다 각각 회신의 요부에 관한 확률을 추정할 수 있다.
(변형예 3)
본 발명의 일 실시 형태에서는 수신 메일에 포함되는 문자를 기계 학습의 대상으로 하는 예에 대하여 설명했지만, 본 발명의 일 실시 형태는 이에 한정되지 않는다. 수신 메일에 대하여, 회신할 때까지 걸린 시간을 기계 학습의 대상으로 해도 좋다.
도 14는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10C)의 기능 블록도이다. 도 14에 나타내는 메일 해석 서버(10C)는 판정부(113)에 있어서, 수신한 전자 메일에 대한 회신의 유무를 판정한 후, 수신 메일에 대하여, 회신할 때까지 걸린 시간을 산출하는 시간 산출부(121)를 더 가지는 점에서 도 5에 나타내는 메일 해석 서버(10)와 달라 있다. 이하, 시간 산출부(121)의 기능에 대하여 상세히 설명한다.
시간 산출부(121)는 수신 메일에 대하여, 회신할 때까지 요한 시간을 산출한다. 회신할 때까지 요한 시간을 산출하는 전자 메일의 대상은 수신 메일에 대하여 회신한 회신 메일을 대상으로 해도 좋고, 모든 송수신 메일을 대상으로 해도 좋다. 수신 메일에 대하여 회신한 회신 메일을 대상으로 하는 경우, 회신할 때까지 요한 시간의 추출은 수신 메일의 수신 일시와, 해당 수신 메일에 대하여 회신한 송신 메일의 송신 일시로부터 추출한다. 또는, 회신할 때까지 요한 시간의 추출은 해당 회신 메일의 부대 정보에 포함되는 수신 메일의 수신 일시와, 회신 메일의 송신 일시로부터 추출해도 좋다. 또한, 수신 메일에 대하여 회신한 회신 메일을 대상으로 하는 경우, 회신할 때까지 요한 시간의 추출은 회신이 되지 않은 수신 메일에 대해서는, 회신까지에 요한 시간을 ∞로 해도 좋다. 시간 산출부(121)에 의하여, 추출된 회신할 때까지에 요한 시간은 교사 데이터(114)에 저장된다.
수신 메일에 대하여, 회신할 때까지에 요한 시간에 한계값을 마련해도 좋다. 예를 들면, 회신할 때까지에 요한 시간이 24시간 미만이면, 회신해야 할 중요도가 높은 수신 메일이라고 판정하고, 24시간 이상이면, 중요도가 낮은 수신 메일이라고 판정해도 좋다. 송수신 메일에 포함되는 문자와, 추출된 회신까지에 요한 시간은 교사 데이터에 저장된다.
학습부(115)는 송수신 메일의 문자뿐만 아니라, 회신까지에 요한 시간을 포함시켜서 기계 학습을 실행한다.
기계 학습의 대상으로서, 수신 메일의 문자뿐만 아니라, 회신까지에 요한 시간을 포함시킴으로써 수신 메일의 회신의 요부에 관한 해석 정밀도를 보다 향상시킬 수 있다.
(변형예 4)
본 발명의 일 실시 형태에서는 메일 해석 서버(10, 10A∼10C)는 적어도 판정부(113), 학습부(115) 및 추정부(117)를 포함하는 예에 대하여 설명했지만, 이에 한정되지 않는다. 메일 해석 서버(10D)는 적어도 추정부(117)를 가지고 있으면 좋고, 기계 학습 모델을 구축하는 학습 장치가 별도로 있어도 좋다.
도 15는 본 발명의 일 실시 형태에 관련되는 메일 해석 서버(10D) 및 학습 장치(50)의 기능 블록도이다. 도 15에 나타내는 바와 같이, 메일 해석 서버(10D)와는 별도로 학습 장치(50)가 설치된다.
학습 장치(50)는 전자 메일 취득부(111), 전자 메일 저장부(112), 판정부(113), 교사 데이터(114), 학습부(115) 및 기계 학습 모델(116)을 가진다. 판정부(113)는 축적된 수신 메일에 대한 회신의 유무를 판정하고, 학습부(115)는 회신되었다고 판정된 수신 메일에 포함되는 문자와 회신되지 않았다고 판정된 수신 메일에 포함되는 문자의 적어도 한쪽을 해석하고, 신경망을 이용한 기계 학습에 의하여 기계 학습 모델을 구축한다. 학습 장치(50)가 가지는 각 구성의 상세한 설명은 제 1 실시 형태∼제 3 실시 형태에서 설명한 대로이다.
메일 해석 서버(10D)는 전자 메일 취득부(122), 추정부(117), 출력부(118)를 가진다. 전자 메일 취득부(122)는 메일 서버(20_1)로부터 회신의 요부를 추정할 필요가 있는 수신 메일을 취득한다. 추정부(117)는 전자 메일 취득부(122)에서 취득한 수신 메일의 문자에 대하여, 학습 장치(50)의 기계 학습 모델을 이용해서 회신의 요부를 추정한다. 출력부(118)는 추정부(117)에서 추정한 회신의 요부를 단말 장치(30)로 출력한다.
이상 설명한 대로, 메일 해석 서버(10D)와 학습 장치(50)는 다른 장치이어도 좋다.
(변형예 5)
본 발명의 일 실시 형태에서는 학습부(115)에 있어서, 문자 레벨의 합성곱 신경망을 사용하여 기계 학습 모델을 구축하는 예에 대하여 설명했지만, 이에 한정되지 않는다. 학습부(115)에 있어서, 신경망으로서, BERT(Bidirectional Encoder Representations from Transformers)를 사용하여 기계 학습 모델을 구축해도 좋다. BERT란, 여러 가지 자연 언어 처리(Natural Language Processing; NLP) 태스크의 최첨단의 결과를 얻는 언어 표현 사전 트레이닝을 위한 방법이다. BERT에서는 교사 없이 양방향형의 사전 트레이닝을 시킨다. 교사 없음이란, BERT가 플레인 텍스트 코퍼스(plain text corpus)만을 사용하여 트레이닝된 것을 의미한다.
학습부(115)에서는 BERT의 사전 학습 완료의 모델을 사용하여 교사 데이터(114)에 축적된 수신 메일을 교사 데이터로서 학습하고, 기계 학습 모델을 구축한다. 추정부(117)가, 전자 메일 취득부(111)가 새로이 수신한 수신 메일을 취득하면, BERT에 의한 기계 학습 모델(116)을 이용하여 새로이 수신한 수신 메일에 포함되는 문자를 해석하고, 해당 수신 메일에 대한 회신의 요부에 관한 확률을 추정한다. BERT에서는 주목하는 단어의 전후 양쪽의 문맥에 대하여 고려할 수 있기 때문에 수신 메일의 회신의 요부에 관한 확률의 정밀도를 보다 향상시킬 수 있다.
10, 10A, 10B: 메일 해석 서버
20: 메일 서버
30: 단말 장치
40: 네트워크
101: 제어부
102: ROM
103: RAM
104: 기록 매체
105: 통신부
111, 111A: 전자 메일 취득부
112: 전자 메일 저장부
113: 판정부
114: 교사 데이터
115: 학습부
116: 기계 학습 모델
117: 추정부
118, 118A: 출력부
119: 전자 메일 처리부
400: 메일 어플리케이션
401: 계정
402: 동작 표시 영역
404: 수신 메일 표시 영역
405: 수신 메일
406: 회신의 요부에 관한 확률
407: 수신 메일
20: 메일 서버
30: 단말 장치
40: 네트워크
101: 제어부
102: ROM
103: RAM
104: 기록 매체
105: 통신부
111, 111A: 전자 메일 취득부
112: 전자 메일 저장부
113: 판정부
114: 교사 데이터
115: 학습부
116: 기계 학습 모델
117: 추정부
118, 118A: 출력부
119: 전자 메일 처리부
400: 메일 어플리케이션
401: 계정
402: 동작 표시 영역
404: 수신 메일 표시 영역
405: 수신 메일
406: 회신의 요부에 관한 확률
407: 수신 메일
Claims (17)
- 전자 메일을 송신 및 수신하는 메일 서버로부터 제공되는 송신 및 수신 메일을 저장하고, 상기 저장된 송수신 메일에 기초하여 새로운 수신메일에 대해 회신이 필요한지 여부를 확률로 추정하고, 추정된 확률을 단말장치에 제공하는 메일 해석 서버에 있어서,
상기 메일 해석 서버는,
상기 메일 서버로부터 상기 송신 및 수신 메일을 제공받는 전자 메일 취득부;
상기 전자 메일 취득부에서 제공된 송신 및 수신 메일을 저장하는 전자 메일 저장부;
상기 전자 메일 저장부에 저장된 송신 및 수신 메일을 기초로 상기 저장된 수신 메일에 대해 회신 여부를 판정하고, 회신 되었다고 판정된 수신 메일과 회신 되지 않았다고 판정된 수신 메일 중 적어도 한쪽에 대해 자연어 처리 신경망 모델을 이용한 해석에 의해 구축된 기계 학습 모델; 및
상기 기계 학습 모델을 이용하여 상기 전자 메일 취득부로부터 제공되는 새로운 수신메일에 대해 확률값을 지정하고, 상기 지정된 확률값들에 기초하여 상기 새로운 수신메일에 대해 회신이 필요한지 여부를 확률로 추정하는 추정부를 포함하며,
상기 저장된 수신 메일에 대한 회신 여부의 판정은 상기 전자 메일 저장부에 저장된 송신 메일이 상기 저장된 수신메일의 본문의 일부를 포함하는 경우 상기 저장된 수신 메일에 대해 회신되었다고 판정하는
메일 해석 서버. - 전자 메일을 송신 및 수신하는 메일 서버로부터 제공되는 송신 및 수신 메일을 저장하고, 상기 저장된 송수신 메일에 기초하여 새로운 수신메일에 대해 회신이 필요한지 여부를 확률로 추정하고, 추정된 확률을 단말장치에 제공하는 메일 해석 서버에 있어서,
상기 메일 해석 서버는,
상기 메일 서버로부터 상기 송신 및 수신 메일을 제공받는 전자 메일 취득부;
상기 전자 메일 취득부에서 제공된 송신 및 수신 메일을 저장하는 전자 메일 저장부;
상기 전자 메일 저장부에 저장된 송신 및 수신 메일을 기초로 상기 저장된 수신 메일에 대해 회신 여부를 판정하고, 회신 되었다고 판정된 수신 메일과 회신 되지 않았다고 판정된 수신 메일 중 적어도 한쪽에 대해 자연어 처리 신경망 모델을 이용한 해석에 의해 구축된 기계 학습 모델; 및
상기 기계 학습 모델을 이용하여 상기 전자 메일 취득부로부터 제공되는 새로운 수신메일에 대해 확률값을 지정하고, 상기 지정된 확률값들에 기초하여 상기 새로운 수신메일에 대해 회신이 필요한지 여부를 확률로 추정하는 추정부를 포함하며,
상기 저장된 수신 메일에 대한 회신 여부의 판정은 상기 전자 메일 저장부에 저장된 송신 메일의 부대 정보가 상기 저장된 수신메일의 부대 정보를 포함하는 경우 상기 저장된 수신 메일에 대해 회신되었다고 판정하는
메일 해석 서버. - 전자 메일을 송신 및 수신하는 메일 서버로부터 제공되는 송신 및 수신 메일을 저장하고, 상기 저장된 송수신 메일에 기초하여 새로운 수신메일에 대해 회신이 필요한지 여부를 확률로 추정하고, 추정된 확률을 단말장치에 제공하는 메일 해석 서버에 있어서,
상기 메일 해석 서버는,
상기 메일 서버로부터 상기 송신 및 수신 메일을 제공받는 전자 메일 취득부;
상기 전자 메일 취득부에서 제공된 송신 및 수신 메일을 저장하는 전자 메일 저장부;
상기 전자 메일 저장부에 저장된 송신 및 수신 메일을 기초로 상기 저장된 수신 메일에 대한 회신 여부의 판정 및 회신까지 요한 시간을 산출하고, 회신 되었다고 판정된 수신 메일과 회신 되지 않았다고 판정된 수신 메일 중 적어도 한쪽에 대해 자연어 처리 신경망 모델을 이용한 해석에 상기 회신까지 요한 시간을 포함시켜 구축된 기계 학습 모델; 및
상기 기계 학습 모델을 이용하여 상기 전자 메일 취득부로부터 제공되는 새로운 수신메일에 대해 확률값을 지정하고, 상기 지정된 확률값들에 기초하여 상기 새로운 수신메일에 대해 회신이 필요한지 여부를 확률로 추정하는 추정부를 포함하는
메일 해석 서버. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 기계 학습 모델은 복수의 계정을 구별하지 않고, 상기 회신되었다고 판정된 수신 메일에 기초하여 구축되는
메일 해석 서버. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 기계 학습 모델은 계정마다 상기 회신 되었다고 판정된 수신 메일에 기초하여 갱신되는
메일 해석 서버. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 자연어 처리 신경망 모델은 문자 레벨의 합성곱 신경망 모델인
메일 해석 서버. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 기계 학습 모델은 상기 새로운 수신메일에 포함된 문자들에 대해 중복 정도에 따라 각 문자에 확률값을 지정하는 것을 포함하는
메일 해석 서버. - 삭제
- 전자 메일을 송신 및 수신하는 메일 서버로부터 제공되는 새로운 수신 메일에 대해 회신이 필요한지 여부를 확률로 추정하고, 추정된 확률을 단말장치에 제공하는 메일 해석 서버를 이용한 메일 해석 방법에 있어서,
상기 메일 해석 서버는 상기 메일 서버로부터 제공된 송신 및 수신 메일을 저장하는 단계;
상기 저장된 송신 및 수신 메일을 읽어 내어 각각의 저장된 수신 메일에 대한 회신 여부를 판정하는 단계;
상기 회신 되었다고 판정된 수신 메일과 회신 되지 않았다고 판정된 수신 메일 중 적어도 한쪽에 대해 자연어 처리 신경망 모델을 이용한 해석에 의해 기계 학습 모델을 구축하는 단계; 및
상기 기계 학습 모델을 이용하여 상기 메일 서버로부터 제공되는 새로운 수신메일에 대해 확률값을 지정하고, 상기 지정된 확률값들에 기초하여 상기 새로운 수신메일에 대해 회신이 필요한지 여부에 대한 확률을 추정하는 단계를 포함하고,
상기 각각의 저장된 수신 메일에 대한 회신 여부를 판정하는 단계는,
상기 저장된 송신 메일이 상기 저장된 수신메일의 본문의 일부를 포함하는 경우 상기 저장된 수신 메일에 대해 회신되었다고 판정하는
메일 해석 방법. - 전자 메일을 송신 및 수신하는 메일 서버로부터 제공되는 새로운 수신 메일에 대해 회신이 필요한지 여부를 확률로 추정하고, 추정된 확률을 단말장치에 제공하는 메일 해석 서버를 이용한 메일 해석 방법에 있어서,
상기 메일 해석 서버는 상기 메일 서버로부터 제공된 송신 및 수신 메일을 저장하는 단계;
상기 저장된 송신 및 수신 메일을 읽어 내어 각각의 저장된 수신 메일에 대한 회신 여부를 판정하는 단계;
상기 회신 되었다고 판정된 수신 메일과 회신 되지 않았다고 판정된 수신 메일 중 적어도 한쪽에 대해 자연어 처리 신경망 모델을 이용한 해석에 의해 기계 학습 모델을 구축하는 단계; 및
상기 기계 학습 모델을 이용하여 상기 메일 서버로부터 제공되는 새로운 수신메일에 대해 확률값을 지정하고, 상기 지정된 확률값들에 기초하여 상기 새로운 수신메일에 대해 회신이 필요한지 여부를 확률로 추정하는 단계를 포함하고,
상기 각각의 저장된 수신 메일에 대해 회신 유무를 판정하는 단계는,
상기 저장된 송신 메일의 부대 정보가 상기 저장된 수신메일의 부대 정보를 포함하는 경우 상기 저장된 수신 메일에 대해 회신되었다고 판정하는
메일 해석 방법. - 전자 메일을 송신 및 수신하는 메일 서버로부터 제공되는 새로운 수신 메일에 대해 회신이 필요한지 여부를 확률로 추정하고, 추정된 확률을 단말장치에 제공하는 메일 해석 서버를 이용한 메일 해석 방법에 있어서,
상기 메일 해석 서버는 상기 메일 서버로부터 제공된 송신 및 수신 메일을 저장하는 단계;
상기 저장된 송신 및 수신 메일을 읽어 내어 각각의 저장된 수신 메일에 대한 회신 여부를 판정하는 단계;
상기 회신 되었다고 판정된 저장된 수신 메일에 대해 회신까지 요한 시간을 산출하는 단계;
상기 회신 되었다고 판정된 수신 메일과 회신 되지 않았다고 판정된 수신 메일 중 적어도 한쪽에 대해 자연어 처리 신경망 모델을 이용한 해석에 상기 산출된 회신까지 요한 시간을 포함시켜 기계 학습 모델을 구축하는 단계; 및
상기 기계 학습 모델을 이용하여 상기 전자 메일 취득부로부터 제공되는 새로운 수신메일에 대해 확률값을 지정하고, 상기 지정된 확률값들에 기초하여 상기 새로운 수신메일에 대해 회신이 필요한지 여부를 확률로 추정하는 단계를 포함하는
메일 해석 방법. - 제9항 내지 제11항 중 어느 한 항에 있어서,
상기 자연어 처리 신경망 모델은 문자 레벨의 합성곱 신경망 모델인
메일 해석 방법. - 제9항 내지 제11항 중 어느 한 항에 있어서,
상기 기계 학습 모델은 복수의 계정을 구별하지 않고, 상기 회신 되었다고 판정된 수신 메일에 기초하여 생성되는
메일 해석 방법. - 제9항 내지 제11항 중 어느 한 항에 있어서,
상기 기계 학습 모델은 계정마다 상기 회신되었다고 판정된 수신 메일에 기초하여 갱신되는
메일 해석 방법. - 제9항 내지 제11항 중 어느 한 항에 있어서,
상기 새로운 수신메일에 대해 회신이 필요한지 여부를 확률로 추정하는 단계는,
상기 새로운 수신메일에 대해 추정된 확률을 상기 새로운 수신메일의 직접 수신인의 계정과 참조인의 계정에서는 서로 다른 값으로 표시하는 단계를 포함하는
메일 해석 방법. - 제9항 내지 제11항 중 어느 한 항에 있어서,
상기 기계 학습 모델을 이용하여 상기 새로운 수신메일에 확률값을 지정하는 단계는,
상기 새로운 수신메일에 포함된 문자들에 대해 중복 정도에 따라 각 문자에 확률값을 지정하는 단계를 포함하는
메일 해석 방법. - 삭제
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2019-102908 | 2019-05-31 | ||
JP2019102908A JP6651668B1 (ja) | 2019-05-31 | 2019-05-31 | メール解析サーバ、メール解析方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200138069A KR20200138069A (ko) | 2020-12-09 |
KR102361830B1 true KR102361830B1 (ko) | 2022-02-10 |
Family
ID=69568403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200064994A KR102361830B1 (ko) | 2019-05-31 | 2020-05-29 | 메일 해석 서버 및 이를 이용한 메일 해석 방법 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6651668B1 (ko) |
KR (1) | KR102361830B1 (ko) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006039633A (ja) | 2004-07-22 | 2006-02-09 | Hitachi Information Technology Co Ltd | 情報処理装置及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6356268B2 (ja) | 2015-01-23 | 2018-07-11 | 株式会社Ubic | 電子メール分析システム、電子メール分析システムの制御方法、及び電子メール分析システムの制御プログラム |
KR102126207B1 (ko) * | 2017-08-21 | 2020-06-24 | 주식회사 마인드웨어p스 | 지능형 메시지 처리 시스템 |
-
2019
- 2019-05-31 JP JP2019102908A patent/JP6651668B1/ja not_active Expired - Fee Related
-
2020
- 2020-05-29 KR KR1020200064994A patent/KR102361830B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006039633A (ja) | 2004-07-22 | 2006-02-09 | Hitachi Information Technology Co Ltd | 情報処理装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020197851A (ja) | 2020-12-10 |
JP6651668B1 (ja) | 2020-02-19 |
KR20200138069A (ko) | 2020-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100918599B1 (ko) | 잠재적 수신자를 식별하는 방법 및 장치 | |
KR102355473B1 (ko) | 전자 통신들 내의 포함을 위한 제안들로서 제공하기 위한 시맨틱적으로 다양한 응답들의 결정 | |
US10460029B2 (en) | Reply information recommendation method and apparatus | |
US20080262827A1 (en) | Real-Time Translation Of Text, Voice And Ideograms | |
US8645430B2 (en) | Self-adjusting email subject and email subject history | |
US7827165B2 (en) | Providing a social network aware input dictionary | |
US9183535B2 (en) | Social network model for semantic processing | |
US11017051B2 (en) | Analyzing readability of communications | |
US11113465B2 (en) | Personalized auto-triage of communications | |
US20160036740A1 (en) | Automatic translator identification | |
US11048880B2 (en) | Automatic summarization of content in electronic messages | |
CN109791525B (zh) | 交流装置、交流方法及存储介质 | |
CN113592461A (zh) | 邮件处理方法、装置与存储介质 | |
WO2019191337A1 (en) | Systems and methods for enhanced natural language processing for machine learning conversations | |
US9971762B2 (en) | System and method for detecting meaningless lexical units in a text of a message | |
US7505903B2 (en) | Speech recognition dictionary creation method and speech recognition dictionary creating device | |
US20160241502A1 (en) | Method for Generating an Electronic Message on an Electronic Mail Client System, Computer Program Product for Executing the Method, Computer Readable Medium Having Code Stored Thereon that Defines the Method, and a Communications Device | |
KR102361830B1 (ko) | 메일 해석 서버 및 이를 이용한 메일 해석 방법 | |
US20170024462A1 (en) | Associating a text message containing an answer with a text message containing a question | |
US20190206385A1 (en) | Vocal representation of communication messages | |
JP2023162940A (ja) | サーバ | |
JP7497552B2 (ja) | 電子メッセージ翻訳分析システム | |
JP3849356B2 (ja) | 文字変換装置及びその方法と文字変換のためのプログラムを記録した記録媒体 | |
KR102414389B1 (ko) | 빅데이터 기반 협업툴 메신저 자동완성 시스템 및 그 방법 | |
Breyer | The DBACL text classifier |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |