KR102203890B1 - 통화 자동 관리 시스템 및 그 방법 - Google Patents

통화 자동 관리 시스템 및 그 방법 Download PDF

Info

Publication number
KR102203890B1
KR102203890B1 KR1020200076699A KR20200076699A KR102203890B1 KR 102203890 B1 KR102203890 B1 KR 102203890B1 KR 1020200076699 A KR1020200076699 A KR 1020200076699A KR 20200076699 A KR20200076699 A KR 20200076699A KR 102203890 B1 KR102203890 B1 KR 102203890B1
Authority
KR
South Korea
Prior art keywords
call
terminal
information
server
sub
Prior art date
Application number
KR1020200076699A
Other languages
English (en)
Inventor
안수찬
Original Assignee
주식회사 볼드코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 볼드코퍼레이션 filed Critical 주식회사 볼드코퍼레이션
Priority to KR1020200076699A priority Critical patent/KR102203890B1/ko
Application granted granted Critical
Publication of KR102203890B1 publication Critical patent/KR102203890B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 통화 자동 관리 시스템 및 그 방법을 개시한다. 즉, 본 발명은 음성 인식 기반의 영업 통화 수행 시, 통화 내용을 자동으로 녹음하고, 실시간 또는 녹음된 통화 내용을 대화 형태 메신저 화면으로 표시하고, 통화 내용에 대한 댓글 기능을 제공함으로써, 영업에 따른 영업자의 업무 관리 효율성을 향상시키고, 영업자 본인이 원하는 장소에서 언제든지 시간과 장소를 결정하여 업무를 수행할 수 있다.

Description

통화 자동 관리 시스템 및 그 방법{System for automatic managing call and method thereof}
본 발명은 통화 자동 관리 시스템 및 그 방법에 관한 것으로서, 특히 음성 인식 기반의 영업 통화 수행 시, 통화 내용을 자동으로 녹음하고, 실시간 또는 녹음된 통화 내용을 대화 형태 메신저 화면으로 표시하고, 통화 내용에 대한 댓글 기능을 제공하는 통화 자동 관리 시스템 및 그 방법에 관한 것이다.
전화를 이용해 마케팅을 펼치는 행위를 텔레마케팅(TeleMarketing)이라 하며, 상담원과 관련 설비를 갖춘 곳을 콜센터(Call Center)라 한다. 전화뿐 아니라 이메일과 인터넷 등을 통해 상담한다는 차원에서 컨택센터(Contact Center)라고도 한다.
이중 텔레마케팅 시 모바일 단말을 이용해서 영업 전화를 하는 경우도 많으며, 외부로 이동 중에 걸려오는 전화도 중요한 영업 전화들이 많은 상태이지만, 이동 중에는 상세한 영업에 어려움이 있는 상태이다.
또한, 이러한 모바일 단말을 이용한 영업 시, 녹음 이외에는 기록할 수단이 없고, 녹음을 하더라도 어떤 통화가 어떤 내용이었는지를 확인하기 위해서는 녹음된 내용을 다시 들어봐야만 한다.
한국공개특허 제10-2011-0048675호 [제목: 음성인식과 태깅을 이용한 콜센터 상담 방법 및 상담 시스템]
본 발명의 목적은 음성 인식 기반의 영업 통화 수행 시, 통화 내용을 자동으로 녹음하고, 실시간 또는 녹음된 통화 내용을 대화 형태 메신저 화면으로 표시하고, 통화 내용에 대한 댓글 기능을 제공하는 통화 자동 관리 시스템 및 그 방법을 제공하는 데 있다.
본 발명의 다른 목적은 통화 내용을 분석하여 해당 통화 내용과 관련한 카테고리를 확인하고, 통화 내용을 분석하여 해시태그를 자동 생성하고, 상기 확인된 카테고리에 상기 생성된 해시태그를 해당 통화 내용과 연동하여 저장하는 통화 자동 관리 시스템 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 통화 자동 관리 시스템은 다른 단말과의 콜 이벤트가 발생할 때 통화에 대한 정보를 자동으로 저장하고, 상기 다른 단말과의 통화가 종료될 때 저장된 상기 통화에 대한 정보 및 단말의 식별 정보를 전송하는 단말; 및 상기 단말로부터 전송되는 상기 통화에 대한 정보에 포함된 녹음 파일에 대해 딥 러닝을 통해 화자를 분리하여, 상기 녹음 파일로부터 화자 분리된 복수의 서브 음원 녹음 파일을 생성하고, 상기 생성된 복수의 서브 음원 녹음 파일에 대해 딥러닝을 통해 음성 인식 기능을 수행하고, 상기 음성 인식 기능 수행에 따라 상기 서브 음원 녹음 파일에 포함된 음성을 텍스트 스크립트로 변환하고, 상기 변환된 복수의 텍스트 스크립트에 대해 자연어 처리를 수행하여 키워드를 추출하고, 상기 추출된 키워드를 이용해서 해시태그를 생성하는 서버를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 통화에 대한 정보는, 발신자 정보, 수신자 정보, 녹음 파일, 총 통화 길이, 위치 정보 및 사용자 입력에 따른 메모 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 서버는, 상기 녹음된 파일에서 문장(sentence) 또는 청크(chunk) 단위로 대화를 진행한 복수의 화자를 분리하고, 분리된 복수의 화자 각각에 대해서 상기 녹음 파일로부터 상기 복수의 서브 음원 녹음 파일을 생성할 수 있다.
본 발명과 관련된 일 예로서 상기 서버의 제어에 의해, 상기 통화에 대한 정보, 상기 생성된 복수의 서브 음원 녹음 파일, 상기 변환된 복수의 텍스트 스크립트, 상기 추출된 키워드 및 상기 생성된 해시태그 중 적어도 하나를 저장하는 데이터베이스를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 서버는, 딥러닝 프로세스에 의해 획득된 화자 분리된 복수의 서브 음원 녹음 파일, 상기 변환된 복수의 텍스트 스크립트, 상기 추출된 키워드 및 상기 생성된 해시태그 중 적어도 하나를 상기 단말에 전송하며, 상기 단말은, 상기 서버로부터 전송되는 화자 분리된 복수의 서브 음원 녹음 파일, 복수의 텍스트 스크립트, 상기 키워드 및 상기 해시태그 중 적어도 하나를 출력할 수 있다.
본 발명의 실시예에 따른 통화 자동 관리 방법은 단말에서 다른 단말과의 콜 이벤트가 발생할 때, 상기 단말에 의해, 통화에 대한 정보를 자동으로 저장하는 단계; 상기 다른 단말과의 통화가 종료될 때, 상기 단말에 의해, 저장된 상기 통화에 대한 정보 및 단말의 식별 정보를 서버에 전송하는 단계; 상기 서버에 의해, 상기 단말로부터 전송되는 상기 통화에 대한 정보에 포함된 녹음 파일에 대해 딥 러닝을 통해 화자를 분리하여, 상기 녹음 파일로부터 화자 분리된 복수의 서브 음원 녹음 파일을 생성하는 단계; 상기 서버에 의해, 상기 생성된 복수의 서브 음원 녹음 파일에 대해 딥러닝을 통해 음성 인식 기능을 수행하는 단계; 상기 서버에 의해, 상기 음성 인식 기능 수행에 따라 상기 서브 음원 녹음 파일에 포함된 음성을 텍스트 스크립트로 변환하는 단계; 상기 서버에 의해, 상기 변환된 복수의 텍스트 스크립트에 대해 자연어 처리를 수행하여 키워드를 추출하는 단계; 및 상기 서버에 의해, 상기 추출된 키워드를 이용해서 해시태그를 생성하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 복수의 서브 음원 녹음 파일을 생성하는 단계는, 상기 녹음된 파일에서 문장(sentence) 또는 청크(chunk) 단위로 대화를 진행한 복수의 화자를 분리하는 과정; 및 분리된 복수의 화자 각각에 대해서 상기 녹음 파일로부터 상기 복수의 서브 음원 녹음 파일을 생성하는 과정을 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 서버에 의해, 상기 통화에 대한 정보, 상기 생성된 복수의 서브 음원 녹음 파일, 상기 변환된 복수의 텍스트 스크립트, 상기 추출된 키워드 및 상기 생성된 해시태그 중 적어도 하나를 데이터베이스에 저장하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 서버에 의해, 딥러닝 프로세스에 의해 획득된 화자 분리된 복수의 서브 음원 녹음 파일, 상기 변환된 복수의 텍스트 스크립트, 상기 추출된 키워드 및 상기 생성된 해시태그 중 적어도 하나를 상기 단말에 전송하는 단계; 및 상기 단말에 의해, 상기 서버로부터 전송되는 화자 분리된 복수의 서브 음원 녹음 파일, 복수의 텍스트 스크립트, 상기 키워드 및 상기 해시태그 중 적어도 하나를 출력하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 적어도 하나를 출력하는 단계는, 상기 통화에 대한 정보에 포함된 녹음 파일에 대응하는 복수의 텍스트 스크립트를 대화 형태의 메신저 화면으로 표시할 수 있다.
본 발명은 음성 인식 기반의 영업 통화 수행 시, 통화 내용을 자동으로 녹음하고, 실시간 또는 녹음된 통화 내용을 대화 형태 메신저 화면으로 표시하고, 통화 내용에 대한 댓글 기능을 제공함으로써, 영업에 따른 영업자의 업무 관리 효율성을 향상시키고, 영업자 본인이 원하는 장소에서 언제든지 시간과 장소를 결정하여 업무를 수행할 수 있는 효과가 있다.
또한, 본 발명은 통화 내용을 분석하여 해당 통화 내용과 관련한 카테고리를 확인하고, 통화 내용을 분석하여 해시태그를 자동 생성하고, 상기 확인된 카테고리에 상기 생성된 해시태그를 해당 통화 내용과 연동하여 저장함으로써, 텍스트 검색 및 분류에 따른 업무 효율성을 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 통화 자동 관리 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 통화 자동 관리 방법을 나타낸 흐름도이다.
도 3은 본 발명의 실시예에 따른 단말의 화면 예를 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 통화 자동 관리 시스템(10)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 통화 자동 관리 시스템(10)은 단말(100) 및 서버(200)로 구성된다. 도 1에 도시된 통화 자동 관리 시스템(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 통화 자동 관리 시스템(10)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 통화 자동 관리 시스템(10)이 구현될 수도 있다.
상기 단말(100) 및 상기 서버(200) 각각은 다른 단말들과의 통신 기능을 수행하기 위한 통신부(미도시), 다양한 정보 및 프로그램(또는 애플리케이션)을 저장하기 위한 저장부(미도시), 다양한 정보 및 프로그램 실행 결과를 표시하기 위한 표시부(미도시), 상기 다양한 정보 및 프로그램 실행 결과에 대응하는 음성 정보를 출력하기 위한 음성 출력부(미도시), 각 단말의 다양한 구성 요소 및 기능을 제어하기 위한 제어부(미도시) 등을 포함할 수 있다.
상기 단말(100)은 스마트폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치 등과 같은 다양한 단말기에 적용될 수 있다. 여기서, 상기 단말(100)은 상기 서버(200)를 통해 제공받은 고객 정보를 이용해서 개별 영업을 수행하는 개별 영업자가 소지한 단말일 수 있다.
또한, 상기 단말(100)은 상기 서버(200) 등과 통신한다.
또한, 상기 단말(100)은 상기 서버(200)와의 연동에 의해, 상기 서버(200)에서 제공하는 전용 앱 및/또는 웹 사이트를 통해 콜 기능, 콜 수행에 따른 통화 내용/문자 내용 관리 기능 등을 제공받기 위한 사용자로 회원 가입하며, 개인 정보 등을 상기 서버(200)에 등록한다. 이때, 상기 개인 정보는 아이디, 이메일 주소, 패스워드(또는 비밀번호), 이름, 성별, 생년월일, 연락처, 주소지 등을 포함한다.
또한, 상기 단말(100)은 해당 단말(100)의 사용자가 가입한 SNS 계정 정보 또는 모바일 메신저 계정 정보를 이용하여 상기 서버(200)에 사용자로 회원 가입할 수도 있다. 여기서, 상기 SNS 계정은 페이스북, 트위터, 카카오 스토리, 네이버, 페이코(PAYCO) 등과 관련한 정보일 수 있다. 또한, 상기 모바일 메신저 계정은 카카오톡(KakaoTalk), 라인(line), 바이버(viber), 위챗(wechat), 와츠앱(whatsapp), 텔레그램(Telegram), 스냅챗(snapchat) 등과 관련한 정보일 수 있다. 이때, 상기 서버(200)는 콜 기능, 콜 수행에 따른 통화 내용/문자 내용 관리 기능 등을 이용하고자 하는 사용자와, 관리 기능을 수행하는 관리자에 따라 서로 다른 사용자 인터페이스를 제공할 수 있다.
또한, 회원 가입 절차 수행 시, 상기 단말(100)은 본인 인증 수단(예를 들어 이동 전화, 신용카드, 아이핀 등 포함)을 통한 인증 기능을 완료해야 상기 서버(200)에 대한 회원 가입 절차를 정상적으로 완료할 수 있다.
또한, 회원 가입이 완료된 후, 상기 단말(100)은 상기 서버(200)에서 제공하는 서비스를 이용하기 위해서, 상기 서버(200)로부터 제공되는 전용 앱(또는 애플리케이션/응용 프로그램/특정 앱)을 해당 단말(100)에 설치한다. 이때, 상기 전용 앱은 콜 기능, 콜 수행에 따른 통화 내용/문자 내용 관리 기능 등을 수행하기 위한 앱일 수 있다.
또한, 상기 단말(100)에서 다른 단말(미도시)과의 콜 이벤트가 발생하는 경우, 상기 단말(100)은 통화에 대한 정보를 자동으로 저장한다. 이때, 상기 단말(100)은 사전에 녹음 권한을 획득한 상태일 수 있다. 여기서, 상기 통화에 대한 정보(또는 통화 정보)는 메타 정보로서, 발신자 정보, 수신자 정보, 녹음 파일(또는 음성/음원 형태의 녹음 파일), 총 통화 길이(또는 총 통화 시간), 위치 정보, 사용자가 직접 수기로 입력한 메모(또는 사용자 입력에 따른 메모) 등을 포함한다. 이때, 상기 단말(100)은 해당 단말(100)에 구성된 GPS 수신기(미도시)를 통해 해당 단말(100)의 실시간 위치 정보를 산출(또는 생성)할 수 있다.
즉, 상기 단말(100)에서 다른 단말(미도시)과의 콜 이벤트가 발생하는 경우, 상기 단말(100)은 콜 히스토리(call history) 권한을 바탕으로 상기 다른 단말과의 통화에 대한 정보를 저장한다.
또한, 상기 단말(100)과 상기 다른 단말과의 통화 종료 후, 상기 단말(100)은 상기 통화에 대한 정보(또는 상기 통화 정보), 단말(100)의 식별 정보 등을 서버(200)에 전송한다. 여기서, 상기 단말(100)의 식별 정보는 MDN(Mobile Directory Number), 모바일 IP, 모바일 MAC, Sim(subscriber identity module: 가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.
또한, 상기 단말(100)은 앞서 전송된 통화에 대한 정보 등에 응답하여 상기 서버(200)로부터 전송되는 화자 분리된 복수의 서브 음원 녹음 파일, 복수의 텍스트 스크립트, 상기 추출된 키워드, 상기 생성된 해시태그 등을 수신한다.
또한, 상기 단말(100)은 상기 수신된 화자 분리된 복수의 서브 음원 녹음 파일, 복수의 텍스트 스크립트, 상기 추출된 키워드, 상기 생성된 해시태그 등을 출력(또는 표시)한다. 이때, 상기 단말(100)은 상기 통화에 대한 정보에 포함된 녹음 파일에 대응하는 복수의 텍스트 스크립트를 화자가 구분된 눈으로 보이는 통화 형태(또는 대화 형태)의 메신저 화면으로 표시한다.
이와 같이, 상기 단말(100)은 해당 단말(100)에 설치된 전용 앱을 통해서, 상기 콜 이벤트 발생 시 상기 통화에 대한 정보를 저장하는 기능, 상기 서버(200)로부터 전송된 정보들을 표시하는 기능, 상기 정보들 중 녹음 파일에 대응하는 복수의 텍스트 스크립트를 화자가 구분된 눈으로 보이는 통화 형태(또는 대화 형태)의 메신저 화면으로 표시하는 기능 등을 수행할 수 있다.
또한, 상기 단말(100)은 상기 전용 앱을 통해서, 특정 키워드로 검색, 특정 태그들만 검색, 특정 사용자 선택 등의 기능을 포함하는 홈 기능(또는 summary 기능)을 수행할 수도 있다.
또한, 상기 단말(100)은 상기 전용 앱을 통해서, 전체 통화 내역, 전체 문자 내역 등에 대한 시간 순서에 따른 기록(또는 정보)을 저장하거나 표시하는 히스토리 기능을 수행할 수도 있다.
또한, 상기 단말(100)은 상기 전용 앱을 통해서, 개별 콜을 문자처럼 펼쳐볼 수 있는 기능, 콜(call) 안에 포함된 전체 음원, 개별 청크(chunk)에 대한 음원(예를 들어 다시 듣기, 저장, 공유 기능 등 포함), 개별 청크를 대화창 형태로 표시하는 기능, 콜/청크 단위에서 메모를 기록하는 기능, 개별 콜에 대해서 개별 음원을 공유하거나 게시하고 다시 듣거나 인식된 텍스트를 수정하는 기능 등을 포함하는 콜 상세 정보 기능(call detail function)을 수행할 수도 있다.
또한, 상기 단말(100)은 상기 전용 앱을 통해서, 1명의 수신자는 발신자와 통화한 다수의 콜/문자 내역이 있으므로 이를 한눈에 보여주는 기능, 1명의 고객에 대한 영업 히스토리를 보여주는 기능, 시스템 주소록 등의 정보(예를 들어 구글 계정에 있는 주소록, 외부 시스템 계정에 있는 주소록 등 포함)와 연동하는 기능 등을 포함하는 수신자 상세 정보 기능(receiver detail)을 수행할 수도 있다.
또한, 상기 단말(100)은 상기 다른 단말과의 통화 도중에, 실시간으로 통화 내용을 분석하여, 통화 내용에 따른 주요 키워드를 추출하고, 추출된 주요 키워드와 관련한 상세 정보를 해당 단말(100)의 사용자(또는 영업자)가 소지한 단말(100)의 일측에 표시하여, 영업자가 해당 상세 정보를 확인하여서 해당 다른 단말의 고객과의 영업 기능을 수행하도록 구성할 수도 있다. 이때, 상기 단말(100)은 해당 단말(100)과 연동하는 다른 디스플레이 장치(미도시)에 상기 추출된 주요 키워드와 관련한 상세 정보를 표시할 수도 있다.
또한, 상기 단말(100)은 상기 서버(200)의 제어(또는 중개)에 의해, 해당 단말(100)의 사용자가 보유한 복수의 단말(100)과 해당 사용자와 관련한 개인 정보 등을 통해서 동기화하여, 상기 사용자가 보유한 복수의 단말의 내역들에 대해 모두 관리가 가능하도록 구성할 수도 있다.
또한, 상기 단말(100)은 상기 서버(200)와 연동하여 백업 기능, 복구 기능 등을 수행할 수도 있다.
본 발명의 실시예에서는 상기 단말(100)에서 전용 앱 형태로 콜 기능, 콜 수행에 따른 통화 내용/문자 내용 관리 기능, 상기 콜 이벤트 발생 시 상기 통화에 대한 정보를 저장하는 기능, 상기 서버(200)로부터 전송된 정보들을 표시하는 기능, 상기 정보들 중 녹음 파일에 대응하는 복수의 텍스트 스크립트를 화자가 구분된 눈으로 보이는 통화 형태(또는 대화 형태)의 메신저 화면으로 표시하는 기능 등을 수행하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 웹 사이트 이외에도 상기 서버(200)에서 제공하는 웹 사이트 등을 통해 상기 콜 기능, 상기 콜 수행에 따른 통화 내용/문자 내용 관리 기능, 상기 콜 이벤트 발생 시 상기 통화에 대한 정보를 저장하는 기능, 상기 서버(200)로부터 전송된 정보들을 표시하는 기능, 상기 정보들 중 녹음 파일에 대응하는 복수의 텍스트 스크립트를 화자가 구분된 눈으로 보이는 통화 형태(또는 대화 형태)의 메신저 화면으로 표시하는 기능 등을 수행할 수도 있다.
상기 서버(200)는 상기 단말(100) 등과 통신한다.
또한, 상기 서버(200)는 상기 단말(100) 등의 사용자에 대한 회원 가입 절차 등을 수행한다.
또한, 상기 서버(200)는 상기 단말(100) 등의 사용자와 관련한 개인 정보를 등록한다. 이때, 상기 서버(200)는 해당 개인 정보 등을 DB 서버(미도시)에 등록(또는 관리)할 수 있다.
또한, 상기 서버(200)는 상기 단말(100) 등의 사용자에 대한 회원 관리 기능을 수행한다.
또한, 상기 서버(200)는 콜 기능, 콜 수행에 따른 통화 내용/문자 내용 관리 기능 등을 제공하는 전용 앱 및/또는 웹 사이트를 상기 단말(100) 등에 제공한다. 이때, 상기 전용 앱은 콜 기능, 콜 수행에 따른 통화 내용/문자 내용 관리 기능 등을 이용하고자 하는 사용자와, 관리 기능을 수행하는 관리자에 따라 서로 다른 사용자 인터페이스(UI)를 제공할 수 있다.
또한, 상기 서버(200)는 공지사항, 이벤트 등을 위한 게시판 기능을 제공한다.
또한, 상기 서버(200)는 상기 단말(100)로부터 전송되는 상기 통화에 대한 정보, 상기 단말(100)의 식별 정보 등을 수신한다.
또한, 상기 서버(200)는 상기 수신된 통화에 대한 정보에 포함된 녹음 파일에 대해 딥 러닝을 통해 화자를 분리(source/signal/speech separation)하여, 상기 녹음 파일로부터 화자 분리된 복수의 서브 음원 녹음 파일을 생성한다. 이때, 상기 화자 분리된 복수의 서브 음원 녹음 파일은 상호간에 싱크(또는 동기화)가 설정된 상태(또는 시각 정보가 포함된 상태)일 수 있다.
즉, 상기 서버(200)는 상기 수신된 통화에 대한 정보에 포함된 녹음 파일을 대상으로 딥 러닝을 통해 학습된 상기 단말(100)의 사용자와 관련한 음성 정보를 기반으로 상기 녹음된 파일에서 문장(sentence) 또는 청크(chunk) 단위로 대화를 진행한 복수의 화자를 분리하고, 분리된 복수의 화자 각각에 대해서 상기 녹음 파일로부터 상기 복수의 서브 음원 녹음 파일을 생성한다. 이때, 발신자인 상기 단말(100)의 사용자와 관련해서는 사전에 해당 단말(100)의 사용자와 관련한 음성 정보를 기반으로 딥 러닝을 통해 해당 발신자에 대한 학습이 진행된 상태로, 상기 통화에 대한 정보에서 상가 발신자를 확인하고, 다른 대화 상대인 수신자에 대한 서브 음원 녹음 파일을 용이하게 생성할 수 있다.
또한, 상기 서버(200)는 상기 생성된 복수의 서브 음원 녹음 파일에 대해 딥러닝을 통해 음성 인식 기능(automatic speech recognition function)을 수행한다.
또한, 상기 서버(200)는 상기 음성 인식 기능 수행에 따라 상기 서브 음원 녹음 파일에 포함된 음성을 텍스트 스크립트(또는 텍스트)로 변환(또는 생성)한다.
즉, 상기 서버(200)는 상기 음성 인식 기능 수행에 따라 상기 서브 음원 녹음 파일과 매칭되는 텍스트 스크립트(또는 음원을 텍스트로 인식한 결과)를 변환(또는 생성)한다. 이때, 상기 서버(200)는 상기 서브 음원 녹음 파일과 매칭되는 텍스트 스크립트를 포함하는 텍스트 파일을 생성할 수도 있다.
또한, 상기 서버(200)는 상기 변환된(또는 생성된) 복수의 텍스트 스크립트(또는 복수의 텍스트/복수의 텍스트 파일)에 대해 자연어 처리(Natural Language Processing: NLP)를 수행하여 키워드(또는 태그/요약된 결과)를 추출(keyword extraction)한다.
또한, 상기 서버(200)는 상기 추출된 키워드를 이용해서 해시태그를 생성한다.
이와 같이, 상기 서버(200)는 상기 수신된 통화에 대한 정보에 포함된 녹음 파일을 근거로 자동으로 내용을 분석하여 해시태그를 생성하거나 또는, 카테고리화할 수 있다.
또한, 이와 같이, 상기 통화에 대한 정보에 대해서 발신자는 상기 단말(100)의 사용자고 고정되어 있으며, 1명(또는 한 명 이상)의 수신자는 N개의 콜(call)을 가진다.
또한, 1개의 콜은 1개의 음원 파일, 1개의 메타 정보와 다수의 청크(또는 문장 단위)를 가진다.
또한, 1개의 청크는 독립된 1개의 서브 음원 파일과 이에 음성을 인식한 결과인 텍스트 스크립트(text script)를 가진다.
또한, 1개의 텍스트 스크립트는 이에 해당하는 태그(tag)를 자동으로 인식하거나 수동으로 추가하여 가진다.
또한, 확장성을 위해서 자동으로 추가되는 정보들은 CRUD(Create/Retrieve/Update/Destroy)가 가능할 수 있다.
이외에도, 콜/텍스트 단위에서 각각의 엘리먼트들에 대해 메모 등의 정보를 추가(또는 삽입/기재)할 수 있다.
본 발명의 실시예에서는, 상기 서버(200)에서 상기 통화에 대한 정보에 포함된 녹음 파일에 대해 딥 러닝을 통해 화자를 분리하여, 상기 녹음 파일로부터 화자 분리된 복수의 서브 음원 녹음 파일을 생성하는 기능, 상기 복수의 서브 음원 녹음 파일에 대해 딥러닝을 통해 음성 인식 기능, 상기 서브 음원 녹음 파일에 포함된 음성을 텍스트 스크립트로 변환하는 기능, 상기 변환된 복수의 텍스트 스크립트에 대해 자연어 처리를 수행하여 키워드를 추출하는 기능, 상기 추출된 키워드를 이용해서 해시태그를 생성하는 기능 등을 수행하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 경량화된 상기 단말(100)에서 모바일 딥러닝 SDK를 통해서 상기 서버(200)에서 딥 러닝에 의해 수행되는 상기 통화에 대한 정보에 포함된 녹음 파일에 대해 딥 러닝을 통해 화자를 분리하여, 상기 녹음 파일로부터 화자 분리된 복수의 서브 음원 녹음 파일을 생성하는 기능, 상기 복수의 서브 음원 녹음 파일에 대해 딥러닝을 통해 음성 인식 기능, 상기 서브 음원 녹음 파일에 포함된 음성을 텍스트 스크립트로 변환하는 기능, 상기 변환된 복수의 텍스트 스크립트에 대해 자연어 처리를 수행하여 키워드를 추출하는 기능, 상기 추출된 키워드를 이용해서 해시태그를 생성하는 기능 등을 직접 수행하도록 구성할 수도 있다.
또한, 상기 서버(200)는 데이터베이스(미도시)와 연동하여, 상기 수신된 통화에 대한 정보, 상기 생성된 복수의 서브 음원 녹음 파일, 상기 변환된(또는 생성된) 복수의 텍스트 스크립트, 상기 추출된 키워드, 상기 생성된 해시태그 등을 상기 데이터베이스에 저장(또는 관리)한다. 이때, 상기 서버(200)는 상기 단말(100)의 사용자와 관련한 통화 내용뿐만 아니라, 해당 사용자와 관련한 통화 내용(또는 통화 내역), 문자 내역 등을 전체적으로 불러와서(또는 로딩하여) 해당 사용자에 대한 영업 히스토리를 확인(또는 관리)할 수 있다.
또한, 상기 서버(200)는 딥러닝 프로세스에 의해 획득된 화자 분리된 복수의 서브 음원 녹음 파일, 복수의 텍스트 스크립트, 상기 추출된 키워드, 상기 생성된 해시태그 등을 상기 단말(100)에 전송한다. 이때, 상기 서버(200)는 API call을 통해서 상기 정보들을 상기 단말(100)에 전송할 수 있다.
또한, 상기 서버(300)는 CRM(customer relationship management: 고객 관계 관리)에서 모든 데이터베이스(또는 리드)들을 관리하며, 수집한 다양한 기준들에 의해서 필터링(예를 들어 키워드 필터, 통화 내용 필터 등 포함)할 수 있다.
이와 같이, 상기 서버(300)는 CRM 솔루션을 통해 복수의 단말(100)로부터 전송되는 복수의 통화에 대한 정보(또는 통화 정보)를 관리하고, 필터링하며, 영업 성과를 측정할 수 있다.
또한, 상기 서버(300)는 고객에 대한 리즈(leads) 정보(또는 예비 고객 명단 정보/TM 대상 리스트 정보), 오더스(orders) 정보, 팀(team) 정보, 애널리틱스(analytics) 정보, 기타 정보 등을 데이터베이스(미도시)에 저장(또는 관리)한다. 이때, 상기 서버(300)는 API 게이트웨이(미도시)를 통해서 상기 데이터베이스에 접속할 수 있다.
또한, 상기 서버(300)는 상기 단말(100)의 사용자(또는 영업자)에 따른 영업 시, 관리자 용도의 웹 기반의 통합 대시보드(dashboard)를 제공할 수도 있다.
여기서, 상기 통합 대시보드는 상기 관리자의 제어에 의해, 팀/조직도 관리 기능(예를 들어 영업자 생성 기능, 권한 관리 기능 등 포함), 리즈 관리 기능(예를 들어 개별 영업자들에게 리즈를 분배하고 회수하는 기능 등 포함), 오더스 관리 기능(예를 들어 개별 영업자 또는 전체의 매출/전환을 파악하고, 계약서를 발송하거나 계약 정보를 수정하는 기능 등 포함), 애널리스틱 관리 기능(예를 들어 개별 영업자, 기간 또는 전체, 특정 조건에 따른 지표들을 관리하는 기능 등 포함) 등을 수행하기 위한 정보를 포함한다.
이와 같이, 상기 서버(300)는 사용하는 CRM(예를 들어 SalesForce, HubSpot, Google Spreadsheet, 엑셀 등의 다수의 플랫폼) 플랫폼과 무관하게(또는 연동되는 애플리케이션을 통해) 상기 API 게이트웨이를 통해 상기 데이터베이스에 접속할 수 있다.
또한, 상기 단말(100)에서도 해당 단말(100)에서 사용하는 CRM 플랫폼과 무관하게(또는 연동되는 애플리케이션을 통해) 상기 API 게이트웨이를 통해 상기 데이터베이스에 접속하거나 또는 상기 서버(300)에 접속할 수 있다. 이때, 상기 단말(100)은 접속 정보(예를 들어 URL, 아이디, 패스워드 등 포함)를 이용해서 상기 CRM에 접속할 수 있다.
또한, 상기 리즈(leads) 정보(또는 예비 고객 명단 정보/TM 대상 리스트 정보)는 고객에 대한 DB 정보로, 유니크한 정보(예를 들어 휴대폰 번호)를 기준으로 한 폼을 입력했을 때 쌓이는 1개의 로우(row) 단위이다.
또한, 상기 영업 프로세스(opportunity)는 세일즈의 단위로, 개별 리드에 대해서 영업한 모든 내역을 나타낸다.
예를 들어 010-1234-5678 번호에 대해서 1) 전화, 2) 전화하였으나 부재, 3) 문자 보냄, 4) 인바운드로 먼저 전화온 이후, 5) 마지막 계약에 대해 문자로 안내 등과 같이 5 opportunity가 기록될 수 있다.
또한, 상기 영업 프로세스는 여러 카테고리로 구분(예를 들어 문자, 전화, 대면(미팅), 전화 내에서도 부재중, 결번, 유료 가망, 유료 전환, 거절 등 포함)될 수 있다.
이때, 상기 리드와 상기 영업 프로세스는 1:N(여기서, N은 자연수) 관계일 수 있다.
상기 오더스(orders) 정보(또는 세일즈(sales) 정보)는 개별적으로 들어온 리드에 대해서 여러 영업 프로세스를 통하여 최종적으로 sales/order/주문으로 전환된 건(예를 들어 매출, 주문, 계약 등 포함)을 나타낸다.
상기 팀(team) 정보는 영업자가 소속된 팀을 위한 협업 도구(예를 들어 채팅, 게시판 등 포함)를 제공하기 위한 정보를 나타낸다.
또한, 상기 애널리틱스(analytics) 정보는 영업을 위한 통계 기능(예를 들어 총 전환, 기간별 전환, 전환율, 정산액, 급여 계산, 위촉계약 정보 확인 등 포함)을 제공하기 위한 정보를 나타낸다.
또한, 상기 싱크(sync) 정보는 영업 관리를 위해서 모든 정보가 항상 상기 서버(300)와 API를 통해서 싱크(또는 동기화)된다.
즉, 모바일 앱에서 볼 수 있는 정보는 언제나 웹 애플리케이션(또는 웹 사이트)으로도 접속하여 볼 수(또는 확인할 수) 있다.
또한, 상기 서버(300)는 상기 수집된(또는 수신된) 다른 단말과의 통화에 대한 정보(또는 통화 정보)를 근거로 복수의 콘텐츠 관리 서버(미도시)에 저장된 복수의 콘텐츠 중에서 해당 다른 단말에 대응하는 고객과 관련한 하나 이상의 부가 정보(또는 부가 콘텐츠//데이터) 등을 크롤링 방식(crawling) 등을 통해 수집한다. 이때, 상기 부가 정보는 텍스트(또는 상기 콘텐츠 관리 서버에 등록된 게시물), 이미지(예를 들어 png, gif, jpg 등의 형태/포맷), 동영상(예를 들어 asf, avi, mpeg, wmv 등의 형태/포맷), 상기 부가 정보의 업로드 날짜 및 시각 정보, 해당 콘텐츠가 포스팅된 링크 정보, 썸네일 정보 제공을 위한 해당 부가 정보에 포함된 이미지/동영상의 링크 정보, 포스팅 계정 아이디의 팔로워 수/구독자 수, 해당 부가 정보의 포스팅 좋아요 수/싫어요 수/공유 수, 해당 부가 정보의 포스팅 댓글 내용, 부가 정보 정렬을 위한 해당 부가 정보와 관련한 포스팅 해시태그 등을 포함한다.
또한, 상기 서버(300)는 상기 수집된 부가 정보에 대해서 전처리를 수행할 수 있다. 이때, 상기 전처리는 정제(cleaning) 과정 등을 포함한다. 여기서, 상기 정제 과정(또는 노이즈 제거(de-noising) 과정)은 상기 수집된 하나 이상의 콘텐츠 중에서 미리 설정된 노이즈에 해당하는 노이즈 콘텐츠(또는 노이즈 데이터)를 제거하는 과정일 수 있다.
또한, 상기 서버(300)는 상기 수집된 부가 정보(또는 전처리된 부가 정보)와 상기 수집된 고객 정보를 이용해서, 해당 고객에게 특화된 맞춤형 상품 정보 및/또는 맞춤형 서비스 정보를 해당 고객에 대응하는 다른 단말에 추천(또는 제공)할 수도 있다. 이때, 상기 다른 단말은 고객 정보 활용(또는 마케팅 정보 활용)에 동의한 상태일 수 있다.
본 발명의 실시예에 따른 고객과의 통화 내용을 자동 관리하기 위한 통화 자동 관리 시스템(10)은 상기 서버(200)의 제어에 의해, 상기 서버(200)에서 수집된 다양한 정보, 상기 서버(200)에서 수행한 다양한 기능 수행 결과 등을 저장하는 데이터베이스(미도시), 상기 데이터베이스와의 연결 기능을 제공하는 API 게이트웨이(미도시) 등을 더 포함할 수 있다.
또한, 상기 데이터베이스는 상기 서버(200)의 제어에 의해, 아웃바운드 콜 기능 또는 인바운트 콜 기능을 수행하기 위해서 필요한 다양한 정보(또는 데이터)를 저장(또는 관리)한다.
또한, 상기 데이터베이스는 SalesForce, HubSpot 등과 같은 세일즈와 관련된 프로그램, MySQL, Oracel, Postgresql 등과 같은 DBMS(DataBase Management System), 구글의 스프레드시트(SpreadSheet), MS 오피스(Office)의 엑셀 등으로 구성한다.
또한, 상기 API 게이트웨이(API gateway)는 다양한 플랫폼에 연동하여 단일 API로 만들어주는 데이터베이스 커넥터(DB connector)일 수 있다. 이때, 각 플랫폼별로 해당 플랫폼과 관련한 데이터베이스를 연결하기 위한 API 커넥터를 구성할 수 있다.
즉, 상기 API 게이트웨이는 다수의 플랫폼들(미도시)이 3자 애플리케이션(3rd party application) 개발할 수 있도록 제공하는 오픈 API를 통해서 이종의 데이터베이스를 연결한다.
이와 같이, 상기 API 게이트웨이는 해당 상기 서버(200) 자체에서 운영 및 관리하는 CRM뿐만 아니라, 많은 업체에서 사용 중인 SalesForce, HubSpot, Google Spreadsheet, 엑셀 등의 자료와도 연동할 수 있도록 구성할 수 있다.
또한, 상기 API 게이트웨이를 통해서 모두 일관성 있는(또는 동일한) Restful API를 제공하기 때문에, 플랫폼과 무관하게 단일 모바일 애플리케이션 코드로 모든 플랫폼을 지원할 수 있다.
이와 같이, 음성 인식 기반의 영업 통화 수행 시, 통화 내용을 자동으로 녹음하고, 실시간 또는 녹음된 통화 내용을 대화 형태 메신저 화면으로 표시하고, 통화 내용에 대한 댓글 기능을 제공할 수 있다.
또한, 이와 같이, 통화 내용을 분석하여 해당 통화 내용과 관련한 카테고리를 확인하고, 통화 내용을 분석하여 해시태그를 자동 생성하고, 상기 확인된 카테고리에 상기 생성된 해시태그를 해당 통화 내용과 연동하여 저장할 수 있다.
이하에서는, 본 발명에 따른 통화 자동 관리 방법을 도 1 내지 도 3을 참조하여 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 통화 자동 관리 방법을 나타낸 흐름도이다.
먼저, 단말(100)에서 다른 단말(미도시)과의 콜 이벤트가 발생하는 경우, 상기 단말(100)은 통화에 대한 정보를 자동으로 저장한다. 이때, 상기 단말(100)은 사전에 녹음 권한을 획득한 상태일 수 있다. 여기서, 상기 통화에 대한 정보(또는 통화 정보)는 메타 정보로서, 발신자 정보, 수신자 정보, 녹음 파일(또는 음성/음원 형태의 녹음 파일), 총 통화 길이(또는 총 통화 시간), 위치 정보, 사용자가 직접 수기로 입력한 메모(또는 사용자 입력에 따른 메모) 등을 포함한다.
일 예로, 제 1 단말(100)에서 제 2 단말(미도시)과의 콜 이벤트가 발생할 때, 상기 제 1 단말은 제 1 발신자 정보(예를 들어 제 1 단말의 전화번호), 제 1 수신자 정보(예를 들어 제 2 단말의 전화번호), 제 1 녹음 파일, 제 1 총 통화 길이(예를 들어 3분 40초), 제 1 위치 정보(예를 들어 통화 시점의 제 1 단말의 GPS 위치 정보) 등을 포함하는 제 1 통화 정보를 저장한다(S210).
이후, 상기 단말(100)과 상기 다른 단말과의 통화 종료 후, 상기 단말(100)은 상기 통화에 대한 정보(또는 상기 통화 정보), 단말(100)의 식별 정보 등을 서버(200)에 전송한다. 여기서, 상기 단말(100)의 식별 정보는 MDN, 모바일 IP, 모바일 MAC, Sim(가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.
일 예로, 상기 제 1 단말과 상기 제 2 단말 간의 통화가 종료될 때, 상기 단말(100)은 자동 저장된 상기 제 1 통화 정보, 상기 제 1 단말의 식별 정보 등을 상기 서버(200)에 전송한다(S220).
이후, 상기 서버(200)는 상기 단말(100)로부터 전송되는 상기 통화에 대한 정보, 상기 단말(100)의 식별 정보 등을 수신한다.
또한, 상기 서버(200)는 상기 수신된 통화에 대한 정보에 포함된 녹음 파일에 대해 딥 러닝을 통해 화자를 분리하여, 상기 녹음 파일로부터 화자 분리된 복수의 서브 음원 녹음 파일을 생성한다. 이때, 상기 화자 분리된 복수의 서브 음원 녹음 파일은 상호간에 싱크(또는 동기화)가 설정된 상태(또는 시각 정보가 포함된 상태)일 수 있다.
즉, 상기 서버(200)는 상기 수신된 통화에 대한 정보에 포함된 녹음 파일을 대상으로 딥 러닝을 통해 학습된 상기 단말(100)의 사용자와 관련한 음성 정보를 기반으로 상기 녹음된 파일에서 문장(sentence) 또는 청크(chunk) 단위로 대화를 진행한 복수의 화자를 분리하고, 분리된 복수의 화자 각각에 대해서 상기 녹음 파일로부터 상기 복수의 서브 음원 녹음 파일을 생성한다. 이때, 발신자인 상기 단말(100)의 사용자와 관련해서는 사전에 해당 단말(100)의 사용자와 관련한 음성 정보를 기반으로 딥 러닝을 통해 해당 발신자에 대한 학습이 진행된 상태로, 상기 통화에 대한 정보에서 상가 발신자를 확인하고, 다른 대화 상대인 수신자에 대한 서브 음원 녹음 파일을 용이하게 생성할 수 있다.
일 예로, 상기 서버(200)는 상기 제 1 단말로부터 전송되는 상기 제 1 통화 정보, 상기 제 1 단말의 식별 정보 등을 수신한다.
또한, 상기 서버(200)는 상기 수신된 제 1 통화 정보에 포함된 제 1 녹음 파일에 대해 딥 러닝을 통해 제 1 화자(예를 들어 발신자)와 제 2 화자(예를 들어 수신자)를 분리하고, 상기 제 1 녹음 파일로부터 화자 분리된 제 1 서브 음원 녹음 파일(예를 들어 발신자와 관련한 음원 녹음 파일)과 제 2 서브 음원 녹음 파일(예를 들어 수신자와 관련한 음원 녹음 파일)을 각각 생성한다(S230).
이후, 상기 서버(200)는 상기 생성된 복수의 서브 음원 녹음 파일에 대해 딥러닝을 통해 음성 인식 기능을 수행한다.
또한, 상기 서버(200)는 상기 음성 인식 기능 수행에 따라 상기 서브 음원 녹음 파일에 포함된 음성을 텍스트 스크립트(또는 텍스트)로 변환(또는 생성)한다.
즉, 상기 서버(200)는 상기 음성 인식 기능 수행에 따라 상기 서브 음원 녹음 파일과 매칭되는 텍스트 스크립트(또는 음원을 텍스트로 인식한 결과)를 변환(또는 생성)한다. 이때, 상기 서버(200)는 상기 서브 음원 녹음 파일과 매칭되는 텍스트 스크립트를 포함하는 텍스트 파일을 생성할 수도 있다.
일 예로, 상기 서버(200)는 상기 생성된 제 1 서브 음원 녹음 파일과 제 2 서브 음원 녹음 파일에 대해 음성 인식 기능을 수행하여, 상기 제 1 서브 음원 녹음 파일과 매칭되는 제 1 텍스트 스크립트, 상기 제 2 서브 음원 녹음 파일과 매칭되는 제 2 텍스트 스크립트를 각각 생성한다(S240).
이후, 상기 서버(200)는 상기 변환된(또는 생성된) 복수의 텍스트 스크립트(또는 복수의 텍스트/복수의 텍스트 파일)에 대해 자연어 처리(Natural Language Processing: NLP)를 수행하여 키워드(또는 태그/요약된 결과)를 추출한다.
또한, 상기 서버(200)는 상기 추출된 키워드를 이용해서 해시태그를 생성한다.
이와 같이, 상기 서버(200)는 상기 수신된 통화에 대한 정보에 포함된 녹음 파일을 근거로 자동으로 내용을 분석하여 해시태그를 생성하거나 또는, 카테고리화할 수 있다.
일 예로, 상기 서버(200)는 상기 생성된 제 1 텍스트 스크립트에 대해 자연어 처리를 수행하여 제 1 키워드 내지 제 3 키워드(예를 들어 보험료, 보험 갱신, 보험 기간)를 추출하고, 상기 추출된 제 1 키워드 내지 제 3 키워드와 관련한 제 1 해시태그 내지 제 3 해시태그(예를 들어 #보험료, #보험_갱신, #보험_기간)를 생성한다.
또한, 상기 서버(200)는 상기 생성된 제 2 텍스트 스크립트에 대해 자연어 처리를 수행하여 제 4 키워드 내지 제 5 키워드(예를 들어 암보험, 실손보험)를 추출하고, 상기 추출된 제 4 키워드 내지 제 5 키워드와 관련한 제 4 해시태그 내지 제 5 해시태그(예를 들어 #암보험, #실손보험)를 생성한다(S250).
이후, 상기 서버(200)는 데이터베이스(미도시)와 연동하여, 상기 수신된 통화에 대한 정보, 상기 생성된 복수의 서브 음원 녹음 파일, 상기 변환된(또는 생성된) 복수의 텍스트 스크립트, 상기 추출된 키워드, 상기 생성된 해시태그 등을 상기 데이터베이스에 저장(또는 관리)한다. 이때, 상기 서버(200)는 상기 단말(100)의 사용자와 관련한 통화 내용뿐만 아니라, 해당 사용자와 관련한 통화 내용(또는 통화 내역), 문자 내역 등을 전체적으로 불러와서(또는 로딩하여) 해당 사용자에 대한 영업 히스토리를 확인(또는 관리)할 수 있다.
또한, 상기 서버(200)는 딥러닝 프로세스에 의해 획득된 화자 분리된 복수의 서브 음원 녹음 파일, 복수의 텍스트 스크립트, 상기 추출된 키워드, 상기 생성된 해시태그 등을 상기 단말(100)에 전송한다.
일 예로, 상기 서버(200)는 상기 수신된 제 1 통화 정보, 상기 생성된 제 1 서브 음원 녹음 파일과 제 2 서브 음원 녹음 파일, 상기 변환된 제 1 텍스트 스크립트와 제 2 텍스트 스크립트, 상기 추출된 제 1 키워드 내지 제 5 키워드, 상기 생성된 제 1 해시태그 내지 제 5 해시태그 등을 상기 데이터베이스에 저장한다.
또한, 상기 서버(200)는 상기 제 1 서브 음원 녹음 파일과 제 2 서브 음원 녹음 파일, 상기 제 1 텍스트 스크립트와 제 2 텍스트 스크립트, 상기 제 1 키워드 내지 제 5 키워드, 상기 제 1 해시태그 내지 제 5 해시태그 등을 상기 제 1 단말에 전송한다(S260).
이후, 상기 단말(100)은 앞서 전송된 통화에 대한 정보 등에 응답하여 상기 서버(200)로부터 전송되는 화자 분리된 복수의 서브 음원 녹음 파일, 복수의 텍스트 스크립트, 상기 추출된 키워드, 상기 생성된 해시태그 등을 수신한다.
또한, 상기 단말(100)은 상기 수신된 화자 분리된 복수의 서브 음원 녹음 파일, 복수의 텍스트 스크립트, 상기 추출된 키워드, 상기 생성된 해시태그 등을 출력(또는 표시)한다. 이때, 상기 단말(100)은 상기 통화에 대한 정보에 포함된 녹음 파일에 대응하는 복수의 텍스트 스크립트를 화자가 구분된 눈으로 보이는 통화 형태(또는 대화 형태)의 메신저 화면으로 표시한다.
일 예로, 상기 제 1 단말은 상기 서버(200)로부터 전송되는 상기 제 1 서브 음원 녹음 파일과 제 2 서브 음원 녹음 파일, 상기 제 1 텍스트 스크립트와 제 2 텍스트 스크립트, 상기 제 1 키워드 내지 제 5 키워드, 상기 제 1 해시태그 내지 제 5 해시태그 등을 수신한다.
또한, 도 3에 도시된 바와 같이, 상기 제 1 단말은 상기 수신된 제 1 텍스트 스크립트와 제 2 텍스트 스크립트에 대해 시간 순서에 따라 화자(예를 들어 발신자와 수신자)가 구분된 눈으로 보이는 통화 화면(300)을 표시한다(S270).
본 발명의 실시예는 앞서 설명된 바와 같이, 음성 인식 기반의 영업 통화 수행 시, 통화 내용을 자동으로 녹음하고, 실시간 또는 녹음된 통화 내용을 대화 형태 메신저 화면으로 표시하고, 통화 내용에 대한 댓글 기능을 제공하여, 영업에 따른 영업자의 업무 관리 효율성을 향상시키고, 영업자 본인이 원하는 장소에서 언제든지 시간과 장소를 결정하여 업무를 수행할 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 통화 내용을 분석하여 해당 통화 내용과 관련한 카테고리를 확인하고, 통화 내용을 분석하여 해시태그를 자동 생성하고, 상기 확인된 카테고리에 상기 생성된 해시태그를 해당 통화 내용과 연동하여 저장하여, 텍스트 검색 및 분류에 따른 업무 효율성을 높일 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 통화 자동 관리 시스템 100: 단말
200: 서버

Claims (10)

  1. 다른 단말과의 콜 이벤트가 발생할 때 통화에 대한 정보를 자동으로 저장하고, 상기 다른 단말과의 통화가 종료될 때 저장된 상기 통화에 대한 정보 및 단말의 식별 정보를 전송하는 단말; 및
    상기 단말로부터 전송되는 상기 통화에 대한 정보에 포함된 녹음 파일에 대해 딥 러닝을 통해 화자를 분리하여, 상기 녹음 파일로부터 화자 분리된 복수의 서브 음원 녹음 파일을 생성하고, 상기 생성된 복수의 서브 음원 녹음 파일에 대해 딥러닝을 통해 음성 인식 기능을 수행하고, 상기 음성 인식 기능 수행에 따라 상기 서브 음원 녹음 파일에 포함된 음성을 텍스트 스크립트로 변환하고, 상기 변환된 복수의 텍스트 스크립트에 대해 자연어 처리를 수행하여 키워드를 추출하고, 상기 추출된 키워드를 이용해서 해시태그를 생성하는 서버를 포함하며,
    상기 단말은,
    상기 다른 단말과의 통화 도중에, 실시간으로 통화 내용을 분석하여 통화 내용에 따른 주요 키워드를 추출하고, 상기 다른 단말의 고객과의 영업 기능 수행에 도움을 주기 위해서 상기 추출된 주요 키워드와 관련한 상세 정보를 상기 단말의 일측에 표시하며,
    상기 서버는,
    발신자인 상기 단말의 사용자와 관련해서 사전에 상기 단말의 사용자와 관련한 음성 정보를 기반으로 딥 러닝을 통해 상기 발신자에 대한 학습을 진행한 상태로, 상기 통화에 대한 정보에 포함된 녹음 파일에서 상기 발신자를 확인하고, 다른 대화 상대인 수신자에 대한 서브 음원 녹음 파일을 생성하며,
    통화 내용을 분석하여 상기 통화 내용과 관련한 카테고리를 확인하고, 상기 확인된 카테고리에 상기 해시태그를 상기 통화 내용과 연동하여 저장하는 것을 특징으로 하는 통화 자동 관리 시스템.
  2. 제 1 항에 있어서,
    상기 통화에 대한 정보는,
    발신자 정보, 수신자 정보, 녹음 파일, 총 통화 길이, 위치 정보 및 사용자 입력에 따른 메모 중 적어도 하나를 포함하는 것을 특징으로 하는 통화 자동 관리 시스템.
  3. 제 1 항에 있어서,
    상기 서버는,
    상기 녹음된 파일에서 문장(sentence) 또는 청크(chunk) 단위로 대화를 진행한 복수의 화자를 분리하고, 분리된 복수의 화자 각각에 대해서 상기 녹음 파일로부터 상기 복수의 서브 음원 녹음 파일을 생성하는 것을 특징으로 하는 통화 자동 관리 시스템.
  4. 제 1 항에 있어서,
    상기 서버의 제어에 의해, 상기 통화에 대한 정보, 상기 생성된 복수의 서브 음원 녹음 파일, 상기 변환된 복수의 텍스트 스크립트, 상기 추출된 키워드 및 상기 생성된 해시태그 중 적어도 하나를 저장하는 데이터베이스를 더 포함하는 것을 특징으로 하는 통화 자동 관리 시스템.
  5. 제 1 항에 있어서,
    상기 서버는,
    딥러닝 프로세스에 의해 획득된 화자 분리된 복수의 서브 음원 녹음 파일, 상기 변환된 복수의 텍스트 스크립트, 상기 추출된 키워드 및 상기 생성된 해시태그 중 적어도 하나를 상기 단말에 전송하며,
    상기 단말은,
    상기 서버로부터 전송되는 화자 분리된 복수의 서브 음원 녹음 파일, 복수의 텍스트 스크립트, 상기 키워드 및 상기 해시태그 중 적어도 하나를 출력하는 것을 특징으로 하는 통화 자동 관리 시스템.
  6. 단말에서 다른 단말과의 콜 이벤트가 발생할 때, 상기 단말에 의해, 통화에 대한 정보를 자동으로 저장하는 단계;
    상기 단말에 의해, 상기 다른 단말과의 통화 도중에, 실시간으로 통화 내용을 분석하여 통화 내용에 따른 주요 키워드를 추출하는 단계;
    상기 단말에 의해, 상기 다른 단말의 고객과의 영업 기능 수행에 도움을 주기 위해서 상기 추출된 주요 키워드와 관련한 상세 정보를 상기 단말의 일측에 표시하는 단계;
    상기 다른 단말과의 통화가 종료될 때, 상기 단말에 의해, 저장된 상기 통화에 대한 정보 및 단말의 식별 정보를 서버에 전송하는 단계;
    상기 서버에 의해, 상기 단말로부터 전송되는 상기 통화에 대한 정보에 포함된 녹음 파일에 대해 딥 러닝을 통해 화자를 분리하여, 상기 녹음 파일로부터 화자 분리된 복수의 서브 음원 녹음 파일을 생성하는 단계;
    상기 서버에 의해, 상기 생성된 복수의 서브 음원 녹음 파일에 대해 딥러닝을 통해 음성 인식 기능을 수행하는 단계;
    상기 서버에 의해, 상기 음성 인식 기능 수행에 따라 상기 서브 음원 녹음 파일에 포함된 음성을 텍스트 스크립트로 변환하는 단계;
    상기 서버에 의해, 상기 변환된 복수의 텍스트 스크립트에 대해 자연어 처리를 수행하여 키워드를 추출하는 단계;
    상기 서버에 의해, 상기 추출된 키워드를 이용해서 해시태그를 생성하는 단계;
    상기 서버에 의해, 통화 내용을 분석하여 상기 통화 내용과 관련한 카테고리를 확인하는 단계; 및
    상기 서버에 의해, 상기 확인된 카테고리에 상기 해시태그를 상기 통화 내용과 연동하여 저장하는 단계를 포함하며,
    상기 녹음 파일로부터 화자 분리된 복수의 서브 음원 녹음 파일을 생성하는 단계는,
    발신자인 상기 단말의 사용자와 관련해서 사전에 상기 단말의 사용자와 관련한 음성 정보를 기반으로 딥 러닝을 통해 상기 발신자에 대한 학습을 진행한 상태로, 상기 통화에 대한 정보에 포함된 녹음 파일에서 상기 발신자를 확인하고, 다른 대화 상대인 수신자에 대한 서브 음원 녹음 파일을 생성하는 것을 특징으로 하는 통화 자동 관리 방법.
  7. 제 6 항에 있어서,
    상기 복수의 서브 음원 녹음 파일을 생성하는 단계는,
    상기 녹음된 파일에서 문장(sentence) 또는 청크(chunk) 단위로 대화를 진행한 복수의 화자를 분리하는 과정; 및
    분리된 복수의 화자 각각에 대해서 상기 녹음 파일로부터 상기 복수의 서브 음원 녹음 파일을 생성하는 과정을 포함하는 것을 특징으로 하는 통화 자동 관리 방법.
  8. 제 6 항에 있어서,
    상기 서버에 의해, 상기 통화에 대한 정보, 상기 생성된 복수의 서브 음원 녹음 파일, 상기 변환된 복수의 텍스트 스크립트, 상기 추출된 키워드 및 상기 생성된 해시태그 중 적어도 하나를 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 통화 자동 관리 방법.
  9. 제 6 항에 있어서,
    상기 서버에 의해, 딥러닝 프로세스에 의해 획득된 화자 분리된 복수의 서브 음원 녹음 파일, 상기 변환된 복수의 텍스트 스크립트, 상기 추출된 키워드 및 상기 생성된 해시태그 중 적어도 하나를 상기 단말에 전송하는 단계; 및
    상기 단말에 의해, 상기 서버로부터 전송되는 화자 분리된 복수의 서브 음원 녹음 파일, 복수의 텍스트 스크립트, 상기 키워드 및 상기 해시태그 중 적어도 하나를 출력하는 단계를 더 포함하는 것을 특징으로 하는 통화 자동 관리 방법.
  10. 제 9 항에 있어서,
    상기 적어도 하나를 출력하는 단계는,
    상기 통화에 대한 정보에 포함된 녹음 파일에 대응하는 복수의 텍스트 스크립트를 대화 형태의 메신저 화면으로 표시하는 것을 특징으로 하는 통화 자동 관리 방법.
KR1020200076699A 2020-06-23 2020-06-23 통화 자동 관리 시스템 및 그 방법 KR102203890B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200076699A KR102203890B1 (ko) 2020-06-23 2020-06-23 통화 자동 관리 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200076699A KR102203890B1 (ko) 2020-06-23 2020-06-23 통화 자동 관리 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102203890B1 true KR102203890B1 (ko) 2021-01-15

Family

ID=74126944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200076699A KR102203890B1 (ko) 2020-06-23 2020-06-23 통화 자동 관리 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102203890B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967718A (zh) * 2021-04-02 2021-06-15 江苏吉祥星智能科技有限公司 基于声音的投影仪控制方法、装置、设备及存储介质
KR102311296B1 (ko) * 2021-04-01 2021-10-14 주식회사 볼드코퍼레이션 인공지능을 이용한 콜센터 업무 자동화 시스템 및 그 방법
KR102396087B1 (ko) * 2021-11-01 2022-05-12 주식회사 볼드코퍼레이션 콜 센터의 지식 관리 시스템 및 그 방법
WO2022240235A1 (ko) * 2021-05-14 2022-11-17 (주)와이즈에이아이 인공지능 챗봇 기반 자동 콜 응대 서비스 시스템
WO2023017880A1 (ko) * 2021-08-13 2023-02-16 주식회사 어드밴탭 게이트웨이를 이용한 영업 정보 관리 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0213869B2 (ko) * 1983-04-15 1990-04-05 Okura Denki Co Ltd
KR20020044430A (ko) * 2000-12-06 2002-06-15 인경석 콜센터 전화상담 서비스를 제공하기 위한 데이터 처리방법
KR20110048675A (ko) 2009-11-03 2011-05-12 주식회사 케이티 음성인식과 태깅을 이용한 콜센터 상담 방법 및 상담 시스템
KR20200020390A (ko) * 2018-08-17 2020-02-26 주식회사 케이티 통화 메모 서비스 기반 부가정보 제공 방법, 시스템 및 서버
KR102100214B1 (ko) * 2019-07-16 2020-04-13 주식회사 제이케이엘컴퍼니 음성 인식 기반의 세일즈 대화 분석 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0213869B2 (ko) * 1983-04-15 1990-04-05 Okura Denki Co Ltd
KR20020044430A (ko) * 2000-12-06 2002-06-15 인경석 콜센터 전화상담 서비스를 제공하기 위한 데이터 처리방법
KR20110048675A (ko) 2009-11-03 2011-05-12 주식회사 케이티 음성인식과 태깅을 이용한 콜센터 상담 방법 및 상담 시스템
KR20200020390A (ko) * 2018-08-17 2020-02-26 주식회사 케이티 통화 메모 서비스 기반 부가정보 제공 방법, 시스템 및 서버
KR102100214B1 (ko) * 2019-07-16 2020-04-13 주식회사 제이케이엘컴퍼니 음성 인식 기반의 세일즈 대화 분석 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311296B1 (ko) * 2021-04-01 2021-10-14 주식회사 볼드코퍼레이션 인공지능을 이용한 콜센터 업무 자동화 시스템 및 그 방법
CN112967718A (zh) * 2021-04-02 2021-06-15 江苏吉祥星智能科技有限公司 基于声音的投影仪控制方法、装置、设备及存储介质
CN112967718B (zh) * 2021-04-02 2024-04-12 深圳吉祥星科技股份有限公司 基于声音的投影仪控制方法、装置、设备及存储介质
WO2022240235A1 (ko) * 2021-05-14 2022-11-17 (주)와이즈에이아이 인공지능 챗봇 기반 자동 콜 응대 서비스 시스템
WO2023017880A1 (ko) * 2021-08-13 2023-02-16 주식회사 어드밴탭 게이트웨이를 이용한 영업 정보 관리 방법 및 시스템
KR102396087B1 (ko) * 2021-11-01 2022-05-12 주식회사 볼드코퍼레이션 콜 센터의 지식 관리 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
KR102203890B1 (ko) 통화 자동 관리 시스템 및 그 방법
US9747583B2 (en) Presenting entity profile information to a user of a computing device
USRE43031E1 (en) Online interaction processing
KR102160615B1 (ko) 비대면 영업 관리 시스템 및 그 방법
US20130317808A1 (en) System for and method of analyzing and responding to user generated content
KR102203893B1 (ko) 인공지능 기반의 오토콜을 통한 고객 관리 자동화 시스템 및 그 방법
KR102311296B1 (ko) 인공지능을 이용한 콜센터 업무 자동화 시스템 및 그 방법
CN102362471A (zh) 对话支持
CN101674494B (zh) 用于确定与对话有联系的服务的序列的通信方法和系统
CN104463423A (zh) 一种格式化的视频简历采集方法及系统
CN112106049A (zh) 生成隐私数据隔离和报告的系统和方法
US20120036454A1 (en) Social media engagement system console
CN101681622B (zh) 用于识别广告和/或网页的语音识别
CN112291423A (zh) 通信呼叫智能应答处理方法、装置、电子设备及存储介质
CN110798567A (zh) 短信分类显示方法及装置、存储介质、电子设备
US20190075097A1 (en) Verification system
KR102246317B1 (ko) 커플 매칭 시스템 및 그 방법
US10250548B2 (en) Social media engagement engine
US20120179551A1 (en) Personalised Items in Mobile Devices based on User Behaviour
KR102275291B1 (ko) 미디어 플랫폼을 이용한 ai 매칭 시스템 및 그 방법
CN110717012A (zh) 语术推荐方法、装置、设备和存储介质
CN113241070A (zh) 热词召回及更新方法、装置、存储介质和热词系统
KR101974586B1 (ko) 하이브리드 웹/앱 기기 및 pc를 통한 통합 행정서비스 제공방법 및 이를 이용한 통합 행정서비스 시스템
CN104240107A (zh) 社群数据筛选系统及其方法
US20230342864A1 (en) System and method for automatically responding to negative content

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant