KR101470753B1 - 통신 내용 기반 자동 스케줄링을 위한 단말, 서버, 방법, 및 기록 매체 - Google Patents

통신 내용 기반 자동 스케줄링을 위한 단말, 서버, 방법, 및 기록 매체 Download PDF

Info

Publication number
KR101470753B1
KR101470753B1 KR1020130100935A KR20130100935A KR101470753B1 KR 101470753 B1 KR101470753 B1 KR 101470753B1 KR 1020130100935 A KR1020130100935 A KR 1020130100935A KR 20130100935 A KR20130100935 A KR 20130100935A KR 101470753 B1 KR101470753 B1 KR 101470753B1
Authority
KR
South Korea
Prior art keywords
schedule
related information
communication
information
subscriber
Prior art date
Application number
KR1020130100935A
Other languages
English (en)
Inventor
이효진
김용태
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020130100935A priority Critical patent/KR101470753B1/ko
Priority to US14/224,491 priority patent/US9106757B2/en
Priority to JP2014064247A priority patent/JP2014192900A/ja
Application granted granted Critical
Publication of KR101470753B1 publication Critical patent/KR101470753B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 통신 내용을 분석하여 일정 관련 단어/문장을 능동적으로 추출하고 통화자의 일정에 반영할 수 있도록 하는 통신 내용 기반 자동 스케줄링을 위한 단말, 서버, 방법, 및 기록 매체에 관한 것으로, 본 발명의 일 측면에 따른 통신 내용 기반 자동 스케줄링을 위한 방법은, 단말에서 수행하는 방법으로서, (a) 가입자의 통신 내용으로부터 추출된 일정 관련 정보를 상기 가입자의 통신 상대방 정보와 매칭하여 표시하기 위한 단계; 및 (b) 상기 표시된 일정 관련 정보를 일정에 반영하여 저장하기 위한 단계를 포함할 수 있고, (c) 상기 단계 (a)에서 표시된 일정 관련 정보를 사용자의 선택에 따라 편집 또는 수정하기 위한 단계, 및 (d) 상기 단계 (b)에서 저장된 일정 관련 정보가 기 저장된 일정 관련 정보와 중복될 경우 해당 중복 일정에 대한 알람을 제공하는 단계를 더 포함할 수 있다.

Description

통신 내용 기반 자동 스케줄링을 위한 단말, 서버, 방법, 및 기록 매체{Terminal, Server, Method, and Recording Medium for Auto-Scheduling based on Communication Context}
본 발명은 통신 내용을 분석하여 일정 관련 단어/문장을 능동적으로 추출하고 통화자의 일정에 반영할 수 있도록 하는, 통신 내용 기반 자동 스케줄링을 위한 단말, 서버, 방법, 및 기록 매체에 관한 것이다.
음성인식(Speech Recognition)이란 음성을 컴퓨터가 분석하여 문자 데이터로 변환하여 처리하는 기술을 말한다. 키보드 등 별도의 입력 장치를 이용하지 않고 음성으로 빠르고 쉽게 정보를 입력할 수 있다는 점에서 주목 받고 있는 기술 중 하나다.
스마트폰에서 음성인식은 여러 가지 방법으로 응용되어 사용되고 왔다. 아이폰은 음성 명령 기능을 제공하여 앱 실행 등 간단한 명령을 음성으로 실행할 수 있도록 했고, 구글은 음성으로 웹 검색을 할 수 있는 서비스를 제공하였다.
이외에도 사용자의 음성을 입력 받아 다른 언어로 말해주는 번역 애플리케이션이나 사용자의 음정이 바른지 검사해주는 애플리케이션들도 음성인식 기술을 이용한 예라고 볼 수 있다.
이러한 가운데 '시리'의 등장은 음성인식 기술의 새로운 도약을 제시했다. 시리(Siri: Speech Interpretation and Recognition Interface)는 애플에서 제공하는 음성인식 서비스로 2011년 아이폰4S에 처음 등장했다. 원래는 군사용으로 개발된 CALO 프로젝트의 일부 서비스가 상용화되면서 개발된 것으로 아이폰 3GS에 애플리케이션으로 처음 제공되어 많은 인기를 누리다가 2010년 4월 애플에서 시리를 독점 인수하여 현재의 애플의 시리가 탄생하게 되었다. 시리의 특징은 단순히 음성을 인식하는 것이 아니라 다양한 애플리케이션과 연동하여 모든 작업을 한 번의 음성 명령으로 해결할 수 있도록 하였고, 학습인식 기능을 제공하여 사용자의 목소리를 학습하여 인식률을 높이는 기능도 제공하고 있으며, 특히 대화 처리를 이용한 데이터베이스 센터를 바탕으로 여러 가지 다양한 질의에 대한 답변할 수 있는 알고리즘을 갖추고 있다는 점이다. 또한, 시리가 유독 인기를 끌었던 이유는 사람과 대화하듯이 자유로운 표현이 가능하다는 점이었다. 기존의 음성인식 서비스들이 지정된 형태의 문장으로 말해야만 성공적으로 인식되었던 것에 비하면 가히 놀랄만한 발전이라고 할 수 있다.
이후 삼성전자의 S보이스, LG전자의 Q보이스, 펜텍의 스마트보이스 등 음성인식 서비스들이 등장하며, 보다 편리하게 스마트폰을 이용할 수 있는 환경이 마련되고 있는 중이다.
그러나 전술한 기존의 음성인식 서비스들은 음성 명령에 따른 단말 제어(예를 들어, 음성 명령에 따른 통화연결, 알람, 일정 관리, 메일/문자 발송 등), 음성 명령에 따라 사용자가 궁금할 만한 사항에 대한 검색 지원(예를 들어, 웹 브라우저 연결 등)과 같은 기능에 특화되어있기 때문에, 사용자의 명령에 의한 수동적 동작에 기반하고 있다는 한계점이 있다.
공개특허공보 제10-2008-0068793호 (2008.07.24. 공개)
본 발명은 전술한 종래의 한계점을 해결하기 위한 것으로, 그 목적은 통신 내용을 분석하여 일정 관련 단어/문장을 능동적으로 추출하고 통화자의 일정에 반영할 수 있도록 하는, 통신 내용 기반 자동 스케줄링을 위한 단말, 서버, 방법, 및 기록 매체를 제공하는 것이다.
전술한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 통신 내용 기반 자동 스케줄링을 위한 단말은, 가입자 자신 또는 통신 상대방 중 적어도 하나의 통신 내용으로부터 추출된 일정 관련 정보를 표시하기 위한 일정 표시부; 및 상기 표시된 일정 관련 정보를 일정에 반영하여 저장하기 위한 일정 반영부를 포함할 수 있고, 상기 표시된 일정 관련 정보를 사용자의 선택에 따라 편집 또는 수정하기 위한 일정 수정부, 상기 저장된 일정 관련 정보가 기 저장된 일정 정보와 중복될 경우, 해당 중복 일정에 대한 알람을 제공하는 알람부, 및 상기 일정 관련 정보를 해당 통신 중 또는 통신 완료 직후 사용자의 선택에 따라 또는 자동으로 해당 서버로부터 수신하기 위한 정보 수신부 중 적어도 하나를 더 포함할 수 있다.
상기 일정 표시부는 상기 정보 수신부가 해당 서버로부터 상기 일정 관련 정보를 수신한 직후 상기 일정 관련 정보를 표시할 수 있고, 또한 상기 일정 표시부는 가입자 자신 또는 통신 상대방 중 적어도 하나의 통신 내용으로부터 추출된 일정 관련 정보를 상기 가입자의 통신 상대방 정보와 매칭하여 표시할 수 있으며, 상기 일정 관련 정보는 시간(Time), 장소(Place), 및 일정(Occasion, Event)명 중 하나 이상을 포함할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따른 통신 내용 기반 자동 스케줄링을 위한 서버는, 가입자의 통신 내용으로부터 일정 관련 정보를 추출하기 위한 정보 추출부; 상기 추출된 일정 관련 정보를 상기 가입자의 단말로 제공하기 위한 정보 제공부를 포함할 수 있고, 상기 추출된 일정 관련 정보를 (로그) 저장하기 위한 정보 저장부를 더 포함할 수 있으며, 상기 일정 관련 정보는 시간(Time), 장소(Place), 및 일정명 중 하나 이상을 포함할 수 있다.
상기 정보 추출부는 상기 가입자의 통신 중에 해당 통신 내용으로부터 일정 관련 정보를 추출할 수 있고, 상기 정보 제공부는 상기 추출된 일정 관련 정보를 해당 통신 중 또는 해당 통신 완료 직후 사용자의 선택에 따라 또는 자동으로 상기 가입자의 단말로 제공할 수 있으며, 또한 상기 정보 제공부는 상기 추출된 일정 관련 정보를 상기 가입자의 통신 상대방 정보와 매칭하여 상기 가입자의 단말로 제공할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따른 통신 내용 기반 자동 스케줄링을 위한 방법은, 단말에서 수행하는 방법으로서, (a) 가입자의 통신 내용으로부터 추출된 일정 관련 정보를 표시하기 위한 단계; 및 (b) 상기 표시된 일정 관련 정보를 일정에 반영하여 저장하기 위한 단계를 포함할 수 있고, (c) 상기 단계 (a)에서 표시된 일정 관련 정보를 사용자의 선택에 따라 편집 또는 수정하기 위한 단계, 및 (d) 상기 단계 (b)에서 저장된 일정 관련 정보가 기 저장된 일정 관련 정보와 중복될 경우 해당 중복 일정에 대한 알람을 제공하는 단계를 더 포함할 수 있다.
상기 단계 (a)는 가입자 자신 또는 통신 상대방 중 적어도 하나의 통신 내용으로부터 추출된 일정 관련 정보를 상기 가입자의 통신 상대방 정보와 매칭하여 표시할 수 있고, 상기 단계 (a)에서는 해당 통신 중 또는 해당 통신 완료 직후 사용자의 선택에 따라 또는 자동으로 해당 서버로부터 일정 관련 정보를 수신하고, 그 수신한 직후 상기 일정 관련 정보를 표시할 수 있으며, 상기 일정 관련 정보는 시간(Time), 장소(Place), 및 일정명 중 하나 이상을 포함할 있다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따른 통신 내용 기반 자동 스케줄링을 위한 방법은, 서버에서 수행하는 방법으로서, (a) 가입자의 통신 내용으로부터 일정 관련 정보를 추출하기 위한 단계; 및 (b) 상기 추출된 일정 관련 정보를 상기 가입자의 단말로 제공하기 위한 단계를 포함할 수 있고, (c) 상기 단계 (a)에서 추출된 일정 관련 정보를 (로그) 저장하기 위한 단계를 더 포함할 수 있으며, 상기 일정 관련 정보는 시간(Time), 장소(Place), 및 일정명 중 하나 이상을 포함할 수 있다.
상기 단계 (a)는 상기 가입자의 통신 중에 해당 통신 내용으로부터 일정 관련 정보를 추출할 수 있고, 상기 단계 (b)는 상기 추출된 일정 관련 정보를 해당 통신 중 또는 해당 통신 완료 직후 사용자의 선택에 따라 또는 자동으로 상기 가입자의 단말로 제공할 수 있으며, 또한 상기 단계 (b)는 상기 추출된 일정 관련 정보를 상기 가입자의 통신 상대방 정보와 매칭하여 상기 가입자의 단말로 제공할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 상기 통신 내용 기반 자동 스케줄링을 위한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다.
이상에서 설명한 바와 같이 본 발명의 다양한 측면에 따르면, 음성 통화, 영상 통화, 채팅, 메시징 서비스와 같은 통신 중 참여자들의 대화 내용을 기반으로 일정 관련 정보를 자동으로 캐치하는 능동적 동작에 기반하고 있다는 점에서 사용자가 원하는 기능을 발설할 경우에만 동작했던 기존 음성인식 서비스와는 차별성이 있다. 즉, 또한 음성인식 솔루션과 상황인지 솔루션을 기반으로 고객 발설한 내용 중 일정에 반영 가능한 시간, 장소, 일정명 등의 관련 단어 또는 문장을 자동으로 추출하여 통화 중 또는 종료 후 바로 일정에 반영할 수 있게 지원할 수 있는 효과가 있다. 따라서, 통화만 하면 알아서 일정이 정리가 되므로 고객은 통화 중 메모/정리 작업을 별도로 하지 않아도 일정을 관리할 수 있는 편리함을 느낄 수 있다.
도 1은 본 발명의 실시예에 따른 통신 내용 기반 자동 스케줄링을 위한 시스템의 구성도,
도 2는 본 발명의 실시예에 따른 통신 내용 기반 자동 스케줄링을 위한 단말의 구성도,
도 3은 본 발명의 실시예에 따른 통신 내용 기반 자동 스케줄링을 위한 서버의 구성도,
도 4는 본 발명의 실시예에 따라 단말에서 수행하는 통신 내용 기반 자동 스케줄링을 위한 방법의 흐름도,
도 5는 본 발명의 실시예에 따라 서버에서 수행하는 통신 내용 기반 자동 스케줄링을 위한 방법의 흐름도,
도 6은 본 발명의 실시예에 따라 단말의 화면에 표시되는 일정 관련 정보의 일 예를 나타낸 도면,
도 7은 본 발명의 실시예에 따라 단말에 표시되는 일정 관련 정보를 편집/수정하는 화면의 일 예를 나타낸 도면,
도 8은 본 발명의 실시예에 따라 단말의 화면에 표시되는 일정 리스트의 일 예를 나타낸 도면이다.
이하, 첨부도면을참조하여본발명의실시예에대해구체적으로설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 한다. 또한, 본 발명의 실시예에 대한 설명 시 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 통신 내용 기반 자동 스케줄링을 위한 시스템의 구성도로, 동 도면에 도시된 바와 같이, 통신망(10), 단말 A(20A), 단말 B(20B), 및 서버(30)를 포함할 수 있다.
통신망(10)은 단말 A(20A), 단말 B(20B), 및 서버(30) 간을 유선, 무선 및/또는 인터넷 등으로 연결하여 음성 통화, 영상 통화, 채팅-메시징 서비스(SMS, MMS, SNS 등)와 같은 통신을 할 수 있도록 하는 단독 또는 복합의 어떤 망이어도 좋다.
단말 A(20A)와 단말 B(20B) 중 하나는 발신 사용자의 단말을 나타내고 다른 하나는 상대방 수신 사용자의 단말을 나타낸 것으로, 예를 들어 음성 통신, 영상 통신, 데이터 통신, 및 인터넷 통신 등이 가능한 이동통신 단말기, PDA, 스마트 폰, 테블릿 PC 등 중 하나일 수 있다. 본 실시예에서 발/수신 단말(20A,20B)의 사용자 중 적어도 한 명은 해당 서비스의 가입자일 수 있다.
서버(30)는 단말 A(20A)와 단말 B(20B) 간의 통신 내용을 기초로 일정 관련 정보를 포함하는 각종 정보를 추출하고, 그 추출된 정보를 로그화 하여 저장(이하 로그 저장이라 통칭 함)하며, 그 추출된 정보 또는 로그 저장된 정보 중 단말 A(20A) 또는 단말 B(20B)로부터 선택된 하나의 정보를 해당 단말로 제공하기 위한 것으로, 예를 들어, 음성 인식 솔루션, 상황 인지 솔루션, 관심 키워드 추출 로직, 및 통화/채팅 결과 정리 기능 등을 가진 서비스 서버, 및 서비스 서버로부터 추출되어 전달된 각종 정보를 로그 저장하기 위한 클라우드 서버를 포함할 수 있다.
본 실시예에서 로그 저장이라 함은 해당 통신자, 실시간 통신 내용 중 추출된 각종 정보, 및 통신 일시 등의 정보를 서로 매칭하여 저장하는 것을 나타낸다.
도 2는 본 발명의 실시예에 따른 통신 내용 기반 자동 스케줄링을 위한 단말의 구성도로, 도 1의 단말 A(20A) 또는 단말 B(20B)의 세부 구성도이고, 동 도면에 도시된 바와 같이, 정보 수신부(21), 일정 표시부(23), 일정 반영부(25), 일정 수정부(27), 및 알람부(29)를 포함할 수 있다.
정보 수신부(21)는 사용자(가입자) 자신 또는 상대방 중 적어도 하나의 통신 내용으로부터 추출된 일정 관련 정보를 해당 통신 중 또는 통신 완료 후 해당 서버(30)로부터 수신하기 위한 것으로, 일정 관련 정보의 수신 시점은 사용자가 선택하거나 또는 자동으로 수신되도록 할 수 있다.
본 실시예에서 일정 관련 정보는 시간(Time), 장소(Place), 및 일정(Occasion; Event)명 중 하나 이상을 포함할 수 있다.
일정 표시부(23)는 정보 수신부(21)를 통해 수신된 일정 관련 정보를 발화 시간 순으로 정렬하고 가입자의 통신 상대방 정보와 매칭하여 화면상에 표시하기 위한 것으로, 예를 들어, 도 6에 도시된 바와 같이 화면의 상단에 통신 상대방 정보가 '수지님과의 MindTalk'와 같이 표시되고, 그 아래 각종 관련 앱(일정, 알람, 메모, 메시지 등)을 사용할 수 있는 앱 아이콘이 표시되며, 또한 수신된 일정 관련 정보로서의 시간(일자 정보, 시간 정보), 장소명(강남역 등), 일정명(소개팅 등)이 표시될 수 있다.
일 예로, '내일 6시 강남역에서 만나자'와 같은 통신 내용으로부터 시간 정보로서 "오늘날짜 기준(5/20)+1일 = 5월 21일, 6시 = 오후 6시", 장소 정보로서 "장소명 = 강남역", 일정명으로서 "만나자 -> 만남"과 같은 일정 관련 정보를 추출하여 표시할 수 있다. 일정 관련 정보의 추출은 서버(30)에 수행하는 것에 한정되지 않고 단말에서도 수행 할 수 있을 것이다.
일정 반영부(25)는 일정 표시부(23)를 통해 전술한 바와 같이 화면상에 표시된 일정 관련 정보를 일정에 반영하여 저장하기 위한 것으로, 예를 들어, 사용자에 의해 특정 버튼이 선택되거나 또는 자동으로 그 정렬 표시된 일정 관련 정보를 단말에 있는 스케줄(일정) 앱 또는 메모 앱 등에 반영하여 저장할 수 있다.
일정 수정부(27)는 일정 표시부(23)를 통해 전술한 바와 같이 화면상에 표시된 일정 관련 정보를 사용자의 선택에 따라 편집 또는 수정하기 위한 것으로, 예를 들어, 도 7의 (a)와 같이 '장소'칸의 선택 시 장소와 관련되어 추출된 키워드(강남역, 신촌 등)가 발화 순서의 최신 순으로 아래에 정렬되어 표시되고, 도 7의 (b)와 같이 '강남역'이 선택되면 해당 장소 칸에 강남역이 자동으로 입력되도록 할 수 있다. 전술한 방식으로 날짜와 시간에 대한 정보 및 일정명 등도 편집 또는 수정 가능할 것이나, 이에 한정되지 않고 텍스트를 직접 해당 칸에 입력하는 방식으로도 해당 정보를 편집/수정할 수 있다.
알람부(29)는 일정 반영부(25)를 통해 저장된 일정 관련 정보가 기 저장된 일정 정보와 중복될 경우 해당 중복 일정에 대한 알람을 제공하기 위한 것으로, 사용자는 알람부(29)를 통해 일정의 중복 여부를 알 수 있고, 해당 중복 일정 정보를 일정 수정부(27)를 통하여 편집 또는 수정한 후 일정 반영부(25)를 통하여 다시 저장할 수 있다.
도 3은 본 발명의 실시예에 따른 통신 내용 기반 자동 스케줄링을 위한 서버의 구성도로, 도 1이 서버(30)의 세부 구성도이고, 동 도면에 도시된 바와 같이, 정보 추출부(31), 정보 저장부(33), 및 정보 제공부(35)를 포함할 수 있다.
정보 추출부(31)는 통신 내용을 기초로 일정 관련 정보를 포함하는 각종 정보를 추출하기 위한 것으로, 예를 들어, 가입자의 통신 중에 해당 통신 내용 중 시간(Time), 장소(Place), 또는 일정(Occasion; Event)명 등과 관련된 단어 또는 문장을 일정 관련 정보로 추출할 수 있다.
일 예로, '내일 6시 강남역에서 만나자'와 같은 통신 내용으로부터 시간 정보로서 "오늘날짜 기준(5/20)+1일 = 5월 21일, 6시 = 오후 6시", 장소 정보로서 "장소명 = 강남역", 일정명으로서 "만나자 -> 만남"과 같은 일정 관련 정보를 추출할 수 있다.
정보 추출부(31)는, 일 예로 발/수신 양측 통신자 중 일방의 가입자 단말 A(20A)에 대해 통화 상대방인 단말 B(20B)의 사용자가 본 실시예에 따른 서비스 가입자가 아닐 경우, 가입자 단말 A(20A) 사용자만의 음성 통화 내용을 분석하여 일정 관련 정보를 추출할 수 있고, 다른 예로 가입자 단말 A(20A)에 대해 통화 상대방인 단말 B(20B)의 사용자도 본 실시예에 따른 서비스 가입자일 경우, 가입자 단말 A(20A) 사용자의 음성 통화 내용과 상대방 가입자 단말 B(20B) 사용자의 음성통화 내용을 동시에 분석하여 통화자의 일정 관련 정보를 추출할 수 있다.
정보 저장부(33)는 정보 추출부(31)에서 추출된 일정 관련 정보를 로그 저장하기 위한 것으로, 별도의 클라우드 서버 등으로 구성할 수 있다.
정보 제공부(35)는 정보 추출부(31)에서 실시간 추출되거나 정보 저장부(33)에 로그 저장된 일정 관련 정보를 사용자의 선택에 따라 또는 자동으로 해당 단말에게 제공하기 위한 것으로, 일 예로 통화 중 실시간 통화 내용으로부터 추출된 일정 관련 정보를 통화 중 기 설정된 시간 간격으로 해당 단말에게 통화 상대방 정보와 매칭하여 제공하거나, 다른 예로 통화 완료 후 정보 저장부(33)에 로그 저장된 일정 관련 정보를 해당 단말에게 통화 상대방 정보와 매칭하여 제공할 수 있다.
도 4는 본 발명의 실시예에 따라 단말에서 수행하는 통신 내용 기반 자동 스케줄링을 위한 방법의 흐름도로, 도 1-2의 단말 A(20A) 또는 단말 B(20B)에 적용되므로, 해당 단말의 동작과 병행하여 설명한다.
먼저, 정보 수신부(21)는 상대방 단말과의 통신 중 또는 통신 후 사용자의 선택에 따라 서버(30)에게 일정 관련 정보를 요청하여(S401), 서버(30)로부터 해당하는 일정 관련 정보를 수신하고, 일정 표시부(23)는 수신된 일정 관련 정보를 도 6에 도시된 바와 같이 화면상에 표시한다(S403).
한편, 일정 수정부(25)는 단계 S403에서 일정 표시부(23)를 통해 화면상에 표시된 일정 관련 정보가 사용자의 선택에 따라 도 7의 (a)(b)에 대한 전술한 설명과 같이 수정 또는 편집되는지의 여부를 판단하여, 사용자로부터의 수정/편집이 있으면 해당 수정/편집 과정을 수행한다(S405).
이어, 일정 반영부(25)는 사용자의 선택에 따라 또는 자동으로 단계 S403에서 화면상에 표시된 일정 관련 정보를 일정/스케줄 앱 또는 메모 앱 등과 같이 일정과 관련된 앱에 반영하여 저장하는데, 만일 단계 S405에서 일정 수정부(25)를 통해 일정 관련 정보가 수정 또는 편집되었다면 그 수정 또는 편집된 일정 관련 정보를 단말의 관련 앱에 반영하여 저장하고, 만일 단계 S405에서 일정 관련 정보가 수정 또는 편집되지 않았다면 단계 S403에서 화면상에 표시된 일정 관련 정보를 단말의 관련 앱에 반영하여 저장하도록 한다(S407).
또한, 알람부(29)는 단계 S407에서 일정 반영부(25)를 통해 관련 앱에 저장된 일정 (관련) 정보가 기 저장된 일정 (관련) 정보와 시간, 장소, 및 일정명 중 적어도 하나에 대하여 중복되는지의 여부를 확인하고, 만일 중복 되었다면 중복 정보를 사용자에게 알린 후 단계 S405의 과정으로 돌아가 해당 일정 관련 정보를 수정 또는 편집하여 다시 저장할 수 있도록 하고, 중복되지 않았다면 그대로 종료하도록 한다(S409).
한편, 사용자가 일정/스케줄 앱을 통해 특정 날짜의 일정을 검색하면 일정 표시부(23)는 도 8에 도시된 바와 같이 해당 날짜의 전체 일정 리스트를 통신 상대방의 정보와 함께 시간 순으로 정렬하여 보여 줄 수 있다.
도 5는 본 발명의 실시예에 따라 서버에서 수행하는 통신 내용 기반 자동 스케줄링을 위한 방법의 흐름도로, 도 1,3의 서버(30)에 적용되므로, 해당 서버(30)의 동작과 병행하여 설명한다.
먼저, 단말 A(20A)와 단말 B(20B)간의 통신(음성 통신 또는 메시지 통신 등)이 시작되면(S501), 일방 또는 양방의 통신 내용으로부터 일정 관련 정보를 실시간 추출한다(S503).
이어, 단말 A(20A) 또는 단말 B(20B)로부터 일정 관련 정보의 요청이 있거나 또는 설정된 주기에 따라 또는 실시간으로 단계 S503에서 추출된 일정 관련 정보를 통신 상대방 정보와 매칭하여 해당 단말에게 전송하여 제공한다(S505~S507).
한편, 단계 S503에서 실시간 추출된 일정 관련 정보는 로그 저장되고(S511), 해당 통화 완료 후 단말 A(20A) 또는 단말 B(20B)로부터 로그 인(log-in)되어 일정 관련 정보에 대한 조회 요청이 있으면(S513), 저장된 해당 일정 관련 정보를 통신 상대방 정보와 매칭하여 해당 단말에게 제공한다(S515).
본 발명의 다른 실시예에 따르면 도 3을 참조로 전술한 바와 같이 구현된 서버(30)의 모든 구성(31,33,35)은 도 2의 사용자 단말(20A 또는 20B)내에 동일하게 구현할 수 있고, 이 경우 서버(30) 없이 서버(30)의 기능이 포함된 사용자 단말(20A 또는 20B)의 단독 구성만으로 도 4 및 도 5를 참조하여 전술한 본 발명의 실시예에 따른 통신 내용 기반 자동 스케줄링을 위한 방법을 모두 실행할 수 있다.
전술한 바와 같이 본 발명의 실시예에 따른 통신 내용 기반 자동 스케줄링을 위한 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 기록 매체로 구현될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체는 본 발명의 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 기록 매체는 프로그램 명령, 로컬 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 통신망
20A, 20B: 사용자 단말
21: 정보 수신부
23: 정보 표시부
25: 일정 반영부
27: 일정 수정부
29: 알람부
30: 서버
31: 정보 추출부
33: 정보 저장부
35: 정보 제공부

Claims (25)

  1. 가입자 자신 또는 통신 상대방 중 적어도 하나의 통신 내용으로부터 추출된 일정 관련 정보를 표시하기 위한 일정 표시부;
    상기 표시된 일정 관련 정보를 일정에 반영하여 저장하기 위한 일정 반영부; 및
    상기 일정 관련 정보를 해당 통신 중 사용자의 선택에 따라 또는 자동으로 해당 서버로부터 수신하기 위한 정보 수신부를 포함하고,
    상기 일정 표시부는 가입자 자신 또는 통신 상대방 중 적어도 하나의 통신 내용으로부터 추출된 일정 관련 정보를 상기 가입자의 통신 상대방 정보와 매칭하여 표시하는 통신 내용 기반 자동 스케줄링을 위한 단말.
  2. 삭제
  3. 제1항에 있어서,
    상기 표시된 일정 관련 정보를 사용자의 선택에 따라 편집 또는 수정하기 위한 일정 수정부를 더 포함하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 단말.
  4. 제1항에 있어서,
    상기 저장된 일정 관련 정보가 기 저장된 일정 정보와 중복될 경우, 해당 중복 일정에 대한 알람을 제공하는 알람부를 더 포함하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 단말.
  5. 제1항에 있어서,
    상기 일정 관련 정보는 시간(Time), 장소(Place), 및 일정(Occasion, Event)명 중 하나 이상을 포함하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 단말.
  6. 제1항에 있어서,
    상기 정보 수신부는 상기 일정 관련 정보를 해당 통신 중 또는 해당 통신 완료 직후 사용자의 선택에 따라 또는 자동으로 해당 서버로부터 수신하고,
    상기 일정 표시부는 상기 정보 수신부가 해당 서버로부터 상기 일정 관련 정보를 수신한 직후 상기 일정 관련 정보를 표시하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 단말.
  7. 가입자의 통신 내용으로부터 일정 관련 정보를 추출하기 위한 정보 추출부; 및
    상기 추출된 일정 관련 정보를 상기 가입자의 단말로 제공하기 위한 정보 제공부를 포함하고,
    상기 정보 제공부는 상기 추출된 일정 관련 정보를 상기 가입자의 통신 상대방 정보와 매칭하여 상기 가입자의 단말로 제공하며,
    상기 정보 제공부는 상기 추출된 일정 관련 정보를 해당 통신 중 사용자의 선택에 따라 또는 자동으로 상기 가입자의 단말로 제공하는 통신 내용 기반 자동 스케줄링을 위한 서버.
  8. 삭제
  9. 제7항에 있어서,
    상기 정보 추출부는 상기 가입자의 통신 중에 해당 통신 내용으로부터 일정 관련 정보를 추출하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 서버.
  10. 제9항에 있어서,
    상기 정보 제공부는 상기 추출된 일정 관련 정보를 해당 통신 중 또는 해당 통신 완료 직후 사용자의 선택에 따라 또는 자동으로 상기 가입자의 단말로 제공하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 서버.
  11. 제7항에 있어서,
    상기 일정 관련 정보는 시간(Time), 장소(Place), 및 일정명 중 하나 이상을 포함하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 서버.
  12. 제7항에 있어서,
    상기 추출된 일정 관련 정보를 (로그) 저장하기 위한 정보 저장부를 더 포함하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 서버.
  13. 단말에서 수행하는 방법으로서,
    (a) 가입자의 통신 내용으로부터 추출된 일정 관련 정보를 표시하기 위한 단계; 및
    (b) 상기 표시된 일정 관련 정보를 일정에 반영하여 저장하기 위한 단계를 포함하고,
    상기 단계 (a)는 가입자 자신 또는 통신 상대방 중 적어도 하나의 통신 내용으로부터 추출된 일정 관련 정보를 상기 가입자의 통신 상대방 정보와 매칭하여 표시하며,
    상기 단계 (a)에서는 해당 통신 중 사용자의 선택에 따라 또는 자동으로 해당 서버로부터 일정 관련 정보를 수신하여 표시하는 통신 내용 기반 자동 스케줄링을 위한 방법.
  14. 삭제
  15. 제13항에 있어서,
    (c) 상기 단계 (a)에서 표시된 일정 관련 정보를 사용자의 선택에 따라 편집 또는 수정하기 위한 단계를 더 포함하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 방법.
  16. 제15항에 있어서,
    (d) 상기 단계 (b)에서 저장된 일정 관련 정보가 기 저장된 일정 관련 정보와 중복될 경우, 해당 중복 일정에 대한 알람을 제공하는 단계를 더 포함하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 방법.
  17. 제15항에 있어서,
    상기 일정 관련 정보는 시간(Time), 장소(Place), 및 일정명 중 하나 이상을 포함하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 방법.
  18. 제15항에 있어서,
    상기 단계 (a)에서는 해당 통신 중 또는 해당 통신 완료 직후 사용자의 선택에 따라 또는 자동으로 해당 서버로부터 일정 관련 정보를 수신하고, 그 수신한 직후 상기 일정 관련 정보를 표시하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 방법.
  19. 서버에서 수행하는 방법으로서,
    (a) 가입자의 통신 내용으로부터 일정 관련 정보를 추출하기 위한 단계; 및
    (b) 상기 추출된 일정 관련 정보를 상기 가입자의 단말로 제공하기 위한 단계를 포함하고,
    상기 단계 (b)는 상기 추출된 일정 관련 정보를 상기 가입자의 통신 상대방 정보와 매칭하여 상기 가입자의 단말로 제공하며,
    상기 단계 (b)는 상기 추출된 일정 관련 정보를 해당 통신 중에 사용자의 선택에 따라 또는 자동으로 상기 가입자의 단말로 제공하는 통신 내용 기반 자동 스케줄링을 위한 방법.
  20. 삭제
  21. 제19항에 있어서,
    상기 단계 (a)는 상기 가입자의 통신 중에 해당 통신 내용으로부터 일정 관련 정보를 추출하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 방법.
  22. 제21항에 있어서,
    상기 단계 (b)는 상기 추출된 일정 관련 정보를 해당 통신 중 또는 해당 통신 완료 직후 사용자의 선택에 따라 또는 자동으로 상기 가입자의 단말로 제공하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 방법.
  23. 제19항에 있어서,
    상기 일정 관련 정보는 시간(Time), 장소(Place), 및 일정명 중 하나 이상을 포함하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 방법.
  24. 제19항에 있어서,
    (c) 상기 단계 (a)에서 추출된 일정 관련 정보를 (로그) 저장하기 위한 단계를 더 포함하는 것을 특징으로 하는 통신 내용 기반 자동 스케줄링을 위한 방법.
  25. 제13항, 제15항 내지 제19항, 및 제21항 내지 제24항 중 어느 한 항의 상기 통신 내용 기반 자동 스케줄링을 위한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020130100935A 2013-03-26 2013-08-26 통신 내용 기반 자동 스케줄링을 위한 단말, 서버, 방법, 및 기록 매체 KR101470753B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130100935A KR101470753B1 (ko) 2013-08-26 2013-08-26 통신 내용 기반 자동 스케줄링을 위한 단말, 서버, 방법, 및 기록 매체
US14/224,491 US9106757B2 (en) 2013-03-26 2014-03-25 Terminal, server, and method for actively providing information based on communication contents
JP2014064247A JP2014192900A (ja) 2013-03-26 2014-03-26 通信内容基盤の能動的情報提供のための端末、サーバー、方法、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130100935A KR101470753B1 (ko) 2013-08-26 2013-08-26 통신 내용 기반 자동 스케줄링을 위한 단말, 서버, 방법, 및 기록 매체

Publications (1)

Publication Number Publication Date
KR101470753B1 true KR101470753B1 (ko) 2014-12-08

Family

ID=52678218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130100935A KR101470753B1 (ko) 2013-03-26 2013-08-26 통신 내용 기반 자동 스케줄링을 위한 단말, 서버, 방법, 및 기록 매체

Country Status (1)

Country Link
KR (1) KR101470753B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102243853B1 (ko) * 2019-11-13 2021-04-22 인하대학교 산학협력단 통화중 약속정보 호출 시스템 및 그 방법
KR102250035B1 (ko) * 2019-11-13 2021-05-11 인하대학교 산학협력단 개인의 선호를 반영한 통화중 약속정보 호출 시스템 및 그 방법
KR20210058094A (ko) * 2019-11-13 2021-05-24 인하대학교 산학협력단 제약조건을 반영한 통화중 약속정보 호출 시스템 및 그 방법
WO2022131771A1 (ko) * 2020-12-18 2022-06-23 주식회사 시소 메신저 대화 분석에 기반한 프로젝트 관리 서비스 제공방법, 서버 및 컴퓨터프로그램
CN116095227A (zh) * 2022-06-20 2023-05-09 荣耀终端有限公司 终端设备的信息显示方法和终端设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225796A (ja) * 1994-02-09 1995-08-22 Matsushita Electric Ind Co Ltd スケジュール管理装置
KR20120042006A (ko) * 2010-10-22 2012-05-03 한국전자통신연구원 일정 관리 방법 및 이를 수행하는 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225796A (ja) * 1994-02-09 1995-08-22 Matsushita Electric Ind Co Ltd スケジュール管理装置
KR20120042006A (ko) * 2010-10-22 2012-05-03 한국전자통신연구원 일정 관리 방법 및 이를 수행하는 장치

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102243853B1 (ko) * 2019-11-13 2021-04-22 인하대학교 산학협력단 통화중 약속정보 호출 시스템 및 그 방법
KR102250035B1 (ko) * 2019-11-13 2021-05-11 인하대학교 산학협력단 개인의 선호를 반영한 통화중 약속정보 호출 시스템 및 그 방법
KR20210058094A (ko) * 2019-11-13 2021-05-24 인하대학교 산학협력단 제약조건을 반영한 통화중 약속정보 호출 시스템 및 그 방법
KR102289053B1 (ko) * 2019-11-13 2021-08-12 인하대학교 산학협력단 제약조건을 반영한 통화중 약속정보 호출 시스템 및 그 방법
KR20230084455A (ko) * 2020-12-18 2023-06-13 주식회사 시소 프로젝트 참여자 간의 메시지 분석을 통한 프로젝트와 관련된 중요 메시지 판단 및 관리방법, 서버 및 컴퓨터프로그램
KR20220088248A (ko) * 2020-12-18 2022-06-27 주식회사 시소 메신저 대화 분석에 기반한 프로젝트 관리 서비스 제공방법, 서버 및 컴퓨터프로그램
KR102541548B1 (ko) * 2020-12-18 2023-06-12 주식회사 시소 메신저 대화 분석에 기반한 프로젝트 관리 서비스 제공방법, 서버 및 컴퓨터프로그램
KR20230084118A (ko) * 2020-12-18 2023-06-12 주식회사 시소 프로젝트 참여자 간의 대화 분석 기반 시각화된 프로젝트 정보 제공방법, 서버 및 컴퓨터프로그램
WO2022131771A1 (ko) * 2020-12-18 2022-06-23 주식회사 시소 메신저 대화 분석에 기반한 프로젝트 관리 서비스 제공방법, 서버 및 컴퓨터프로그램
KR102620575B1 (ko) * 2020-12-18 2024-01-03 주식회사 시소 프로젝트 참여자 간의 메시지 분석을 통한 프로젝트와 관련된 중요 메시지 판단 및 관리방법, 서버 및 컴퓨터프로그램
KR102620574B1 (ko) * 2020-12-18 2024-01-03 주식회사 시소 프로젝트 참여자 간의 대화 분석 기반 시각화된 프로젝트 정보 제공방법, 서버 및 컴퓨터프로그램
KR102659992B1 (ko) * 2020-12-18 2024-04-25 주식회사 시소 메시지 분석 기반 요약문 추출 및 이를 통한 프로젝트 일정 등록 및 관리 방법, 서버 및 컴퓨터프로그램
CN116095227A (zh) * 2022-06-20 2023-05-09 荣耀终端有限公司 终端设备的信息显示方法和终端设备
CN116095227B (zh) * 2022-06-20 2023-10-31 荣耀终端有限公司 终端设备的信息显示方法和终端设备

Similar Documents

Publication Publication Date Title
US11388291B2 (en) System and method for processing voicemail
US9106757B2 (en) Terminal, server, and method for actively providing information based on communication contents
US8606242B2 (en) Systems and methods to provide context information for mobile communication devices
CN100424632C (zh) 用于高级交互接口的语义对象同步理解
KR101470753B1 (ko) 통신 내용 기반 자동 스케줄링을 위한 단말, 서버, 방법, 및 기록 매체
KR20180112134A (ko) 메시지 정보 통합 관리 서비스를 위한 모바일 장치, 메시지 정보 통합 관리 제공 방법 및 컴퓨터로 판독 가능한 저장매체
US20200211564A1 (en) Processing System for Intelligently Linking Messages Using Markers Based on Language Data
CN101983501A (zh) 具有语音消息概要的用户界面
KR102144868B1 (ko) 통화 기록 제공 장치 및 방법
KR102624148B1 (ko) 인간 사용자를 대신하여 대화형 음성 응답(ivr) 트리 자동 탐색
KR101455924B1 (ko) 통화 기반 관심사 제공을 위한 단말, 서버 장치, 방법, 및 기록 매체
US9258406B2 (en) Apparatus and method for controlling mobile device by conversation recognition, and apparatus for providing information by conversation recognition during meeting
CA3061788A1 (en) Electronic communication system with drafting assistant and method of using same
KR101437812B1 (ko) 통신 내용 기반 능동적 정보 제공을 위한 단말, 서버, 방법, 및 기록 매체
KR101038087B1 (ko) 이동통신 단말기에서의 하이퍼텍스트 제공 방법
US11682386B2 (en) System and method for electronic communication
KR101630069B1 (ko) 통화 내용 기반 주요 키워드 정보 및 배경 이미지 제공을 위한 단말, 서버, 방법, 기록 매체, 및 컴퓨터 프로그램
US20170324858A1 (en) Information Processing Method and Apparatus
KR102347070B1 (ko) 단말기의 정보 처리 방법 및 장치
US11789696B2 (en) Voice assistant-enabled client application with user view context
US10972608B2 (en) Asynchronous multi-dimensional platform for customer and tele-agent communications
EP2680256A1 (en) System and method to analyze voice communications
WO2017028635A1 (zh) 一种信息处理系统、方法、电子设备和计算机存储介质
CN106331389A (zh) 短信收信人的确定方法、装置和服务器
KR101466510B1 (ko) 주소록 기반 정보 제공을 위한 단말, 서버, 방법, 및 기록 매체

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171109

Year of fee payment: 6