KR101379405B1 - 키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말 - Google Patents

키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말 Download PDF

Info

Publication number
KR101379405B1
KR101379405B1 KR1020120048515A KR20120048515A KR101379405B1 KR 101379405 B1 KR101379405 B1 KR 101379405B1 KR 1020120048515 A KR1020120048515 A KR 1020120048515A KR 20120048515 A KR20120048515 A KR 20120048515A KR 101379405 B1 KR101379405 B1 KR 101379405B1
Authority
KR
South Korea
Prior art keywords
application
voice
voice call
api
mobile terminal
Prior art date
Application number
KR1020120048515A
Other languages
English (en)
Other versions
KR20130125064A (ko
Inventor
김경서
Original Assignee
김경서
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김경서 filed Critical 김경서
Priority to KR1020120048515A priority Critical patent/KR101379405B1/ko
Publication of KR20130125064A publication Critical patent/KR20130125064A/ko
Application granted granted Critical
Publication of KR101379405B1 publication Critical patent/KR101379405B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/027—Syllables being the recognition units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

모바일 단말의 음성 통화를 처리하는 방법은 상기 음성 통화의 시작을 후킹하는 단계, 상기 음성 통화의 수행 과정에서 송수신되는 음성을 클러스터링하여 대화 컨텍스트를 생성하는 단계 -상기 대화 컨텍스트는 어플리케이션 식별자, 어플리케이션 API 식별자 및 어플리케이션 API 연관 파라미터-, 상기 어플리케이션 식별자와 연관된 어플리케이션의 설치 여부를 체크하는 단계 및 상기 연관된 어플리케이션이 설치되었으면, 상기 어플리케이션 API 연관 파라미터의 적어도 일부를 디스플레이하여 해당 어플리케이션 API의 실행을 프롬프팅하는 단계를 포함한다. 따라서, 본 발명은 음성 통화의 수행 과정에서 송수신되는 음성을 처리할 수 있다.

Description

키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말{METHOD OF PROCESSING VOICE COMMUNICATION AND MOBILE TERMINAL PERFORMING THE SAME}
본 발명은 음성 통화 기술에 관한 것으로, 보다 상세하게는, 음성 통화의 수행 과정에서 송수신되는 음성을 처리하는 키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말에 관한 것이다.
이동 단말기는 다양한 기능을 수행할 수 있도록 구성될 수 있다. 그러한 다양한 기능들의 예로 음성 및 화상 통화 기능, 전화번호를 저장하는 기능, 스케줄을 관리하는 기능, 카메라를 통해 사진이나 동영상을 촬영하는 기능 등이 있다. 더욱이 최근의 일부 이동 단말기는 사용자에 의해 특정 기능을 갖는 어플리케이션을 인스톨하여 해당 어플리케이션을 실행할 수 있다.
이러한 어플리케이션은 사용자가 이동 단말기를 통해 상대방과 통화 중이라도 사용자에 의해 실행될 수 있다. 하지만, 사용자가 통화를 하면서 동시에 키패드를 사용하여 특정 어플리케이션을 실행하기 위해서는 항상 통화모드에서 빠져나와 어플리케이션을 검색하여 실행하여야 하며, 이런 기능을 수행하는 동안은 사용자가 단말기를 응시해야 함으로 통화가 사실상 불가능하다.
한국공개특허 제10-2009-0112899호는 이동 단말기 및 이동 단말기의 어플리케이션 실행 방법에 관한 것으로, 디스플레이된 영상에서 얼굴 영역을 인식하여, 상기 인식된 얼굴 영역과 대응되는 특정 어플리케이션을 실행할 수 있다.
한국공개특허 제10-2003-0057922호는 인터넷상의 음성통신 및 음성컨텐츠 제공 방법과 이를 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 인터넷 상에서의 ARS 컨텐츠 서비스 및 통화 서비스를 제공하는 게이트웨이 방식을 개인 게이트웨이 방식으로 함으로써 상기 ARS 컨텐츠 서비스 및 통화 서비스를 제공하기 위한 별도의 시스템을 구축할 필요가 없다.
한국공개특허 제10-2009-0112899호 한국공개특허 제10-2003-0057922호
본 발명의 일 실시예는 음성 통화의 수행 과정에서 송수신되는 음성을 처리하는 키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말을 제공하고자 한다.
본 발명은 모바일 단말기를 통해 통화를 진행하는 중에 미리 입력된 키워드와 매칭되는 통화내용이 인식될 경우 연관된 어플리케이션이 자동적으로 실행함으로써, 통화를 중단하고 어플리케이션을 검색해야 하는 불편함을 제거할 수 있는 키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말을 제공하고자 한다.
실시예들 중에서, 모바일 단말의 음성 통화를 처리하는 방법은 상기 음성 통화의 시작을 후킹하는 단계, 상기 음성 통화의 수행 과정에서 송수신되는 음성을 클러스터링하여 대화 컨텍스트를 생성하는 단계 -상기 대화 컨텍스트는 어플리케이션 식별자, 어플리케이션 API 식별자 및 어플리케이션 API 연관 파라미터-, 상기 어플리케이션 식별자와 연관된 어플리케이션의 설치 여부를 체크하는 단계 및 상기 연관된 어플리케이션이 설치되었으면, 상기 어플리케이션 API 연관 파라미터의 적어도 일부를 디스플레이하여 해당 어플리케이션 API의 실행을 프롬프팅하는 단계를 포함한다.
일 실시예에서, 상기 음성 통화의 시작을 후킹하는 단계는 상기 후킹된 음성에서 특정 키워드가 인식되었을 때 실행할 어플리케이션을 상기 특정 키워드와 대응시켜 미리 설정하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 송수신되는 음성을 클러스터링하여 대화 컨텍스트를 생성하는 단계는 상기 클러스터링된 음성에서 특정 어플리케이션에서 사용되는 추출 용어를 추출하는 단계 및 해당 어플리케이션 API 연관 파라미터의 적어도 일부를 상기 추출된 추출 용어에 의하여 추론된 추론 용어로서 치환하는 단계를 포함할 수 있다.
일 실시예에서, 상기 어플리케이션 API의 실행을 프롬프팅하는 단계는 사용자의 제어 하에 상기 디스플레이된 어플리케이션 API 연관 파라미터를 수정하는 것을 허용하는 단계를 더 포함할 수 있다.
실시예들 중에서, 음성 통화를 처리하는 모바일 단말은 상기 음성 통화의 시작을 후킹하는 음성 통화 후킹부, 상기 음성 통화의 수행 과정에서 송수신되는 음성을 클러스터링하여 대화 컨텍스트를 생성하는 대화 컨텍스트 생성부, 상기 어플리케이션 식별자와 연관된 어플리케이션의 설치 여부를 체크하는 어플리케이션 설치 확인부 및 상기 연관된 어플리케이션이 설치되었으면, 상기 어플리케이션 API 연관 파라미터의 적어도 일부를 디스플레이하여 해당 어플리케이션 API의 실행을 프롬프팅하는 어플리케이션 실행부를 포함한다. 여기에서, 상기 대화 컨텍스트는 어플리케이션 식별자, 어플리케이션 API 식별자 및 어플리케이션 API 연관 파라미터를 포함한다.
일 실시예에서, 상기 대화 컨텍스트 생성부는 상기 클러스터링된 음성에서 특정 어플리케이션에서 사용되는 추출 용어를 추출하고, 해당 어플리케이션 API 연관 파라미터의 적어도 일부를 상기 추출된 추출 용어에 의하여 추론된 추론 용어로서 치환할 수 있다.
일 실시예에서, 상기 대화 컨텍스트 생성부는 상기 송수신되는 음성에서 적어도 하나의 컨텍스트 트리 각각에 있는 루트 노드를 검색할 수 있다.
본 발명의 일 실시예에 따른 키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말은 음성 통화의 수행 과정에서 미리 지정된 키워드를 인식하고, 해당 키워드와 연결된 어플리케이션을 자동적으로 수행함으로써 사용자 편의를 높일 수 있다.
본 발명의 일 실시예에 따른 키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말은 클러스터링된 음성에 기초하여 결정된 실행 대상 어플리케이션 API 연관 파라미터의 적어도 일부를 디스플레이할 수 있다.
도 1은 본 발명의 일 실시예에 따른 음성 통화 처리 시스템을 설명하는 블록도이다.
도 2는 도 1에 있는 모바일 단말을 설명하는 블록도이다.
도 3은 도 1에 있는 모바일 단말의 실행 과정을 설명하는 흐름도이다.
도 4 내지 도 7은 도 3의 실행 과정을 예시하는 도면이다.
도 8은 도 1에 있는 모바일 단말에서 통화가 종료된 후에 녹음된 음성 통화를 처리하는 과정을 예시하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 음성 통화 처리 시스템을 설명하는 블록도이다.
도 1을 참조하면, 음성 통화 처리 시스템(100)은 모바일 단말(110), 통신망(120) 및 적어도 하나의 사용자 단말(130)을 포함할 수 있다. 여기에서, 모바일 단말(110)은 통신망(120)을 통해 적어도 하나의 사용자 단말(130)과 연결된다.
모바일 단말(110)은 휴대 가능한 컴퓨팅 장치에 해당할 수 있고, 예를 들어, 모바일 단말(110)은 스마트폰 및 PDA(Personal Digital Assistant) 등에 해당할 수 있다. 일 실시예에서, 모바일 단말(110)은 발신자 단말 및 수신자 단말 중 어느 하나의 단말에 해당할 수 있다. 모바일 단말(110)이 수신자 단말 및 수신자 단말 중 어느 하나의 단말이 되더라도 하기의 기능을 수행할 수 있다.
모바일 단말(110)은 적어도 하나의 사용자 단말(110)과의 음성 통화의 수행 과정에서 송수신되는 음성을 클러스팅하여 대화 컨텍스트를 생성하고, 대화 컨텍스트에 기초하여 대화 컨텍스트의 적어도 일부를 디스플레이할 수 있다.
적어도 하나의 사용자 단말(130)은 통신망(120)을 통해 모바일 단말(110)과 연결될 수 있는 컴퓨팅 장치에 해당할 수 있고, 예를 들어, 적어도 하나의 사용자 단말(130)은 PC, 유선 통신 단말, 스마트폰 및 PDA 등에 해당할 수 있다. 일 실시예에서, 적어도 하나의 사용자 단말(130)은 발신자 단말 및 수신자 단말 중 어느 하나의 단말에 해당할 수 있다. 적어도 하나의 사용자 단말(130)은 수신자 단말 및 수신자 단말 중 어느 하나의 단말이 적어도 하나의 사용자 단말(130)이 특정 어플리케이션을 저장할 수 있는 단말이라면 모바일 단말(110)과 동일한 기능을 수행할 수 있다.
도 2는 도 1에 있는 모바일 단말을 설명하는 블록도이다.
도 2를 참조하면, 모바일 단말(110)은 음성 통화 후킹부(210), 대화 컨텍스트 생성부(220) 및 어플리케이션 실행부(230)를 포함하고, 어플리케이션 설치 확인부(240), 어플리케이션 저장부(250), 키워드 데이터베이스(260), 어플리케이션 API 데이터베이스(270), 디스플레이부(280), 음성 저장부(290) 및 제어부(300)를 더 포함할 수 있다.
음성 통화 후킹부(210)는 음성 통화의 시작을 후킹한다. 일 실시예에서, 음성 통화 후킹부(210)는 적어도 하나의 사용자 단말(130)과의 음성 통화 세션을 검출하여 검출된 음성 통화 세션에 송수신되는 음성을 가져올 수 있다. 다른 실시예에서, 음성 통화 후킹부(201)는 사용자에 의해 바탕 화면에 있는 통화 버튼이 터치가 되면 송수신되는 음성을 가져올 수 있다.
대화 컨텍스트 생성부(220)는 음성 통화의 수행 과정에서 송수신되는 음성 또는 음성 통화의 종료 후에 사용자에 의해 녹음된 음성 통화가 재생되면 음성을 클러스터링하여 대화 컨텍스트를 생성할 수 있다.
여기에서, 대화 컨텍스트는 어플리케이션 식별자, 어플리케이션 API 식별자 및 어플리케이션 API 연관 파라미터를 포함할 수 있다. 예를 들어, 어플리케이션 식별자는 "Schedule", 어플리케이션 API 식별자는 "SEND()", 어플리케이션 API 연관 파라미터는 "Title, Year, Month, Day, Time"일 수 있다.
일 실시예에서, 대화 컨텍스트 생성부(220)는 현재 시점부터 과거의 미리 설정된 시간 동안에 송수신되는 음성을 수집할 수 있다. 여기에서, 현재 시점부터 과거의 미리 설정된 시간은 모바일 단말(110)의 사용자에 대한 대화 간격을 기초로 동적으로 설정될 수 있다. 대화 간격은 말하는 사람의 발화 지점부터 상대방 발화가 종료하는 지점까지의 간격에 해당할 수 있다.
다른 일 실시예에서, 대화 컨텍스트 생성부(220)는 송수신되는 음성에서 적어도 하나의 컨텍스트 트리 각각에 있는 루트 노드를 검색하고, 만일 루트 노드가 검색되면 해당 음성의 이후의 음성에서 해당 루트 노드의 자식 노드를 검색하고, 말단 노드까지 방문되면 해당 노드들 모두에 대한 키워드들을 수집할 수 있다. 예를 들어, 대화 컨텍스트 생성부(220)는 송수신되는 음성에서 루트 노드로 "전화번호"을 검색하고, 해당 음성의 이후의 음성에서 "박광우"를 검색하고, 말단 노드까지 방문되면 "전화번호", "박광우"를 수집할 수 있다.
또 다른 일 실시예에서, 대화 컨텍스트 생성부(220)는 송수신되는 음성에서 키워드를 검색하고, 만일 키워드가 검색되면 해당 음성의 이후의 음성에서 종속 키워드를 검색하고, 마지막 종속 키워드까지 검색되면 해당 키워드를 수집할 수 있다.
또한, 이러한 실시예와는 달리, 대화 컨텍스트 생성부(220)는 클러스터링된 음성에서 특정 어플리케이션에서 사용되는 추출 용어를 추출하고, 해당 어플리케이션 API 연관 파라미터의 적어도 일부를 추출된 추출 용어에 의하여 추론된 추론 용어로서 치환할 수 있다. 예를 들어, 대화 컨텍스트 생성부(220)는 클러스터링된 음음성에서 스케줄 어플리케이션에서 사용되는 추출 용어로 "내일"을 추출하고, 스케줄 어플리케이션 API 연관 파라미터 "Title, Year, Month, Day, Time" 에서 "Year, Month, Day"를 오늘 날짜를 기준으로 "2012, 04, 28"로 치환할 수 있다.
어플리케이션 실행부(230)는 사용자에 의해 선택된 어플리케이션을 실행할 수 있다. 일 실시예에서, 어플리케이션 실행부(230)는 대화 컨텍스트의 어플리케이션 API 식별자를 수신하여 해당 어플리케이션을 실행할 수 있다. 다른 일 실시예에서, 어플리케이션 실행부(230)는 후킹된 음성에 기 설정된 키워드가 존재하면 키워드에 해당하는 어플리케이션을 실행할 수 있다. 예를 들어, 클러스터링된 음성 “화요일은 어때?”에서 기 설정된 키워드“화요일”이 존재하여 스케줄 어플리케이션을 실행할 수 있고, 클러스터링된 음성에 “전화번호 알아?”에서 기 설정된 키워드 “전화번호”가 존재하여 연락처 어플리케이션을 실행할 수 있다.
어플리케이션 설치 확인부(240)는 클러스터링된 음성을 기초로 결정된 어플리케이션 식별자와 연관된 어플리케이션의 설치 여부를 확인할 수 있다. 일 실시예에서, 어플리케이션 설치 확인부(240)는 어플리케이션 저장부(250)에 해당 어플리케이션이 존재하는 여부를 확인할 수 있다.
어플리케이션 저장부(250)는 모바일 단말(110)에서 실행 가능한 어플리케이션을 저장하는데 사용된다. 일 실시예에서, 어플리케이션 저장부(250)는 사용자에 의해 어플리케이션 다운로드 명령이 수신되면 해당 어플리케이션을 저장할 수 있다.
키워드 데이터베이스(260)는 어플리케이션에 대한 키워드를 저장하는데 사용될 수 있다. 일 실시예에서, 키워드 데이터베이스(260)는 컨텍스트 트리 형태로 키워드를 저장하는데 사용될 수 있다. 컨텍스트 트리는 루트 노드와 적어도 하나의 자식 노드로 구성된다. 다른 일 실시예에서, 키워드 데이터베이스(260)는 중요 키워드를 저장하는데 사용될 수 있다. 다른 일 실시예에서, 키워드 데이터베이스(260)는 후킹된 음성에 기 설정된 키워드가 존재하면 키워드와 연관된 어플리케이션을 실행하도록 해당 키워드와 어플리케이션을 대응시켜 저장하는데 사용될 수 있다.
어플리케이션 API 데이터베이스(270)는 모바일 단말(110)에 저장된 어플리케이션의 API를 저장하는데 사용된다. 예를 들어, 어플리케이션 API 데이터베이스(270)는 어플리케이션의 식별자에 대응하여 어플리케이션 API 식별자 및 어플리케이션 API 연관 파라미터를 저장하는데 사용될 수 있다. 어플리케이션 식별자는 실행 대상 어플리케이션의 고유 번호에 해당할 수 있고, 어플리케이션 API 식별자는 어플리케이션을 실행할 때 사용되는 API에 해당할 수 있고, 어플리케이션 API 연관 파라미터는 어플리케이션을 실행할 때 사용되는 API의 파라미터에 해당할 수 있다.
디스플레이부(280)는 어플리케이션의 실행 과정을 디스플레이한다. 일 실시예에서, 디스플레이부(280)는 적어도 하나의 사용자 단말(130)로부터 음성 통화가 요청되면 해당 사용자 단말의 정보를 시각적으로 디스플레이할 수 있다. 일 실시예에서, 디스플레이부(280)는 만일 해당 사용자 단말의 정보가 존재하면 모바일 단말(110)에 저장된 해당 사용자 단말의 정보(예를 들어, 발신자 이름 및 발신자 전화번호)를 디스플레이할 수 있다. 다른 일 실시예에서, 디스플레이부(280)는 만일 해당 사용자 단말의 정보가 존재하지 않으면 통신사 단말(미도시됨)에 의한 해당 사용자 단말의 정보(예를 들어, 발신자 전화번호)를 디스플레이할 수 있다.
일 실시예에서, 디스플레이부(280)는 사용자에 의해 특정 어플리케이션 API 연관 파라미터가 수정되면 특정 어플리케이션 API 연관 파라미터의 내용을 갱신하여 디스플레이할 수 있다.
음성 저장부(290)는 적어도 하나의 사용자 단말(130)과 송수신되는 음성을 저장하는데 사용될 수 있다. 일 실시예에서, 음성 저장부(290)는 사용자에 의해 녹음 버튼이 선택되면 음성을 녹음할 수 있다.
제어부(300)는 음성 통화 후킹부(210), 대화 컨텍스트 생성부(220) 및 어플리케이션 실행부(230)를 포함하고, 어플리케이션 설치 확인부(240), 어플리케이션 저장부(250), 키워드 데이터베이스(260), 어플리케이션 API 데이터베이스(270), 디스플레이부(280) 및 음성 저장부(290)를 제어한다.
도 3은 도 1에 있는 모바일 단말의 실행 과정을 설명하는 흐름도이고, 도 4 내지 도 7은 도 3의 실행 과정을 예시하는 도면이다.
도 3 내지 도 7에서, 음성 통화 후킹부(210)는 음성 통화의 시작을 후킹한다(단계 S310). 일 실시예에서, 음성 통화 후킹부(210)는 적어도 하나의 사용자 단말(130) 중 특정 사용자 단말(예를 들어, 강현신이 소유한 사용자 단말)로부터 통화호를 수신하고, 사용자에 의해 통화 버튼(410)이 터치되면 음성 통화의 시작을 후킹할 수 있다.
대화 컨텍스트 생성부(220)는 음성 통화의 수행 과정에서 송수신되는 음성을 클러스터링하여 대화 컨텍스트를 생성한다(단계 S320). 일 실시예에서, 대화 컨텍스트 생성부(220)는 사용자에 의해 끊기 버튼(420)이 터치되기 전까지의 음성 통화 수행 과정에서 송수신되는 음성을 클러스터링하여 대화 컨텍스트를 생성할 수 있다.
어플리케이션 설치 확인부(240)는 클러스터링된 음성을 기초로 결정된 어플리케이션 식별자와 연관된 어플리케이션의 설치 여부를 확인한다(단계 S330).
디스플레이부(280)는 만일 해당 어플리케이션이 설치되어 있으면(단계 S340), 어플리케이션 API 연관 파라미터의 적어도 일부를 디스플레이하여 해당 어플리케이션 API의 실행에 대한 프롬프팅을 디스플레이한다(단계 S350). 예를 들어, 디스플레이부(280)는 연락처 어플리케이션 API 연관 파라미터인 이름(520a) 및 전화번호(530a)를 디스플레이하여 연락처 어플리케이션 API의 실행에 대한 프롬프팅을 디스플레이할 수 있다. 다른 예를 들어, 디스플레이부(280)는 스케줄 어플리케이션 API 연관 파라미터인 스케줄 내용(610a) 및 스케줄 장소(620a)를 디스플레이하여 스케줄 어플리케이션 API의 실행에 대한 프롬프팅을 디스플레이할 수 있다.
일 실시예에서, 디스플레이부(280)는 사용자에 의해 어플리케이션 API 연관 파라미터가 수정되면, 어플리케이션 API 연관 파라미터를 갱신하여 디스플레이할 수 있다. 예를 들어, 디스플레이부(280)는 사용자에 의해 연락처 어플리케이션 API 연관 파라미터 중 이미지(510a)가 추가되면 추가된 이미지(510b)를 디스플레이하고, 이름(520a)이 수정되면 수정된 이름(520b)을 디스플레이하고, 전화번호 정보(530a)가 수정되면 수정된 전화번호 정보(530b)를 디스플레이할 수 있다. 다른 예를 들어, 디스플레이부(280)는 스케줄 어플리케이션 API 연관 파라미터 중 스케줄 제목(610a)이 수정되면 수정된 제목(610b)을 디스플레이하고, 스케줄 장소(620a)가 수정되면 수정된 스케줄 장소(620b)를 디스플레이한다.
디스플레이부(280)는 만일 해당 어플리케이션이 설치되어 있지 않으면(단계 S350), 해당 어플리케이션이 설치되어 있지 않은 사실을 디스플레이한다(단계 S360). 디스플레이부(280)는 통화가 종료된 후에 사용자에 의해 해당 어플리케이션의 설치 요청이 수신하면 해당 어플리케이션을 다운로드 받을 수 있는 화면(미도시됨)을 시각적으로 디스플레이한다.
도 8은 도 1에 있는 모바일 단말에서 통화가 종료된 후에 녹음된 음성 통화를 처리하는 과정을 예시하는 도면이다.
도 8에서, 음성 저장부(290)는 사용자에 의해 적어도 하나의 사용자 단말(110)과 음성 통화 수행 중에 녹음 버튼이 선택되면 송수신되는 음성을 녹음하여 저장하는데 사용된다. 디스플레이부(280)는 사용자에 의해 녹음 리스트 보기(미도시됨)가 선택되면 사용자에 의해 녹음된 음성에 대한 녹음 리스트를 디스플레이할 수 있다. 녹음 리스트는 녹음된 날짜에 따라 순차적으로 정렬되어 표시될 수 있다. 디스플레이부(280)는 녹음 리스트에 있는 음성 중 특정 음성이 선택되면 녹음된 음성 통화를 디스플레이할 수 있다.
대화 컨텍스트 생성부(220)는 녹음된 음성 통화를 클러스터링하여 대화 컨텍스트를 생성한다. 일 실시예에서, 대화 컨텍스트 생성부(220)는 현재 시점부터 과거의 미리 설정된 시간 동안에 송수신되는 음성을 수집할 수 있다. 여기에서, 현재 시점부터 과거의 미리 설정된 시간은 모바일 단말(110)의 사용자에 대한 대화 간격을 기초로 동적으로 설정될 수 있다. 대화 간격은 말하는 사람의 발화 지점부터 상대방 발화가 종료하는 지점까지의 간격에 해당할 수 있다.
다른 일 실시예에서, 대화 컨텍스트 생성부(220)는 송수신되는 음성에서 적어도 하나의 컨텍스트 트리 각각에 있는 루트 노드를 검색하고, 만일 루트 노드가 검색되면 해당 음성의 이후의 음성에서 해당 루트 노드의 자식 노드를 검색하고, 말단 노드까지 방문되면 해당 노드들 모두에 대한 키워드들을 수집할 수 있다.
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 음성 통화 처리 시스템 110: 모바일 단말
120: 통신망 130: 적어도 하나의 사용자 단말
210: 음성 통화 후킹부 220: 대화 컨텍스트 생성부
230: 어플리케이션 실행부 240: 어플리케이션 설치 확인부
250: 어플리케이션 저장부 260: 키워드 데이터베이스
270: 어플리케이션 API 데이터베이스
280: 디스플레이부 290: 제어부

Claims (7)

  1. 모바일 단말의 음성 통화를 처리하는 방법에 있어서, 상기 방법은
    상기 음성 통화의 시작을 후킹하는 단계;
    상기 음성 통화의 수행 과정에서 송수신되는 음성을 클러스터링하여 대화 컨텍스트를 생성하는 단계 -상기 대화 컨텍스트는 어플리케이션 식별자, 어플리케이션 API 식별자 및 어플리케이션 API 연관 파라미터-;
    상기 어플리케이션 식별자와 연관된 어플리케이션의 설치 여부를 체크하는 단계;
    상기 연관된 어플리케이션이 설치되었으면, 상기 어플리케이션 API 연관 파라미터의 적어도 일부를 디스플레이하여 해당 어플리케이션 API의 실행을 프롬프팅하고, 사용자의 제어 하에 상기 디스플레이된 어플리케이션 API 연관 파라미터를 수정하는 것을 허용하는 단계를 포함하는 음성 통화를 처리하는 방법.
  2. 제1항에 있어서, 상기 음성 통화의 시작을 후킹하는 단계는
    상기 후킹된 음성에서 특정 키워드가 인식되었을 때 실행할 어플리케이션을 상기 특정 키워드와 대응시켜 미리 설정하는 단계를 더 포함하는 것을 특징으로 하는 음성 통화를 처리하는 방법.
  3. 제1항에 있어서, 상기 송수신되는 음성을 클러스터링하여 대화 컨텍스트를 생성하는 단계는
    상기 클러스터링된 음성에서 특정 어플리케이션에서 사용되는 추출 용어를 추출하는 단계; 및
    해당 어플리케이션 API 연관 파라미터의 적어도 일부를 상기 추출된 추출 용어에 의하여 추론된 추론 용어로서 치환하는 단계를 더 포함하는 것을 특징으로 하는 음성 통화를 처리하는 방법.
  4. 삭제
  5. 음성 통화를 처리하는 모바일 단말에 있어서,
    상기 음성 통화의 시작을 후킹하는 음성 통화 후킹부;
    상기 음성 통화의 수행 과정에서 송수신되는 음성을 클러스터링하여 대화 컨텍스트를 생성하는 대화 컨텍스트 생성부 -상기 대화 컨텍스트는 어플리케이션 식별자, 어플리케이션 API 식별자 및 어플리케이션 API 연관 파라미터-;
    상기 어플리케이션 식별자와 연관된 어플리케이션의 설치 여부를 체크하는 어플리케이션 설치 확인부; 및
    상기 연관된 어플리케이션이 설치되었으면, 상기 어플리케이션 API 연관 파라미터의 적어도 일부를 디스플레이하여 해당 어플리케이션 API의 실행을 프롬프팅하고, 사용자의 제어 하에 상기 디스플레이된 어플리케이션 API 연관 파라미터를 수정하는 것을 허용하는 어플리케이션 실행부를 포함하는 모바일 단말.
  6. 제5항에 있어서, 상기 대화 컨텍스트 생성부는
    상기 클러스터링된 음성에서 특정 어플리케이션에서 사용되는 추출 용어를 추출하고, 해당 어플리케이션 API 연관 파라미터의 적어도 일부를 상기 추출된 추출 용어에 의하여 추론된 추론 용어로서 치환하는 것을 특징으로 하는 모바일 단말.
  7. 제5항에 있어서, 상기 대화 컨텍스트 생성부는
    상기 송수신되는 음성에서 적어도 하나의 컨텍스트 트리 각각에 있는 루트 노드를 검색하는 것을 특징으로 하는 모바일 단말.
KR1020120048515A 2012-05-08 2012-05-08 키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말 KR101379405B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120048515A KR101379405B1 (ko) 2012-05-08 2012-05-08 키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120048515A KR101379405B1 (ko) 2012-05-08 2012-05-08 키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말

Publications (2)

Publication Number Publication Date
KR20130125064A KR20130125064A (ko) 2013-11-18
KR101379405B1 true KR101379405B1 (ko) 2014-03-28

Family

ID=49853617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120048515A KR101379405B1 (ko) 2012-05-08 2012-05-08 키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말

Country Status (1)

Country Link
KR (1) KR101379405B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10187520B2 (en) 2013-04-24 2019-01-22 Samsung Electronics Co., Ltd. Terminal device and content displaying method thereof, server and controlling method thereof

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200048701A (ko) 2018-10-30 2020-05-08 삼성전자주식회사 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
CN113053411B (zh) * 2020-03-30 2024-01-16 深圳市优克联新技术有限公司 语音数据处理设备、方法、系统及存储介质
KR102599480B1 (ko) 2021-05-18 2023-11-08 부산대학교 산학협력단 키워드 음성인식을 위한 자동 학습 시스템 및 방법
WO2023200033A1 (ko) * 2022-04-15 2023-10-19 엘지전자 주식회사 영상표시장치 및 그 동작방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090026451A (ko) * 2007-09-10 2009-03-13 에스케이 텔레콤주식회사 어플리케이션 제어 시스템 및 방법과 이를 위한 이동통신단말기
KR20090107852A (ko) * 2008-04-10 2009-10-14 엘지전자 주식회사 이동 단말기 및 그 메뉴 제어방법
KR20100081122A (ko) * 2009-01-05 2010-07-14 삼성전자주식회사 휴대 단말기 및 그의 응용프로그램 제공 방법
KR20110101964A (ko) * 2010-03-10 2011-09-16 (주) 지겟츠 특정 애플리케이션을 내장하는 메시지 수신 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090026451A (ko) * 2007-09-10 2009-03-13 에스케이 텔레콤주식회사 어플리케이션 제어 시스템 및 방법과 이를 위한 이동통신단말기
KR20090107852A (ko) * 2008-04-10 2009-10-14 엘지전자 주식회사 이동 단말기 및 그 메뉴 제어방법
KR20100081122A (ko) * 2009-01-05 2010-07-14 삼성전자주식회사 휴대 단말기 및 그의 응용프로그램 제공 방법
KR20110101964A (ko) * 2010-03-10 2011-09-16 (주) 지겟츠 특정 애플리케이션을 내장하는 메시지 수신 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10187520B2 (en) 2013-04-24 2019-01-22 Samsung Electronics Co., Ltd. Terminal device and content displaying method thereof, server and controlling method thereof

Also Published As

Publication number Publication date
KR20130125064A (ko) 2013-11-18

Similar Documents

Publication Publication Date Title
US9942690B2 (en) Method and device for information push
CN104951335B (zh) 应用程序安装包的处理方法及装置
KR102220945B1 (ko) 휴대 기기에서 연관 정보 표시 방법 및 장치
US10783459B2 (en) Method and device for providing ticket information
KR101379405B1 (ko) 키워드 음성 인식을 통해 관련 어플리케이션을 실행시키는 음성 통화 처리 방법 및 이를 실행하는 모바일 단말
US20180352398A1 (en) Method, Device And User Equipment For Pushing Service Information
KR20120125377A (ko) 사용자-입력된 정보를 수신하여 실행하는 장치 및 방법들
CN105183513A (zh) 应用推荐方法和装置
KR101944416B1 (ko) 영상 통화 분석 서비스를 제공하기 위한 방법 및 그 전자 장치
KR20210134359A (ko) 시맨틱 지능형 태스크 학습 및 적응형 실행 방법 및 시스템
KR20140094951A (ko) 통화호 수신 거절 지원 방법 및 이를 지원하는 단말기
KR101584887B1 (ko) 통신 단말기에서 음성 인식 서비스의 멀티태스킹을 지원하는 방법 및 시스템
CN103701994A (zh) 一种自动应答的方法及装置
CN111338971B (zh) 应用测试方法、装置、电子设备及存储介质
CN114489558A (zh) 一种免打扰方法和终端
KR101520896B1 (ko) 휴대용 단말기의 데이터 관리 장치 및 방법
CN105939424B (zh) 应用切换方法及装置
KR101643808B1 (ko) 어플리케이션과 서버 간의 연동을 이용한 음성 서비스 제공 방법 및 그 시스템
CN106371905B (zh) 应用程序操作方法、装置和服务器
KR20150088532A (ko) 통화 중 서비스 제공 장치 및 이를 이용하는 방법
CN106790909A (zh) 联系人显示方法及装置
CN109491655A (zh) 一种输入事件处理方法及装置
US9894193B2 (en) Electronic device and voice controlling method
WO2016187962A1 (zh) 一种提醒联系方式的方法和装置
CN110602325B (zh) 一种终端的语音推荐方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170104

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180221

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190220

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200210

Year of fee payment: 7