KR102276591B1 - Recommending service device based on voice and control method thereof - Google Patents

Recommending service device based on voice and control method thereof Download PDF

Info

Publication number
KR102276591B1
KR102276591B1 KR1020190098250A KR20190098250A KR102276591B1 KR 102276591 B1 KR102276591 B1 KR 102276591B1 KR 1020190098250 A KR1020190098250 A KR 1020190098250A KR 20190098250 A KR20190098250 A KR 20190098250A KR 102276591 B1 KR102276591 B1 KR 102276591B1
Authority
KR
South Korea
Prior art keywords
voice
speaker
behavior information
specific
recommendation service
Prior art date
Application number
KR1020190098250A
Other languages
Korean (ko)
Other versions
KR20210019272A (en
Inventor
배상호
Original Assignee
에스케이브로드밴드주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이브로드밴드주식회사 filed Critical 에스케이브로드밴드주식회사
Priority to KR1020190098250A priority Critical patent/KR102276591B1/en
Publication of KR20210019272A publication Critical patent/KR20210019272A/en
Application granted granted Critical
Publication of KR102276591B1 publication Critical patent/KR102276591B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Abstract

본 발명은, 음성 기반 서비스를 이용하고 있는 실제 발화자를 특정하여 실제 발화자의 성향에 따라 타겟팅한 추천 서비스를 제공할 수 있는, 새로운 방식의 음성 기반 추천 서비스를 실현하는 기술을 개시하고 있다.The present invention discloses a technology for realizing a new type of voice-based recommendation service that can provide a targeted recommendation service according to the actual speaker's disposition by specifying an actual speaker using the voice-based service.

Description

음성 기반 추천서비스장치 및 그 장치의 동작 방법{RECOMMENDING SERVICE DEVICE BASED ON VOICE AND CONTROL METHOD THEREOF}A voice-based recommendation service device and an operating method thereof {RECOMMENDING SERVICE DEVICE BASED ON VOICE AND CONTROL METHOD THEREOF}

본 발명은, 음성을 이용하여 기기를 제어하는 음성 인터페이스 기술과 관련이 있으며, 더욱 상세하게는 음성을 발화하는 실제 발화자를 특정하여 추천 서비스를 제공할 수 있는 기술에 관한 것이다.The present invention relates to a voice interface technology for controlling a device using a voice, and more particularly, to a technology for providing a recommendation service by specifying an actual speaker who utters a voice.

사용자가 발화하는 음성을 이용하여 기기를 제어하는 음성 인터페이스 기술이 발전하고 있으며, 이러한 발전에 힘 입어 최근 가정에는 음성 인터페이스를 기반으로 가정 내 기기를 제어할 수 있는 음성 기반 서비스장치가 설치 및 이용되기도 한다.Voice interface technology for controlling devices using the voice spoken by the user is developing, and thanks to this development, voice-based service devices that can control devices in the home based on the voice interface are recently installed and used in homes. do.

음성 인터페이스를 기반으로 가정 내 기기를 제어하는 음성 기반 서비스를 간단히 설명하면, 사용자가 음성으로 명령(입력)하면, 음성 기반 서비스장치는 사용자 발화에 따른 음성 명령을 수신하여 텍스트로 변환한 후, 텍스트에 대한 언어 분석을 통해 음성 명령의 발화 의도를 파악하고, 그에 따른 제어 동작을 수행하는 방식이다.Briefly, a voice-based service for controlling in-home devices based on a voice interface is described. When a user commands (inputs) with a voice, the voice-based service device receives a voice command according to the user's utterance, converts it into text, and then It is a method of identifying the intention of utterance of a voice command through a language analysis of , and performing a control operation accordingly.

이에, 음성 인터페이스 기술을 활용하는 음성 기반 서비스는, 사용자(이하, 발화자)가 리모컨 등 조작기기를 사용하지 않고도 음성 발화를 통해 미디어 시청을 제어하거나, 음성 발화를 통해 음악 청취를 제어하거나, 간단한 정보(예: 날씨, 뉴스 등)를 검색하는 등의 다양한 형태로 진화하고 있다.Accordingly, the voice-based service utilizing the voice interface technology allows the user (hereinafter referred to as the talker) to control media viewing through voice utterance, control music listening through voice utterance, or simple information without using a manipulation device such as a remote control. It is evolving into various forms such as searching (eg weather, news, etc.).

헌데, 현재의 음성 인터페이스 기술에서는, 사용자(이하, 발화자)의 음성 명령으로부터 발화 의도를 분석 및 파악할 수 있을 뿐, 음성으로부터 실제 발화자를 특정하는 기능을 제공하지 않고 있다.However, in the current voice interface technology, it is possible to analyze and grasp the utterance intention from the voice command of the user (hereinafter, referred to as the speaker), but does not provide a function of specifying the actual speaker from the voice.

한편, 미디어, 커머스 등 다양한 서비스 분야에서, 사용자에 대한 수집정보를 기반으로 사용자 성향을 분석함으로써, 특정 사용자에게 맞춤형 추천 서비스를 제공하기 위한 추천 기술들이 등장하였다.On the other hand, in various service fields such as media and commerce, recommendation technologies for providing a customized recommendation service to a specific user have emerged by analyzing user tendencies based on collected information about the user.

이러한 추천 기술에서는 사용자를 특정해야만 특정한 사용자에 타겟팅한 추천 서비스를 제공할 수 있는데, 현재의 음성 인터페이스 기술에서는 실제 발화자를 특정하는 기능을 제공하지 않기 때문에 발화자를 특정할 수 없어 추천 서비스 제공 자체가 불가능하다.In such a recommendation technology, a recommendation service targeted to a specific user can be provided only by specifying a user. However, since the current voice interface technology does not provide a function for specifying an actual speaker, it is impossible to specify the speaker, so it is impossible to provide the recommendation service itself. Do.

이에, 본 발명에서는, 음성 기반 서비스를 이용하는 실제 발화자를 특정하여 추천 서비스를 제공할 수 있는, 음성 기반 추천 서비스를 실현하고자 한다.Accordingly, the present invention intends to realize a voice-based recommendation service that can provide a recommendation service by specifying an actual speaker who uses the voice-based service.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 해결하고자 하는 과제는, 음성 기반 서비스를 이용하는 실제 발화자를 특정하여 추천 서비스를 제공할 수 있는, 음성 기반 추천 서비스를 실현하고자 한다.The present invention was created in view of the above circumstances, and an object to be solved by the present invention is to realize a voice-based recommendation service that can provide a recommendation service by specifying an actual speaker using the voice-based service.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 음성 기반 추천서비스장치는, 발화자의 통화 내용 분석을 통해 수집되는 음성 특징을 상기 발화자에 대한 식별자와 맵핑시켜, 발화자 음성 특징을 특정하는 발화자특정부; 상기 발화자 음성 특징이 특정된 각 발화자 별로, 발화자에 대한 행위정보를 수집하는 행위정보수집부; 및 상기 발화자 음성 특징이 특정된 각 발화자 별로, 발화자의 행위정보 기반의 추천 서비스를 제공하는 서비스제공부를 포함한다.In order to achieve the above object, a voice-based recommendation service apparatus according to a first aspect of the present invention maps a voice feature collected through analysis of a talker's call content with an identifier for the talker to specify the speaker's voice feature. part; a behavior information collection unit for collecting behavior information on the speaker for each speaker whose voice characteristics are specified; and a service providing unit that provides a recommendation service based on the speaker's behavior information for each speaker whose voice characteristics are specified.

구체적으로, 상기 발화자에 대한 식별자는, 상기 발화자의 통화 내용에서 분석된 음성 특징을 제공하는 이동단말의 비식별 ID일 수 있다.Specifically, the identifier for the talker may be a non-identifying ID of the mobile terminal that provides the voice characteristics analyzed from the talker's call details.

구체적으로, 상기 행위정보수집부는, 임의의 발화자에 의해 발화되는 음성 명령 인지 시, 상기 발화자 음성 특징 중 상기 인지한 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자 음성 특징이 존재하는지 확인하고, 상기 특정 발화자 음성 특징이 존재하는 경우, 상기 음성 명령에 따른 제어 동작과 관련이 있는 행위정보를 생성하여 상기 특정 발화자에 대한 행위정보로서 수집할 수 있다. Specifically, the behavior information collecting unit, when recognizing a voice command uttered by an arbitrary speaker, confirms whether a specific speaker voice characteristic matching the voice characteristic of the recognized voice command among the speaker's voice characteristics exists, and the specific When the speaker's voice feature is present, behavior information related to a control operation according to the voice command may be generated and collected as behavior information for the specific speaker.

구체적으로, 상기 행위정보수집부는, 이동단말로부터 특정 식별자와 맵핑된 행위정보 수신 시, 상기 발화자 음성 특징 중 상기 특정 식별자와 매칭되는 특정 발화자 음성 특징이 존재하는지 확인하고, 상기 특정 발화자 음성 특징이 존재하는 경우, 상기 수신한 행위정보를 상기 특정 발화자에 대한 행위정보로서 수집할 수 있다. Specifically, when receiving the behavior information mapped to the specific identifier from the mobile terminal, the behavior information collecting unit checks whether a specific speaker voice characteristic matching the specific identifier exists among the speaker voice characteristics, and the specific speaker voice characteristic is present. In this case, the received behavior information may be collected as behavior information for the specific speaker.

구체적으로, 상기 서비스제공부는, 발화자에 의해 발화되는 음성 명령을 수신한 음성 기반 서비스장치에서 음성 명령에 따른 제어 동작 시, 상기 발화자 음성 특징 중 상기 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자의 행위정보를 확인하고, 상기 확인한 행위정보 기반의 추천 서비스를 제공할 수 있다. Specifically, when the service providing unit performs a control operation according to a voice command in a voice-based service device that has received a voice command uttered by the speaker, an action of a specific speaker that matches the voice characteristic of the voice command among the speaker's voice characteristics It is possible to check the information and provide a recommendation service based on the checked behavior information.

구체적으로, 상기 서비스제공부는, 상기 특정 발화자의 행위정보를 기반으로 상기 음성 명령에 따른 발화 의도와 관련이 있는 추천 동작을 결정하고, 상기 결정한 추천 동작을 상기 추천 서비스로서 제공할 수 있다. Specifically, the service providing unit may determine a recommended action related to a speech intention according to the voice command based on the behavior information of the specific speaker, and provide the determined recommended action as the recommendation service.

구체적으로, 상기 발화자의 음성 특징은, 상기 발화자의 이동단말에 설치되어 통화 내용으로부터 음성 특징을 분석 및 제공하는 특정 어플리케이션으로부터 수집되며, 상기 특정 어플리케이션은, 상기 발화자의 통화 상대방이 상기 발화자의 가족구성원인 경우, 상기 발화자의 통화 내용으로부터 상기 상대방의 음성 특징을 추가로 분석하여 상기 음성 기반 추천서비스장치로 제공할 수 있다. Specifically, the voice characteristics of the talker are collected from a specific application installed in the speaker's mobile terminal to analyze and provide voice characteristics from the call contents, and the specific application is that the caller's call partner is a member of the speaker's family. , it is possible to further analyze the voice characteristics of the other party from the talker's call details and provide them to the voice-based recommendation service apparatus.

구체적으로, 상기 특정 어플리케이션은, 상기 음성 기반 서비스장치가 연결된 무선중계장치에 대해 관리되는 접속단말이력정보를 기반으로, 상기 상대방이 상기 접속단말이력정보 내 포함되는 이동단말인 경우 상기 상대방을 상기 발화자의 가족구성원으로 판단할 수 있다.Specifically, the specific application sets the other party as the talker when the counterpart is a mobile terminal included in the access terminal history information based on the access terminal history information managed for the wireless relay device to which the voice-based service device is connected. can be considered a member of the family of

상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 음성 기반 추천서비스장치의 동작 방법은, 발화자의 통화 내용 분석을 통해 수집되는 음성 특징을 상기 발화자에 대한 식별자와 맵핑시켜, 발화자 음성 특징을 특정하는 발화자특정단계; 상기 발화자 음성 특징이 특정된 각 발화자 별로, 발화자에 대한 행위정보를 수집하는 행위정보수집단계; 및 상기 발화자 음성 특징이 특정된 각 발화자 별로, 발화자의 행위정보 기반의 추천 서비스를 제공하는 서비스제공단계를 포함한다.In a method for operating a voice-based recommendation service apparatus according to a second aspect of the present invention for achieving the above object, a voice characteristic collected through analysis of a speaker's call content is mapped with an identifier for the speaker, and the speaker's voice characteristic is specified a speaker-specific step; a behavior information collection step of collecting behavior information about the speaker for each speaker whose voice characteristics are specified; and a service providing step of providing a recommendation service based on the speaker's behavior information for each speaker whose voice characteristics are specified.

구체적으로, 상기 행위정보수집단계는, 임의의 발화자에 의해 발화되는 음성 명령 인지 시, 상기 발화자 음성 특징 중 상기 인지한 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자 음성 특징이 존재하는지 확인하고, 상기 특정 발화자 음성 특징이 존재하는 경우, 상기 음성 명령에 따른 제어 동작과 관련이 있는 행위정보를 생성하여 상기 특정 발화자에 대한 행위정보로서 수집할 수 있다. Specifically, in the action information collection step, when a voice command uttered by an arbitrary speaker is recognized, it is checked whether a specific speaker voice characteristic matching the voice characteristic of the recognized voice command among the speaker voice characteristics exists, and the When a specific speaker's voice characteristic exists, behavior information related to a control operation according to the voice command may be generated and collected as behavior information for the specific speaker.

구체적으로, 상기 행위정보수집단계는, 이동단말로부터 특정 식별자와 맵핑된 행위정보 수신 시, 상기 발화자 음성 특징 중 상기 특정 식별자와 매칭되는 특정 발화자 음성 특징이 존재하는지 확인하고, 상기 특정 발화자 음성 특징이 존재하는 경우, 상기 수신한 행위정보를 상기 특정 발화자에 대한 행위정보로서 수집할 수 있다. Specifically, the action information collecting step includes, when receiving action information mapped with a specific identifier from the mobile terminal, confirming whether a specific speaker voice characteristic matching the specific identifier exists among the speaker voice characteristics, and the specific speaker voice characteristic is If present, the received behavior information may be collected as behavior information for the specific speaker.

구체적으로, 상기 서비스제공단계는, 발화자에 의해 발화되는 음성 명령을 수신한 음성 기반 서비스장치에서 음성 명령에 따른 제어 동작 시, 상기 발화자 음성 특징 중 상기 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자의 행위정보를 확인하고, 상기 확인한 행위정보 기반의 추천 서비스를 제공할 수 있다. Specifically, in the service providing step, when a control operation according to a voice command is performed in a voice-based service device that has received a voice command uttered by the talker, among the voice characteristics of the talker, a voice characteristic of a specific speaker matching the voice command is performed. It is possible to check the behavior information and provide a recommendation service based on the checked behavior information.

구체적으로, 상기 서비스제공단계는, 상기 특정 발화자의 행위정보를 기반으로 상기 음성 명령에 따른 발화 의도와 관련이 있는 추천 동작을 결정하고, 상기 결정한 추천 동작을 상기 추천 서비스로서 제공할 수 있다.Specifically, the service providing step may determine a recommended action related to a speech intention according to the voice command based on the behavior information of the specific speaker, and provide the determined recommended action as the recommendation service.

이에, 음성 기반 추천서비스장치 및 음성 기반 추천서비스장치의 동작 방법은, 음성 기반 서비스를 이용하는 실제 발화자를 특정하여 추천 서비스를 제공할 수 있는, 새로운 방식의 음성 기반 추천 서비스를 실현할 수 있다.Accordingly, the voice-based recommendation service device and the method of operating the voice-based recommendation service device can realize a new voice-based recommendation service that can provide a recommendation service by specifying an actual speaker using the voice-based service.

따라서, 본 발명에서는, 음성 기반 서비스를 이용하고 있는 실제 발화자를 특정하여 타겟팅한 추천 서비스를 제공하는 것이 가능해짐에 따라, 추천 서비스 제공 자체가 불가능한 기존 음성 기반 서비스의 한계를 벗어나는 효과 뿐 아니라, 음성 기반 서비스를 이용할 수 있는 여러 가족구성원 별로 최적의 추천 서비스를 제공하는 등 추천 서비스의 적용 범위를 확장하는 효과를 기대할 수 있다.Therefore, in the present invention, as it becomes possible to provide a targeted recommendation service by specifying an actual speaker using a voice-based service, it is possible to overcome the limitations of the existing voice-based service, which is impossible to provide the recommendation service, as well as the voice It can be expected to expand the scope of application of the recommendation service, such as providing the optimal recommendation service for each family member who can use the base service.

도 1은 본 발명이 적용되는 음성 기반 서비스 환경을 보여주는 예시도이다.
도 2는 본 발명의 바람직한 실시예에 따른 음성 기반 추천서비스장치의 구성을 보여주는 예시도이다.
도 3은 본 발명의 바람직한 실시예에 따른 음성 기반 추천서비스장치의 동작 방법을 보여주는 흐름도이다.1 is an exemplary diagram illustrating a voice-based service environment to which the present invention is applied.
2 is an exemplary diagram showing the configuration of a voice-based recommendation service apparatus according to a preferred embodiment of the present invention.
3 is a flowchart illustrating a method of operating a voice-based recommendation service apparatus according to a preferred embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

먼저, 도 1을 참조하여 본 발명이 적용되는 음성 기반 서비스 환경을 설명하도록 하겠다.First, a voice-based service environment to which the present invention is applied will be described with reference to FIG. 1 .

도 1에 도시된 바와 같이, 본 발명에서 제안하는 음성 기반 추천서비스장치가 적용되는 음성 기반 서비스 환경은, 가정 또는 사무실 등 특정 장소에 설치되는 음성 기반 서비스장치(10)를 기본으로 한다.As shown in FIG. 1 , the voice-based service environment to which the voice-based recommendation service device proposed in the present invention is applied is based on the voice-based service device 10 installed in a specific place such as home or office.

음성 기반 서비스장치(10)는, 사용자가 음성으로 명령하는 음성 명령(입력)을 수신하고 이를 기반으로 제어대상 기기를 제어하는 장치로서, 음성 인터페이스 지원을 기본으로 한다.The voice-based service device 10 is a device that receives a voice command (input) commanded by a user by voice and controls a control target device based on the received voice command, and based on a voice interface support.

이에, 음성 인터페이스를 기반으로 가정 내 기기를 제어하는 음성 기반 서비스를 간단히 설명하면, 사용자(1)가 음성으로 명령(입력)하면, 음성 기반 서비스장치(10)는 사용자 발화에 따른 음성 명령을 수신하여 텍스트로 변환한 후, 텍스트에 대한 언어 분석을 통해 음성 명령의 발화 의도를 파악하고, 그에 따른 제어 동작 예컨대 전등을 켜거나 TV를 틀거나 또는 자체 내장된 컨텐츠 스트리밍 기능을 통해 음악을 재생하는 등의 제어 동작을 수행하는 방식이다.Accordingly, briefly describing a voice-based service for controlling in-home devices based on a voice interface, when the user 1 commands (inputs) with a voice, the voice-based service device 10 receives a voice command according to the user's utterance. After converting the text into text, the intent of the speech command is identified through language analysis of the text, and control actions are performed accordingly, such as turning on a light, turning on a TV, or playing music through its built-in content streaming function. A method of performing the control operation of

이에, 음성 인터페이스 기술을 활용하는 음성 기반 서비스는, 사용자(이하, 발화자)가 리모컨 등 조작기기를 사용하지 않고도 음성 발화를 통해 TV를 켜고 끄거나 전등을 켜고 끄는 간단한 형태에서, 더 나아가 TV를 조작하여 미디어 시청(예: 영화, 방송 프로그램)을 제어하거나, 자체 내장된 컨텐츠 스트리밍 기능 또는 외부 별도 기기를 조작하여 음악 청취를 제어하거나, 간단한 정보(예: 날씨, 뉴스 등)를 검색하는 등의 다양한 형태로 진화하고 있다.Therefore, the voice-based service using voice interface technology is a simple form of turning on and off the TV or turning on and off the light through voice speech without the user (hereinafter, the talker) using a manipulation device such as a remote control, and furthermore, operating the TV to control media viewing (e.g., movies, broadcast programs), control listening to music by operating the built-in content streaming function or an external separate device, or searching for simple information (e.g., weather, news, etc.) evolving in form.

헌데, 현재의 음성 인터페이스 기술에서는, 사용자(이하, 발화자)의 음성 명령으로부터 발화 의도를 분석 및 파악할 수 있을 뿐, 음성으로부터 실제 발화자를 특정하는 기능을 제공하지 않고 있다.However, in the current voice interface technology, it is possible to analyze and grasp the utterance intention from the voice command of the user (hereinafter, referred to as the speaker), but does not provide a function of specifying the actual speaker from the voice.

한편, 미디어, 커머스 등 다양한 서비스 분야에서, 사용자에 대한 수집정보를 기반으로 사용자 성향을 분석함으로써, 특정 사용자에게 맞춤형 추천 서비스를 제공하기 위한 추천 기술들이 등장하였다.On the other hand, in various service fields such as media and commerce, recommendation technologies for providing a customized recommendation service to a specific user have emerged by analyzing user tendencies based on collected information about the user.

이러한 추천 기술에서는 사용자를 특정해야만 특정한 사용자에 타겟팅한 추천 서비스를 제공할 수 있는데, 현재의 음성 인터페이스 기술에서는 실제 발화자를 특정하는 기능을 제공하지 않기 때문에 음성 기반 서비스를 이용하는 실제 발화자를 특정할 수 없어 추천 서비스 제공 자체가 불가능하다.In such a recommendation technology, a recommendation service targeted to a specific user can be provided only by specifying the user. However, since the current voice interface technology does not provide a function to specify the actual speaker, it is impossible to specify the actual speaker using the voice-based service. It is impossible to provide a recommendation service itself.

이에, 본 발명에서는, 음성 기반 서비스를 이용하는 실제 발화자를 특정하여 추천 서비스를 제공할 수 있는, 음성 기반 추천 서비스를 실현하고자 한다.Accordingly, the present invention intends to realize a voice-based recommendation service that can provide a recommendation service by specifying an actual speaker who uses the voice-based service.

보다 구체적으로, 본 발명에서 실현하고자 하는 음성 기반 추천 서비스를 가능하게 하는 기술을 제안하며, 이러한 기술을 구현하는 음성 음성 기반 추천서비스장치를 제안하고자 한다.More specifically, the present invention proposes a technology enabling a voice-based recommendation service to be realized, and proposes a voice-based voice-based recommendation service apparatus implementing such a technology.

도 2는 본 발명의 일 실시예에 따른 음성 기반 추천서비스장치의 구성을 보여주고 있다.2 shows the configuration of a voice-based recommendation service apparatus according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 음성 기반 추천서비스장치(100)는, 발화자특정부(110), 행위정보수집부(120), 서비스제공부(130)를 포함할 수 있다.As shown in FIG. 1 , the voice-based recommendation service apparatus 100 according to an embodiment of the present invention may include a speaker specific unit 110 , an action information collection unit 120 , and a service providing unit 130 . have.

본 발명의 음성 기반 추천서비스장치(100)는, 음성 기반 서비스를 제공하는 음성 기반 서비스장치(10)와 일체로 구현될 수 있고, 이 경우 음성기반서비스부(140, 도 1의 음성 기반 서비스장치(10)과 대응)를 더 포함할 수 있다.The voice-based recommendation service apparatus 100 of the present invention may be implemented integrally with the voice-based service apparatus 10 that provides a voice-based service. In this case, the voice-based service unit 140 (the voice-based service apparatus of FIG. 1) (10) and corresponding) may be further included.

물론, 본 발명의 음성 기반 추천서비스장치(100)는, 음성 기반 서비스를 제공하는 음성 기반 서비스장치(10)와 분리 구현될 수 있고, 이 경우 통신부(150)를 통해 음성 기반 서비스장치(10)와 연동하여 후술에서 구체적으로 언급할 음성 기반 추천 서비스를 실현할 수도 있다.Of course, the voice-based recommendation service device 100 of the present invention may be implemented separately from the voice-based service device 10 that provides the voice-based service, and in this case, the voice-based service device 10 through the communication unit 150 In conjunction with , it is possible to realize a voice-based recommendation service, which will be described in detail later.

다만, 이하에서는 설명의 편의 상, 본 발명의 음성 기반 추천서비스장치(100)는, 음성 기반 서비스를 제공하는 음성 기반 서비스장치(10)와 일체로 구현되어, 음성기반서비스부(140, 도 1의 음성 기반 서비스장치(10)과 대응)를 더 포함하는 실시예를 언급하여 설명하겠다.However, hereinafter, for convenience of description, the voice-based recommendation service device 100 of the present invention is implemented integrally with the voice-based service device 10 that provides a voice-based service, and the voice-based service unit 140 (FIG. 1) of the voice-based service device 10 and corresponding) will be described with reference to an embodiment that further includes.

통신부(150)는, 유선 또는 무선 통신을 통해, 외부의 기기 예컨대 각종 제어대상 기기(20, 예: TV, 전등 등), 장소(예: 가정, 사무실 등) 내에서 인터넷 접속을 지원하는 무선중계장치(30), 이동단말(2)과 실질적인 통신 기능을 담당하는 구성이다.The communication unit 150 is a wireless relay that supports Internet access in an external device, for example, various control target devices (20, eg, TV, light, etc.), or a place (eg, home, office, etc.) through wired or wireless communication. The device 30 and the mobile terminal 2 are configured to perform a practical communication function.

이러한 통신부(150)는, 예컨대 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, 코덱(CODEC) 칩셋, 및 메모리 등을 포함하지만 이에 제한되지는 않으며, 이 기능을 수행하는 공지의 회로는 모두 포함할 수 있다.The communication unit 150 includes, but is not limited to, for example, an antenna system, an RF transceiver, one or more amplifiers, a tuner, one or more oscillators, a digital signal processor, a codec (CODEC) chipset, and a memory, etc., and performs this function All known circuits may be included.

이러한 음성 기반 추천서비스장치(100)의 구성 전체 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.All or at least a part of the configuration of the voice-based recommendation service apparatus 100 may be implemented in the form of a hardware module or a software module, or may be implemented in a form in which a hardware module and a software module are combined.

여기서, 소프트웨어 모듈이란, 예컨대, 음성 기반 추천서비스장치(100) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 음성 기반 추천서비스장치(100) 내 메모리에 탑재된 형태를 가질 수 있을 것이다.Here, the software module may be understood as, for example, a command executed by a processor for controlling operations in the voice-based recommendation service device 100 , and these commands are installed in a memory in the voice-based recommendation service device 100 . may have a form.

결국, 본 발명의 실시예에 따른 음성 기반 추천서비스장치(100)는 전술한 구성을 통해, 본 발명에서 제안하는 음성 기반 추천 서비스를 가능하게 하는 기술을 구현하며, 이하에서는 이를 구현하기 위한 음성 기반 추천서비스장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.As a result, the voice-based recommendation service apparatus 100 according to the embodiment of the present invention implements the technology for enabling the voice-based recommendation service proposed in the present invention through the above-described configuration, and hereinafter, a voice-based recommendation service for implementing the same is implemented. Each configuration in the recommendation service device 100 will be described in more detail.

발화자특정부(110)는, 발화자의 통화 내용 분석을 통해 수집되는 음성 특징을 상기 발화자에 대한 식별자와 맵핑시켜, 발화자 음성 특징을 특정하는 기능을 담당한다.The speaker specifying unit 110 is responsible for specifying the speaker's voice characteristics by mapping the voice characteristics collected through the analysis of the speaker's call contents with the identifier for the speaker.

즉, 발화자특정부(110)는, 발화자의 통화 내용 분석을 기반으로 발화자 음성 특징을 특정함으로써, 발화자를 특정할 수 있다.That is, the speaker specifying unit 110 may specify the speaker by specifying the speaker's voice characteristics based on the analysis of the speaker's call contents.

이하에서는, 발화자를 특정하는 구체적인 기술 구성에 대해 설명하겠다.Hereinafter, a specific technical configuration for specifying a speaker will be described.

본 발명의 일 실시예에 따르면, 본 발명의 음성 기반 추천 서비스를 이용하고자 하는 사용자 즉 잠재적 발화자는 자신의 이동단말(2)에 본 발명의 음성 기반 추천 서비스를 지원하는 특정 어플리케이션(이하, App(3))을 설치할 수 있다.According to an embodiment of the present invention, a user who wants to use the voice-based recommendation service of the present invention, that is, a potential talker, provides his/her mobile terminal 2 with a specific application supporting the voice-based recommendation service of the present invention (hereinafter, App( 3)) can be installed.

예를 들어, 음성 기반 서비스장치(10)가 구비된 가정을 가정하면, 가정 내 사용자 즉 가족구성원이 여러 명(예: 도 1의 1a, 1b,...)인 경우, 각 가족구성원(예: 1a, 1b,...)은 자신의 이동단말(예: 도 1의 2a, 2b,...)에 본 발명의 음성 기반 추천 서비스를 지원하는 App을 설치할 수 있다.For example, assuming a home equipped with the voice-based service device 10, if there are multiple users (eg, 1a, 1b, ... in FIG. 1 ) in the home, each family member (eg, : 1a, 1b, ...) may install an App supporting the voice-based recommendation service of the present invention in their mobile terminal (eg, 2a, 2b, ... in FIG. 1 ).

이하에서는, 설명의 편의 상 이동단말(2)를 언급하여 설명하겠다.Hereinafter, for convenience of description, the mobile terminal 2 will be referred to.

이와 같이, 이동단말(2)에 설치되어 본 발명의 음성 기반 추천 서비스를 지원하는 App(3)은, 이동단말(2)에서 통화 시마다, 사용자(발화자)의 통화 내용으로부터 음성 특징을 분석하고 분석한 음성 특징 및 사용자(발화자)에 대한 식별자를 음성 기반 추천서비스장치(100)로 제공할 수 있다.In this way, the App (3) installed in the mobile terminal 2 and supporting the voice-based recommendation service of the present invention analyzes and analyzes the voice characteristics from the call contents of the user (speaker) every time a call is made in the mobile terminal 2 One voice feature and an identifier for a user (speaker) may be provided to the voice-based recommendation service apparatus 100 .

여기서, 사용자(발화자)에 대한 식별자는, 발화자의 통화 내용에서 분석된 음성 특징을 제공하는 이동단말(2)의 비식별 ID일 수 있다.Here, the identifier for the user (speaker) may be a non-identifying ID of the mobile terminal 2 that provides the voice characteristics analyzed from the talker's call details.

이에, 발화자특정부(110)는, 이동단말(2)에 설치된 App(3)으로부터 이동단말(2)을 사용하는 사용자(발화자)의 음성 특징 및 식별자(예: 이동단말(2)의 비식별 ID)를 제공받는 방식으로, 이동단말(2)을 사용하는 사용자(발화자)에 대한 음성 특징을 수집할 수 있고, 수집한 음성 특징을 함께 제공받은 식별자(예: 이동단말(2)의 비식별 ID)와 맵핑시켜 저장하는 방식으로, 발화자 음성 특징(이동단말(2)의 비식별 ID - 음성 특징)을 특정할 수 있다.Accordingly, the speaker specific unit 110, the user (speaker) using the mobile terminal 2 from the App (3) installed in the mobile terminal (2) voice characteristics and identifiers (eg, non-identification of the mobile terminal 2) ID), it is possible to collect voice characteristics for a user (speaker) using the mobile terminal 2, and an identifier (eg, non-identification of the mobile terminal 2) provided with the collected voice characteristics. ID) and storing, it is possible to specify the speaker's voice characteristics (non-identifying ID of the mobile terminal 2 - voice characteristics).

결국, 발화자특정부(110)는, 이동단말(2)의 비식별 ID 및 이동단말(2)를 사용하는 사용자(발화자)에 대한 음성 특징을 맵핑/저장함으로써, 음성 특징을 기준으로 이동단말(2)의 사용자(발화자)를 특정할 수 있게 된다.As a result, the speaker specific unit 110 maps/stores the non-identification ID of the mobile terminal 2 and the voice characteristics for the user (speaker) using the mobile terminal 2, so that the mobile terminal ( 2) It becomes possible to specify the user (speaker).

음성 기반 서비스장치(10)가 구비된 가정 내 사용자 즉 가족구성원이 여러 명(예: 도 1의 1a, 1b,...)인 경우를 가정하면, 발화자특정부(110)는, 전술과 같은 방식으로 각 가족구성원의 발화자 음성 특징(예: 이동단말(2a)의 비식별 ID - 음성 특징/ 이동단말(2b)의 비식별 ID - 음성 특징/...)을 특정함으로써, 음성 특징을 기준으로 각 가족구성원을 특정할 수 있다.Assuming that there are several users (eg, 1a, 1b, ... in FIG. 1 ) in a home equipped with the voice-based service device 10 , the speaker specific unit 110 is configured as described above. By specifying the speaker's voice characteristics (eg, non-identifying ID of mobile terminal 2a - voice characteristics / non-identifying ID of mobile terminal 2b - voice characteristics /...) of each family member in a manner based on voice characteristics to identify each family member.

이상, 본 발명에 따르면, 음성 기반 서비스를 이용하고자 하는 발화자를 발화자 만이 갖는 특이한 음성 특징을 기준으로 특정함으로써, 음성으로부터 실제 발화자를 특정하는 기능을 실현할 수 있다.As described above, according to the present invention, the function of specifying the actual speaker from the voice can be realized by specifying the speaker who wants to use the voice-based service based on the specific voice characteristic only the speaker has.

행위정보수집부(120)는, 발화자특정부(110)에서 발화자 음성 특징이 특정된 각 발화자 별로, 발화자에 대한 행위정보를 수집하는 기능을 담당한다.The behavior information collection unit 120 is responsible for collecting behavior information about the speaker for each speaker whose voice characteristics are specified by the speaker specifying unit 110 .

본 발명의 일 실시예에 따르면, 행위정보수집부(120)는, 임의의 발화자에 의해 발화되는 음성 명령 인지 시, 발화자 음성 특징 중 금번 인지한 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자 음성 특징이 존재하는지 확인한다.According to an embodiment of the present invention, when the behavior information collection unit 120 recognizes a voice command uttered by an arbitrary speaker, a specific speaker's voice characteristic that matches the voice characteristic of the recognized voice command among the speaker's voice characteristics Check if this exists.

구체적으로 설명하면, 음성 기반 서비스를 이용하고자 하는 사용자(임의의 발화자)가 음성으로 명령(입력)하면, 음성기반서비스부(140)에서는 임의의 발화자에 의해 발화되는 음성 명령을 수신하고, 텍스트 변환, 언어 분석 등 음성 명령에 따른 제어 동작을 위한 제반 절차를 수행할 것이다.Specifically, when a user (arbitrary speaker) who wants to use a voice-based service commands (inputs) with a voice, the voice-based service unit 140 receives a voice command uttered by an arbitrary speaker, and converts text. , language analysis, etc., will perform all procedures for the control operation according to the voice command.

이때, 행위정보수집부(120)는, 전술과 같이 음성 명령에 따른 제어 동작을 위한 제반 절차를 수행하는 과정의 음성기반서비스부(140)와 연동하여, 임의의 발화자에 의해 발화되는 음성 명령을 인지할 수 있다.At this time, the behavior information collection unit 120 interlocks with the voice-based service unit 140 in the process of performing various procedures for a control operation according to a voice command as described above, and receives a voice command uttered by an arbitrary speaker. can be perceived

이에, 행위정보수집부(120)는, 임의의 발화자에 의해 발화되는 음성 명령을 인지하게 되면, 발화자특정부(110)에서 특정 및 저장하고 있는 발화자 음성 특징 중 금번 인지한 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자 음성 특징이 존재하는지 확인할 수 있다.Accordingly, when the behavior information collecting unit 120 recognizes a voice command uttered by an arbitrary speaker, the voice characteristic of the recognized voice command among the speaker voice characteristics specified and stored by the speaker specifying unit 110 . It can be checked whether there is a specific speaker's voice characteristic matching with .

그리고, 행위정보수집부(120)는, 금번 인지한 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자 음성 특징이 존재하는 경우, 금번 음성 명령에 따른 제어 동작과 관련이 있는 행위정보를 생성하여 특정 발화자에 대한 행위정보로서 수집할 수 있다. And, when there is a specific speaker's voice characteristic matching the voice characteristic of the recognized voice command this time, the behavior information collection unit 120 generates behavior information related to the control operation according to the current voice command to generate behavior information about the specific speaker. It can be collected as behavioral information about

구체적으로 설명하면, 임의의 발화자에 의해 발화되는 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자 음성 특징이 존재하는 경우라면, 금번 음성 명령을 발화한 임의의 발화자는 발화자특정부(110)에서 이미 음성 특징을 기준으로 특정된 발화자 즉 특정 발화자(예: 가족구성원 중 하나)일 것이다.Specifically, if there is a specific speaker voice characteristic matching the voice characteristic of the voice command uttered by the arbitrary speaker, the arbitrary speaker who uttered the voice command this time has already been voiced by the speaker specific unit 110 . It will be a specific speaker based on characteristics, i.e. a specific speaker (eg, one of the family members).

이에, 행위정보수집부(120)는, 금번 음성 명령에 따른 제어 동작과 관련이 있는 행위정보를 생성 및 특정 발화자(예: 가족구성원 중 하나)에 대한 행위정보로서 수집함으로써, 발화자 음성 특징이 특정된 각 발화자(예: 각 가족구성원) 별로 행위정보를 수집할 수 있다.Accordingly, the behavior information collection unit 120 generates behavior information related to the control operation according to the current voice command and collects it as behavior information for a specific speaker (eg, one of family members), so that the speaker's voice characteristics are specific. Behavioral information can be collected for each speaker (eg, each family member).

이때, 행위정보는, 금번 음성 명령에 따라 음성기반서비스부(140)에서 수행하는 제어 동작과 관련이 있게 생성되는 정보로서, 그 정보의 형태 및 종류는 발화자의 성향을 분석해낼 수 있는 것이라면 제한 없이 다양하게 가능할 것이다.At this time, the behavior information is information generated in relation to the control operation performed by the voice-based service unit 140 according to the current voice command, and the form and type of the information is not limited as long as it can analyze the speaker's disposition. It will be possible in various ways.

이러한 행위정보는, 음성 기반 서비스를 통해 수행한 제어 동작에 대한 정보(예: 제어 동작의 종류, 수행 시간 등)와, 제어 동작이 미디어 시청(예: 영화, 방송 프로그램) 또는 음악 청취인 경우 재생한 미디어 또는 음악에 대한 정보(예: 컨텐츠 식별자, 장르, 주인공, 가수 등)을 포함할 수 있다.Such behavior information includes information on the control operation performed through the voice-based service (eg, type of control operation, execution time, etc.), and playback when the control operation is watching media (eg, movie, broadcast program) or listening to music. It may include information about one media or music (eg, content identifier, genre, protagonist, singer, etc.).

이로써, 행위정보수집부(120)는, 발화자 음성 특징이 특정된 각 발화자 별로, 음성 기반 서비스를 이용할 때마다 해당 발화자의 음성 명령을 기반으로 행위정보를 수집할 수 있다.Accordingly, the behavior information collection unit 120 may collect behavior information based on a voice command of the speaker whenever a voice-based service is used for each speaker whose voice characteristics are specified.

또한, 본 발명의 다른 실시예에 따르면, 행위정보수집부(120)는, 이동단말(2, 특히 이동단말(2) 내 App(3))로부터 특정 식별자와 맵핑된 행위정보 수신 시, 발화자특정부(110)에서 특정 및 저장하고 있는 발화자 음성 특징 중 금번 수신한 특정 식별자와 매칭되는 특정 발화자 음성 특징이 존재하는지 확인한다.In addition, according to another embodiment of the present invention, the behavior information collection unit 120, when receiving behavior information mapped with a specific identifier from the mobile terminal (2, in particular, the App (3) in the mobile terminal 2), the speaker specific It is checked whether a specific speaker's voice characteristic matching the received specific identifier exists among the speaker's voice characteristics specified and stored in the unit 110 .

구체적으로 설명하면, 이동단말(2)에 설치되어 본 발명의 음성 기반 추천 서비스를 지원하는 App(3)은, 이동단말(2)에서 사용자에 의한 조작 시마다 행위정보를 제공하도록 정의된 조작이 발생하는지 모니터링하고, 정의된 조작이 발생하면 해당 조작에 따른 행위정보를 생성 및 사용자(발화자)에 대한 식별자 즉 이동단말(2)의 비식별 ID와 맵핑시켜, 음성 기반 추천서비스장치(100)로 제공할 수 있다.Specifically, in the App (3) installed in the mobile terminal (2) and supporting the voice-based recommendation service of the present invention, an operation defined to provide action information for each operation by the user in the mobile terminal (2) occurs. monitoring, and when a defined operation occurs, action information according to the operation is generated and mapped with an identifier for the user (speaker), that is, the non-identifying ID of the mobile terminal 2, and provided to the voice-based recommendation service device 100 can do.

이에, 행위정보수집부(120)는, 이동단말(2)의 비식별 ID와 맵핑된 행위정보가 수신되면, 발화자특정부(110)에서 특정 및 저장하고 있는 발화자 음성 특징 중 금번 수신한 이동단말(2)의 비식별 ID와 매칭되는 특정 발화자 음성 특징이 존재하는지 확인할 수 있다.Accordingly, when the behavior information mapped to the non-identification ID of the mobile terminal 2 is received, the behavior information collecting unit 120 receives the current received mobile terminal among the speaker voice characteristics specified and stored by the speaker specifying unit 110 . It can be checked whether a specific speaker's voice feature matching the de-identified ID of (2) exists.

그리고, 행위정보수집부(120)는, 금번 수신한 이동단말(2)의 비식별 ID와 매칭되는 특정 발화자 음성 특징이 존재하는 경우, 이와 맵핑/수신한 행위정보를 특정 발화자에 대한 행위정보로서 수집할 수 있다. And, when there is a specific speaker's voice feature matching the non-identifying ID of the mobile terminal 2 received this time, the behavior information collection unit 120 uses the mapped/received behavior information as behavior information for the specific speaker. can be collected

구체적으로 설명하면, 금번 수신한 이동단말(2)의 비식별 ID와 매칭되는 특정 발화자 음성 특징이 존재하는 경우라면, 이동단말(2)의 사용자(발화자)는 발화자특정부(110)에서 이미 음성 특징을 기준으로 특정된 발화자 즉 특정 발화자(예: 가족구성원 중 하나)일 것이다.More specifically, if there is a specific speaker voice characteristic matching the non-identification ID of the mobile terminal 2 received this time, the user (speaker) of the mobile terminal 2 has already spoken in the speaker specific unit 110 . It will be a specific speaker based on characteristics, i.e. a specific speaker (eg, one of the family members).

이에, 행위정보수집부(120)는, 금번 수신한 행위정보를 이동단말(2)의 비식별 ID와 매칭되는 특정 발화자(예: 가족구성원 중 하나)에 대한 행위정보로서 수집함으로써, 발화자 음성 특징이 특정된 각 발화자(예: 각 가족구성원) 별로 행위정보를 수집할 수 있다.Accordingly, the behavior information collection unit 120 collects the behavior information received this time as behavior information for a specific speaker (eg, one of family members) that matches the non-identifying ID of the mobile terminal 2, so that the speaker's voice features Behavior information can be collected for each specified speaker (eg, each family member).

이때, 행위정보는, App(3)이 행위정보를 제공하도록 정의된 조작과 관련하여 생성되는 정보로서, 그 정보의 형태 및 종류는 발화자의 성향을 분석해낼 수 있는 것이라면 제한 없이 다양하게 가능할 것이다.At this time, the behavior information, as information generated in relation to the operation defined to provide the behavior information by the App (3), the form and type of the information will be various without limitation as long as it can analyze the speaker's disposition.

이러한 행위정보는, 조작에 대한 정보(예: 조작의 종류, 조작 시간 등)와, 조작이 미디어 시청(예: 영화, 방송 프로그램) 또는 음악 청취인 경우 재생한 미디어 또는 음악에 대한 정보(예: 컨텐츠 식별자, 장르, 주인공, 가수 등)을 포함할 수 있다.Such behavior information includes information about manipulation (eg, type of manipulation, time of manipulation, etc.), and information about the media or music played when the manipulation is media viewing (eg, movie, broadcast program) or music listening (eg: content identifier, genre, protagonist, singer, etc.).

이로써, 행위정보수집부(120)는, 발화자 음성 특징이 특정된 각 발화자 별로, 발화자(사용자)가 이동단말에서 행위정보 수집을 위해 정의된 조작을 할 때마다 해당 발화자의 이동단말(특정 App)을 기반으로 행위정보를 수집할 수 있다.Accordingly, the behavior information collection unit 120, for each speaker whose voice characteristics are specified, whenever the speaker (user) performs an operation defined for collecting behavior information in the mobile terminal, the speaker's mobile terminal (specific App) behavior information can be collected based on

이상, 본 발명에 따르면, 음성 특징을 기준으로 특정되는 각 발화자 별로, 해당 발화자의 성향을 분석하는데 필요한 정보로서의 행위정보를 수집함으로써, 이후 실제 발화자의 성향 분석 시 사용될 수 있도록 한다.As described above, according to the present invention, for each speaker specified based on the voice characteristics, behavior information as information necessary for analyzing the speaker's tendency is collected, so that it can be used for analysis of the actual speaker's tendency later.

서비스제공부(130)는, 발화자 음성 특징이 특정된 각 발화자 별로, 발화자의 행위정보 기반의 추천 서비스를 제공하는 기능을 담당한다.The service providing unit 130 is responsible for providing a recommendation service based on the speaker's behavior information for each speaker whose voice characteristics are specified.

구체적으로, 서비스제공부(130)는, 발화자에 의해 발화되는 음성 명령을 수신한 음성 기반 서비스장치(10, 또는 음성기반서비스부(140))에서 음성 명령에 따른 제어 동작 시, 발화자 음성 특징 중 금번 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자의 행위정보를 확인하고, 확인한 행위정보 기반의 추천 서비스를 제공할 수 있다. Specifically, the service providing unit 130 performs a control operation according to the voice command in the voice-based service device 10 or the voice-based service unit 140 that has received the voice command uttered by the speaker, among the speaker voice characteristics. It is possible to check behavior information of a specific speaker that matches the voice characteristics of the current voice command, and provide a recommendation service based on the verified behavior information.

실시예를 구체적으로 설명하면, 앞서 설명한 바와 같이 음성 기반 서비스를 이용하고자 하는 사용자(임의의 발화자)가 음성으로 명령(입력)하면, 음성기반서비스부(140, 또는 음성 기반 서비스장치(10))에서는 임의의 발화자에 의해 발화되는 음성 명령을 수신하고, 텍스트 변환, 언어 분석 등 음성 명령에 따른 제어 동작을 위한 제반 절차를 수행할 것이다.Specifically, as described above, when a user (arbitrary speaker) who wants to use a voice-based service commands (inputs) with a voice, the voice-based service unit 140 (or the voice-based service device 10) will receive a voice command uttered by an arbitrary speaker, and perform all procedures for a control operation according to the voice command, such as text conversion and language analysis.

이때, 서비스제공부(130)는, 전술과 같이 음성 명령에 따른 제어 동작을 위한 제반 절차를 수행하는 과정의 음성기반서비스부(140)와 연동하여, 임의의 발화자에 의해 발화되는 음성 명령을 인지하고 금번 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자의 행위정보가 존재하는지 확인할 수 있다.At this time, the service providing unit 130 recognizes a voice command uttered by an arbitrary speaker by interworking with the voice-based service unit 140 in the process of performing various procedures for a control operation according to a voice command as described above. and check whether there is behavior information of a specific speaker that matches the voice characteristics of the current voice command.

임의의 발화자에 의해 발화되는 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자의 행위정보가 존재하는 경우라면, 금번 음성 명령을 발화한 임의의 발화자는 발화자특정부(110)에서 이미 음성 특징을 기준으로 특정된 발화자 즉 특정 발화자(예: 가족구성원 중 하나)일 것이며, 따라서 행위정보가 수신되어 있기 때문에 존재가 확인될 수 있는 것이다.If there is behavior information of a specific speaker that matches the voice characteristics of the voice command uttered by the arbitrary speaker, the arbitrary speaker who has uttered the current voice command is already in the speaker specific unit 110 based on the voice characteristics. It will be a specific speaker, that is, a specific speaker (eg, one of family members), and therefore the existence can be confirmed because behavior information is received.

서비스제공부(130)는, 금번 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자의 행위정보가 존재 확인되면, 확인된 특정 발화자의 행위정보를 기반으로 금번 음성 명령에 따른 발화 의도와 관련이 있는 추천 동작을 결정하고, 결정한 추천 동작을 추천 서비스로서 제공한다.When it is confirmed that the behavior information of a specific speaker that matches the voice characteristic of the current voice command exists, the service providing unit 130 recommends related to the utterance intention according to the current voice command based on the confirmed behavior information of the specific speaker. An action is determined, and the determined recommended action is provided as a recommendation service.

예를 들면, 서비스제공부(130) 또는 별도의 분석엔진(미도시)는, 확인된 특정 발화자의 행위정보를 분석하여 금번 확인된 특정 발화자의 성향을 분석할 수 있다. 개인의 수집정보를 기반으로 상향을 분석하는 분석 방식은 기준의 다양한 분석 알고리즘 중 채택하여 사용할 수 있으므로, 구체적인 분석 과정에 대한 설명은 생략하겠다.For example, the service providing unit 130 or a separate analysis engine (not shown) may analyze the behavior information of the identified specific speaker to analyze the current identified tendency of the specific speaker. Since the analysis method that analyzes the upward movement based on the collected information of individuals can be used among various analysis algorithms of the standard, the detailed analysis process will be omitted.

이렇게 분석된 발화자의 성향은, 미디어 시청 또는 음악 청취 시 어떤 장르를 선호하는지, 어떤 주인공 또는 가수를 선호하는지, 또는 최근에 자주 시청 또는 청취한 미디어 또는 음악 컨텐츠가 무엇인지, 시간대 별로 가장 빈번하게 이용한 음성 기반 서비스가 어떤 것인지(예: 미디어 시청, 음악 청취, 전등 On/Off 등), 기 설정된 시간 간격(예: 3분) 이내에 연속 이용된 음성 기반 서비스의 종류가 어떤 것인지 등으로 분석될 수 있다. The speaker's disposition analyzed in this way is, when watching media or listening to music, which genre they prefer, which main character or singer, or what media or music content they have recently watched or listened to most frequently, by time period. The voice-based service can be analyzed (eg, watching media, listening to music, turning on/off lights, etc.) and the type of voice-based service continuously used within a preset time interval (eg, 3 minutes). .

물론, 이외에도 채택한 분석 알고리즘 또는 수집한 행위정보의 형태 및 종류에 따라, 분석되는 성향 내용도 다양하게 달라질 수 있을 것이다.Of course, the content of the tendency to be analyzed may also vary according to the type and type of the adopted analysis algorithm or the collected behavioral information.

이에, 서비스제공부(130)는, 확인된 특정 발화자의 행위정보를 분석하여 얻은 성향을 근거로, 금번 음성 명령에 따른 발화 의도와 관련이 있는 추천 동작을 결정할 수 있다.Accordingly, the service providing unit 130 may determine the recommended action related to the intention of the speech according to the current voice command, based on the propensity obtained by analyzing the identified behavior information of the specific speaker.

예를 들면, 서비스제공부(130)는, 금번 음성 명령에 따른 음성 기반 서비스를 위한 제반 절차에서 금번 음성 명령의 발화 의도가 미디어 시청 제어를 위한 것으로 파악된 경우라면, 금번 음성 명령을 발화한 실제 발화자의 행위정보를 분석하여 얻은 성향을 근거로, 미디어 시청과 관련하여 최근 자주 시청한 미디어 컨텐츠의 정보를 알려주는 동작을 추천 동작으로 결정할 수 있다.For example, if it is determined that the utterance intention of the current voice command is for media viewing control in the overall procedure for the voice-based service according to the current voice command, the service providing unit 130 may actually utter the current voice command. Based on the disposition obtained by analyzing the behavioral information of the speaker, an operation of notifying information of recently frequently viewed media content in relation to media viewing may be determined as a recommended operation.

또 다른 예를 들면, 서비스제공부(130)는, 금번 음성 명령에 따른 음성 기반 서비스를 위한 제반 절차에서 금번 음성 명령의 발화 의도가 전등 On/Off 제어를 위한 것으로 파악된 경우라면, 금번 음성 명령을 발화한 실제 발화자의 행위정보를 분석하여 얻은 성향을 근거로, 전등 On/Off와 관련하여 전등 On/Off 제어 후 연속 이용된 음성 기반 서비스(예: 음악 청취 제어)를 파악, 음성 청취를 할 것인지 물어보는 안내 동작을 추천 동작으로 결정할 수 있다.As another example, if the service providing unit 130 determines that the utterance intention of the current voice command is to control the light on/off in the overall procedure for the voice-based service according to the current voice command, the current voice command Based on the propensity obtained by analyzing the behavior information of the actual speaker who uttered It is possible to determine a guidance motion of asking whether it is a recommended motion.

이에, 서비스제공부(130)는, 전술과 같이 금번 음성 명령을 발화한 발화자 즉 음성 기반 서비스를 이용하고자 음성 명령을 발화한 실제 발화자를 특정하여, 금번 음성 명령 및 특정한 실제 발화자의 행위정보를 기반으로 실제 발화자의 성향에 따라 타겟팅한 추천 동작을 추천 서비스로서 제공할 수 있다. Accordingly, as described above, the service providing unit 130 specifies the speaker who uttered the current voice command, that is, the actual speaker who uttered the voice command to use the voice-based service, based on the current voice command and the behavior information of the specific actual speaker. In this way, it is possible to provide a recommended operation targeted according to the tendency of the actual speaker as a recommendation service.

이상에서 설명한 바와 같이, 본 발명에 따르면, 음성 기반 서비스를 이용하고 있는 실제 발화자를 특정하여, 실제 발화자의 성향에 따라 타겟팅한 추천 서비스를 제공할 수 있는, 새로운 방식의 음성 기반 추천 서비스를 실현할 수 있다.As described above, according to the present invention, it is possible to realize a new type of voice-based recommendation service that can provide a targeted recommendation service according to the propensity of the actual speaker by specifying the actual speaker using the voice-based service. have.

이에, 본 발명에 따르면, 여러 명의 가족구성원(예: 도 1의 1a, 1b,...)이 음성 기반 서비스를 이용하는 환경에서도, 가족구성원 각각을 특정하여 음성 기반 서비스를 이용하는 실제 발화자(실제 가족구성원)의 성형에 따라 타겟팅한 최적의 추천 서비스를 제공할 수 있게 된다.Accordingly, according to the present invention, even in an environment where several family members (eg, 1a, 1b, ... in FIG. 1) use the voice-based service, the actual speaker (real family member) who uses the voice-based service by specifying each family member It is possible to provide a targeted optimal recommendation service according to the shape of the member).

보다 다양한 실시예에 따르면, 도 1에 도시된 여러 명의 가족구성원(예: 도 1의 1a, 1b,...)이 음성 기반 서비스를 이용하는 환경에서, 일부 가족구성원(예: 1a)의 이동단말(예: 도 1의 2a)에는 본 발명의 음성 기반 추천 서비스를 지원하는 App이 미 설치되어 있을 수 있다.According to more various embodiments, in an environment where several family members shown in FIG. 1 (eg, 1a, 1b, ... in FIG. 1) use a voice-based service, a mobile terminal of some family members (eg, 1a) In (eg, 2a of FIG. 1 ), an App supporting the voice-based recommendation service of the present invention may not be installed.

이 경우, 이동단말(예: 도 1의 2a)에 본 발명의 음성 기반 추천 서비스를 지원하는 App이 미 설치되어 있는 가족구성원(예: 1a) 즉 발화자(1a)에 대해서도, 발화자 특정 및 행위정보를 수집할 수 있도록 하는 방법이 필요할 것이다.In this case, even for a family member (eg, 1a), that is, the speaker 1a, for which the App supporting the voice-based recommendation service of the present invention is not installed in the mobile terminal (eg, 2a in FIG. 1 ), speaker identification and behavior information You will need a way to collect them.

이를 위해, 본 발명에서 이동단말(2)에 설치되는 특정 어플리케이션 즉 App(3)은, 이동단말(2)에서 통화 시마다, 사용자(발화자)의 통화 상대방이 발화자의 가족구성원인 경우 발화자의 통화 내용으로부터 상대방의 음성 특징을 추가로 분석하여 음성 기반 추천서비스장치(100)로 제공할 수 있다.To this end, in the present invention, a specific application installed in the mobile terminal 2, that is, the App (3), whenever the mobile terminal (2) makes a call, when the user (speaker) is a member of the talker's family, the talker's call content It is possible to additionally analyze the voice characteristics of the other party and provide them to the voice-based recommendation service apparatus 100 .

예를 들어, 이동단말(2b)에는 본 발명의 음성 기반 추천 서비스를 지원하는 App(이하, 3b)가 설치된 것으로 가정하겠다.For example, it is assumed that an App (hereinafter, 3b) supporting the voice-based recommendation service of the present invention is installed in the mobile terminal 2b.

보다 구체적으로 설명하면, 이동단말(2b)에 설치되는 App(3b)은, 이동단말(2b)에서 통화 시마다, 음성 기반 서비스장치(10 또는 음성기반서비스부(140)가 연결된 무선중계장치(30)에 대해 관리되는 접속단말이력정보를 기반으로, 사용자(발화자)의 통화 상대방이 접속단말이력정보 내 포함되는 이동단말인지 확인할 수 있다. More specifically, the App 3b installed in the mobile terminal 2b is the wireless repeater 30 to which the voice-based service device 10 or the voice-based service unit 140 is connected whenever a call is made in the mobile terminal 2b. ), based on the managed access terminal history information, it is possible to check whether the call party of the user (speaker) is a mobile terminal included in the access terminal history information.

즉, App(3b)은, 이동단말(2b)에서 통화하는 상대방 이동단말(예: 2a)의 식별정보(예: 전화번호 등)을 알고 있으므로, 상대방 이동단말(예: 2a)의 식별정보(예: 전화번호 등)가 무선중계장치(30)의 접속단말이력정보 내 포함되어 있는지 확인하는 것이다.That is, the App (3b) knows the identification information (eg, phone number, etc.) of the other party's mobile terminal (eg, 2a) called from the mobile terminal (2b), so the identification information (eg, 2a) of the other party's mobile terminal (eg, 2a) For example, a telephone number, etc.) is checked whether the access terminal history information of the wireless repeater 30 is included.

이에, 이동단말(2b)에 설치되는 App(3b)은, 사용자(발화자)의 통화 상대방이 접속단말이력정보 내 포함되는 이동단말인 경우, 금번 통화 상대방을 발화자의 가족구성원으로 판단할 수 있다.Accordingly, the App 3b installed in the mobile terminal 2b may determine the current call counterpart as a member of the speaker's family when the user (speaker)'s call counterpart is a mobile terminal included in the access terminal history information.

이는, 인증을 통해 무선중계장치(30)에 접속하여 인터넷을 사용한 이력이 있는 이동단말의 사용자(통화 상대방)라면, 해당 이동단말의 사용자(발화자)와 가족인 것으로 보아도 무방할 것이라는 사실에 기인한다.This is due to the fact that, if the user (the caller) of the mobile terminal has a history of using the Internet by accessing the wireless repeater 30 through authentication, it can be regarded as a family member of the user (speaker) of the mobile terminal. .

이동단말(2b)에 설치되는 App(3b)은, 사용자(발화자)의 통화 상대방 예컨대 이동단말(2a)가 발화자의 가족구성원이라고 판단되면, 금번 발화자의 통화 내용으로부터 상대방의 음성 특징을 추가로 분석하여 상대방 이동단말(2a)에 대한 식별자(이동단말(2a)의 비식별ID)와 함께 음성 기반 추천서비스장치(100)로 제공할 수 있다.App (3b) installed in the mobile terminal (2b), when it is determined that the user (speaker)'s call counterpart, e.g., the mobile terminal 2a, is a member of the talker's family, the voice characteristics of the other party are further analyzed from the current talker's call Thus, it can be provided to the voice-based recommendation service apparatus 100 together with an identifier for the counterpart mobile terminal 2a (non-identification ID of the mobile terminal 2a).

이렇게 되면, 음성 기반 추천서비스장치(100) 내 발화자특정부(110)는, 이동단말(2b)에 설치된 App(3b)으로부터 한번의 통화 내용에서 분석한 이동단말(2b)의 사용자(발화자) 음성 특징 및 식별자(예: 이동단말(2b)의 비식별 ID)와 이동단말(2a)의 사용자(발화자) 음성 특징 및 식별자(예: 이동단말(2a)의 비식별 ID)를 제공받아 맵핑/저장함으로써, 본 발명의 음성 기반 추천 서비스를 지원하는 App이 설치되지 않은 가족구성원의 발화자 음성 특징(이동단말(2a)의 비식별 ID - 음성 특징)까지도 특정할 수 있다.In this case, the speaker specific unit 110 in the voice-based recommendation service device 100, the user (speaker) voice of the mobile terminal 2b analyzed from the content of one call from the App 3b installed in the mobile terminal 2b Map/store by receiving features and identifiers (eg, non-identifying ID of mobile terminal 2b) and user (speaker) voice features and identifiers (eg, non-identifying ID of mobile terminal 2a) of mobile terminal 2a By doing so, it is possible to specify even the speaker's voice characteristics (non-identifying ID of the mobile terminal 2a - voice characteristics) of a family member in which the App supporting the voice-based recommendation service of the present invention is not installed.

이상에서 설명한 바와 같이, 본 발명에 따른 음성 기반 추천서비스장치(100)는, 음성 기반 서비스를 이용하고 있는 실제 발화자를 특정하여 실제 발화자의 성향에 따라 타겟팅한 추천 서비스를 제공할 수 있는, 새로운 방식의 음성 기반 추천 서비스를 실현할 수 있다.As described above, the voice-based recommendation service apparatus 100 according to the present invention is a new method that can provide a targeted recommendation service according to the propensity of the actual speaker by specifying the actual speaker using the voice-based service. of voice-based recommendation service can be realized.

이처럼 본 발명에서는, 음성 기반 서비스를 이용하는 실제 발화자를 특정하여 추천 서비스를 제공할 수 있는 기술을 실현함으로써, 추천 서비스 제공 자체가 불가능한 기존 음성 기반 서비스의 한계를 벗어나는 효과 뿐 아니라, 음성 기반 서비스를 이용할 수 있는 여러 가족구성원 별로 최적의 추천 서비스를 제공하는 등 추천 서비스의 적용 범위를 확장하는 효과를 기대할 수 있다.As described above, in the present invention, by realizing a technology capable of providing a recommendation service by specifying an actual speaker using a voice-based service, the present invention not only overcomes the limitations of the existing voice-based service in which it is impossible to provide the recommendation service itself, but also uses the voice-based service. It can be expected to expand the scope of application of the recommendation service, such as providing the optimal recommendation service for each family member that can be accommodated.

이하에서는, 도 3을 참조하여 본 발명의 실시예에 따른 음성 기반 추천서비스장치의 동작 방법, 달리 말하면 음성 기반 추천서비스를 제공하는 흐름을 구체적으로 설명하도록 한다. Hereinafter, a method of operating a voice-based recommendation service apparatus according to an embodiment of the present invention, in other words, a flow of providing a voice-based recommendation service will be described in detail with reference to FIG. 3 .

설명의 편의를 위해 전술의 도 1 및 도 2에서 언급한 참조번호를 언급하여 설명하도록 하겠다. For convenience of description, the reference numerals mentioned in FIGS. 1 and 2 above will be referred to.

본 발명의 실시예에 따른 음성 기반 추천서비스장치의 동작 방법에서 음성 기반 추천서비스장치(100)는, 발화자의 통화 내용 분석을 통해 수집되는 음성 특징을 상기 발화자에 대한 식별자와 맵핑시켜, 발화자 음성 특징을 특정한다(S10,S20).In the method of operating a voice-based recommendation service device according to an embodiment of the present invention, the voice-based recommendation service device 100 maps the voice characteristics collected through analysis of the talker's call content with the identifier for the talker, and the speaker's voice characteristics is specified (S10, S20).

구체적으로 설명하면, 이동단말(2)에 설치되어 본 발명의 음성 기반 추천 서비스를 지원하는 App(3)은, 이동단말(2)에서 통화 시마다, 사용자(발화자)의 통화 내용으로부터 음성 특징을 분석하고 분석한 음성 특징 및 사용자(발화자)에 대한 식별자를 음성 기반 추천서비스장치(100)로 제공할 수 있다.Specifically, the App (3) installed in the mobile terminal 2 and supporting the voice-based recommendation service of the present invention analyzes the voice characteristics from the call contents of the user (speaker) every time the mobile terminal 2 calls. and may provide the analyzed voice feature and an identifier for the user (speaker) to the voice-based recommendation service apparatus 100 .

여기서, 사용자(발화자)에 대한 식별자는, 발화자의 통화 내용에서 분석된 음성 특징을 제공하는 이동단말(2)의 비식별 ID일 수 있다.Here, the identifier for the user (speaker) may be a non-identifying ID of the mobile terminal 2 that provides the voice characteristics analyzed from the talker's call details.

이에, 음성 기반 추천서비스장치(100)는, 이동단말(2)에 설치된 App(3)으로부터 이동단말(2)을 사용하는 사용자(발화자)의 음성 특징 및 식별자(예: 이동단말(2)의 비식별 ID)를 제공받아 수신하는 방식으로이동단말(2)을 사용하는 사용자(발화자)에 대한 음성 특징을 수집할 수 있고(S10), 수집한 음성 특징을 함께 제공받은 식별자(예: 이동단말(2)의 비식별 ID)와 맵핑시켜 저장하는 방식으로, 발화자 음성 특징(이동단말(2)의 비식별 ID - 음성 특징)을 특정할 수 있다(S20).Accordingly, the voice-based recommendation service apparatus 100 provides the voice characteristics and identifiers of the user (speaker) using the mobile terminal 2 from the App 3 installed in the mobile terminal 2 (eg, the mobile terminal 2). In a manner of receiving and receiving a non-identification ID), voice characteristics for a user (speaker) using the mobile terminal 2 can be collected (S10), and an identifier (eg, a mobile terminal) provided with the collected voice characteristics together. In a method of mapping and storing with the non-identified ID of (2), it is possible to specify the speaker's voice characteristics (non-identified ID of the mobile terminal 2 - voice characteristics) (S20).

결국, 본 발명의 실시예에 따른 음성 기반 추천서비스장치의 동작 방법에서 음성 기반 추천서비스장치(100)는, 이동단말(2)의 비식별 ID 및 이동단말(2)를 사용하는 사용자(발화자)에 대한 음성 특징을 맵핑/저장함으로써, 음성 특징을 기준으로 이동단말(2)의 사용자(발화자)를 특정할 수 있게 된다.After all, in the method of operating the voice-based recommendation service device according to the embodiment of the present invention, the voice-based recommendation service device 100 includes a non-identifying ID of the mobile terminal 2 and a user (speaker) using the mobile terminal 2 . By mapping/storing the voice characteristics to , it is possible to specify the user (speaker) of the mobile terminal 2 based on the voice characteristics.

음성 기반 서비스장치(10)가 구비된 가정 내 사용자 즉 가족구성원이 여러 명(예: 도 1의 1a, 1b,...)인 경우를 가정하면, 음성 기반 추천서비스장치(100)는, 전술과 같은 방식으로 각 가족구성원 2 이상의 발화자 음성 특징(예: 이동단말(2a)의 비식별 ID - 음성 특징/ 이동단말(2b)의 비식별 ID - 음성 특징/...)을 특정함으로써, 음성 특징을 기준으로 각 가족구성원을 특정할 수 있다.Assuming that there are several users (eg, 1a, 1b, ... in FIG. 1 ) in a home equipped with the voice-based service device 10 , the voice-based recommendation service device 100 provides the By specifying the voice characteristics of two or more speakers of each family member (eg, non-identifying ID of mobile terminal 2a - voice characteristic / non-identifying ID of mobile terminal 2b - voice characteristic /...) in the same way as Each family member can be identified based on characteristics.

그리고 본 발명의 실시예에 따른 음성 기반 추천서비스장치의 동작 방법에서 음성 기반 추천서비스장치(100)는, S20단계에서 발화자 음성 특징이 특정된 각 발화자 별로, 발화자에 대한 행위정보를 수집한다(S30).And in the method of operating the voice-based recommendation service device according to the embodiment of the present invention, the voice-based recommendation service device 100 collects behavior information about the talker for each speaker whose voice characteristics are specified in step S20 (S30). ).

구체적으로 설명하면, 음성 기반 추천서비스장치(100)는, 발화자 음성 특징이 특정된 각 발화자 별로, 음성 기반 서비스를 이용할 때마다 해당 발화자의 음성 명령을 기반으로 행위정보를 수집할 수도 있고, 발화자(사용자)가 이동단말에서 행위정보 수집을 위해 정의된 조작을 할 때마다 해당 발화자의 이동단말(특정 App)을 기반으로 행위정보를 수집할 수도 있다(S30).Specifically, the voice-based recommendation service apparatus 100 may collect behavior information based on the speaker's voice command whenever the voice-based service is used for each speaker whose voice characteristics are specified, and the speaker ( Whenever a user) performs an operation defined for collecting behavior information in the mobile terminal, behavior information may be collected based on the speaker's mobile terminal (specific App) (S30).

먼저, 발화자의 음성 명령을 기반으로 행위정보를 수집하는 과정을 설명하면, 음성 기반 추천서비스장치(100)는, 임의의 발화자에 의해 발화되는 음성 명령에 따른 제어 동작을 위한 제반 절차를 수행하여 음성 기반 서비스를 제공하는 과정에서, 임의의 발화자에 의해 발화되는 음성 명령을 인지할 수 있다.First, the process of collecting behavior information based on the speaker's voice command will be described. The voice-based recommendation service device 100 performs various procedures for a control operation according to a voice command uttered by an arbitrary speaker to perform a voice In the process of providing the base service, a voice command uttered by an arbitrary speaker may be recognized.

그리고, 음성 기반 추천서비스장치(100)는, 임의의 발화자에 의해 발화되는 음성 명령을 인지하게 되면, S20단계에서 특정 및 저장하고 있는 발화자 음성 특징 중 금번 인지한 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자 음성 특징이 존재하는지 확인할 수 있다.And, when the voice-based recommendation service apparatus 100 recognizes a voice command uttered by an arbitrary speaker, the voice characteristic of the recognized voice command is matched among the speaker voice characteristics specified and stored in step S20. It can be checked whether a specific speaker voice characteristic is present.

음성 기반 추천서비스장치(100)는, 금번 인지한 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자 음성 특징이 존재하는 경우, 금번 음성 명령에 따른 제어 동작과 관련이 있는 행위정보를 생성하여 특정 발화자에 대한 행위정보로서 수집할 수 있다. The voice-based recommendation service apparatus 100 generates behavioral information related to a control operation according to the current voice command when there is a specific speaker's voice characteristic matching the voice characteristic of the recognized voice command, and sends it to the specific speaker. It can be collected as behavioral information about

이로써, 음성 기반 추천서비스장치(100)는, 발화자 음성 특징이 특정된 각 발화자 별로, 음성 기반 서비스를 이용할 때마다 해당 발화자의 음성 명령을 기반으로 행위정보를 수집할 수 있다.Accordingly, the voice-based recommendation service apparatus 100 may collect behavior information based on the speaker's voice command whenever the voice-based service is used for each speaker whose voice characteristics are specified.

한편, 발화자의 이동단말(특정 App)을 기반으로 행위정보를 수집하는 과정을 설명하면, 이동단말(2)에 설치되어 본 발명의 음성 기반 추천 서비스를 지원하는 App(3)은, 이동단말(2)에서 사용자에 의한 조작 시마다 행위정보를 제공하도록 정의된 조작이 발생하는지 모니터링하고, 정의된 조작이 발생하면 해당 조작에 따른 행위정보를 생성 및 사용자(발화자)에 대한 식별자 즉 이동단말(2)의 비식별 ID와 맵핑시켜, 음성 기반 추천서비스장치(100)로 제공할 수 있다.On the other hand, if the process of collecting behavior information based on the speaker's mobile terminal (specific App) is described, the App (3) installed in the mobile terminal (2) and supporting the voice-based recommendation service of the present invention is the mobile terminal ( In 2), it monitors whether an operation defined to provide behavior information every time a user operates occurs, and when a defined operation occurs, creates behavior information according to the operation and an identifier for the user (speaker), that is, the mobile terminal (2) may be mapped to the non-identifying ID of , and provided to the voice-based recommendation service apparatus 100 .

이에, 음성 기반 추천서비스장치(100)는, 이동단말(2)의 비식별 ID와 맵핑된 행위정보가 수신되면, S20단계에서 특정 및 저장하고 있는 발화자 음성 특징 중 금번 수신한 이동단말(2)의 비식별 ID와 매칭되는 특정 발화자 음성 특징이 존재하는지 확인할 수 있다.Accordingly, when the voice-based recommendation service apparatus 100 receives the action information mapped with the non-identification ID of the mobile terminal 2, the currently received mobile terminal 2 among the speaker voice characteristics specified and stored in step S20. It can be checked whether there is a specific speaker voice feature matching the non-identifying ID of .

그리고, 음성 기반 추천서비스장치(100)는, 금번 수신한 이동단말(2)의 비식별 ID와 매칭되는 특정 발화자 음성 특징이 존재하는 경우, 이와 맵핑/수신한 행위정보를 특정 발화자에 대한 행위정보로서 수집할 수 있다. In addition, the voice-based recommendation service apparatus 100, when there is a specific speaker's voice characteristic matching the non-identification ID of the mobile terminal 2 received this time, maps/receives the behavior information to the received behavior information for the specific speaker. can be collected as

이로써, 음성 기반 추천서비스장치(100)는, 발화자 음성 특징이 특정된 각 발화자 별로, 발화자(사용자)가 이동단말에서 행위정보 수집을 위해 정의된 조작을 할 때마다 해당 발화자의 이동단말(특정 App)을 기반으로 행위정보를 수집할 수 있다.Accordingly, the voice-based recommendation service device 100, for each speaker for which the speaker's voice characteristics are specified, whenever the speaker (user) performs an operation defined for collecting behavior information in the mobile terminal, the speaker's mobile terminal (specific App) ) to collect behavioral information.

본 발명의 실시예에 따른 음성 기반 추천서비스장치의 동작 방법에서 음성 기반 추천서비스장치(100)는, 발화자 음성 특징이 특정된 각 발화자 별로, 발화자의 행위정보 기반의 추천 서비스를 제공한다(S40).In the operation method of the voice-based recommendation service apparatus according to the embodiment of the present invention, the voice-based recommendation service apparatus 100 provides a recommendation service based on the speaker's behavior information for each speaker whose voice characteristics are specified (S40) .

구체적으로, 앞서 설명한 바와 같이 음성 기반 서비스를 이용하고자 하는 사용자(임의의 발화자)가 음성으로 명령(입력)하면, 음성 기반 서비스장치(10)에서는 임의의 발화자에 의해 발화되는 음성 명령을 수신하고, 텍스트 변환, 언어 분석 등 음성 명령에 따른 제어 동작을 위한 제반 절차를 수행할 것이다.Specifically, as described above, when a user (arbitrary speaker) who wants to use a voice-based service commands (inputs) with a voice, the voice-based service device 10 receives a voice command uttered by an arbitrary speaker, All procedures for the control operation according to the voice command, such as text conversion and language analysis, will be performed.

이때, 음성 기반 추천서비스장치(100)는, 전술과 같이 음성 명령에 따른 제어 동작을 위한 제반 절차를 수행하는 과정에서, 임의의 발화자에 의해 발화되는 음성 명령을 인지하고 금번 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자의 행위정보가 존재하는지 확인할 수 있다.In this case, the voice-based recommendation service apparatus 100 recognizes a voice command uttered by an arbitrary speaker in the process of performing various procedures for a control operation according to the voice command as described above, and has a voice characteristic of the current voice command. It can be checked whether there is behavior information of a specific speaker that matches with .

임의의 발화자에 의해 발화되는 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자의 행위정보가 존재하는 경우라면, 금번 음성 명령을 발화한 임의의 발화자는 이미 음성 특징을 기준으로 특정된 발화자 즉 특정 발화자(예: 가족구성원 중 하나)일 것이며, 따라서 행위정보가 수신되어 있기 때문에 존재가 확인될 수 있는 것이다.If there is behavior information of a specific speaker that matches the voice characteristic of the voice command uttered by the arbitrary speaker, the arbitrary speaker who has uttered the current voice command is the speaker already specified based on the voice characteristic, that is, the specific speaker ( Example: one of the family members), so the existence can be confirmed because behavior information has been received.

음성 기반 추천서비스장치(100)는, 금번 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자의 행위정보가 존재 확인되면, 확인된 특정 발화자의 행위정보를 기반으로 금번 음성 명령에 따른 발화 의도와 관련이 있는 추천 동작을 결정한다.The voice-based recommendation service apparatus 100, when it is confirmed that the behavior information of a specific speaker that matches the voice characteristic of the current voice command exists, is related to the utterance intention according to the current voice command based on the confirmed behavior information of the specific speaker Determine the recommended action.

예를 들면, 음성 기반 추천서비스장치(100)는, 확인된 특정 발화자의 행위정보를 분석하여 금번 확인된 특정 발화자의 성향을 분석할 수 있다. 개인의 수집정보를 기반으로 상향을 분석하는 분석 방식은 기준의 다양한 분석 알고리즘 중 채택하여 사용할 수 있으므로, 구체적인 분석 과정에 대한 설명은 생략하겠다.For example, the voice-based recommendation service apparatus 100 may analyze the behavior information of the identified specific speaker to analyze the current identified tendency of the specific speaker. Since the analysis method that analyzes the upward movement based on the collected information of individuals can be used among various analysis algorithms of the standard, the detailed analysis process will be omitted.

이렇게 분석된 발화자의 성향은, 미디어 시청 또는 음악 청취 시 어떤 장르를 선호하는지, 어떤 주인공 또는 가수를 선호하는지, 또는 최근에 자주 시청 또는 청취한 미디어 또는 음악 컨텐츠가 무엇인지, 시간대 별로 가장 빈번하게 이용한 음성 기반 서비스가 어떤 것인지(예: 미디어 시청, 음악 청취, 전등 On/Off 등), 기 설정된 시간 간격(예: 3분) 이내에 연속 이용된 음성 기반 서비스의 종류가 어떤 것인지 등으로 분석될 수 있다. The speaker's disposition analyzed in this way is, when watching media or listening to music, which genre they prefer, which main character or singer, or what media or music content they have recently watched or listened to most frequently, by time period. The voice-based service can be analyzed (eg, watching media, listening to music, turning on/off lights, etc.) and the type of voice-based service continuously used within a preset time interval (eg, 3 minutes). .

물론, 이외에도 채택한 분석 알고리즘 또는 수집한 행위정보의 형태 및 종류에 따라, 분석되는 성향 내용도 다양하게 달라질 수 있을 것이다.Of course, the content of the tendency to be analyzed may also vary according to the type and type of the adopted analysis algorithm or the collected behavioral information.

이에, 음성 기반 추천서비스장치(100)는, 확인된 특정 발화자의 행위정보를 분석하여 얻은 성향을 근거로, 금번 음성 명령에 따른 발화 의도와 관련이 있는 추천 동작을 결정할 수 있다.Accordingly, the voice-based recommendation service apparatus 100 may determine a recommended operation related to the utterance intention according to the current voice command, based on the propensity obtained by analyzing the identified behavioral information of the specific speaker.

예를 들면, 음성 기반 추천서비스장치(100)는, 금번 음성 명령에 따른 음성 기반 서비스를 위한 제반 절차에서 금번 음성 명령의 발화 의도가 미디어 시청 제어를 위한 것으로 파악된 경우라면, 금번 음성 명령을 발화한 실제 발화자의 행위정보를 분석하여 얻은 성향을 근거로, 미디어 시청과 관련하여 최근 자주 시청한 미디어 컨텐츠의 정보를 알려주는 동작을 추천 동작으로 결정할 수 있다.For example, the voice-based recommendation service apparatus 100 utters the current voice command if it is determined that the utterance intention of the current voice command is for media viewing control in all procedures for the voice-based service according to the current voice command. Based on the propensity obtained by analyzing the behavioral information of an actual speaker, an operation of notifying information of recently frequently viewed media content in relation to media viewing may be determined as a recommended operation.

또 다른 예를 들면, 음성 기반 추천서비스장치(100)는, 금번 음성 명령에 따른 음성 기반 서비스를 위한 제반 절차에서 금번 음성 명령의 발화 의도가 전등 On/Off 제어를 위한 것으로 파악된 경우라면, 금번 음성 명령을 발화한 실제 발화자의 행위정보를 분석하여 얻은 성향을 근거로, 전등 On/Off와 관련하여 전등 On/Off 제어 후 연속 이용된 음성 기반 서비스(예: 음악 청취 제어)를 파악, 음성 청취를 할 것인지 물어보는 안내 동작을 추천 동작으로 결정할 수 있다.As another example, the voice-based recommendation service apparatus 100 may, if it is determined that the utterance intention of the current voice command is for controlling the light on/off, in the overall procedure for the voice-based service according to the current voice command, this time Based on the propensity obtained by analyzing the behavior information of the actual speaker who uttered the voice command, the voice-based service (e.g., music listening control) used continuously after controlling the light on/off in relation to the light on/off is identified and listened to. It is possible to determine a guidance action asking whether to do it as a recommended action.

이에, 음성 기반 추천서비스장치(100)는, 전술과 같이 금번 음성 명령을 발화한 발화자 즉 음성 기반 서비스를 이용하고자 음성 명령을 발화한 실제 발화자를 특정하여, 금번 음성 명령 및 특정한 실제 발화자의 행위정보를 기반으로 실제 발화자의 성향에 따라 타겟팅한 추천 동작을 추천 서비스로서 제공할 수 있다. Accordingly, the voice-based recommendation service apparatus 100 specifies the speaker who uttered the current voice command, that is, the actual speaker who uttered the voice command to use the voice-based service, as described above, and provides the current voice command and the behavior information of the specific actual speaker. Based on , a recommended action targeted according to the propensity of an actual speaker may be provided as a recommendation service.

이상에서 설명한 바와 같이, 본 발명에 따른 음성 기반 추천서비스는, 음성 기반 서비스를 이용하고 있는 실제 발화자를 특정하여 실제 발화자의 성향에 따라 타겟팅한 추천 서비스를 제공할 수 있는, 새로운 방식의 음성 기반 추천 서비스를 실현할 수 있다.As described above, the voice-based recommendation service according to the present invention is a new type of voice-based recommendation that can provide a targeted recommendation service according to the propensity of the actual speaker by specifying the actual speaker who is using the voice-based service. service can be realized.

이처럼 본 발명에서는, 음성 기반 서비스를 이용하는 실제 발화자를 특정하여 추천 서비스를 제공할 수 있는 기술을 실현함으로써, 추천 서비스 제공 자체가 불가능한 기존 음성 기반 서비스의 한계를 벗어나는 효과 뿐 아니라, 음성 기반 서비스를 이용할 수 있는 여러 가족구성원 별로 최적의 추천 서비스를 제공하는 등 추천 서비스의 적용 범위를 확장하는 효과를 기대할 수 있다.As described above, in the present invention, by realizing a technology capable of providing a recommendation service by specifying an actual speaker using a voice-based service, the present invention not only overcomes the limitations of the existing voice-based service in which it is impossible to provide the recommendation service itself, but also uses the voice-based service. It can be expected to expand the scope of application of the recommendation service, such as providing the optimal recommendation service for each family member that can be accommodated.

본 발명의 실시예들은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.Although the present invention has been described in detail with reference to preferred embodiments so far, the present invention is not limited to the above-described embodiments, and without departing from the gist of the present invention as claimed in the following claims, the technical field to which the present invention pertains It will be said that the technical idea of the present invention extends to a range where various modifications or modifications can be made by anyone with ordinary knowledge.

본 발명에 따른 음성 기반 추천서비스장치 및 그 장치의 동작 방법에 따르면, 음성 기반 서비스를 이용하는 실제 발화자를 특정하여 추천 서비스를 제공할 수 있는 기술을 실현하는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the apparatus for voice-based recommendation service and the method of operation of the apparatus according to the present invention, in realizing a technology that can provide a recommendation service by specifying an actual speaker using a voice-based service, it goes beyond the limitations of the existing technology. Accordingly, it is an invention with industrial applicability because the possibility of marketing or business of the applied device, not just the use of the related technology, is sufficient and it can be clearly implemented in reality.

100 : 음성 기반 추천서비스장치
110 : 발화자특정부 120 : 행위정보수집부
130 : 서비스제공부 140 : 음성기반서비스부100: voice-based recommendation service device
110: speaker specific unit 120: behavior information collection unit
130: service providing unit 140: voice-based service unit

Claims (14)

발화자의 통화 내용 분석을 통해 수집되는 음성 특징을 상기 발화자에 대한 식별자와 맵핑시켜, 발화자 음성 특징을 특정하는 발화자특정부;
상기 발화자 음성 특징이 특정된 각 발화자 별로, 발화자에 대한 행위정보를 수집하는 행위정보수집부; 및
상기 발화자 음성 특징이 특정된 각 발화자 별로, 발화자의 행위정보 기반의 추천 서비스를 제공하는 서비스제공부를 포함하며;
상기 발화자의 음성 특징은, 상기 발화자의 이동단말에 설치되어 통화 내용으로부터 음성 특징을 분석 및 제공하는 특정 어플리케이션으로부터 수집되며,
상기 특정 어플리케이션은,
상기 발화자의 통화 상대방이 상기 발화자의 가족구성원인 경우, 상기 발화자의 통화 내용으로부터 상기 상대방의 음성 특징을 추가로 분석 및 제공하여 상기 상대방의 음성 특징을 상기 상대방에 대한 식별자와 맵핑시키도록 하는 것을 특징으로 하는 음성 기반 추천서비스장치.a speaker specifying unit for specifying the speaker's voice characteristics by mapping the voice characteristics collected through the analysis of the speaker's call contents with the identifier for the speaker;
a behavior information collection unit for collecting behavior information on the speaker for each speaker whose voice characteristics are specified; and
and a service providing unit that provides a recommendation service based on the speaker's behavior information for each speaker whose voice characteristics are specified;
The speaker's voice characteristics are collected from a specific application installed in the speaker's mobile terminal to analyze and provide voice characteristics from the call contents,
The specific application is
When the call party of the talker is a member of the speaker's family, the voice feature of the other party is further analyzed and provided from the talker's call contents to map the voice feature of the other party to the identifier for the other party A voice-based recommendation service device. 제 1 항에 있어서,
상기 발화자에 대한 식별자는,
상기 발화자의 통화 내용에서 분석된 음성 특징을 제공하는 이동단말의 비식별 ID인 것을 특징으로 하는 음성 기반 추천서비스장치.The method of claim 1,
The identifier for the talker is,
A voice-based recommendation service device, characterized in that it is a non-identifying ID of a mobile terminal that provides voice characteristics analyzed from the caller's call details. 제 1 항에 있어서,
상기 행위정보수집부는,
임의의 발화자에 의해 발화되는 음성 명령 인지 시, 상기 발화자 음성 특징 중 상기 인지한 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자 음성 특징이 존재하는지 확인하고,
상기 특정 발화자 음성 특징이 존재하는 경우, 상기 음성 명령에 따른 제어 동작과 관련이 있는 행위정보를 생성하여 상기 특정 발화자에 대한 행위정보로서 수집하는 것을 특징으로 하는 음성 기반 추천서비스장치.The method of claim 1,
The behavior information collection unit,
When a voice command uttered by an arbitrary speaker is recognized, it is checked whether a specific speaker voice characteristic matching the voice characteristic of the recognized voice command exists among the speaker's voice characteristics,
The voice-based recommendation service apparatus, characterized in that, when the specific speaker's voice characteristic is present, behavior information related to a control operation according to the voice command is generated and collected as behavior information for the specific speaker. 제 1 항에 있어서,
상기 행위정보수집부는,
이동단말로부터 특정 식별자와 맵핑된 행위정보 수신 시, 상기 발화자 음성 특징 중 상기 특정 식별자와 매칭되는 특정 발화자 음성 특징이 존재하는지 확인하고,
상기 특정 발화자 음성 특징이 존재하는 경우, 상기 수신한 행위정보를 상기 특정 발화자에 대한 행위정보로서 수집하는 것을 특징으로 하는 음성 기반 추천서비스장치.The method of claim 1,
The behavior information collection unit,
When receiving behavior information mapped to a specific identifier from the mobile terminal, it is checked whether a specific speaker voice characteristic matching the specific identifier exists among the speaker voice characteristics,
The voice-based recommendation service apparatus, characterized in that when the voice characteristic of the specific speaker exists, the received behavior information is collected as behavior information about the specific speaker. 제 1 항에 있어서,
상기 서비스제공부는,
발화자에 의해 발화되는 음성 명령을 수신한 음성 기반 서비스장치에서 음성 명령에 따른 제어 동작 시, 상기 발화자 음성 특징 중 상기 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자의 행위정보를 확인하고, 상기 확인한 행위정보 기반의 추천 서비스를 제공하는 것을 특징으로 하는 음성 기반 추천서비스장치.The method of claim 1,
The service provider,
When a control operation according to a voice command is performed in a voice-based service device that has received a voice command uttered by the speaker, behavior information of a specific speaker matching the voice characteristic of the voice command among the speaker's voice characteristics is checked, and the confirmed behavior A voice-based recommendation service device, characterized in that it provides an information-based recommendation service. 제 5 항에 있어서,
상기 서비스제공부는,
상기 특정 발화자의 행위정보를 기반으로 상기 음성 명령에 따른 발화 의도와 관련이 있는 추천 동작을 결정하고,
상기 결정한 추천 동작을 상기 추천 서비스로서 제공하는 것을 특징으로 하는 음성 기반 추천서비스장치.6. The method of claim 5,
The service provider,
determining a recommended action related to a speech intention according to the voice command based on the behavior information of the specific speaker;
and providing the determined recommendation operation as the recommendation service. 삭제delete 제 1 항에 있어서,
상기 특정 어플리케이션은,
상기 발화자의 이동단말에서 통화 시마다, 상기 음성 기반 서비스장치가 연결된 무선중계장치에 대해 관리되는 접속단말이력정보를 기반으로 상기 상대방이 상기 접속단말이력정보 내 포함되는 이동단말인 경우 상기 상대방을 상기 발화자의 가족구성원으로 판단하는 것을 특징으로 하는 음성 기반 추천서비스장치.The method of claim 1,
The specific application is
Whenever the talker's mobile terminal makes a call, based on the access terminal history information managed for the wireless repeater to which the voice-based service device is connected, if the counterpart is a mobile terminal included in the access terminal history information, the other party is designated as the talker A voice-based recommendation service device, characterized in that it is determined as a family member of 발화자의 통화 내용 분석을 통해 수집되는 음성 특징을 상기 발화자에 대한 식별자와 맵핑시켜, 발화자 음성 특징을 특정하는 발화자특정단계;
상기 발화자 음성 특징이 특정된 각 발화자 별로, 발화자에 대한 행위정보를 수집하는 행위정보수집단계; 및
상기 발화자 음성 특징이 특정된 각 발화자 별로, 발화자의 행위정보 기반의 추천 서비스를 제공하는 서비스제공단계를 포함하며;
상기 발화자의 음성 특징은, 상기 발화자의 이동단말에 설치되어 통화 내용으로부터 음성 특징을 분석 및 제공하는 특정 어플리케이션으로부터 수집되며,
상기 특정 어플리케이션은,
상기 발화자의 통화 상대방이 상기 발화자의 가족구성원인 경우, 상기 발화자의 통화 내용으로부터 상기 상대방의 음성 특징을 추가로 분석 및 제공하여 상기 상대방의 음성 특징을 상기 상대방에 대한 식별자와 맵핑시키도록 하는 것을 특징으로 하는 음성 기반 추천서비스장치의 동작 방법.a speaker specifying step of specifying the speaker's voice characteristics by mapping the voice characteristics collected through the analysis of the speaker's call contents with an identifier for the speaker;
a behavior information collection step of collecting behavior information about the speaker for each speaker whose voice characteristics are specified; and
a service providing step of providing a recommendation service based on the speaker's behavior information for each speaker whose voice characteristics are specified;
The speaker's voice characteristics are collected from a specific application installed in the speaker's mobile terminal to analyze and provide voice characteristics from the call contents,
The specific application is
When the call party of the talker is a member of the speaker's family, the voice feature of the other party is further analyzed and provided from the talker's call contents to map the voice feature of the other party to the identifier for the other party A method of operating a voice-based recommendation service device. 제 9 항에 있어서,
상기 행위정보수집단계는,
임의의 발화자에 의해 발화되는 음성 명령 인지 시, 상기 발화자 음성 특징 중 상기 인지한 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자 음성 특징이 존재하는지 확인하고,
상기 특정 발화자 음성 특징이 존재하는 경우, 상기 음성 명령에 따른 제어 동작과 관련이 있는 행위정보를 생성하여 상기 특정 발화자에 대한 행위정보로서 수집하는 것을 특징으로 하는 음성 기반 추천서비스장치의 동작 방법.10. The method of claim 9,
The behavior information collection step is,
When a voice command uttered by an arbitrary speaker is recognized, it is checked whether a specific speaker voice characteristic matching the voice characteristic of the recognized voice command exists among the speaker's voice characteristics,
The method of operating a voice-based recommendation service device, characterized in that when the specific speaker's voice characteristic is present, behavior information related to a control operation according to the voice command is generated and collected as behavior information for the specific speaker. 제 9 항에 있어서,
상기 행위정보수집단계는,
이동단말로부터 특정 식별자와 맵핑된 행위정보 수신 시, 상기 발화자 음성 특징 중 상기 특정 식별자와 매칭되는 특정 발화자 음성 특징이 존재하는지 확인하고,
상기 특정 발화자 음성 특징이 존재하는 경우, 상기 수신한 행위정보를 상기 특정 발화자에 대한 행위정보로서 수집하는 것을 특징으로 하는 음성 기반 추천서비스장치의 동작 방법.10. The method of claim 9,
The behavior information collection step is,
When receiving behavior information mapped to a specific identifier from the mobile terminal, it is checked whether a specific speaker voice characteristic matching the specific identifier exists among the speaker voice characteristics,
and collecting the received behavior information as behavior information on the specific speaker when the specific speaker's voice characteristic is present. 제 9 항에 있어서,
상기 서비스제공단계는,
발화자에 의해 발화되는 음성 명령을 수신한 음성 기반 서비스장치에서 음성 명령에 따른 제어 동작 시, 상기 발화자 음성 특징 중 상기 음성 명령이 갖는 음성 특징과 매칭되는 특정 발화자의 행위정보를 확인하고, 상기 확인한 행위정보 기반의 추천 서비스를 제공하는 것을 특징으로 하는 음성 기반 추천서비스장치의 동작 방법.10. The method of claim 9,
The service providing step is
When a control operation according to a voice command is performed in a voice-based service device that has received a voice command uttered by the speaker, behavior information of a specific speaker matching the voice characteristic of the voice command among the speaker's voice characteristics is checked, and the confirmed behavior A method of operating a voice-based recommendation service device, characterized in that it provides an information-based recommendation service. 제 12 항에 있어서,
상기 서비스제공단계는,
상기 특정 발화자의 행위정보를 기반으로 상기 음성 명령에 따른 발화 의도와 관련이 있는 추천 동작을 결정하고,
상기 결정한 추천 동작을 상기 추천 서비스로서 제공하는 것을 특징으로 하는 음성 기반 추천서비스장치의 동작 방법.13. The method of claim 12,
The service providing step is
determining a recommended action related to a speech intention according to the voice command based on the behavior information of the specific speaker;
and providing the determined recommendation operation as the recommendation service. 제 9 항 내지 제 13 항 중 어느 한 항의 방법을 실행시키기 위해 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable recording medium for executing the method of any one of claims 9 to 13.
KR1020190098250A 2019-08-12 2019-08-12 Recommending service device based on voice and control method thereof KR102276591B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190098250A KR102276591B1 (en) 2019-08-12 2019-08-12 Recommending service device based on voice and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190098250A KR102276591B1 (en) 2019-08-12 2019-08-12 Recommending service device based on voice and control method thereof

Publications (2)

Publication Number Publication Date
KR20210019272A KR20210019272A (en) 2021-02-22
KR102276591B1 true KR102276591B1 (en) 2021-07-12

Family

ID=74687477

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190098250A KR102276591B1 (en) 2019-08-12 2019-08-12 Recommending service device based on voice and control method thereof

Country Status (1)

Country Link
KR (1) KR102276591B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005005899A (en) 2003-06-10 2005-01-06 Sharp Corp Telephone device equipped with automatic answering function

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455924B1 (en) * 2013-03-26 2014-11-03 주식회사 엘지유플러스 Terminal, Server, Method, and Recording Medium for providing Communication-based Interests
KR101889279B1 (en) * 2017-01-16 2018-08-21 주식회사 케이티 System and method for provining sercive in response to voice command
KR101968725B1 (en) * 2017-05-19 2019-04-12 네이버 주식회사 Media selection for providing information corresponding to voice query
KR101991345B1 (en) * 2017-11-17 2019-09-30 에스케이브로드밴드주식회사 Apparatus for sound recognition, and control method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005005899A (en) 2003-06-10 2005-01-06 Sharp Corp Telephone device equipped with automatic answering function

Also Published As

Publication number Publication date
KR20210019272A (en) 2021-02-22

Similar Documents

Publication Publication Date Title
CN107844586B (en) News recommendation method and device
CN107112014B (en) Application focus in speech-based systems
CN107895578B (en) Voice interaction method and device
US11138985B1 (en) Voice interaction architecture with intelligent background noise cancellation
US9548066B2 (en) Voice application architecture
CN109844856B (en) Accessing multiple Virtual Personal Assistants (VPAs) from a single device
KR101883301B1 (en) Method for Providing Personalized Voice Recognition Service Using Artificial Intellignent Speaker Recognizing Method, and Service Providing Server Used Therein
CN109658932B (en) Equipment control method, device, equipment and medium
EP2674941B1 (en) Terminal apparatus and control method thereof
US20140195230A1 (en) Display apparatus and method for controlling the same
KR20120031722A (en) Apparatus and method for generating dynamic response
EP2728890A2 (en) Broadcast receiving apparatus, server and control methods thereof
JPWO2015033523A1 (en) Spoken dialogue control method
KR20200006905A (en) Speech Enhancement for Speech Recognition Applications in Broadcast Environments
WO2019155716A1 (en) Information processing device, information processing system, information processing method, and program
CN107483993B (en) Voice input method of television, television and computer readable storage medium
US10062386B1 (en) Signaling voice-controlled devices
KR102276591B1 (en) Recommending service device based on voice and control method thereof
KR20200008341A (en) Media play device and method for controlling screen and server for analyzing screen
CN114402383A (en) Electronic device and method for controlling voice recognition thereof
KR20220156786A (en) The system and an appratus for providig contents based on a user utterance
CN112700770A (en) Voice control method, sound box device, computing device and storage medium
KR102485339B1 (en) Apparatus and method for processing voice command of vehicle
KR101899021B1 (en) Method for providing filtered outside sound and voice transmitting service through earbud
CN113314115A (en) Voice processing method of terminal equipment, terminal equipment and readable storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant