KR102315020B1 - Apparatus and method for providing customized voice interaction based on user life pattern - Google Patents

Apparatus and method for providing customized voice interaction based on user life pattern Download PDF

Info

Publication number
KR102315020B1
KR102315020B1 KR1020200135725A KR20200135725A KR102315020B1 KR 102315020 B1 KR102315020 B1 KR 102315020B1 KR 1020200135725 A KR1020200135725 A KR 1020200135725A KR 20200135725 A KR20200135725 A KR 20200135725A KR 102315020 B1 KR102315020 B1 KR 102315020B1
Authority
KR
South Korea
Prior art keywords
user
pattern
message
life pattern
situation
Prior art date
Application number
KR1020200135725A
Other languages
Korean (ko)
Other versions
KR102315020B9 (en
Inventor
권은경
Original Assignee
주식회사 디엔엑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디엔엑스 filed Critical 주식회사 디엔엑스
Priority to KR1020200135725A priority Critical patent/KR102315020B1/en
Application granted granted Critical
Publication of KR102315020B1 publication Critical patent/KR102315020B1/en
Publication of KR102315020B9 publication Critical patent/KR102315020B9/en

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a device and method for providing a customized voice conversation based on a user life pattern, wherein the device for providing the customized voice conversations based on the user life pattern comprises: a user life pattern processing part that generates the user life pattern based on an object contact behavior; a user situation determination part that recognizes a current user situation based on an environment context; an utterance message determining part that utters through a speaker by determining an utterance message of a conversation content for the user behavior recommendation according to the user situation based on the user life pattern; and a feedback processing part that feedbacks a user reaction for the utterance message to the utterance message determining part to provide a contextual voice conversation. Therefore, the present invention is capable of allowing the behavior of the user to be facilitated through a user customized voice conversation appropriate to the situation.

Description

사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING CUSTOMIZED VOICE INTERACTION BASED ON USER LIFE PATTERN}Apparatus and method for providing customized voice conversation based on user's life pattern

본 발명은 사용자 생활패턴 기반의 맞춤형 음성대화 제공 기술에 관한 것으로, 더욱 상세하게는 사용자 생활패턴에 기반하여 상황에 알맞은 사용자 맞춤형 음성대화를 통해 사용자의 행동을 촉진할 수 있는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법에 관한 것이다.The present invention relates to a technology for providing customized voice conversation based on a user's life pattern, and more particularly, to a customized voice conversation based on a user's life pattern that can promote a user's behavior through a user-customized voice conversation suitable for a situation based on the user's life pattern It relates to an apparatus and method for providing voice conversation.

최근 사용자 인터페이스에 대한 관심이 높아지고, 음성 처리 기술이 발달함에 따라, 음성 인식 기능이 내장된 IT 기기들이 늘어가고 있다. 예컨대, 사용자의 음성을 인식하여 사용자가 요청한 동작을 수행할 수 있는 스마트폰, 스마트 워치, 스마트 TV, 스마트 냉장고 등이 널리 보급되고 있다.Recently, as interest in user interfaces increases and voice processing technology develops, IT devices having a built-in voice recognition function are increasing. For example, smartphones, smart watches, smart TVs, smart refrigerators, etc. that can perform an operation requested by a user by recognizing a user's voice are widely used.

또한, 간단한 대화가 가능한 인공지능(AI) 스피커가 개발되고 있다. 이러한 인공지능 스피커는 사용자의 음성을 인식하여 사용자의 명령 내용을 파악한 후 해당 명령 내용에 따라 반응하는 스피커 장치를 말한다.In addition, artificial intelligence (AI) speakers capable of simple conversations are being developed. Such an artificial intelligence speaker refers to a speaker device that recognizes a user's voice, understands the user's command, and responds according to the corresponding command.

인공지능(AI) 스피커는 여러 생활 영역에 적용되어 삶의 질을 높여주고 있으며, 특히 어르신 돌봄 서비스 기능을 탑재하여 활용도를 높이고 있다.Artificial intelligence (AI) speakers are applied to various living areas to improve the quality of life, and in particular, the elderly care service function is being installed to increase the usability.

그러나, 지금까지의 인공지능(AI) 스피커는 사용자가 음성 입력을 시작하기 전에 미리 정해진 트리거(trigger) 단어 즉, 스피커마다 할당된 호칭을 호명해야만 활성화된다. 사용자는 인공지능 스피커가 활성화된 이후에야 자신의 요청사항을 전달하거나 대화를 시작할 수 있고 사용자의 상황을 인지하지 못하고 사용자의 질문에 응답하는 형태의 대화만 가능하기 때문에 어르신 돌봄 서비스 기능을 수행하는 데 있어 한계가 있다.However, until now, the artificial intelligence (AI) speaker is activated only when the user calls a predetermined trigger word, that is, a name assigned to each speaker before starting a voice input. Users can deliver their requests or start conversations only after the artificial intelligence speaker is activated, and since only conversations in the form of responding to the user's questions are possible without recognizing the user's situation, it is necessary to perform the elderly care service function. there is a limit

한국등록특허 제10-2053534(2019.12.02)호는 인공지능 스피커를 이용한 노인케어 제공방법에 관한 것으로, 인공지능 스피커를 통해 우울증 등의 질병을 진단 및 방지하며, 위치기반으로 시설정보를 알려주며, 수집된 정보를 바탕으로 일정 시간에 맞추어 사용자가 물어보기 전에 사용자에게 정보를 제공하는 기술을 개시하고 있다.Korean Patent No. 10-2053534 (2019.12.02) relates to a method of providing elderly care using an artificial intelligence speaker, which diagnoses and prevents diseases such as depression through the artificial intelligence speaker, and informs facility information based on location, A technology for providing information to a user before the user asks a question according to a predetermined time based on the collected information is disclosed.

한국등록특허 제10-2053534(2019.12.02)호Korean Patent Registration No. 10-2053534 (2019.12.02)

본 발명의 일 실시예는 사용자 생활패턴에 기반하여 상황에 알맞은 사용자 맞춤형 음성대화를 통해 사용자의 행동을 촉진할 수 있는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide an apparatus and method for providing a customized voice conversation based on a user's life pattern, which can promote a user's behavior through a user-customized voice conversation suitable for a situation based on the user's life pattern.

본 발명의 일 실시예는 사용자 생활패턴에 기반하여 사용자의 시계열적 상황을 인지하고 해당 상황에 맞는 음성메시지를 자동 발화하여 사용자와의 맥락있는 대화를 주고받을 수 있는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법을 제공하고자 한다.An embodiment of the present invention recognizes the user's time-series situation based on the user's life pattern and automatically utters a voice message suitable for the situation, so that the user's life pattern-based customized voice conversation can be exchanged in a contextual conversation with the user. It is intended to provide a providing apparatus and method.

본 발명의 일 실시예는 사용자의 사물에 태그를 부착하고 사물 접촉 행동을 통해 사용자의 생활패턴을 생성하여 패턴에 따른 적합한 행동을 추천하여 사용자에게 직접적 가치를 제공할 수 있는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법을 제공하고자 한다.An embodiment of the present invention attaches a tag to a user's object, creates a user's life pattern through an object contact action, recommends an appropriate action according to the pattern, and provides direct value to the user. An object of the present invention is to provide an apparatus and method for providing voice conversation.

실시예들 중에서, 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치는 사물 접촉 행위 기반의 사용자 생활패턴을 생성하는 사용자 생활패턴 처리부, 환경 컨텍스트를 기초로 현재 사용자의 상황을 인지하는 사용자 상황 결정부, 상기 사용자 생활패턴을 기반으로 상기 사용자 상황에 따른 상기 사용자 행동 추천을 위한 대화내용의 발화 메시지를 결정하여 스피커를 통해 발화하는 발화 메시지 결정부, 및 상기 발화 메시지에 대한 사용자 반응을 상기 발화 메시지 결정부로 피드백하여 맥락있는 음성 대화가 제공되도록 하는 피드백 처리부를 포함한다.In embodiments, the apparatus for providing a customized voice conversation based on a user's life pattern includes a user life pattern processing unit generating a user life pattern based on an object contact behavior, a user situation determining unit recognizing a current user's situation based on an environment context, and the An utterance message determiner uttering through a speaker by determining an utterance message of the conversation content for the user action recommendation according to the user situation based on a user life pattern, and feedbacks a user reaction to the uttered message to the utterance message determiner and a feedback processing unit for providing a contextual voice conversation.

상기 사용자 생활패턴 처리부는 사물의 접촉 과정에서 상기 사물에서 자체 제공되거나 또는 상기 사물에 부착된 사물 태그에서 제공되는 사물 식별정보를 수신하여 사용자의 식사패턴, 복약패턴, 시청패턴, 운동패턴, 자세패턴, 외출패턴, 배변 및 취침 활동패턴 중 적어도 하나 이상을 포함하는 생활패턴을 생성할 수 있다.The user life pattern processing unit receives the object identification information provided by itself from the object or from the object tag attached to the object in the process of contacting the object, and receives the user's meal pattern, medication pattern, viewing pattern, exercise pattern, and posture pattern. , a life pattern including at least one of an outing pattern, a bowel movement, and a bedtime activity pattern may be generated.

상기 사용자 상황 결정부는 위치, 시간, 계절, 온도, 날씨 및 조도 중 적어도 하나 이상을 포함하는 환경 컨텍스트를 기초로 상기 사용자의 상황을 결정할 수 있다.The user context determiner may determine the user's context based on an environment context including at least one of location, time, season, temperature, weather, and illuminance.

상기 발화 메시지 결정부는 메시지 운영 일정에 따라 자동 발화 여부를 결정하고 자동 발화시 현재 사용자 상황에 따라 메시지 종류를 동적으로 결정할 수 있다.The utterance message determining unit may determine whether to automatically utter a message according to a message operation schedule, and dynamically determine a message type according to a current user situation during automatic utterance.

상기 발화 메시지 결정부는 이름, 날씨, 걸음수, 기상시각, 취침시각, 수면시각, 이벤트시각, 접촉사물종류, 접촉행위종류, 자세, 위치, 식사와 일상생활행동 중 적어도 하나를 상기 발화메시지의 동적 변수로 포함할 수 있다.The utterance message determining unit determines at least one of name, weather, number of steps, wake-up time, bedtime, sleep time, event time, contact object type, contact action type, posture, location, meal and daily life behavior of the utterance message dynamically. It can be included as a variable.

상기 발화 메시지 결정부는 상기 사용자 생활패턴 및 상황을 기초로 학습을 통해 사용자의 패턴상황 개선을 위한 사용자 행동추천 모델을 구축하고 사용자 반응 피드백을 통해 상기 사용자 행동추천 모델을 갱신할 수 있다.The utterance message determiner may build a user behavior recommendation model for improving the user's pattern situation through learning based on the user's life pattern and situation, and may update the user behavior recommendation model through user response feedback.

상기 피드백 처리부는 상기 발화 메시지의 발화 후 상기 사용자의 응답 음성을 토대로 추천 행동의 수용여부 및 기분을 분석하여 상기 발화 메시지 결정부로 사용자 반응 피드백할 수 있다.The feedback processing unit may analyze whether a recommended action is accepted and a mood based on the user's response voice after the spoken message is uttered, and feedback the user response to the uttered message determining unit.

실시예들 중에서, 사용자 생활패턴 기반의 맞춤형 음성대화 제공 방법은 사물 접촉 행위 기반의 사용자 생활패턴을 생성하는 단계, 환경 컨텍스트를 기초로 현재 사용자의 상황을 인지하는 단계, 상기 사용자 생활패턴을 기반으로 상기 사용자 상황에 따른 상기 사용자 행동 추천을 위한 대화내용의 발화 메시지를 결정하여 스피커를 통해 발화하는 단계, 및 상기 발화 메시지에 대한 사용자 반응에 대해 피드백하는 단계를 포함한다.Among the embodiments, the method for providing a customized voice conversation based on a user life pattern includes generating a user life pattern based on an object contact action, recognizing the current user's situation based on an environment context, and based on the user life pattern and determining an utterance message of the conversation content for the user action recommendation according to the user situation and uttering it through a speaker, and feeding back a user reaction to the utterance message.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be construed as being limited thereby.

본 발명의 일 실시예에 따른 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법은 사용자 생활패턴에 기반하여 상황에 알맞은 사용자 맞춤형 음성대화를 통해 사용자의 행동을 촉진할 수 있다.The apparatus and method for providing a customized voice conversation based on a user's life pattern according to an embodiment of the present invention can promote a user's action through a user's customized voice conversation suitable for a situation based on the user's life pattern.

본 발명의 일 실시예에 따른 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법은 사용자 생활패턴에 기반하여 사용자의 시계열적 상황을 인지하고 해당 상황에 맞는 음성메시지를 자동 발화하여 사용자와의 맥락있는 대화를 주고받을 수 있다.An apparatus and method for providing a customized voice conversation based on a user's life pattern according to an embodiment of the present invention recognizes the user's time-series situation based on the user's life pattern and automatically utters a voice message suitable for the situation in context with the user. can have a conversation.

본 발명의 일 실시예에 따른 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법은 사용자의 사물에 태그를 부착하고 사물 접촉 행동을 통해 사용자의 생활패턴을 생성하여 패턴에 따른 적합한 행동을 추천하여 사용자에게 직접적 가치를 제공할 수 있다.An apparatus and method for providing a customized voice conversation based on a user's life pattern according to an embodiment of the present invention attaches a tag to a user's object, creates a user's life pattern through an object contact action, and recommends an appropriate action according to the pattern. can provide direct value to

따라서, 본 발명은 사용자 개개의 생활패턴에 따른 상황을 인지하여 최적의 타이밍에 자동 발화할 수 있고 사용자에게 적합한 행동을 추천 및 제안할 수 있어 사용자의 생활 개선을 실시할 수 있으며, 이를 고령자의 관점에서 케어 서비스 등에 이용할 수 있다.Therefore, the present invention recognizes situations according to each user's individual life pattern, can automatically utter at the optimal timing, and can recommend and suggest actions suitable for the user, thereby improving the user's life, which can be viewed from the elderly's point of view. available for care services, etc.

도 1은 본 발명에 따른 사용자 생활패턴 기반의 맞춤형 음성대화 제공 시스템을 설명하는 도면이다.
도 2는 도 1의 맞춤형 음성대화 제공 장치의 물리적 구성을 설명하는 블록도이다.
도 3은 도 1의 맞춤형 음성대화 제공 장치의 기능적 구성을 설명하는 블록도이다.
도 4는 도 1의 맞춤형 음성대화 제공 장치에서 수행되는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 과정을 설명하는 순서도이다.
도 5는 일 실시예에 따른 메시지 운영 일정표를 나타내는 예시도이다.
도 6은 일 실시예에 따른 맞춤형 음성대화 제공을 나타내는 예시도이다.
1 is a view for explaining a system for providing a customized voice conversation based on a user's life pattern according to the present invention.
FIG. 2 is a block diagram illustrating a physical configuration of the apparatus for providing a customized voice conversation of FIG. 1 .
FIG. 3 is a block diagram illustrating a functional configuration of the apparatus for providing a customized voice conversation of FIG. 1 .
FIG. 4 is a flowchart illustrating a process of providing a customized voice conversation based on a user's life pattern performed by the apparatus for providing a customized voice conversation of FIG. 1 .
5 is an exemplary diagram illustrating a message operation schedule according to an embodiment.
6 is an exemplary diagram illustrating the provision of a customized voice conversation according to an embodiment.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is merely an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiment described in the text. That is, since the embodiment may have various changes and may have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, it should not be understood that the scope of the present invention is limited thereby.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as “first” and “second” are for distinguishing one component from another, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being “connected” to another component, it may be directly connected to the other component, but it should be understood that other components may exist in between. On the other hand, when it is mentioned that a certain element is "directly connected" to another element, it should be understood that the other element does not exist in the middle. Meanwhile, other expressions describing the relationship between elements, that is, “between” and “immediately between” or “neighboring to” and “directly adjacent to”, etc., should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood to include the plural expression unless the context clearly dictates otherwise, and terms such as "comprises" or "have" refer to the embodied feature, number, step, action, component, part or these It is intended to indicate that a combination exists, and it should be understood that it does not preclude the possibility of the existence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Identifiers (eg, a, b, c, etc.) in each step are used for convenience of description, and the identification code does not describe the order of each step, and each step clearly indicates a specific order in context. Unless otherwise specified, it may occur in a different order from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable codes on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. . Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed in a network-connected computer system, and the computer-readable code may be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Terms defined in general used in the dictionary should be interpreted as being consistent with the meaning in the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application.

도 1은 본 발명에 따른 사용자 생활패턴 기반의 맞춤형 음성대화 제공 시스템을 설명하는 도면이다.1 is a view for explaining a system for providing a customized voice conversation based on a user's life pattern according to the present invention.

도 1을 참조하면, 사용자 생활패턴 기반의 맞춤형 음성대화 제공 시스템(100)은 접촉 대상이 되는 복수의 사물(110), 맞춤형 음성대화 제공 장치(130) 및 데이터베이스(150)를 포함할 수 있다.Referring to FIG. 1 , a system 100 for providing a customized voice conversation based on a user's life pattern may include a plurality of objects 110 to be touched, a customized voice conversation providing device 130 , and a database 150 .

복수의 사물(110) 각각에는 태그(tag)(110a,…,110b)를 부착할 수 있다. 각 사물 태그(110a,…110b)에는 해당 사물을 식별할 수 있는 고유번호와 함께 부가정보가 저장될 수 있다. 여기에서, 부가정보는 사물이 사용자에게 제공할 수 있는 적어도 하나의 가용 조건별 서비스 컨텐츠를 포함하는 서비스 프로파일을 의미할 수 있다. 따라서, 해당 사물의 접촉 순간 사용자에게 의미있는 서비스 컨텐츠를 제공할 수 있다. 여기에서, 사물(110)에 있는 사물 태그(110a,…,110b)는 인체 통신 모듈 혹은 근거리 통신 모듈을 포함할 수 있다. 근거리 통신은 RFID(radio frequency identification) 또는 NFC(near frequency communication)를 기반으로 할 수 있다. 사물 태그(110a,…110b)는 사물에 부착 가능한 형태로 구현할 수 있으며, 기존의 RFID 또는 NFC 용 스티커 라벨과 같은 형태로 구현할 수도 있다.Tags 110a, ..., 110b may be attached to each of the plurality of objects 110 . Each of the object tags 110a, ... 110b may store additional information together with a unique number for identifying the corresponding object. Here, the additional information may mean a service profile including at least one service content for each available condition that the thing can provide to the user. Accordingly, it is possible to provide meaningful service content to the user at the moment of contact with the corresponding object. Here, the object tags 110a, ..., 110b in the object 110 may include a human body communication module or a short-range communication module. Short-range communication may be based on radio frequency identification (RFID) or near frequency communication (NFC). The object tags 110a, ... 110b may be implemented in a form that can be attached to an object, and may be implemented in the same form as a conventional RFID or NFC sticker label.

사물 태그(110a,…110b)는 냉장고, 전자레인지, 정수기, 수도꼭지, 약병, TV리모콘, 변기, 세면대 등 다양한 사물에 부착될 수 있으며, 사용자의 사물 접촉시 해당 사물에 대한 식별정보 등을 인체통신을 통해 전송할 수 있다. 일 실시예에서, 사물 태그(110a,…,110b)는 맞춤형 음성대화 제공 장치(130)와 인체통신을 통해 연결될 수 있다. 일 실시예에서, 사물 태그(110a,…110b)는 사용자의 사물 접촉을 통해 웨이크업할 수 있고 맞춤형 음성대화 제공 장치(130)와 인체통신 혹은 RFID, NFC, 블루투스, WiFi 등의 무선 통신망을 통해 연결되어 데이터를 주고받을 수 있다.The object tags 110a, ... 110b can be attached to various objects such as refrigerators, microwave ovens, water purifiers, faucets, medicine bottles, TV remote controls, toilet bowls, washbasins, etc. can be transmitted via In an embodiment, the object tags 110a, ..., 110b may be connected to the customized voice conversation providing apparatus 130 through human body communication. In one embodiment, the object tags 110a, ... 110b can wake up through the user's object contact and are connected to the customized voice conversation providing device 130 through human body communication or a wireless communication network such as RFID, NFC, Bluetooth, WiFi, etc. data can be exchanged.

일실시예에서, 사물(110)은 자체 식별정보를 저장할 수 있고 사용자의 접촉이 감지되면 식별정보를 전송할 수 있다.In an embodiment, the object 110 may store its own identification information and transmit identification information when a user's contact is detected.

맞춤형 음성대화 제공 장치(130)는 사용자 생활패턴에 기반하여 상황에 알맞은 사용자 맞춤형 음성대화를 통해 사용자의 행동을 촉진할 수 있는 컴퓨팅 장치에 해당할 수 있고, 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고 다양한 디바이스로도 구현될 수 있다. 일 실시예에서, 맞춤형 음성대화 제공 장치(130)는 적어도 하나의 사물 태그(110a,…110b)와 인체통신을 통해 연결될 수 있는 스마트 워치 형태의 웨어러블 디바이스로 구현될 수 있으며, 반드시 이에 한정되지 않고 사용자의 몸에 착용하거나 부착할 수 있는 다양한 형태로 구현 가능할 수 있다. 일 실시예에서, 맞춤형 음성대화 제공 장치(130)는 적어도 하나의 사물 태그(110a,…,110b)와 무선통신을 통해 연결될 수 있는 스피커 기능이 탑재된 전자 장치일 수 있다. 여기에서, 맞춤형 음성대화 제공 장치(130)는 사물 태그(110a,…,110b)와의 네트워크 연결 방식에 따라 다양한 형태로 구현될 수 있다.The customized voice conversation providing device 130 may correspond to a computing device capable of facilitating a user's actions through a user's customized voice conversation suitable for a situation based on a user's life pattern, and may be implemented with a smartphone, a laptop computer, or a computer. In addition, the present invention is not necessarily limited thereto and may be implemented in various devices. In one embodiment, the customized voice conversation providing apparatus 130 may be implemented as a wearable device in the form of a smart watch that can be connected to at least one object tag 110a, ... 110b through human body communication, but is not necessarily limited thereto. It may be implemented in various forms that can be worn or attached to the user's body. In an embodiment, the customized voice conversation providing apparatus 130 may be an electronic device equipped with a speaker function that can be connected to at least one object tag 110a, ..., 110b through wireless communication. Here, the customized voice conversation providing apparatus 130 may be implemented in various forms according to a network connection method with the object tags 110a, ..., 110b.

맞춤형 음성대화 제공 장치(130)는 사물 태그(110a,…,110b)와 인체 통신을 통한 데이터 송수신이 가능하도록 하는 리더기 모듈 등을 포함할 수 있다. 일 실시예에서, 맞춤형 음성대화 제공 장치(130)는 사용자 생활패턴에 기반하여 사용자의 시계열적 상황을 인지하고 해당 상황에 맞는 음성메시지를 자동 발화하여 사용자와의 맥락 있는 대화를 주고받을 수 있다. 여기에서, 맞춤형 음성대화 제공 장치(130)는 사물 태그(110a,…,110b)와 인체통신을 통해 연결될 수 있고, 네트워크를 통해 사물 태그(110a,…,110b)와 데이터를 주고받을 수 있다. 맞춤형 음성대화 제공 장치(130)는 사물 태그(110a,…,110b)로부터 해당 사물의 식별정보를 수신하는 것에 한정되지 않고 사물(110) 자체에 식별정보가 저장된 경우 사용자의 접촉 사물(110)로부터 식별정보를 수신할 수도 있다.The customized voice conversation providing apparatus 130 may include a reader module that enables data transmission/reception through human body communication with the object tags 110a, ..., 110b. In an embodiment, the customized voice conversation providing apparatus 130 may recognize the user's time-series situation based on the user's life pattern and automatically utter a voice message suitable for the situation to exchange a contextual conversation with the user. Here, the customized voice conversation providing apparatus 130 may be connected to the object tags 110a, ..., 110b through human body communication, and may exchange data with the object tags 110a, ..., 110b through a network. The customized voice conversation providing apparatus 130 is not limited to receiving the identification information of the corresponding object from the object tags 110a, ..., 110b, and when the identification information is stored in the object 110 itself, the user's contact object 110 Identification information may be received.

일 실시예에서, 맞춤형 음성대화 제공 장치(130)는 데이터베이스(150)와 연동하여 맞춤형 음성대화 제공에 필요한 데이터를 저장할 수 있다. 한편, 맞춤형 음성대화 제공 장치(130)는 도 1과 달리, 데이터베이스(150)를 내부에 포함하여 구현될 수 있다. In an embodiment, the apparatus 130 for providing a customized voice conversation may store data necessary for providing a customized voice conversation in conjunction with the database 150 . Meanwhile, the customized voice conversation providing apparatus 130 may be implemented by including the database 150 therein, unlike FIG. 1 .

데이터베이스(150)는 사용자 생활패턴에 따른 맞춤형 음성대화 제공 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스(150)는 메시지 운영 일정에 관한 정보를 저장할 수 있고, 메시지 타입 별 상황에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 맞춤형 음성대화 제공 장치(130)가 사용자 생활패턴에 따라 맞춤형 음성대화를 제공하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The database 150 may correspond to a storage device for storing various types of information required in a process of providing a customized voice conversation according to a user's life pattern. The database 150 may store information about a message operation schedule, and may store information about a situation for each message type, but is not limited thereto, and the customized voice conversation providing apparatus 130 provides a customized voice according to a user's life pattern. In the process of providing a conversation, information collected or processed in various forms may be stored.

도 2는 도 1의 맞춤형 음성대화 제공 장치의 물리적 구성을 설명하는 블록도이다.FIG. 2 is a block diagram illustrating a physical configuration of the apparatus for providing a customized voice conversation of FIG. 1 .

도 2를 참조하면, 맞춤형 음성대화 제공 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.Referring to FIG. 2 , the customized voice conversation providing apparatus 130 may be implemented including a processor 210 , a memory 230 , a user input/output unit 250 , and a network input/output unit 270 .

프로세서(210)는 맞춤형 음성대화 제공 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 맞춤형 음성대화 제공 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 맞춤형 음성대화 제공 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.The processor 210 may execute a procedure for processing each step in the process in which the customized voice conversation providing apparatus 130 operates, and manage the memory 230 that is read or written throughout the process, the memory A synchronization time between the volatile memory and the non-volatile memory in 230 may be scheduled. The processor 210 may control the overall operation of the customized voice conversation providing apparatus 130 , and is electrically connected to the memory 230 , the user input/output unit 250 , and the network input/output unit 270 to control the flow of data therebetween. can be controlled The processor 210 may be implemented as a central processing unit (CPU) of the apparatus 130 for providing a customized voice conversation.

메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 맞춤형 음성대화 제공 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.The memory 230 is implemented as a non-volatile memory, such as a solid state drive (SSD) or a hard disk drive (HDD), and may include an auxiliary storage device used to store overall data required for the customized voice conversation providing device 130 . and may include a main memory implemented as a volatile memory such as random access memory (RAM).

사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 버튼, 터치 패드, 터치 스크린, 화상 키보드, 마이크 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린, 스피커와 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 맞춤형 음성대화 제공 장치(130)는 서버로서 수행될 수 있다.The user input/output unit 250 may include an environment for receiving a user input and an environment for outputting specific information to the user. For example, the user input/output unit 250 includes an input device including an adapter such as a button, a touch pad, a touch screen, an on-screen keyboard, a microphone, or a pointing device, and an output device including an adapter such as a monitor or a touch screen and a speaker. may include In an embodiment, the user input/output unit 250 may correspond to a computing device accessed through a remote connection, and in such a case, the customized voice conversation providing device 130 may be performed as a server.

네트워크 입출력부(270)는 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.The network input/output unit 270 includes an environment for connecting with an external device or system through a network, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and a VAN (Wide Area Network) (VAN). It may include an adapter for communication such as Value Added Network).

도 3은 도 1의 맞춤형 음성대화 제공 장치의 기능적 구성을 설명하는 블록도이다.FIG. 3 is a block diagram illustrating a functional configuration of the apparatus for providing a customized voice conversation of FIG. 1 .

도 3을 참조하면, 맞춤형 음성대화 제공 장치(130)는 사용자 생활패턴 처리부(310), 사용자 상황 결정부(330), 발화 메시지 결정부(350), 피드백 처리부(370) 및 제어부(390)를 포함할 수 있다.Referring to FIG. 3 , the customized voice conversation providing apparatus 130 includes a user life pattern processing unit 310 , a user situation determining unit 330 , an utterance message determining unit 350 , a feedback processing unit 370 , and a control unit 390 . may include

사용자 생활패턴 처리부(310)는 인체통신을 이용해 사용자가 접촉한 사물(110)로부터 또는 사물(110)에 부착된 사물 태그(110a,…,110b)로부터 해당 사물에 대한 식별데이터를 포함하는 행위 정보를 수신할 수 있다. 일 실시예에서, 사용자 생활패턴 처리부(310)는 수신되는 사물 식별데이터로부터 사물(110)의 사용자 접촉 행위에 따른 사용자의 생활패턴을 시간대별로 생성할 수 있다. 여기에서, 사용자 생활패턴 처리부(310)는 사물 식별데이터로부터 사용자가 어느 공간에 있었는지, 어떤 목적행동을 하고자 했는지를 알 수 있다. 예컨대, 사용자의 주방내 놓여 진 냉장고, 전자레인지, 가스렌지, 조리대, 개수대 등의 사물(110)의 접촉 행위로부터 사용자 생활패턴 처리부(310)는 사용자의 요리순서패턴을 생성할 수 있다. 사용자 생활패턴 처리부(310)는 사용자가 사물(110)을 접촉할 때마다 해당 사물(110) 또는 해당 사물(110)에 부착된 사물 태그(110a,…,110b)로부터 사물 식별데이터를 수집하여 사용자의 생활패턴을 생성할 수 있다. 사용자의 생활패턴에는 식사패턴, 복약패턴, 시청패턴, 운동패턴, 자세패턴, 외출패턴, 요일별 변화, 활동 패턴 등이 포함될 수 있고, 이에 한정되지 않고 메시지 발송이 필요한 상황을 도출하는데 사용할 수 있는 개인화 패턴이 다양하게 포함될 수 있다. The user life pattern processing unit 310 conducts information including identification data for the object from the object 110 that the user has contacted using human body communication or from the object tags 110a, ..., 110b attached to the object 110 . can receive In one embodiment, the user life pattern processing unit 310 may generate the user's life pattern according to the user's contact action of the object 110 from the received object identification data for each time zone. Here, the user's life pattern processing unit 310 may know from the object identification data in which space the user was and what purpose he or she intends to perform. For example, the user's life pattern processing unit 310 may generate the user's cooking order pattern from the contact action of the object 110 such as a refrigerator, a microwave oven, a gas stove, a cooking table, and a sink placed in the user's kitchen. The user life pattern processing unit 310 collects object identification data from the object 110 or the object tags 110a, ..., 110b attached to the object 110 whenever the user touches the object 110, and the user life patterns can be created. A user's life pattern may include a meal pattern, medication pattern, viewing pattern, exercise pattern, posture pattern, outing pattern, daily change, activity pattern, etc. A variety of patterns may be included.

일 실시예에서, 사용자 생활패턴 처리부(310)는 주방내 놓인 사물의 식별데이터 수신을 통해 하루 일과 중 식사시간, 지속시각, 식사간격, 아침식사 여부 등이 포함되는 식사패턴을 생성할 수 있다. 사용자 생활패턴 처리부(310)는 약병 및 컵을 접촉하는 사용자의 복약 행위정보로부터 복약 횟수 및 시간 등이 포함되는 복약패턴을 생성할 수 있다. 사용자 생활패턴 처리부(310)는 리모콘을 접촉하는 사용자의 행위정보로부터 TV 시청 횟수 및 야간시청여부 등이 포함되는 시청패턴을 생성할 수 있다. 사용자 생활패턴 처리부(310)는 사용자의 사물 접촉에 따른 행위정보를 통해 걸음수, 보폭, 보행속도, 운동강도 등이 포함되는 운동패턴, 눕기, 앉기 등의 자세패턴, 외출횟수, 간격, 지속시간 등이 포함되는 외출패턴, 기상, 취침, 공간이동성 등이 포함되는 활동패턴 등을 생성할 수 있다.In an embodiment, the user life pattern processing unit 310 may generate a meal pattern including a meal time, a duration time, a meal interval, and whether or not to eat breakfast during the day through reception of identification data of an object placed in the kitchen. The user life pattern processing unit 310 may generate a medication pattern including the number and time of medication from the medication action information of the user who contacts the medication bottle and cup. The user life pattern processing unit 310 may generate a viewing pattern including the number of TV viewings and night viewing, etc. from the behavior information of the user contacting the remote control. The user's life pattern processing unit 310 performs an exercise pattern including the number of steps, stride length, walking speed, exercise intensity, etc., posture patterns such as lying down and sitting, the number of times of going out, interval, and duration through behavior information according to the user's contact with objects. It is possible to create an outing pattern including the like, and an activity pattern including waking up, going to bed, and spatial mobility.

사용자 상황 결정부(330)는 자체적으로 또는 무선 통신을 통해 환경 컨텍스트를 수집하고 수집된 환경 컨텍스트를 기초로 사용자의 상황을 결정할 수 있다. 여기에서, 환경 컨텍스트는 위치, 시간, 계절, 온도, 날씨 및 조도 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 사용자 상황 결정부(330)는 현재 사용자의 위치 및 시간을 기초로 사용자가 특정 서비스 영역에 있는 경우에 환경 컨텍스트를 기초로 신체활동, 외출활동, 식사활동, 복약활동, 배변활동, 취침활동 등의 사용자의 행동상황과 그 목적을 추정할 수 있다.The user context determiner 330 may collect an environment context by itself or through wireless communication, and determine the user's context based on the collected environment context. Here, the environment context may include at least one of location, time, season, temperature, weather, and illuminance. In one embodiment, when the user is in a specific service area based on the current user's location and time, the user context determining unit 330 may include physical activity, outing activity, eating activity, medication activity, and bowel activity based on the environment context. It is possible to estimate the user's behavioral situation such as sleep activity and sleeping activity and its purpose.

발화메시지 결정부(350)는 사용자 생활패턴에 기반하여 현재 사용자의 상황에 맞는 발화 메시지를 결정하고 결정된 발화 메시지가 스피커를 통해 발화되도록 스피커를 포함할 수 있다. 여기에서, 스피커는 맞춤형 음성대화 제공 장치(130)에 구비되거나 또는 맞춤형 음성대화 제공 장치(130)와 무선 연결된 별도 기기로 구비될 수도 있다. 일 실시예에서, 발화메시지 결정부(350)는 메시지 운영 일정에 따라 스피커의 자동 발화 여부를 결정할 수 있고, 자동 발화시 현재 사용자의 상황에 따라 메시지 종류를 동적으로 결정할 수 있다. 여기에서, 발화메시지 결정부(350)는 기상 후 첫 사물 접촉을 시점으로 시간대 별로 메시지 타입이 설정되는 메시지 운영 일정에 따라 스피커를 자동 발화시킬 수 있다.The spoken message determining unit 350 may include a speaker to determine an uttered message suitable for the current user's situation based on the user's life pattern, and to utter the determined uttered message through the speaker. Here, the speaker may be provided in the customized voice conversation providing device 130 or as a separate device wirelessly connected to the customized voice conversation providing device 130 . In an embodiment, the speech message determining unit 350 may determine whether the speaker is automatically uttered according to a message operation schedule, and may dynamically determine the message type according to the current user's situation when the speaker is automatically uttered. Here, the uttered message determining unit 350 may automatically ignite the speaker according to a message operation schedule in which message types are set for each time zone from the first contact with an object after waking up.

발화메시지 결정부(350)는 메시지 운영 일정에 따른 자동 발화시 현재 사용자의 상황에 맞춰 발화메시지의 종류를 동적으로 결정할 수 있다. 여기에서, 발화메시지의 동적 변수에는 이름, 날씨, 걸음수, 기상시각, 취침시각, 수면시간, 이벤트시각(예를 들면, 식사, 복약, 용변, 귀가 등), 접촉사물종류, 접촉행위종류, 자세, 위치, 식사와 일상생활행동 등이 포함될 수 있다. 발화메시지 결정부(350)는 하기 표1과 같이, 메시지 타입 별 상황이 정의될 수 있다.The spoken message determining unit 350 may dynamically determine the type of the spoken message according to the current user's situation when automatically uttering according to the message operation schedule. Here, the dynamic variables of the speech message include name, weather, number of steps, wake up time, bedtime, sleep time, event time (eg, meal, medication, toilet, homecoming, etc.), contact object type, contact action type, These may include posture, position, diet, and activities of daily living. As shown in Table 1 below, the spoken message determining unit 350 may define a situation for each message type.

종류Kinds 대상Target 시간hour 상황situation T타입T type 전체, 성별full, gender 시간대slot 태그별 설정Settings by tag A타입Type A 대상선정
(전체,성별,개인별)
Target selection
(total, gender, individual)
시간대 지정time zone designation 기상 후
운동 촉진, 유모퀴즈 등
after waking up
Exercise promotion, nanny quiz, etc.

행동
알람

action
alarm

대상선정
(전체,성별,개인별)

Target selection
(total, gender, individual)

시간대 지정

time zone designation
귀가
식사(아침,점심,저녁구분)
용변(일반,새벽구분)
TV시청
homecoming
Meals (breakfast, lunch and dinner)
Toilet (regular, early morning)
watching TV

조건별 알람

Alarm by condition

대상선정
(개인별)

Target selection
(individual)

시간대 지정

time zone designation
조건별 운동촉진
조건별 취침촉진
조건별 식사촉진
조건별 복약촉진
Exercise promotion by condition
Sleep promotion by condition
Food promotion by condition
Medication promotion by condition

일 실시예에서, 발화메시지 결정부(350)는 사용자의 행동 촉진을 위한 대화내용을 결정할 수 있고 대화내용에 대응되는 음성을 형성하는 어휘 및 어투를 각각 결정할 수 있다. 여기에서, 발화메시지 결정부(350)는 사용자의 생활패턴 및 현재 상황을 기초로 학습을 통해 사용자 행동추천 모델을 구축할 수 있고 사용자 반응 피드백을 통해 사용자 행동추천 모델을 갱신할 수 있다.발화메시지 결정부(350)는 사용자의 생활패턴 및 현재 상황에 따라 맥락에 맞는 대화내용을 자동 발화할 수 있어 사용자에게 거부감을 주지 않고 사용자의 행동을 촉진시킬 수 있다. 발화메시지 결정부(350)는 피드백 처리부(370)를 통해 발화메시지에 대한 사용자 응답을 피드백받아 맥락있는 대화를 진행할 수 있다. In an embodiment, the spoken message determining unit 350 may determine the content of a conversation for facilitating the user's action, and may determine the vocabulary and tone for forming a voice corresponding to the conversation, respectively. Here, the spoken message determiner 350 may build a user behavior recommendation model through learning based on the user's life pattern and current situation, and may update the user behavior recommendation model through user reaction feedback. The determination unit 350 may automatically utter the conversation content suitable for the context according to the user's life pattern and current situation, thereby facilitating the user's action without giving the user objection. The spoken message determining unit 350 may receive a user response to the spoken message as feedback through the feedback processing unit 370 to conduct a contextual conversation.

일 실시예에서, 발화메시지 결정부(350)는 사용자의 생활패턴 및 상황 정보에 기초하여 발화 메시지를 결정하였으나, 이에 한정되지 아니하며, 그에 추가하여 사용자 정보까지 고려하여 발화 메시지가 결정될 수도 있다. 그를 위해, 사용자에 대한 성명, 성별, 나이, 건강관련 수치 및 질병 이력 중 적어도 하나에 대한 데이터를 포함하는 사용자 정보를 수집하여 발화될 메시지를 동적으로 결정할 수 있다. 여기에서, 발화 메시지는 스피커를 통해 음성 출력하지만 이에 한정되지 않고 화면 표시될 수도 있다.In an embodiment, the utterance message determiner 350 determines the uttered message based on the user's life pattern and context information, but the present invention is not limited thereto, and the uttered message may also be determined in consideration of user information in addition thereto. To this end, user information including data on at least one of a user's name, gender, age, health-related numerical value, and disease history may be collected to dynamically determine a message to be uttered. Here, the spoken message is outputted by voice through the speaker, but is not limited thereto and may be displayed on the screen.

피드백 처리부(370)는 사용자와의 음성대화 도중에 사용자 음성분석을 통해 사용자의 기분을 파악할 수 있고 사용자 행동추천에 따른 사용자의 수용 여부를 파악할 수 있다. 피드백 처리부(370)는 사용자의 음성 입력을 위한 마이크를 포함할 수 있다. 피드백 처리부(370)는 사용자 기분 및 행동 수용 여부를 발화메시지 결정부(350)로 피드백하여 대화 내용에 반영될 수 있도록 한다. 일 실시예에서, 피드백 처리부(370)는 사용자 행동 추천 후 사용자 응답 음성을 토대로 수용, 미수용, 모름의 3가지로 구별하여 수용 여부를 발화 메시지 결정부(350)로 피드백할 수 있다. 피드백 처리부(370)는 또한, 사용자 응답 음성을 분석하여 긍정, 부정, 모름의 3가지로 기분을 파악하여 발화 메시지 결정부(350)로 피드백할 수 있다.The feedback processing unit 370 may determine the user's mood through the user's voice analysis during the voice conversation with the user, and may determine whether the user is accepted according to the user's behavior recommendation. The feedback processing unit 370 may include a microphone for inputting a user's voice. The feedback processing unit 370 feeds back the user's mood and behavior acceptance to the speech message determination unit 350 so that it can be reflected in the conversation content. In an embodiment, the feedback processing unit 370 may classify acceptance, non-acceptance, and do not know based on the user's response voice after the user action recommendation, and feedback whether acceptance or not to the spoken message determination unit 350 . The feedback processing unit 370 may also analyze the user's response voice to identify three types of moods of positive, negative, and unknown, and feed it back to the utterance message determination unit 350 .

제어부(390)는 맞춤형 음성대화 제공 장치(130)의 전체적인 동작을 제어하고, 사용자 생활패턴 처리부(310), 사용자 상황 결정부(330), 발화 메시지 결정부(350) 및 피드백 처리부(370) 간의 제어 흐름 및 데이터 흐름을 관리할 수 있다.The control unit 390 controls the overall operation of the customized voice conversation providing apparatus 130 , and is performed between the user life pattern processing unit 310 , the user situation determination unit 330 , the spoken message determination unit 350 , and the feedback processing unit 370 . Control flow and data flow can be managed.

도 4는 도 1의 맞춤형 음성대화 제공 장치에서 수행되는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 과정을 설명하는 순서도이다.FIG. 4 is a flowchart illustrating a process of providing a customized voice conversation based on a user's life pattern performed by the apparatus for providing a customized voice conversation of FIG. 1 .

도 4를 참조하면, 맞춤형 음성대화 제공 장치(130)는 사용자 생활패턴 처리부(310)를 통해 인체통신을 이용해 사용자가 접촉한 사물로부터 해당 사물에 대한 식별정보를 포함하는 행위정보를 수신하여 사용자 생활패턴을 생성할 수 있다(단계 S410). 맞춤형 음성대화 제공 장치(130)는 사용자 상황 결정부(330)를 통해 환경 컨텍스트를 기초로 현재 사용자의 상황을 인지할 수 있다(단계 S430).Referring to FIG. 4 , the customized voice conversation providing apparatus 130 receives behavior information including identification information for the object from the object the user has contacted through the user's life pattern processing unit 310 and receives the user's life. A pattern may be generated (step S410). The customized voice conversation providing apparatus 130 may recognize the current user's situation based on the environment context through the user situation determining unit 330 (step S430).

또한, 맞춤형 음성대화 제공 장치(130)는 발화 메시지 결정부(350)를 통해 사용자 생활패턴을 기반으로 현재 사용자 상황에 따른 발화메시지를 결정하여 스피커를 통해 발화할 수 있다(단계 S450). Also, the customized voice conversation providing apparatus 130 may determine an uttered message according to the current user situation based on the user's life pattern through the uttered message determiner 350 and utter it through the speaker (step S450).

일 실시예에서, 발화 메시지 결정부(350)는 사용자 생활패턴과 현재 사용자의 상황에 기초하여 스피커의 자동 발화 여부를 결정할 수 있다. 발화 메시지 결정부(350)는 사용자의 사물 접촉 및 메시지 운영 일정에 기반하여 스피커의 자동 발화를 결정할 수 있다. 발화 메시지 결정부(350)는 스피커의 자동 발화가 결정되는 경우 사용자 생활패턴 및 사용자 상황에 기초하여, 현재 사용자의 상황에 알맞은 내용의 발화메시지를 결정하고 결정된 발화 메시지가 스피커를 통해 발화되도록 처리한다. 발화 메시지 결정부(350)는 상황 별로 사용자의 생활개선을 위해 발화된 메시지를 결정할 수 있다. 예컨대, 적은 걸음수, 늦은시간 TV시청, 아침식사 거르기, 간편식 위주 식사, 식사시간 불규칙, 설거지 누적, 늦은 식사, 새벽 용변 등 사용자의 생활패턴 중 개선이 필요한 상황에 대해 발화메시지를 발송하여 사용자의 행동 개선을 유도할 수 있다.In an embodiment, the utterance message determiner 350 may determine whether or not to automatically utter the speaker based on the user's life pattern and the current user's situation. The utterance message determiner 350 may determine automatic utterance of the speaker based on the user's object contact and message operation schedule. When the automatic speech of the speaker is determined, the speech message determining unit 350 determines a speech message with content appropriate to the current user's situation based on the user's life pattern and user situation, and processes the determined speech message to be uttered through the speaker. . The uttered message determiner 350 may determine the uttered message to improve the user's life for each situation. For example, by sending an utterance message to the situation that needs improvement in the user's life pattern, such as few steps, late watching TV, skipping breakfast, eating convenience food, irregular meal times, accumulating dishes, late eating, early morning toilet, etc. can lead to behavioral improvement.

또한, 맞춤형 음성대화 제공 장치(130)는 피드백 처리부(370)를 통해 발화메시지 발송 후 사용자 반응을 피드백하여 메시지의 대화내용에 반영하여 맥락 있는 음성대화를 제공할 수 있다(단계 S470).In addition, the customized voice conversation providing apparatus 130 may provide a contextual voice conversation by feeding back the user's reaction after sending the spoken message through the feedback processing unit 370 and reflecting it in the conversation content of the message (step S470).

도 5는 일 실시예에 따른 메시지 운영 일정표를 나타내는 예시도이다.5 is an exemplary diagram illustrating a message operation schedule according to an embodiment.

도 5에서, 맞춤형 음성대화 제공 장치(130)는 시간대 별로 상황에 대응되는 발화 메시지를 메시지 운영 일정표로 설정하여 사용자에게 상황에 알맞은 맞춤형 음성대화를 제공할 수 있다. 맞춤형 음성대화 제공 장치(130)는 시간대를 지정하고 상황에 따라 행동을 촉진하거나 사물(110) 접촉과 관련하여 발송될 메시지를 설정할 수 있다.In FIG. 5 , the customized voice conversation providing apparatus 130 may provide a customized voice conversation suitable for a situation to the user by setting an uttered message corresponding to a situation for each time zone as a message operation schedule. The customized voice conversation providing apparatus 130 may designate a time zone and set up a message to be sent in relation to contact with the object 110 or to promote an action according to a situation.

도 6은 일 실시예에 따른 맞춤형 음성대화 제공을 나타내는 예시도이다.6 is an exemplary diagram illustrating the provision of a customized voice conversation according to an embodiment.

도 6에서, 맞춤형 음성대화 제공 장치(130)는 사용자의 생활패턴과 함께 현재 사용자의 상황을 고려하여 대화내용을 결정하고 스피커를 통해 자동 발화시켜 음성대화를 제공할 수 있다. 사용자의 생활패턴은 사용자의 사물 접촉 행위를 기반으로 생성될 수 있다. 사용자 상황은 환경 컨텍스트를 기초로 인지될 수 있다. 예를 들어, 사용자가 '기상 후 첫 터치' 행위를 하는 경우, 운동량이 부족하고 날씨가 시원한 날에는 “요즘 운동량이 조금 부족하시네요! 날씨도 시원한테 산책해 보시는 게 어때요?” 라는 메시지가 발화될 수 있다. 맞춤형 음성대화 제공 장치(130)는 메시지 발화 후 사용자 반응을 대해 즉각적인 피드백을 줄 수 있다. 맞춤형 음성대화 제공 장치(130)는 사용자의 음성분석을 통해 수용여부 및 기분을 파악하여 피드백을 줄 수 있다. 예를 들어, 사용자가 “그럼 한번 나갔다 올까?” 라고 응답한 경우, “역시 할아버지는 시원한 날을 좋아하시는구나!” 라는 피드백 메시지가 발화될 수 있다.In FIG. 6 , the customized voice conversation providing apparatus 130 may determine the conversation content in consideration of the current user's situation along with the user's life pattern and automatically utter it through a speaker to provide the voice conversation. The user's life pattern may be generated based on the user's object contact behavior. The user context may be recognized based on the environment context. For example, if the user performs the 'first touch after waking up' action, on a day when the amount of exercise is insufficient and the weather is cool, “You are not getting enough exercise these days! The weather is cool, how about taking a walk?” message may be uttered. The customized voice conversation providing apparatus 130 may provide an immediate feedback on the user's reaction after the message is uttered. The customized voice conversation providing apparatus 130 may provide feedback by identifying acceptance and mood through the user's voice analysis. For example, if a user asks, “Would you like to go out and come back?” If you answered, “After all, Grandpa likes cool days!” A feedback message may be uttered.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be done.

100: 사용자 생활패턴 기반의 맞춤형 음성대화 제공 시스템
110: 사물 110a,…,110b: 사물 태그
130: 맞춤형 음성대화 제공 장치 150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 사용자 생활패턴 처리부 330: 사용자 상황 결정부
350: 발화 메시지 결정부 370: 피드백 처리부
390: 제어부
100: A system for providing customized voice conversations based on user life patterns
110: object 110a, . . . ,110b: Thing tag
130: customized voice conversation providing device 150: database
210: processor 230: memory
250: user input/output unit 270: network input/output unit
310: user life pattern processing unit 330: user situation determination unit
350: speech message determination unit 370: feedback processing unit
390: control unit

Claims (8)

사물의 접촉 과정에서 상기 사물에서 자체 제공되거나 또는 상기 사물에 부착된 사물 태그에서 제공되는 사물 식별정보를 수신하여 사용자의 식사패턴, 복약패턴, 시청패턴, 운동패턴, 자세패턴, 외출패턴, 요일별 변화, 배변 및 취침 활동패턴 중 적어도 하나 이상의 개인화 패턴을 포함하는 사용자 생활패턴을 시간대별로 생성하는 사용자 생활패턴 처리부;
현재 사용자의 위치 및 시간, 계절, 온도, 날씨, 조도 중 적어도 하나 이상을 포함하는 환경 컨텍스트를 기초로 현재 사용자의 상황을 결정하는 사용자 상황 결정부;
상기 사용자 생활패턴을 기반으로 상기 사용자 상황에 따른 사용자 행동 촉진을 위한 대화내용의 발화 메시지를 결정하고 대화내용에 대응하는 음성을 형성하는 어휘 및 어투를 각각 결정하여 대화내용을 스피커를 통해 발화시켜 사용자의 행동 개선을 유도하는 발화 메시지 결정부; 및
상기 발화 메시지에 대한 사용자의 행동 수용 여부를 상기 발화 메시지 결정부로 피드백하여 맥락있는 음성 대화가 제공되도록 하는 피드백 처리부를 포함하되,
상기 발화 메시지 결정부는
기상 후 첫 사물 접촉을 시점으로 시간대 별로 메시지 타입이 설정되는 메시지 운영 일정에 따라 자동 발화 여부를 결정하고 자동 발화시 현재 사용자 상황에 따라 메시지 종류를 동적으로 결정하고,
이름, 날씨, 걸음수, 기상시각, 취침시각, 수면시각, 이벤트시각, 접촉사물종류, 접촉행위종류, 자세, 위치, 식사와 일상생활행동 중 적어도 하나를 상기 발화메시지의 동적 변수로 포함하고,
상기 사용자 생활패턴 및 상황을 기초로 학습을 통해 사용자의 패턴상황 개선을 위한 사용자 행동추천 모델을 구축하고 사용자 반응 피드백을 통해 상기 사용자 행동추천 모델을 갱신하는 것을 특징으로 하는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치.
In the process of contacting an object, the user's meal pattern, medication pattern, viewing pattern, exercise pattern, posture pattern, outing pattern, and daily change by receiving object identification information provided by the object itself or from an object tag attached to the object , a user life pattern processing unit that generates a user life pattern including at least one personalized pattern of defecation and bedtime activity patterns for each time period;
a user context determiner configured to determine a current user's situation based on an environment context including at least one of a current user's location and time, season, temperature, weather, and illuminance;
Based on the user life pattern, an utterance message of the conversation content for facilitating user behavior according to the user situation is determined based on the user's life pattern, and the vocabulary and tone for forming a voice corresponding to the conversation content are determined respectively, and the conversation content is uttered through the speaker. an utterance message determining unit for inducing behavioral improvement; and
A feedback processing unit for providing a contextual voice conversation by feeding back whether or not the user's action with respect to the spoken message is accepted to the spoken message determining unit,
The spoken message determining unit
After waking up, it determines whether to automatically ignite according to the message operation schedule in which the message type is set for each time zone, starting from the first contact after waking up, and dynamically determines the message type according to the current user situation when auto-igniting,
Including at least one of name, weather, number of steps, wake up time, bedtime, sleep time, event time, contact object type, contact action type, posture, location, meal and daily life behavior as a dynamic variable of the utterance message,
Custom voice based on user life pattern, characterized in that building a user behavior recommendation model for improving the pattern situation of the user through learning based on the user life pattern and situation, and updating the user behavior recommendation model through user reaction feedback Conversational device.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서, 상기 피드백 처리부는
상기 발화 메시지의 발화 후 상기 사용자의 응답 음성을 토대로 추천 행동의 수용여부 및 기분을 분석하여 상기 발화 메시지 결정부로 사용자 반응 피드백하는 것을 특징으로 하는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치.
The method of claim 1, wherein the feedback processing unit
After uttering the utterance message, the user's life pattern-based customized voice conversation providing apparatus, characterized in that the user's response feedback is fed back to the uttered message determining unit by analyzing whether the recommended action is accepted and the mood based on the user's response voice.
삭제delete
KR1020200135725A 2020-10-20 2020-10-20 Apparatus and method for providing customized voice interaction based on user life pattern KR102315020B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200135725A KR102315020B1 (en) 2020-10-20 2020-10-20 Apparatus and method for providing customized voice interaction based on user life pattern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200135725A KR102315020B1 (en) 2020-10-20 2020-10-20 Apparatus and method for providing customized voice interaction based on user life pattern

Publications (2)

Publication Number Publication Date
KR102315020B1 true KR102315020B1 (en) 2021-10-21
KR102315020B9 KR102315020B9 (en) 2022-04-15

Family

ID=78268739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200135725A KR102315020B1 (en) 2020-10-20 2020-10-20 Apparatus and method for providing customized voice interaction based on user life pattern

Country Status (1)

Country Link
KR (1) KR102315020B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102620070B1 (en) * 2022-10-13 2024-01-02 주식회사 타이렐 Autonomous articulation system based on situational awareness

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103506A (en) * 2018-02-12 2019-09-05 주식회사 삼원바이오텍 Intelligent mat platform based on things internet using AI speaker for healthy life management of the elderly
KR20190106887A (en) * 2019-08-28 2019-09-18 엘지전자 주식회사 Method and device for providing information
KR102053534B1 (en) 2018-06-04 2019-12-09 주식회사 인컨 elderly care providing method using artificial intelligent speaker

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103506A (en) * 2018-02-12 2019-09-05 주식회사 삼원바이오텍 Intelligent mat platform based on things internet using AI speaker for healthy life management of the elderly
KR102053534B1 (en) 2018-06-04 2019-12-09 주식회사 인컨 elderly care providing method using artificial intelligent speaker
KR20190106887A (en) * 2019-08-28 2019-09-18 엘지전자 주식회사 Method and device for providing information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102620070B1 (en) * 2022-10-13 2024-01-02 주식회사 타이렐 Autonomous articulation system based on situational awareness

Also Published As

Publication number Publication date
KR102315020B9 (en) 2022-04-15

Similar Documents

Publication Publication Date Title
KR102453603B1 (en) Electronic device and method for controlling thereof
US20180323996A1 (en) Automatic generation of scenes using an assistant device
US10726846B2 (en) Virtual health assistant for promotion of well-being and independent living
US10515631B2 (en) System and method for assessing the cognitive style of a person
US20150338917A1 (en) Device, system, and method of controlling electronic devices via thought
US20200258503A1 (en) Information processing device and information processing method
KR102343084B1 (en) Electronic device and method for executing function of electronic device
EP3373525A2 (en) Electronic device and method using machine learning for identifying characteristics of users located within a specific space
JP7491221B2 (en) Response generation device, response generation method, and response generation program
US10382907B2 (en) Device and method for providing notification message about call request
JP2008234443A (en) Information processor
KR102361458B1 (en) Method for responding user speech and electronic device supporting the same
US11116403B2 (en) Method, apparatus and system for tailoring at least one subsequent communication to a user
US11836980B2 (en) Systems, devices, and methods for assisting human-to-human interactions
US11020063B2 (en) Support system
KR102315020B1 (en) Apparatus and method for providing customized voice interaction based on user life pattern
KR20230015980A (en) Simultaneous acoustic event detection on multiple assistant devices
US20210406736A1 (en) System and method of content recommendation
CN116974383A (en) Keyboard with sterilization function and keyboard sterilization method
KR20230016013A (en) Inferring semantic label(s) for assistant device(s) based on device-specific signals
US11818820B2 (en) Adapting a lighting control interface based on an analysis of conversational input
US11687049B2 (en) Information processing apparatus and non-transitory computer readable medium storing program
JP7415952B2 (en) Response processing device and response processing method
US20220019285A1 (en) Communication using biopotential sensing and tactile actions
KR102551856B1 (en) Electronic device for predicting emotional state of protected person using walking support device based on deep learning based prediction model and method for operation thereof

Legal Events

Date Code Title Description
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]