KR102315020B1 - Apparatus and method for providing customized voice interaction based on user life pattern - Google Patents
Apparatus and method for providing customized voice interaction based on user life pattern Download PDFInfo
- Publication number
- KR102315020B1 KR102315020B1 KR1020200135725A KR20200135725A KR102315020B1 KR 102315020 B1 KR102315020 B1 KR 102315020B1 KR 1020200135725 A KR1020200135725 A KR 1020200135725A KR 20200135725 A KR20200135725 A KR 20200135725A KR 102315020 B1 KR102315020 B1 KR 102315020B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- pattern
- message
- life pattern
- situation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000003993 interaction Effects 0.000 title 1
- 230000009471 action Effects 0.000 claims description 26
- 230000006399 behavior Effects 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 16
- 239000003814 drug Substances 0.000 claims description 11
- 235000012054 meals Nutrition 0.000 claims description 11
- 229940079593 drug Drugs 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 230000036651 mood Effects 0.000 claims description 6
- 230000002618 waking effect Effects 0.000 claims description 6
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 230000004622 sleep time Effects 0.000 claims description 3
- 230000013872 defecation Effects 0.000 claims 1
- 230000001939 inductive effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 235000021152 breakfast Nutrition 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000010411 cooking Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 101100327917 Caenorhabditis elegans chup-1 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 235000013410 fast food Nutrition 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 사용자 생활패턴 기반의 맞춤형 음성대화 제공 기술에 관한 것으로, 더욱 상세하게는 사용자 생활패턴에 기반하여 상황에 알맞은 사용자 맞춤형 음성대화를 통해 사용자의 행동을 촉진할 수 있는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법에 관한 것이다.The present invention relates to a technology for providing customized voice conversation based on a user's life pattern, and more particularly, to a customized voice conversation based on a user's life pattern that can promote a user's behavior through a user-customized voice conversation suitable for a situation based on the user's life pattern It relates to an apparatus and method for providing voice conversation.
최근 사용자 인터페이스에 대한 관심이 높아지고, 음성 처리 기술이 발달함에 따라, 음성 인식 기능이 내장된 IT 기기들이 늘어가고 있다. 예컨대, 사용자의 음성을 인식하여 사용자가 요청한 동작을 수행할 수 있는 스마트폰, 스마트 워치, 스마트 TV, 스마트 냉장고 등이 널리 보급되고 있다.Recently, as interest in user interfaces increases and voice processing technology develops, IT devices having a built-in voice recognition function are increasing. For example, smartphones, smart watches, smart TVs, smart refrigerators, etc. that can perform an operation requested by a user by recognizing a user's voice are widely used.
또한, 간단한 대화가 가능한 인공지능(AI) 스피커가 개발되고 있다. 이러한 인공지능 스피커는 사용자의 음성을 인식하여 사용자의 명령 내용을 파악한 후 해당 명령 내용에 따라 반응하는 스피커 장치를 말한다.In addition, artificial intelligence (AI) speakers capable of simple conversations are being developed. Such an artificial intelligence speaker refers to a speaker device that recognizes a user's voice, understands the user's command, and responds according to the corresponding command.
인공지능(AI) 스피커는 여러 생활 영역에 적용되어 삶의 질을 높여주고 있으며, 특히 어르신 돌봄 서비스 기능을 탑재하여 활용도를 높이고 있다.Artificial intelligence (AI) speakers are applied to various living areas to improve the quality of life, and in particular, the elderly care service function is being installed to increase the usability.
그러나, 지금까지의 인공지능(AI) 스피커는 사용자가 음성 입력을 시작하기 전에 미리 정해진 트리거(trigger) 단어 즉, 스피커마다 할당된 호칭을 호명해야만 활성화된다. 사용자는 인공지능 스피커가 활성화된 이후에야 자신의 요청사항을 전달하거나 대화를 시작할 수 있고 사용자의 상황을 인지하지 못하고 사용자의 질문에 응답하는 형태의 대화만 가능하기 때문에 어르신 돌봄 서비스 기능을 수행하는 데 있어 한계가 있다.However, until now, the artificial intelligence (AI) speaker is activated only when the user calls a predetermined trigger word, that is, a name assigned to each speaker before starting a voice input. Users can deliver their requests or start conversations only after the artificial intelligence speaker is activated, and since only conversations in the form of responding to the user's questions are possible without recognizing the user's situation, it is necessary to perform the elderly care service function. there is a limit
한국등록특허 제10-2053534(2019.12.02)호는 인공지능 스피커를 이용한 노인케어 제공방법에 관한 것으로, 인공지능 스피커를 통해 우울증 등의 질병을 진단 및 방지하며, 위치기반으로 시설정보를 알려주며, 수집된 정보를 바탕으로 일정 시간에 맞추어 사용자가 물어보기 전에 사용자에게 정보를 제공하는 기술을 개시하고 있다.Korean Patent No. 10-2053534 (2019.12.02) relates to a method of providing elderly care using an artificial intelligence speaker, which diagnoses and prevents diseases such as depression through the artificial intelligence speaker, and informs facility information based on location, A technology for providing information to a user before the user asks a question according to a predetermined time based on the collected information is disclosed.
본 발명의 일 실시예는 사용자 생활패턴에 기반하여 상황에 알맞은 사용자 맞춤형 음성대화를 통해 사용자의 행동을 촉진할 수 있는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide an apparatus and method for providing a customized voice conversation based on a user's life pattern, which can promote a user's behavior through a user-customized voice conversation suitable for a situation based on the user's life pattern.
본 발명의 일 실시예는 사용자 생활패턴에 기반하여 사용자의 시계열적 상황을 인지하고 해당 상황에 맞는 음성메시지를 자동 발화하여 사용자와의 맥락있는 대화를 주고받을 수 있는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법을 제공하고자 한다.An embodiment of the present invention recognizes the user's time-series situation based on the user's life pattern and automatically utters a voice message suitable for the situation, so that the user's life pattern-based customized voice conversation can be exchanged in a contextual conversation with the user. It is intended to provide a providing apparatus and method.
본 발명의 일 실시예는 사용자의 사물에 태그를 부착하고 사물 접촉 행동을 통해 사용자의 생활패턴을 생성하여 패턴에 따른 적합한 행동을 추천하여 사용자에게 직접적 가치를 제공할 수 있는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법을 제공하고자 한다.An embodiment of the present invention attaches a tag to a user's object, creates a user's life pattern through an object contact action, recommends an appropriate action according to the pattern, and provides direct value to the user. An object of the present invention is to provide an apparatus and method for providing voice conversation.
실시예들 중에서, 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치는 사물 접촉 행위 기반의 사용자 생활패턴을 생성하는 사용자 생활패턴 처리부, 환경 컨텍스트를 기초로 현재 사용자의 상황을 인지하는 사용자 상황 결정부, 상기 사용자 생활패턴을 기반으로 상기 사용자 상황에 따른 상기 사용자 행동 추천을 위한 대화내용의 발화 메시지를 결정하여 스피커를 통해 발화하는 발화 메시지 결정부, 및 상기 발화 메시지에 대한 사용자 반응을 상기 발화 메시지 결정부로 피드백하여 맥락있는 음성 대화가 제공되도록 하는 피드백 처리부를 포함한다.In embodiments, the apparatus for providing a customized voice conversation based on a user's life pattern includes a user life pattern processing unit generating a user life pattern based on an object contact behavior, a user situation determining unit recognizing a current user's situation based on an environment context, and the An utterance message determiner uttering through a speaker by determining an utterance message of the conversation content for the user action recommendation according to the user situation based on a user life pattern, and feedbacks a user reaction to the uttered message to the utterance message determiner and a feedback processing unit for providing a contextual voice conversation.
상기 사용자 생활패턴 처리부는 사물의 접촉 과정에서 상기 사물에서 자체 제공되거나 또는 상기 사물에 부착된 사물 태그에서 제공되는 사물 식별정보를 수신하여 사용자의 식사패턴, 복약패턴, 시청패턴, 운동패턴, 자세패턴, 외출패턴, 배변 및 취침 활동패턴 중 적어도 하나 이상을 포함하는 생활패턴을 생성할 수 있다.The user life pattern processing unit receives the object identification information provided by itself from the object or from the object tag attached to the object in the process of contacting the object, and receives the user's meal pattern, medication pattern, viewing pattern, exercise pattern, and posture pattern. , a life pattern including at least one of an outing pattern, a bowel movement, and a bedtime activity pattern may be generated.
상기 사용자 상황 결정부는 위치, 시간, 계절, 온도, 날씨 및 조도 중 적어도 하나 이상을 포함하는 환경 컨텍스트를 기초로 상기 사용자의 상황을 결정할 수 있다.The user context determiner may determine the user's context based on an environment context including at least one of location, time, season, temperature, weather, and illuminance.
상기 발화 메시지 결정부는 메시지 운영 일정에 따라 자동 발화 여부를 결정하고 자동 발화시 현재 사용자 상황에 따라 메시지 종류를 동적으로 결정할 수 있다.The utterance message determining unit may determine whether to automatically utter a message according to a message operation schedule, and dynamically determine a message type according to a current user situation during automatic utterance.
상기 발화 메시지 결정부는 이름, 날씨, 걸음수, 기상시각, 취침시각, 수면시각, 이벤트시각, 접촉사물종류, 접촉행위종류, 자세, 위치, 식사와 일상생활행동 중 적어도 하나를 상기 발화메시지의 동적 변수로 포함할 수 있다.The utterance message determining unit determines at least one of name, weather, number of steps, wake-up time, bedtime, sleep time, event time, contact object type, contact action type, posture, location, meal and daily life behavior of the utterance message dynamically. It can be included as a variable.
상기 발화 메시지 결정부는 상기 사용자 생활패턴 및 상황을 기초로 학습을 통해 사용자의 패턴상황 개선을 위한 사용자 행동추천 모델을 구축하고 사용자 반응 피드백을 통해 상기 사용자 행동추천 모델을 갱신할 수 있다.The utterance message determiner may build a user behavior recommendation model for improving the user's pattern situation through learning based on the user's life pattern and situation, and may update the user behavior recommendation model through user response feedback.
상기 피드백 처리부는 상기 발화 메시지의 발화 후 상기 사용자의 응답 음성을 토대로 추천 행동의 수용여부 및 기분을 분석하여 상기 발화 메시지 결정부로 사용자 반응 피드백할 수 있다.The feedback processing unit may analyze whether a recommended action is accepted and a mood based on the user's response voice after the spoken message is uttered, and feedback the user response to the uttered message determining unit.
실시예들 중에서, 사용자 생활패턴 기반의 맞춤형 음성대화 제공 방법은 사물 접촉 행위 기반의 사용자 생활패턴을 생성하는 단계, 환경 컨텍스트를 기초로 현재 사용자의 상황을 인지하는 단계, 상기 사용자 생활패턴을 기반으로 상기 사용자 상황에 따른 상기 사용자 행동 추천을 위한 대화내용의 발화 메시지를 결정하여 스피커를 통해 발화하는 단계, 및 상기 발화 메시지에 대한 사용자 반응에 대해 피드백하는 단계를 포함한다.Among the embodiments, the method for providing a customized voice conversation based on a user life pattern includes generating a user life pattern based on an object contact action, recognizing the current user's situation based on an environment context, and based on the user life pattern and determining an utterance message of the conversation content for the user action recommendation according to the user situation and uttering it through a speaker, and feeding back a user reaction to the utterance message.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be construed as being limited thereby.
본 발명의 일 실시예에 따른 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법은 사용자 생활패턴에 기반하여 상황에 알맞은 사용자 맞춤형 음성대화를 통해 사용자의 행동을 촉진할 수 있다.The apparatus and method for providing a customized voice conversation based on a user's life pattern according to an embodiment of the present invention can promote a user's action through a user's customized voice conversation suitable for a situation based on the user's life pattern.
본 발명의 일 실시예에 따른 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법은 사용자 생활패턴에 기반하여 사용자의 시계열적 상황을 인지하고 해당 상황에 맞는 음성메시지를 자동 발화하여 사용자와의 맥락있는 대화를 주고받을 수 있다.An apparatus and method for providing a customized voice conversation based on a user's life pattern according to an embodiment of the present invention recognizes the user's time-series situation based on the user's life pattern and automatically utters a voice message suitable for the situation in context with the user. can have a conversation.
본 발명의 일 실시예에 따른 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치 및 방법은 사용자의 사물에 태그를 부착하고 사물 접촉 행동을 통해 사용자의 생활패턴을 생성하여 패턴에 따른 적합한 행동을 추천하여 사용자에게 직접적 가치를 제공할 수 있다.An apparatus and method for providing a customized voice conversation based on a user's life pattern according to an embodiment of the present invention attaches a tag to a user's object, creates a user's life pattern through an object contact action, and recommends an appropriate action according to the pattern. can provide direct value to
따라서, 본 발명은 사용자 개개의 생활패턴에 따른 상황을 인지하여 최적의 타이밍에 자동 발화할 수 있고 사용자에게 적합한 행동을 추천 및 제안할 수 있어 사용자의 생활 개선을 실시할 수 있으며, 이를 고령자의 관점에서 케어 서비스 등에 이용할 수 있다.Therefore, the present invention recognizes situations according to each user's individual life pattern, can automatically utter at the optimal timing, and can recommend and suggest actions suitable for the user, thereby improving the user's life, which can be viewed from the elderly's point of view. available for care services, etc.
도 1은 본 발명에 따른 사용자 생활패턴 기반의 맞춤형 음성대화 제공 시스템을 설명하는 도면이다.
도 2는 도 1의 맞춤형 음성대화 제공 장치의 물리적 구성을 설명하는 블록도이다.
도 3은 도 1의 맞춤형 음성대화 제공 장치의 기능적 구성을 설명하는 블록도이다.
도 4는 도 1의 맞춤형 음성대화 제공 장치에서 수행되는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 과정을 설명하는 순서도이다.
도 5는 일 실시예에 따른 메시지 운영 일정표를 나타내는 예시도이다.
도 6은 일 실시예에 따른 맞춤형 음성대화 제공을 나타내는 예시도이다.1 is a view for explaining a system for providing a customized voice conversation based on a user's life pattern according to the present invention.
FIG. 2 is a block diagram illustrating a physical configuration of the apparatus for providing a customized voice conversation of FIG. 1 .
FIG. 3 is a block diagram illustrating a functional configuration of the apparatus for providing a customized voice conversation of FIG. 1 .
FIG. 4 is a flowchart illustrating a process of providing a customized voice conversation based on a user's life pattern performed by the apparatus for providing a customized voice conversation of FIG. 1 .
5 is an exemplary diagram illustrating a message operation schedule according to an embodiment.
6 is an exemplary diagram illustrating the provision of a customized voice conversation according to an embodiment.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is merely an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiment described in the text. That is, since the embodiment may have various changes and may have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, it should not be understood that the scope of the present invention is limited thereby.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as “first” and “second” are for distinguishing one component from another, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being “connected” to another component, it may be directly connected to the other component, but it should be understood that other components may exist in between. On the other hand, when it is mentioned that a certain element is "directly connected" to another element, it should be understood that the other element does not exist in the middle. Meanwhile, other expressions describing the relationship between elements, that is, “between” and “immediately between” or “neighboring to” and “directly adjacent to”, etc., should be interpreted similarly.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood to include the plural expression unless the context clearly dictates otherwise, and terms such as "comprises" or "have" refer to the embodied feature, number, step, action, component, part or these It is intended to indicate that a combination exists, and it should be understood that it does not preclude the possibility of the existence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Identifiers (eg, a, b, c, etc.) in each step are used for convenience of description, and the identification code does not describe the order of each step, and each step clearly indicates a specific order in context. Unless otherwise specified, it may occur in a different order from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable codes on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. . Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed in a network-connected computer system, and the computer-readable code may be stored and executed in a distributed manner.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Terms defined in general used in the dictionary should be interpreted as being consistent with the meaning in the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application.
도 1은 본 발명에 따른 사용자 생활패턴 기반의 맞춤형 음성대화 제공 시스템을 설명하는 도면이다.1 is a view for explaining a system for providing a customized voice conversation based on a user's life pattern according to the present invention.
도 1을 참조하면, 사용자 생활패턴 기반의 맞춤형 음성대화 제공 시스템(100)은 접촉 대상이 되는 복수의 사물(110), 맞춤형 음성대화 제공 장치(130) 및 데이터베이스(150)를 포함할 수 있다.Referring to FIG. 1 , a
복수의 사물(110) 각각에는 태그(tag)(110a,…,110b)를 부착할 수 있다. 각 사물 태그(110a,…110b)에는 해당 사물을 식별할 수 있는 고유번호와 함께 부가정보가 저장될 수 있다. 여기에서, 부가정보는 사물이 사용자에게 제공할 수 있는 적어도 하나의 가용 조건별 서비스 컨텐츠를 포함하는 서비스 프로파일을 의미할 수 있다. 따라서, 해당 사물의 접촉 순간 사용자에게 의미있는 서비스 컨텐츠를 제공할 수 있다. 여기에서, 사물(110)에 있는 사물 태그(110a,…,110b)는 인체 통신 모듈 혹은 근거리 통신 모듈을 포함할 수 있다. 근거리 통신은 RFID(radio frequency identification) 또는 NFC(near frequency communication)를 기반으로 할 수 있다. 사물 태그(110a,…110b)는 사물에 부착 가능한 형태로 구현할 수 있으며, 기존의 RFID 또는 NFC 용 스티커 라벨과 같은 형태로 구현할 수도 있다.
사물 태그(110a,…110b)는 냉장고, 전자레인지, 정수기, 수도꼭지, 약병, TV리모콘, 변기, 세면대 등 다양한 사물에 부착될 수 있으며, 사용자의 사물 접촉시 해당 사물에 대한 식별정보 등을 인체통신을 통해 전송할 수 있다. 일 실시예에서, 사물 태그(110a,…,110b)는 맞춤형 음성대화 제공 장치(130)와 인체통신을 통해 연결될 수 있다. 일 실시예에서, 사물 태그(110a,…110b)는 사용자의 사물 접촉을 통해 웨이크업할 수 있고 맞춤형 음성대화 제공 장치(130)와 인체통신 혹은 RFID, NFC, 블루투스, WiFi 등의 무선 통신망을 통해 연결되어 데이터를 주고받을 수 있다.The object tags 110a, ... 110b can be attached to various objects such as refrigerators, microwave ovens, water purifiers, faucets, medicine bottles, TV remote controls, toilet bowls, washbasins, etc. can be transmitted via In an embodiment, the
일실시예에서, 사물(110)은 자체 식별정보를 저장할 수 있고 사용자의 접촉이 감지되면 식별정보를 전송할 수 있다.In an embodiment, the
맞춤형 음성대화 제공 장치(130)는 사용자 생활패턴에 기반하여 상황에 알맞은 사용자 맞춤형 음성대화를 통해 사용자의 행동을 촉진할 수 있는 컴퓨팅 장치에 해당할 수 있고, 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고 다양한 디바이스로도 구현될 수 있다. 일 실시예에서, 맞춤형 음성대화 제공 장치(130)는 적어도 하나의 사물 태그(110a,…110b)와 인체통신을 통해 연결될 수 있는 스마트 워치 형태의 웨어러블 디바이스로 구현될 수 있으며, 반드시 이에 한정되지 않고 사용자의 몸에 착용하거나 부착할 수 있는 다양한 형태로 구현 가능할 수 있다. 일 실시예에서, 맞춤형 음성대화 제공 장치(130)는 적어도 하나의 사물 태그(110a,…,110b)와 무선통신을 통해 연결될 수 있는 스피커 기능이 탑재된 전자 장치일 수 있다. 여기에서, 맞춤형 음성대화 제공 장치(130)는 사물 태그(110a,…,110b)와의 네트워크 연결 방식에 따라 다양한 형태로 구현될 수 있다.The customized voice
맞춤형 음성대화 제공 장치(130)는 사물 태그(110a,…,110b)와 인체 통신을 통한 데이터 송수신이 가능하도록 하는 리더기 모듈 등을 포함할 수 있다. 일 실시예에서, 맞춤형 음성대화 제공 장치(130)는 사용자 생활패턴에 기반하여 사용자의 시계열적 상황을 인지하고 해당 상황에 맞는 음성메시지를 자동 발화하여 사용자와의 맥락 있는 대화를 주고받을 수 있다. 여기에서, 맞춤형 음성대화 제공 장치(130)는 사물 태그(110a,…,110b)와 인체통신을 통해 연결될 수 있고, 네트워크를 통해 사물 태그(110a,…,110b)와 데이터를 주고받을 수 있다. 맞춤형 음성대화 제공 장치(130)는 사물 태그(110a,…,110b)로부터 해당 사물의 식별정보를 수신하는 것에 한정되지 않고 사물(110) 자체에 식별정보가 저장된 경우 사용자의 접촉 사물(110)로부터 식별정보를 수신할 수도 있다.The customized voice
일 실시예에서, 맞춤형 음성대화 제공 장치(130)는 데이터베이스(150)와 연동하여 맞춤형 음성대화 제공에 필요한 데이터를 저장할 수 있다. 한편, 맞춤형 음성대화 제공 장치(130)는 도 1과 달리, 데이터베이스(150)를 내부에 포함하여 구현될 수 있다. In an embodiment, the
데이터베이스(150)는 사용자 생활패턴에 따른 맞춤형 음성대화 제공 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스(150)는 메시지 운영 일정에 관한 정보를 저장할 수 있고, 메시지 타입 별 상황에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 맞춤형 음성대화 제공 장치(130)가 사용자 생활패턴에 따라 맞춤형 음성대화를 제공하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The
도 2는 도 1의 맞춤형 음성대화 제공 장치의 물리적 구성을 설명하는 블록도이다.FIG. 2 is a block diagram illustrating a physical configuration of the apparatus for providing a customized voice conversation of FIG. 1 .
도 2를 참조하면, 맞춤형 음성대화 제공 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.Referring to FIG. 2 , the customized voice
프로세서(210)는 맞춤형 음성대화 제공 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 맞춤형 음성대화 제공 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 맞춤형 음성대화 제공 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.The
메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 맞춤형 음성대화 제공 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.The
사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 버튼, 터치 패드, 터치 스크린, 화상 키보드, 마이크 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린, 스피커와 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 맞춤형 음성대화 제공 장치(130)는 서버로서 수행될 수 있다.The user input/
네트워크 입출력부(270)는 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.The network input/
도 3은 도 1의 맞춤형 음성대화 제공 장치의 기능적 구성을 설명하는 블록도이다.FIG. 3 is a block diagram illustrating a functional configuration of the apparatus for providing a customized voice conversation of FIG. 1 .
도 3을 참조하면, 맞춤형 음성대화 제공 장치(130)는 사용자 생활패턴 처리부(310), 사용자 상황 결정부(330), 발화 메시지 결정부(350), 피드백 처리부(370) 및 제어부(390)를 포함할 수 있다.Referring to FIG. 3 , the customized voice
사용자 생활패턴 처리부(310)는 인체통신을 이용해 사용자가 접촉한 사물(110)로부터 또는 사물(110)에 부착된 사물 태그(110a,…,110b)로부터 해당 사물에 대한 식별데이터를 포함하는 행위 정보를 수신할 수 있다. 일 실시예에서, 사용자 생활패턴 처리부(310)는 수신되는 사물 식별데이터로부터 사물(110)의 사용자 접촉 행위에 따른 사용자의 생활패턴을 시간대별로 생성할 수 있다. 여기에서, 사용자 생활패턴 처리부(310)는 사물 식별데이터로부터 사용자가 어느 공간에 있었는지, 어떤 목적행동을 하고자 했는지를 알 수 있다. 예컨대, 사용자의 주방내 놓여 진 냉장고, 전자레인지, 가스렌지, 조리대, 개수대 등의 사물(110)의 접촉 행위로부터 사용자 생활패턴 처리부(310)는 사용자의 요리순서패턴을 생성할 수 있다. 사용자 생활패턴 처리부(310)는 사용자가 사물(110)을 접촉할 때마다 해당 사물(110) 또는 해당 사물(110)에 부착된 사물 태그(110a,…,110b)로부터 사물 식별데이터를 수집하여 사용자의 생활패턴을 생성할 수 있다. 사용자의 생활패턴에는 식사패턴, 복약패턴, 시청패턴, 운동패턴, 자세패턴, 외출패턴, 요일별 변화, 활동 패턴 등이 포함될 수 있고, 이에 한정되지 않고 메시지 발송이 필요한 상황을 도출하는데 사용할 수 있는 개인화 패턴이 다양하게 포함될 수 있다. The user life
일 실시예에서, 사용자 생활패턴 처리부(310)는 주방내 놓인 사물의 식별데이터 수신을 통해 하루 일과 중 식사시간, 지속시각, 식사간격, 아침식사 여부 등이 포함되는 식사패턴을 생성할 수 있다. 사용자 생활패턴 처리부(310)는 약병 및 컵을 접촉하는 사용자의 복약 행위정보로부터 복약 횟수 및 시간 등이 포함되는 복약패턴을 생성할 수 있다. 사용자 생활패턴 처리부(310)는 리모콘을 접촉하는 사용자의 행위정보로부터 TV 시청 횟수 및 야간시청여부 등이 포함되는 시청패턴을 생성할 수 있다. 사용자 생활패턴 처리부(310)는 사용자의 사물 접촉에 따른 행위정보를 통해 걸음수, 보폭, 보행속도, 운동강도 등이 포함되는 운동패턴, 눕기, 앉기 등의 자세패턴, 외출횟수, 간격, 지속시간 등이 포함되는 외출패턴, 기상, 취침, 공간이동성 등이 포함되는 활동패턴 등을 생성할 수 있다.In an embodiment, the user life
사용자 상황 결정부(330)는 자체적으로 또는 무선 통신을 통해 환경 컨텍스트를 수집하고 수집된 환경 컨텍스트를 기초로 사용자의 상황을 결정할 수 있다. 여기에서, 환경 컨텍스트는 위치, 시간, 계절, 온도, 날씨 및 조도 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 사용자 상황 결정부(330)는 현재 사용자의 위치 및 시간을 기초로 사용자가 특정 서비스 영역에 있는 경우에 환경 컨텍스트를 기초로 신체활동, 외출활동, 식사활동, 복약활동, 배변활동, 취침활동 등의 사용자의 행동상황과 그 목적을 추정할 수 있다.The
발화메시지 결정부(350)는 사용자 생활패턴에 기반하여 현재 사용자의 상황에 맞는 발화 메시지를 결정하고 결정된 발화 메시지가 스피커를 통해 발화되도록 스피커를 포함할 수 있다. 여기에서, 스피커는 맞춤형 음성대화 제공 장치(130)에 구비되거나 또는 맞춤형 음성대화 제공 장치(130)와 무선 연결된 별도 기기로 구비될 수도 있다. 일 실시예에서, 발화메시지 결정부(350)는 메시지 운영 일정에 따라 스피커의 자동 발화 여부를 결정할 수 있고, 자동 발화시 현재 사용자의 상황에 따라 메시지 종류를 동적으로 결정할 수 있다. 여기에서, 발화메시지 결정부(350)는 기상 후 첫 사물 접촉을 시점으로 시간대 별로 메시지 타입이 설정되는 메시지 운영 일정에 따라 스피커를 자동 발화시킬 수 있다.The spoken
발화메시지 결정부(350)는 메시지 운영 일정에 따른 자동 발화시 현재 사용자의 상황에 맞춰 발화메시지의 종류를 동적으로 결정할 수 있다. 여기에서, 발화메시지의 동적 변수에는 이름, 날씨, 걸음수, 기상시각, 취침시각, 수면시간, 이벤트시각(예를 들면, 식사, 복약, 용변, 귀가 등), 접촉사물종류, 접촉행위종류, 자세, 위치, 식사와 일상생활행동 등이 포함될 수 있다. 발화메시지 결정부(350)는 하기 표1과 같이, 메시지 타입 별 상황이 정의될 수 있다.The spoken
(전체,성별,개인별)Target selection
(total, gender, individual)
운동 촉진, 유모퀴즈 등after waking up
Exercise promotion, nanny quiz, etc.
행동
알람
action
alarm
대상선정
(전체,성별,개인별)
Target selection
(total, gender, individual)
시간대 지정
time zone designation
식사(아침,점심,저녁구분)
용변(일반,새벽구분)
TV시청homecoming
Meals (breakfast, lunch and dinner)
Toilet (regular, early morning)
watching TV
조건별 알람
Alarm by condition
대상선정
(개인별)
Target selection
(individual)
시간대 지정
time zone designation
조건별 취침촉진
조건별 식사촉진
조건별 복약촉진Exercise promotion by condition
Sleep promotion by condition
Food promotion by condition
Medication promotion by condition
일 실시예에서, 발화메시지 결정부(350)는 사용자의 행동 촉진을 위한 대화내용을 결정할 수 있고 대화내용에 대응되는 음성을 형성하는 어휘 및 어투를 각각 결정할 수 있다. 여기에서, 발화메시지 결정부(350)는 사용자의 생활패턴 및 현재 상황을 기초로 학습을 통해 사용자 행동추천 모델을 구축할 수 있고 사용자 반응 피드백을 통해 사용자 행동추천 모델을 갱신할 수 있다.발화메시지 결정부(350)는 사용자의 생활패턴 및 현재 상황에 따라 맥락에 맞는 대화내용을 자동 발화할 수 있어 사용자에게 거부감을 주지 않고 사용자의 행동을 촉진시킬 수 있다. 발화메시지 결정부(350)는 피드백 처리부(370)를 통해 발화메시지에 대한 사용자 응답을 피드백받아 맥락있는 대화를 진행할 수 있다. In an embodiment, the spoken
일 실시예에서, 발화메시지 결정부(350)는 사용자의 생활패턴 및 상황 정보에 기초하여 발화 메시지를 결정하였으나, 이에 한정되지 아니하며, 그에 추가하여 사용자 정보까지 고려하여 발화 메시지가 결정될 수도 있다. 그를 위해, 사용자에 대한 성명, 성별, 나이, 건강관련 수치 및 질병 이력 중 적어도 하나에 대한 데이터를 포함하는 사용자 정보를 수집하여 발화될 메시지를 동적으로 결정할 수 있다. 여기에서, 발화 메시지는 스피커를 통해 음성 출력하지만 이에 한정되지 않고 화면 표시될 수도 있다.In an embodiment, the
피드백 처리부(370)는 사용자와의 음성대화 도중에 사용자 음성분석을 통해 사용자의 기분을 파악할 수 있고 사용자 행동추천에 따른 사용자의 수용 여부를 파악할 수 있다. 피드백 처리부(370)는 사용자의 음성 입력을 위한 마이크를 포함할 수 있다. 피드백 처리부(370)는 사용자 기분 및 행동 수용 여부를 발화메시지 결정부(350)로 피드백하여 대화 내용에 반영될 수 있도록 한다. 일 실시예에서, 피드백 처리부(370)는 사용자 행동 추천 후 사용자 응답 음성을 토대로 수용, 미수용, 모름의 3가지로 구별하여 수용 여부를 발화 메시지 결정부(350)로 피드백할 수 있다. 피드백 처리부(370)는 또한, 사용자 응답 음성을 분석하여 긍정, 부정, 모름의 3가지로 기분을 파악하여 발화 메시지 결정부(350)로 피드백할 수 있다.The
제어부(390)는 맞춤형 음성대화 제공 장치(130)의 전체적인 동작을 제어하고, 사용자 생활패턴 처리부(310), 사용자 상황 결정부(330), 발화 메시지 결정부(350) 및 피드백 처리부(370) 간의 제어 흐름 및 데이터 흐름을 관리할 수 있다.The
도 4는 도 1의 맞춤형 음성대화 제공 장치에서 수행되는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 과정을 설명하는 순서도이다.FIG. 4 is a flowchart illustrating a process of providing a customized voice conversation based on a user's life pattern performed by the apparatus for providing a customized voice conversation of FIG. 1 .
도 4를 참조하면, 맞춤형 음성대화 제공 장치(130)는 사용자 생활패턴 처리부(310)를 통해 인체통신을 이용해 사용자가 접촉한 사물로부터 해당 사물에 대한 식별정보를 포함하는 행위정보를 수신하여 사용자 생활패턴을 생성할 수 있다(단계 S410). 맞춤형 음성대화 제공 장치(130)는 사용자 상황 결정부(330)를 통해 환경 컨텍스트를 기초로 현재 사용자의 상황을 인지할 수 있다(단계 S430).Referring to FIG. 4 , the customized voice
또한, 맞춤형 음성대화 제공 장치(130)는 발화 메시지 결정부(350)를 통해 사용자 생활패턴을 기반으로 현재 사용자 상황에 따른 발화메시지를 결정하여 스피커를 통해 발화할 수 있다(단계 S450). Also, the customized voice
일 실시예에서, 발화 메시지 결정부(350)는 사용자 생활패턴과 현재 사용자의 상황에 기초하여 스피커의 자동 발화 여부를 결정할 수 있다. 발화 메시지 결정부(350)는 사용자의 사물 접촉 및 메시지 운영 일정에 기반하여 스피커의 자동 발화를 결정할 수 있다. 발화 메시지 결정부(350)는 스피커의 자동 발화가 결정되는 경우 사용자 생활패턴 및 사용자 상황에 기초하여, 현재 사용자의 상황에 알맞은 내용의 발화메시지를 결정하고 결정된 발화 메시지가 스피커를 통해 발화되도록 처리한다. 발화 메시지 결정부(350)는 상황 별로 사용자의 생활개선을 위해 발화된 메시지를 결정할 수 있다. 예컨대, 적은 걸음수, 늦은시간 TV시청, 아침식사 거르기, 간편식 위주 식사, 식사시간 불규칙, 설거지 누적, 늦은 식사, 새벽 용변 등 사용자의 생활패턴 중 개선이 필요한 상황에 대해 발화메시지를 발송하여 사용자의 행동 개선을 유도할 수 있다.In an embodiment, the
또한, 맞춤형 음성대화 제공 장치(130)는 피드백 처리부(370)를 통해 발화메시지 발송 후 사용자 반응을 피드백하여 메시지의 대화내용에 반영하여 맥락 있는 음성대화를 제공할 수 있다(단계 S470).In addition, the customized voice
도 5는 일 실시예에 따른 메시지 운영 일정표를 나타내는 예시도이다.5 is an exemplary diagram illustrating a message operation schedule according to an embodiment.
도 5에서, 맞춤형 음성대화 제공 장치(130)는 시간대 별로 상황에 대응되는 발화 메시지를 메시지 운영 일정표로 설정하여 사용자에게 상황에 알맞은 맞춤형 음성대화를 제공할 수 있다. 맞춤형 음성대화 제공 장치(130)는 시간대를 지정하고 상황에 따라 행동을 촉진하거나 사물(110) 접촉과 관련하여 발송될 메시지를 설정할 수 있다.In FIG. 5 , the customized voice
도 6은 일 실시예에 따른 맞춤형 음성대화 제공을 나타내는 예시도이다.6 is an exemplary diagram illustrating the provision of a customized voice conversation according to an embodiment.
도 6에서, 맞춤형 음성대화 제공 장치(130)는 사용자의 생활패턴과 함께 현재 사용자의 상황을 고려하여 대화내용을 결정하고 스피커를 통해 자동 발화시켜 음성대화를 제공할 수 있다. 사용자의 생활패턴은 사용자의 사물 접촉 행위를 기반으로 생성될 수 있다. 사용자 상황은 환경 컨텍스트를 기초로 인지될 수 있다. 예를 들어, 사용자가 '기상 후 첫 터치' 행위를 하는 경우, 운동량이 부족하고 날씨가 시원한 날에는 “요즘 운동량이 조금 부족하시네요! 날씨도 시원한테 산책해 보시는 게 어때요?” 라는 메시지가 발화될 수 있다. 맞춤형 음성대화 제공 장치(130)는 메시지 발화 후 사용자 반응을 대해 즉각적인 피드백을 줄 수 있다. 맞춤형 음성대화 제공 장치(130)는 사용자의 음성분석을 통해 수용여부 및 기분을 파악하여 피드백을 줄 수 있다. 예를 들어, 사용자가 “그럼 한번 나갔다 올까?” 라고 응답한 경우, “역시 할아버지는 시원한 날을 좋아하시는구나!” 라는 피드백 메시지가 발화될 수 있다.In FIG. 6 , the customized voice
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be done.
100: 사용자 생활패턴 기반의 맞춤형 음성대화 제공 시스템
110: 사물 110a,…,110b: 사물 태그
130: 맞춤형 음성대화 제공 장치 150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 사용자 생활패턴 처리부 330: 사용자 상황 결정부
350: 발화 메시지 결정부 370: 피드백 처리부
390: 제어부100: A system for providing customized voice conversations based on user life patterns
110:
130: customized voice conversation providing device 150: database
210: processor 230: memory
250: user input/output unit 270: network input/output unit
310: user life pattern processing unit 330: user situation determination unit
350: speech message determination unit 370: feedback processing unit
390: control unit
Claims (8)
현재 사용자의 위치 및 시간, 계절, 온도, 날씨, 조도 중 적어도 하나 이상을 포함하는 환경 컨텍스트를 기초로 현재 사용자의 상황을 결정하는 사용자 상황 결정부;
상기 사용자 생활패턴을 기반으로 상기 사용자 상황에 따른 사용자 행동 촉진을 위한 대화내용의 발화 메시지를 결정하고 대화내용에 대응하는 음성을 형성하는 어휘 및 어투를 각각 결정하여 대화내용을 스피커를 통해 발화시켜 사용자의 행동 개선을 유도하는 발화 메시지 결정부; 및
상기 발화 메시지에 대한 사용자의 행동 수용 여부를 상기 발화 메시지 결정부로 피드백하여 맥락있는 음성 대화가 제공되도록 하는 피드백 처리부를 포함하되,
상기 발화 메시지 결정부는
기상 후 첫 사물 접촉을 시점으로 시간대 별로 메시지 타입이 설정되는 메시지 운영 일정에 따라 자동 발화 여부를 결정하고 자동 발화시 현재 사용자 상황에 따라 메시지 종류를 동적으로 결정하고,
이름, 날씨, 걸음수, 기상시각, 취침시각, 수면시각, 이벤트시각, 접촉사물종류, 접촉행위종류, 자세, 위치, 식사와 일상생활행동 중 적어도 하나를 상기 발화메시지의 동적 변수로 포함하고,
상기 사용자 생활패턴 및 상황을 기초로 학습을 통해 사용자의 패턴상황 개선을 위한 사용자 행동추천 모델을 구축하고 사용자 반응 피드백을 통해 상기 사용자 행동추천 모델을 갱신하는 것을 특징으로 하는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치.
In the process of contacting an object, the user's meal pattern, medication pattern, viewing pattern, exercise pattern, posture pattern, outing pattern, and daily change by receiving object identification information provided by the object itself or from an object tag attached to the object , a user life pattern processing unit that generates a user life pattern including at least one personalized pattern of defecation and bedtime activity patterns for each time period;
a user context determiner configured to determine a current user's situation based on an environment context including at least one of a current user's location and time, season, temperature, weather, and illuminance;
Based on the user life pattern, an utterance message of the conversation content for facilitating user behavior according to the user situation is determined based on the user's life pattern, and the vocabulary and tone for forming a voice corresponding to the conversation content are determined respectively, and the conversation content is uttered through the speaker. an utterance message determining unit for inducing behavioral improvement; and
A feedback processing unit for providing a contextual voice conversation by feeding back whether or not the user's action with respect to the spoken message is accepted to the spoken message determining unit,
The spoken message determining unit
After waking up, it determines whether to automatically ignite according to the message operation schedule in which the message type is set for each time zone, starting from the first contact after waking up, and dynamically determines the message type according to the current user situation when auto-igniting,
Including at least one of name, weather, number of steps, wake up time, bedtime, sleep time, event time, contact object type, contact action type, posture, location, meal and daily life behavior as a dynamic variable of the utterance message,
Custom voice based on user life pattern, characterized in that building a user behavior recommendation model for improving the pattern situation of the user through learning based on the user life pattern and situation, and updating the user behavior recommendation model through user reaction feedback Conversational device.
상기 발화 메시지의 발화 후 상기 사용자의 응답 음성을 토대로 추천 행동의 수용여부 및 기분을 분석하여 상기 발화 메시지 결정부로 사용자 반응 피드백하는 것을 특징으로 하는 사용자 생활패턴 기반의 맞춤형 음성대화 제공 장치.
The method of claim 1, wherein the feedback processing unit
After uttering the utterance message, the user's life pattern-based customized voice conversation providing apparatus, characterized in that the user's response feedback is fed back to the uttered message determining unit by analyzing whether the recommended action is accepted and the mood based on the user's response voice.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200135725A KR102315020B1 (en) | 2020-10-20 | 2020-10-20 | Apparatus and method for providing customized voice interaction based on user life pattern |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200135725A KR102315020B1 (en) | 2020-10-20 | 2020-10-20 | Apparatus and method for providing customized voice interaction based on user life pattern |
Publications (2)
Publication Number | Publication Date |
---|---|
KR102315020B1 true KR102315020B1 (en) | 2021-10-21 |
KR102315020B9 KR102315020B9 (en) | 2022-04-15 |
Family
ID=78268739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200135725A KR102315020B1 (en) | 2020-10-20 | 2020-10-20 | Apparatus and method for providing customized voice interaction based on user life pattern |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102315020B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102620070B1 (en) * | 2022-10-13 | 2024-01-02 | 주식회사 타이렐 | Autonomous articulation system based on situational awareness |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190103506A (en) * | 2018-02-12 | 2019-09-05 | 주식회사 삼원바이오텍 | Intelligent mat platform based on things internet using AI speaker for healthy life management of the elderly |
KR20190106887A (en) * | 2019-08-28 | 2019-09-18 | 엘지전자 주식회사 | Method and device for providing information |
KR102053534B1 (en) | 2018-06-04 | 2019-12-09 | 주식회사 인컨 | elderly care providing method using artificial intelligent speaker |
-
2020
- 2020-10-20 KR KR1020200135725A patent/KR102315020B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190103506A (en) * | 2018-02-12 | 2019-09-05 | 주식회사 삼원바이오텍 | Intelligent mat platform based on things internet using AI speaker for healthy life management of the elderly |
KR102053534B1 (en) | 2018-06-04 | 2019-12-09 | 주식회사 인컨 | elderly care providing method using artificial intelligent speaker |
KR20190106887A (en) * | 2019-08-28 | 2019-09-18 | 엘지전자 주식회사 | Method and device for providing information |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102620070B1 (en) * | 2022-10-13 | 2024-01-02 | 주식회사 타이렐 | Autonomous articulation system based on situational awareness |
Also Published As
Publication number | Publication date |
---|---|
KR102315020B9 (en) | 2022-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102453603B1 (en) | Electronic device and method for controlling thereof | |
US20180323996A1 (en) | Automatic generation of scenes using an assistant device | |
US10726846B2 (en) | Virtual health assistant for promotion of well-being and independent living | |
US10515631B2 (en) | System and method for assessing the cognitive style of a person | |
US20150338917A1 (en) | Device, system, and method of controlling electronic devices via thought | |
US20200258503A1 (en) | Information processing device and information processing method | |
KR102343084B1 (en) | Electronic device and method for executing function of electronic device | |
EP3373525A2 (en) | Electronic device and method using machine learning for identifying characteristics of users located within a specific space | |
JP7491221B2 (en) | Response generation device, response generation method, and response generation program | |
US10382907B2 (en) | Device and method for providing notification message about call request | |
JP2008234443A (en) | Information processor | |
KR102361458B1 (en) | Method for responding user speech and electronic device supporting the same | |
US11116403B2 (en) | Method, apparatus and system for tailoring at least one subsequent communication to a user | |
US11836980B2 (en) | Systems, devices, and methods for assisting human-to-human interactions | |
US11020063B2 (en) | Support system | |
KR102315020B1 (en) | Apparatus and method for providing customized voice interaction based on user life pattern | |
KR20230015980A (en) | Simultaneous acoustic event detection on multiple assistant devices | |
US20210406736A1 (en) | System and method of content recommendation | |
CN116974383A (en) | Keyboard with sterilization function and keyboard sterilization method | |
KR20230016013A (en) | Inferring semantic label(s) for assistant device(s) based on device-specific signals | |
US11818820B2 (en) | Adapting a lighting control interface based on an analysis of conversational input | |
US11687049B2 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
JP7415952B2 (en) | Response processing device and response processing method | |
US20220019285A1 (en) | Communication using biopotential sensing and tactile actions | |
KR102551856B1 (en) | Electronic device for predicting emotional state of protected person using walking support device based on deep learning based prediction model and method for operation thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant | ||
G170 | Re-publication after modification of scope of protection [patent] |