KR102203786B1 - 스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템 - Google Patents

스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템 Download PDF

Info

Publication number
KR102203786B1
KR102203786B1 KR1020190146031A KR20190146031A KR102203786B1 KR 102203786 B1 KR102203786 B1 KR 102203786B1 KR 1020190146031 A KR1020190146031 A KR 1020190146031A KR 20190146031 A KR20190146031 A KR 20190146031A KR 102203786 B1 KR102203786 B1 KR 102203786B1
Authority
KR
South Korea
Prior art keywords
infant
smart toy
service
image
classification information
Prior art date
Application number
KR1020190146031A
Other languages
English (en)
Inventor
노희열
노명호
반창우
권오성
이승필
신승민
Original Assignee
오로라월드 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오로라월드 주식회사 filed Critical 오로라월드 주식회사
Priority to KR1020190146031A priority Critical patent/KR102203786B1/ko
Priority to PCT/KR2019/015627 priority patent/WO2021095935A1/ko
Priority to US16/961,951 priority patent/US11241635B2/en
Application granted granted Critical
Publication of KR102203786B1 publication Critical patent/KR102203786B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00—Dolls
    • A63H3/28—Arrangements of sound-producing means in dolls; Means in dolls for producing sounds
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00—Dolls
    • A63H3/36—Details; Accessories
    • A63H3/365—Details; Accessories allowing a choice of facial features, e.g. to change the facial expression
    • G06K9/00302—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00—Computerized interactive toys, e.g. dolls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Abstract

본 실시예는 스마트 토이를 활용한 유아의 학습 과정에 있어서, 유아에 대한 실화상 영상, 열화상 영상 및 음성 데이터 중 적어도 하나의 센싱 데이터를 기반으로 유아의 현재 감정 상태를 보다 정확하게 분류할 수 있으면서도, 분류된 감정에 따라 유연하고 다양한 인터렉션 서비스가 제공될 수 있도록 하는 스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템에 관한 것이다.

Description

스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템{Method and System for Providing Interaction Service Using Smart Toy}
본 실시예는 스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템에 관한 것이다. 보다 상세하게는 스마트 토이의 활용을 통해 파악되는 유아의 감정 상태에 따라 적합한 인터렉션 서비스가 보다 유연하고 효율적으로 제공될 수 있도록 하는 방법 및 시스템에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근, 4차 산업혁명에 따른 ICT, IOT 기술 기반의 컨텐츠 서비스가 빠르게 확산되며 영역을 확장하고 있다. 이와 더불어, 유아동 교육 컨텐츠 패러다임 또한 변화하고 있다. 즉, 창의력 중심의 교육 컨텐츠에 대한 중요성이 커짐에 따라 양방향 컨텐츠의 중요도가 정비례적으로 상승하고 있다.
창의력 학습 기반의 차별화된 컨텐츠 서비스 제공을 위해 양방향 대화형 인터렉션 기술의 필요성이 부각되고 있다. 기존의 스마트 기기를 이용한 영유아용 학습 자료의 경우 일방적인 단말기 주도로 사용자 단독으로 단말기의 지시를 따라가는 형태가 대부분이다. 이러한, 사용자 단독의 놀이는 놀이가 반복됨에 따라 그 패턴이 반복되고 단순해지게 된다는 한계가 존재한다.
반면, 창의력 발달을 위해 대화형으로 진행하여 놀이 패턴의 방향을 다양화 하는 경우 사용자에게 생각할 수 있는 계기를 발생시킨다. 이를 위해, 창의력 학습을 위한 교육 컨텐츠 플랫폼으로 사용자 주도의 놀이 패턴에 스마트 단말기가 참여하는 형태의 새로운 학습 시스템이 요구된다. 예컨대, 인형 및 소품의 구성과 이동 등의 상태에 따라 형상을 분석, 사용자의 음성 및 표정에 따라 감정을 인식하는 기술과 이를 위한 유동적인 학습용 서버 구조화 기술을 필요로 한다.
한국 공개특허공보 2015-0095515호 (2015.08.21) 한국 공개특허공보 2015-0000615호 (2015.02.10)
본 실시예는 스마트 토이를 활용한 유아의 학습 과정에 있어서, 유아에 대한 실화상 영상, 열화상 영상 및 음성 데이터 중 적어도 하나의 센싱 데이터를 기반으로 유아의 현재 감정 상태를 보다 정확하게 분류할 수 있으면서도, 분류된 감정에 따라 유연하고 다양한 인터렉션 서비스가 제공될 수 있도록 하는 데 그 목적이 있다.
본 실시예는, 적어도 하나의 센서를 이용하여 현재 놀이를 진행 중인 유아에 대한 실화상 영상, 열화상 영상 및 음성 데이터 중 적어도 하나의 센싱 데이터를 수집하는 스마트 토이; 상기 센싱 데이터를 제공받아 상기 유아의 현재 감정 상태를 분류한 감정 분류 정보를 생성하고, 상기 감정 분류 정보에 대응하는 인터렉션 서비스를 추출하여 제공하는 서비스 플랫폼 장치; 및 상기 인터렉션 서비스에 따라 맞춤형 컨텐츠를 지원받는 사용자 단말기를 포함하는 것을 특징으로 하는 스마트 토이 시스템을 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 스마트 토이가 적어도 하나의 센서를 이용하여 현재 놀이를 진행 중인 유아에 대한 실화상 영상, 열화상 영상 및 음성 데이터 중 적어도 하나의 센싱 데이터를 수집하는 과정; 서비스 플랫폼 장치가 상기 센싱 데이터를 제공받아 상기 유아의 현재 감정 상태를 분류한 감정 분류 정보를 생성하고, 상기 감정 분류 정보에 대응하는 인터렉션 서비스를 추출하여 제공하는 과정; 및 상기 스마트 토이 및 사용자 단말기가 상기 인터렉션 서비스를 지원받는 과정을 포함하는 것을 특징으로 하는 스마트 토이 시스템의 인터렉션 서비스 제공방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 스마트 토이를 활용한 유아의 학습 과정에 있어서, 유아에 대한 실화상 영상, 열화상 영상 및 음성 데이터 중 적어도 하나의 센싱 데이터를 기반으로 유아의 현재 감정 상태를 보다 정확하게 분류할 수 있으면서도, 분류된 감정에 따라 유연하고 다양한 인터렉션 서비스가 제공될 수 있도록 하는 효과가 있다.
도 1은 본 실시예에 따른 스마트 토이 시스템을 나타내는 도면이다.
도 2는 본 실시예에 따른 인터렉션 서비스를 설명하기 위한 예시도이다.
도 3은 본 실시예에 따른 서비스 플랫폼 장치를 개략적으로 나타낸 블록 구성도이다.
도 4 내지 도 8은 본 실시예에 따른 감정 분류 정보 생성방법을 설명하기 위한 예시도이다.
도 9는 본 실시예에 따른 스마트 토이 시스템의 인터렉션 서비스 제공방법을 설명하기 위한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부,' '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 발명은 창의력 학습을 위한 교육 컨텐츠 플랫폼으로 사용자 주도의 놀이 패턴에 스마트 단말기가 참여하는 형태의 학습 시스템을 제안한다.
또한, 본 발명은 스마트 토이 활용을 위한 모바일 어플리케이션 체계와 서버 체계 그리고 빅데이터를 활용한 분석체계를 마련하여 다양한 멀티 서브가 가능하도록 하는 플랫폼 체계를 제공한다.
본 발명에 따르면, 사용자는 스마트 토이를 통한 놀이를 통해 감정에 따른 유연하고 다양한 인터렉션 서비스를 제공받을 수 있다.
도 1은 본 실시예에 따른 스마트 토이 시스템을 나타내는 도면이다.
도 1을 참조하면, 본 실시예에 따른 스마트 토이 시스템(100)은 스마트 토이(110), 서비스 플랫폼 장치(120) 및 사용자 단말기(130)를 포함할 수 있다. 여기서, 스마트 토이 시스템(100)에 포함된 구성요소들은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 스마트 토이 시스템(100)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
스마트 토이(110)는 유아의 놀이 대상이자, 유아의 감정 인식에 따라 적응적인 양방향 커뮤니케이션을 지원 가능한 장치를 의미한다. 이러한, 스마트 토이(110)는 인형 완구 등의 다양한 형태의 놀이 기구로 구현될 수 있다.
본 실시예에 있어서, 스마트 토이(110)는 물리적인 토이에서 디지털 기술이 결합된 일종의 피지털 토이일 수 있다. 다른 실시예에서, 스마트 폰 및 태블릿 피시 앱과 연동해 작동하는 커넥티트 토이일 수도 있다.
스마트 토이(110)는 적어도 하나의 센서를 구비하며, 구비된 센서를 이용하여 현재 놀이를 진행 중인 유아에 대한 센싱 데이터를 수집한다. 한편, 본 실시예에 있어서, 스마트 토이(110)는 유아에 대한 센싱 데이터로서 실화상 영상, 열화상 영상 및 음성 데이터 중 적어도 하나를 수집할 수 있다. 또한, 실시예에 따라 유아에 대한 행동 패턴을 추가로 수집할 수 있다. 이때, 유아에 대한 행동 패턴으로는 현재 유아의 놀이에 따른 스마트 토이(110)의 위치정보, 모션정보 및 상태정보 등일 수 있다.
이를 위해, 스마트 토이(110)는 실화상 카메라(Vision Camera), 열화상 카메라(Infrared Camera), 마이크로폰, 모션감지 센서 등의 하드웨어 모듈을 구비할 수 있다.
스마트 토이(110)는 수집한 센싱 데이터를 서비스 플랫폼 장치(120)로 전송하며, 서비스 플랫폼 장치(120)로부터 해당 센싱 데이터를 기반으로 분류된 유아의 감정 상태에 따른 인터렉션 서비스를 제공받는다. 이때, 스마트 토이(110)가 제공받는 인터렉션 서비스는 일종의 상호작용 시나리오로서 예컨대, 스마트 토이에 대한 발화 제스쳐 및 표정 중 적어도 하나 이상을 포함하는 상호작용 행동정보일 수 있다. 예컨대, 스마트 토이(110)는 서비스 플랫폼 장치(120)로부터 지원받는 인터렉션 서비스에 따라 특정 오디오/텍스트, 표정, 제스처 데이터 등을 표현할 수 있다.
서비스 플랫폼 장치(120)는 스마트 토이(110) 및 사용자 단말기(130)와 연동되며, 스마트 토이(110)로부터 수집된 센싱 데이터를 기반으로 유아를 위한 인터렉션 서비스를 추출하여 제공하는 기능을 수행한다.
한편, 도 2는 본 실시예에 따른 인터렉션 서비스를 설명하기 위한 예시도이며, 도 3은 본 실시예에 따른 서비스 플랫폼 장치를 개략적으로 나타낸 블록 구성도이다.
이하, 도 2 및 도 3을 함께 참조하여, 본 실시예에 따른 서비스 플랫폼 장치(120)의 기능에 대하여 설명하도록 한다.
도 2를 참조하면, 본 실시예에 따른 서비스 플랫폼 장치(120)는 전통 완구, 컨텐츠, ICT 기술 등 다양한 융복합 기술들을 기반으로 한 새로운 교육 컨텐츠 환경을 제공한다.
즉, 본 실시예에 따른, 서비스 플랫폼 장치(120)는 스마트 토이(110)를 통해 수집된 유아의 센싱 데이터를 기초로 유아의 감정 상태를 확인 및 이에 대응되는 인터렉션 서비스를 제공할 수 있는 빅데이터 기반의 스마트 플랫폼 환경을 제공한다. 이러한, 서비스 플랫폼 장치(120)는 학습 대상이되는 유아뿐만 아니라 보호자 및 B2B 사업자를 포괄하는 플랫폼 서비스가 제공될 수 있도록 한다.
예컨대, 서비스 플랫폼 장치(120)는 스마트 토이(110)로부터 수집된 유아의 센싱 데이터를 기초로 분류되는 유아의 감정 상태에 따라 스마트 토이(110)의 동작을 제어하기 위한 상호작용 행동 명령을 생성하여 스마트 토이(110)로 제공하는 양방향 커뮤니케이션 서비스 기능을 수행할 수 있다.
또한, 서비스 플랫폼 장치(120)는 산출한 유아의 감정 상태를 보호자에게 제공하거나, 외부 장치와의 연동을 통해 현재 유아의 감정 상태에 적합한 맞춤형 컨텐츠를 산출하여 제공하는 맞춤형 컨텐츠 기능을 수행할 수 있다.
이를 위해, 본 실시예에 따른 서비스 플랫폼 장치(120)는 도 3에 도시된 바와 같이, 학습 모델부(300), 서비스 제공부(310) 및 컨텐츠 제공부(320)를 지원한다.
학습 모델부(300)는 적어도 하나의 기 학습된 학습 모델을 제공한다. 즉, 학습 모델부(300)는 유아의 감정 상태를 확인하고, 이에 적합한 인터렉션 서비스를 산출하기까지 요구되는 다양한 데이터들을 기 학습한 적어도 하나의 학습 모델을 저장하고, 이를 필요 시 제공하는 기능을 수행한다.
예컨대, 본 실시예에 따른 학습 모델부(300)는 스마트 토이(110)로부터 수집된 센싱 데이터 내 감정 상태 분류와 관련한 데이터를 인식 및 분석하기 위한 분석모델, 분석 모델의 분석결과에 따라 유아의 감정 상태를 분류하기 위한 감정 분류모델, 감정 분류 모델의 분류결과에 따라 적합한 인터렉션 서비스를 산출하기 위한 산출모델 등이 포함될 수 있다.
한편, 본 실시예에서는, 학습 모델부(300) 상에 구비되는 학습 모델에 대하여 특정 학습 모델로서 한정하지는 않는다.
서비스 제공부(310)는 스마트 토이(110)로부터 수집된 센싱 데이터를 기반으로 유아의 현재 감정 상태를 분류한 감정 분류 정보를 생성하고, 생성된 감정 분류 정보에 따라 적합한 인터렉션 서비스를 추출하여 제공하는 기능을 수행한다.
본 실시예에 따른 서비스 제공부(310)는 서비스 플랫폼 장치(120)를 통해 제공되는 인터렉션 서비스 중 유아와 스마트 토이(110) 사이에 양방향 커뮤니케이션과 관련한 서비스의 제공을 담당한다. 이에, 서비스 제공부(310)가 산출하는 인터렉션 서비스는 유아와 스마트 토이(110) 사이에 일종의 상호작용 시나리오로서, 예컨대, 스마트 토이에 대한 발화 제스쳐 및 표정 중 적어도 하나 이상을 포함하는 상호작용 행동정보일 수 있다.
이하, 서비스 제공부(310)가 스마트 토이(110)로부터 수집된 센싱 데이터를 기반으로 유아의 현재 감정 상태를 분류한 감정 분류 정보를 생성하는 과정에 대해 설명하도록 한다.
본 실시예에 따른 서비스 제공부(310)는 스마트 토이(110)로부터 유아에 대한 실화상 영상, 열화상 영상 및 음성 데이터 중 적어도 하나의 센싱 데이터를 수집하고, 이를 기반으로 유아의 현재 감정 상태를 분류할 수 있다.
예컨대, 서비스 제공부(310)는 실화상 영상 및 열화상 영상을 기반으로 유아의 현재 감정 상태를 분류할 수 있다. 즉, 서비스 제공부(310)는 실화상 영상 및 열화상 영상을 기반으로 유아의 현재 감정 상태를 기 정의된 기본 감정 정보를 기준으로 세밀 분류(이하, 세밀 분류 정보로 명시하여 설명하도록 한다.)하여 감정 분류 정보를 생성할 수 있다.
이를 위해, 먼저, 서비스 제공부(310)는 실화상 영상 내 유아의 얼굴과 관련한 특징점을 추출하고, 추출한 특징점을 기반으로 유아의 현재 감정 상태 정보를 1차 분류하여 기본 감정 정보를 산출할 수 있다.
예컨대, 도 4를 참조하면, 서비스 제공부(310)는 실화상 영상에서 정규화, 이진화, 외곽선 추출 및 인식 분류기 등을 이용하여 얼굴의 위치를 추적한다.
서비스 제공부(310)는 실화상 영상을 그레이 스케일로 변환 후 이미지에서 경계선을 추출하여 눈, 코, 입, 이마, 광대 등의 특징점을 추출한다.
서비스 제공부(310)는 추출한 특징점의 값을 2차원 행렬로 변환 후 카메라 초점 값을 이용하여 3차원 행렬로 변환한다.
서비스 제공부(310)는 변환된 행렬 값을 학습기에 의해 학습된 학습 데이터를 이용한 알고리즘을 이용하여 얼굴의 표정에 대한 값을 추출하고, 각 감정의 정확도를 분류하여 기본 감정 정보를 산출한다. 이때, 기본 감정 정보란, 유아의 감정 상태와 관련한 가장 기본적인 정보로서, 예컨대, 기쁨, 슬픔, 화남 등의 1차원적인 감정 분류 결과일 수 있다.
서비스 제공부(310)는 열화상 영상 내 감정 고도화 분석과 관련하여 기 정의된 특정 영역의 열온도 정보를 측정하고, 측정한 열온도 정보를 토대로 앞서 산출된 기본 감정 정보를 수치화하여 세밀 감정 정보를 생성한다. 여기서 기 정의된 특정 영역은 기본 감정 정보에 따라 상이하게 결정될 수 있다.
한편, 감정 상태의 정도에 따라 사람의 열온도는 각각 상이한 온도를 갖을 수 있다. 예컨대, 화난 감정이 격해지는 경우 그에 맞춰 특정 부위에 대한 열온도 또한 변화가 발생하게 된다. 이 점에 기인하여, 서비스 제공부(310)는 기본 감정 정보를 기반으로 특정 부위에 대한 열온도를 추출하고, 이를 반영하여 세밀 감정 정보를 생성할 수 있다.
예컨대, 도 5를 참조하면, 서비스 제공부(310)는 실화상 영상 내 검출된 얼굴의 위치를 참조로, 열화상 영상 내 얼굴의 위치를 인식한다.
서비스 제공부(310)는 인식된 얼굴의 위치에서 관심영역을 설정하여 눈, 코, 입, 광대, 이마 등의 온도 값을 추출하고, 추출한 온도 값을 토대로 기본 감정 정보의 정도를 수치화하여 나타냄으로써 세밀 감정 정보를 생성한다. 이때, 서비스 제공부(310)는 기 정의된 감정 분류 그래프를 활용할 수 있다.
한편, 서비스 제공부(310)는 실화상 영상 및 열화상 영상을 기반으로 유아의 현재 감정 상태를 분류하는 과정에서 실화상 영상 및 열화상 영상을 합성하여 3D 합성 영상을 생성하고, 이를 기반으로 세밀 감정 정보를 생성할 수 있다.
한편, 종래의 열화상 영상을 통해 특정 부위에 대한 열온도를 추출하는 경우 고해상도의 열화상 카메라에 대한 도입이 어려우며, 이로 인해, 저해상도로 인한 공기 중의 방사율에 의해 거리에 따른 온도 오차가 발생할 수 있다.
이 점에 기인하여, 본 실시예에 따른 서비스 제공부(310)는 실화상 영상의 안면 및 열화상 영상을 합성하여 3D 합성 영상을 생성하고, 이를 기반으로 하여 거리에 따른 온도 보정이 수행된 열온도 정보를 토대로 세밀 감정 정보를 생성함에 따라 감정 분류 결과에 대한 정확도가 향상될 수 있도록 한다.
예컨대, 도 6 및 도 7을 참조하면, 서비스 제공부(310)는 학습 모델을 통해 학습된 가상의 3D 안면 데이터로 실화상 영상의 안면을 3D로 재구축하고, 열화상 영상을 실화상 영상의 크기와 일치시켜 재구축된 안면과 융합시킴으로써 3D 합성 영상을 생성할 수 있다.
이 과정에 있어서, 서비스 제공부(310)는 실화상 영상을 기준으로 열화상 영상의 저화소 이미지를 고화소 이미지로 복원하는 과정을 추가로 수행할 수 있다.
이후, 서비스 제공부(310)는 각 카메라와 인식된 안면 간에 계산된 거리를 이용하여 인식된 안면의 거리와 깊이에 의해 변경된 온도 보정을 수행함으로써 종래의 거리에 따른 온도 오차 발생의 문제점이 해결될 수 있도록 한다.
한편, 본 실시예에 따른 서비스 제공부(310)는 유아의 현재 감정 상태를 분류하는 과정에 있어서, 스마트 토이(110)로부터 수집된 음성 데이터를 추가로 활용할 수 있다.
즉, 서비스 제공부(310)는 음성 데이터를 기반으로 유아의 현재 감정 상태를 추가 분류하여 미묘 분류 정보를 생성하고, 생성된 미묘 분류 정보를 감정 분류 정보로서 제공할 수 잇다.
서비스 제공부(310)는 음성 데이터를 기반으로 분류된 유아의 감정 상태를 앞서, 실화상 영상 및 열화상 영상을 기반으로 분류된 유아의 감정 상태와 종합하여 미묘 분류 정보를 생성할 수 있다.
이를 위해, 서비스 제공부(310)는 도 8에 도시된 바와 같이, 음성 데이터를 분석하여 유아의 감정 상태를 판별할 수 있다. 예컨대, 서비스 제공부(310)는 음성 데이터를 분석하여 음성의 크기, 음성의 떨림 및 언어 등을 추출하여 취합하고, 이를 기반으로 유아의 감정 상태를 판별할 수 있다.
한편, 서비스 제공부(310)는 음성 데이터를 분석하여 유아의 감정 상태를 판별하는 과정에 있어서, 음성 데이터에 대한 전처리 과정을 수행할 수 있다. 예컨대, 서비스 제공부(310)는 수집된 음성 데이터를 유아의 음성 주파수에 맞춰 평준화를 진행할 수 있다. 즉, 서비스 제공부(310)는 사전에 유아의 음성 데이터를 기반으로 트레이닝된 모델을 기반으로 유아의 일반적인 음성 주파수 대역을 산출하고, 이를 활용하여 주파수 평준화 과정을 진행할 수 있다.
한편, 본 실시예에 따른 서비스 제공부(310)는 유아의 현재 감정 상태를 분류하는 과정에 있어서, 유아에 대한 행동 패턴을 센싱 데이터로서 추가 제공받고, 이를 추가로 활용하여 감정 분류 정보를 생성할 수 있다.
서비스 제공부(310)는 생성한 감정 분류 정보와 학습 모델부(300) 내 학습 모델을 기반으로 유아와 스마트 토이(110) 사이에 양방향 커뮤니케이션과 관련한 인터렉션 서비스를 산출하고, 이를 스마트 토이(110)로 제공한다. 한편, 서비스 제공부(310)는 감정 분류 정보에 따른 스마트 토이(110)의 발화 제스쳐 및 표정 중 적어도 하나 이상을 포함하는 상호작용 행동정보를 인터렉션 서비스로서 산출할 수 있다.
컨텐츠 제공부(320)는 서비스 플랫폼 장치(120)를 통해 제공되는 인터렉션 서비스 중 맞춤형 컨텐츠 서비스의 제공을 담당한다.
본 실시예에 따른, 컨텐츠 제공부(320)는 서비스 제공부(310)를 통해 분류된 감정 분류 정보를 기반으로 맞춤형 컨텐츠를 산출하고, 이를 인터렉션 서비스로서 사용자 단말기(130)로 제공한다.
컨텐츠 제공부(320)는 서비스 제공부(310)로부터 감정 분류 정보를 제공받아 외부 장치로 전송하고, 외부 장치로부터 감정 분류 정보에 대응하는 맞춤형 컨텐츠를 제공받아 인터렉션 서비스로서 제공할 수 있다.
사용자 단말기(130)는 서비스 플랫폼 장치(120)가 제공하는 인터렉션 서비스 중 맞춤형 컨텐츠 서비스를 지원받는 장치를 의미한다. 이러한, 사용자 단말기(130)는 바람직하게는 유아의 부모님이 소유한 스마트폰 등일 수 있다.
사용자 단말기(130)는 맞춤형 컨텐츠 이외에도, 유아의 감정 상태와 관련한 상태알람 정보를 제공받을 수도 있다.
도 9는 본 실시예에 따른 스마트 토이 시스템의 인터렉션 서비스 제공방법을 설명하기 위한 순서도이다.
스마트 토이(110)는 구비된 센서를 이용하여 현재 놀이를 진행 중인 유아에 대한 실화상 영상, 열화상 영상 및 음성 데이터 중 적어도 하나의 센싱 데이터를 수집한다(S902). 단계 S902에서 스마트 토이(110)는 센싱 데이터로서 유아에 대한 행동 패턴을 추가로 수집할 수 있다.
서비스 플랫폼 장치(120)는 단계 S902에서 수집된 센싱 데이터를 제공받아 유아의 현재 감정 상태를 분류한 감정 분류 정보를 생성한다(S904). 단계 S904에서 서비스 플랫폼 장치(120)는 실화상 영상 및 열화상 영상을 기반으로 유아의 현재 감정 상태를 기 정의된 기본 감정 정보를 기준으로 세밀 분류하여 감정 분류 정보를 생성할 수 있다.
서비스 플랫폼 장치(120)는 음성 데이터를 기반으로 유아의 현재 감정 상태를 추가 분류하여 미묘 분류 정보를 생성하고, 생성된 미묘 분류 정보를 감정 분류 정보로서 제공할 수 잇다.
서비스 플랫폼 장치(120)는 유아에 대한 행동 패턴을 센싱 데이터로서 추가 제공받고, 이를 추가로 활용하여 감정 분류 정보를 생성할 수 있다.
서비스 플랫폼 장치(120)는 단계 S904에서 생성한 감정 분류 정보에 대응하는 인터렉션 서비스를 추출하여 제공한다(S906). 단계 S906에서 서비스 플랫폼 장치(120)는 감정 분류 정보에 대응하여 스마트 토이에 대한 발화 제스쳐 및 표정 중 적어도 하나 이상을 포함하는 상호작용 행동정보를 인터렉션 서비스로 추출할 수 있다.
또한, 서비스 플랫폼 장치(120)는 외부 장치와 연계하여, 감정 분류 정보에 대응하는 맞춤형 컨텐츠를 인터렉션 서비스로서 추출할 수 있다.
스마트 토이(110) 및 사용자 단말기(130)는 서비스 플랫폼 장치(120)로부터의 산출된 인터렉션 서비스를 지원받는다(S908).
여기서, 단계 S902 내지 S908은 앞서 설명된 스마트 토이 시스템의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.
도 9에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 9에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 9는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 9에 기재된 스마트 토이 시스템의 인터렉션 서비스 제공방법 프로그램으로 구현되고 컴퓨터로 읽을 수 있는　기록매체에 기록될 수 있다. 본 실시예에 따른 스마트 토이 시스템의 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는　기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는　기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 비일시적인(non-transitory) 매체일 수 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송) 및 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한 컴퓨터가 읽을 수 있는　기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 스마트 토이 시스템 110: 스마트 토이
120: 서비스 플랫폼 장치 130: 사용자 단말기
300: 학습 모델부 310: 서비스 제공부
320: 컨텐츠 제공부

Claims (13)

  1. 적어도 하나의 센서를 이용하여 현재 놀이를 진행 중인 유아에 대한 실화상 영상, 열화상 영상 및 음성 데이터의 센싱 데이터를 수집하는 스마트 토이;
    상기 센싱 데이터를 제공받아 상기 유아의 현재 감정 상태를 분류한 감정 분류 정보를 생성하고, 상기 감정 분류 정보에 대응하는 인터렉션 서비스를 추출하여 제공하는 서비스 플랫폼 장치; 및
    상기 인터렉션 서비스에 따라 맞춤형 컨텐츠를 지원받는 사용자 단말기를 포함하되,
    상기 서비스 플랫폼 장치는,
    상기 유아의 감정 상태를 확인하고, 상기 인터렉션 서비스를 추출하는 데 요구되는 데이터들을 기 학습한 적어도 하나의 학습 모델을 제공하는 학습 모델부; 및
    상기 감정 분류 정보 중 일부로서, 음성 데이터를 음성의 크기, 음성의 떨림 및 언어의 전부 또는 일부를 추출하여 취합하는 음성 데이터 전처리부를 포함하고,
    상기 학습 모델부는,
    상기 학습 모델 중 어느 하나로서, 상기 음성 데이터를 유아의 음성 주파수에 맞추어 평준화하도록 사전에 유아의 음성 데이터를 기 학습한 학습 모델을 포함하는 것
    을 특징으로 하는 스마트 토이 시스템.
  2. 제 1항에 있어서,
    상기 서비스 플랫폼 장치는,
    상기 학습 모델을 활용하여 상기 감정 분류 정보를 산출하고, 상기 유아와 스마트 토이 사이에 양방향 커뮤니케이션과 관련한 상기 인터렉션 서비스를 제공하는 서비스 제공부; 및
    상기 감정 분류 정보에 대응하는 상기 맞춤형 컨텐츠를 산출하여 상기 인터렉션 서비스로서 제공하는 컨텐츠 제공부를 포함하는 것을 특징으로 하는 스마트 토이 시스템.
  3. 제 1항에 있어서,
    상기 서비스 플랫폼 장치는,
    상기 감정 분류 정보를 기반으로 상기 스마트 토이에 대한 발화, 제스쳐 및 표정 중 적어도 하나 이상을 포함하는 상호작용 행동정보를 산출하거나, 외부 장치와의 연계를 통해 상기 감정 분류 정보에 대응되는 상기 맞춤형 컨텐츠를 제공받아 상기 인터렉션 서비스로서 제공하는 것을 특징으로 하는 스마트 토이 시스템.
  4. 제 1항에 있어서,
    상기 서비스 플랫폼 장치는,
    상기 실화상 영상 및 상기 열화상 영상을 기반으로 상기 유아의 현재 감정 상태를 기 정의된 기본 감정 정보를 기준으로 세밀 분류하여 상기 감정 분류 정보를 생성하는 것을 특징으로 하는 스마트 토이 시스템.
  5. 제 4항에 있어서,
    상기 서비스 플랫폼 장치는,
    상기 실화상 영상 내 상기 유아의 얼굴과 관련한 특징점을 추출하고, 추출한 특징점을 기반으로 상기 유아의 현재 감정 상태 정보를 1차 분류하여 상기 기본 감정 정보를 산출하는 것을 특징으로 하는 스마트 토이 시스템.
  6. 제 4항에 있어서,
    상기 서비스 플랫폼 장치는,
    상기 열화상 영상 내 감정 고도화 분석과 관련하여 기 정의된 특정 영역의 열온도 정보를 측정하고, 상기 열온도 정보를 토대로 상기 기본 감정 정보의 정도를 수치화한 세밀 감정 정보를 생성하여 상기 감정 분류 정보로서 제공하는 것을 특징으로 하는 스마트 토이 시스템.
  7. 제 6항에 있어서,
    상기 서비스 플랫폼 장치는,
    상기 실화상 영상 및 상기 열화상 영상을 합성하여 3D 합성 영상을 생성하고, 상기 3D 합성 영상을 기반으로 하여 거리에 따른 온도 보정이 수행된 열온도 정보를 토대로 상기 세밀 감정 정보를 생성하는 것을 특징으로 하는 스마트 토이 시스템.
  8. 제 7항에 있어서,
    상기 서비스 플랫폼 장치는,
    상기 3D 합성 영상을 생성 시 상기 실화상 영상을 기준으로 상기 열화상 영상의 저화소 이미지를 고화소 이미지로 복원하는 것을 특징으로 하는 스마트 토이 시스템.
  9. 제 4항에 있어서,
    상기 서비스 플랫폼 장치는,
    상기 음성 데이터를 기반으로 상기 유아의 현재 감정 상태를 추가 분류하여 미묘 분류 정보를 생성하고, 상기 미묘 분류 정보를 상기 감정 분류 정보로서 제공하는 것을 특징으로 하는 스마트 토이 시스템.
  10. 제 9항에 있어서,
    상기 서비스 플랫폼 장치는,
    상기 음성 데이터를 기반으로 분류된 상기 유아의 감정 상태를 상기 실화상 영상 및 상기 열화상 영상을 기반으로 분류된 상기 유아의 감정 상태와 종합하여 상기 미묘 분류 정보를 생성하는 것을 특징으로 하는 스마트 토이 시스템.
  11. 삭제
  12. 제 1항에 있어서,
    상기 스마트 토이는, 상기 센싱 데이터로서 상기 유아에 대한 행동 패턴을 추가 수집하고,
    상기 서비스 플랫폼 장치는 상기 행동 패턴을 기반으로 분류된 상기 유아의 감정 상태를 추가로 고려하여 상기 감정 분류 정보를 생성하는 것을 특징으로 하는 스마트 토이 시스템.
  13. 스마트 토이가 적어도 하나의 센서를 이용하여 현재 놀이를 진행 중인 유아에 대한 실화상 영상, 열화상 영상 및 음성 데이터의 센싱 데이터를 수집하는 과정;
    서비스 플랫폼 장치가 상기 센싱 데이터를 제공받아 상기 유아의 현재 감정 상태를 분류한 감정 분류 정보를 생성하고, 상기 감정 분류 정보에 대응하는 인터렉션 서비스를 추출하여 제공하는 과정; 및
    상기 스마트 토이 및 사용자 단말기가 상기 인터렉션 서비스를 지원받는 과정을 포함하되,
    상기 인터렉션 서비스를 추출하여 제공하는 과정은,
    상기 유아의 감정 상태를 확인 및 상기 인터렉션 서비스 추출에 요구되는 데이터들을 기 학습하여 인터렉션 서비스를 제공하는 적어도 하나의 학습 모델을 제공하고, 상기 감정 분류 정보 중 일부로서, 상기 음성 데이터를 음성의 크기, 음성의 떨림 및 언어의 전부 또는 일부를 추출하여 취합하여 전처리하되,
    상기 학습 모델 중 어느 하나는, 상기 음성 데이터를 유아의 음성 주파수에 맞추어 평준화하도록 사전에 유아의 음성 데이터를 기 학습한 학습 모델인 것
    을 특징으로 하는 스마트 토이 시스템의 인터렉션 서비스 제공방법.
KR1020190146031A 2019-11-14 2019-11-14 스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템 KR102203786B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190146031A KR102203786B1 (ko) 2019-11-14 2019-11-14 스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템
PCT/KR2019/015627 WO2021095935A1 (ko) 2019-11-14 2019-11-15 스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템
US16/961,951 US11241635B2 (en) 2019-11-14 2019-11-15 Method and system for providing interactive service using smart toy

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190146031A KR102203786B1 (ko) 2019-11-14 2019-11-14 스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102203786B1 true KR102203786B1 (ko) 2021-01-15

Family

ID=74127083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190146031A KR102203786B1 (ko) 2019-11-14 2019-11-14 스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템

Country Status (3)

Country Link
US (1) US11241635B2 (ko)
KR (1) KR102203786B1 (ko)
WO (1) WO2021095935A1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003512684A (ja) * 1999-10-21 2003-04-02 プロコスキー，フランシネ，ジェイ 異なるイメジャからの顔及び身体の画像を整列し及び比較するための方法及び装置
JP2010503110A (ja) * 2006-09-07 2010-01-28 ザ プロクター アンド ギャンブル カンパニー 感情反応及び選択傾向を測定するための方法
KR20150000615A (ko) 2013-06-25 2015-01-05 한국과학기술연구원 백색 유기 발광 소자
KR20150095515A (ko) 2014-02-13 2015-08-21 (주)옐리펀트 캐릭터 인형을 이용한 반응형 감성 스마트 토이 시스템
KR20170085732A (ko) * 2016-01-15 2017-07-25 동명대학교산학협력단 감정교류형 스마트 요람 시스템 및 그의 제공방법
KR20180130903A (ko) * 2017-05-30 2018-12-10 주식회사 유진로봇 인터랙션 방식에 따른 감성 스마트 토이 및 그 서비스 시스템
KR20190098781A (ko) * 2018-01-29 2019-08-23 삼성전자주식회사 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101136199B (zh) * 2006-08-30 2011-09-07 纽昂斯通讯公司 语音数据处理方法和设备
US20180144649A1 (en) * 2010-06-07 2018-05-24 Affectiva, Inc. Smart toy interaction using image analysis
EP2498250B1 (en) * 2011-03-07 2021-05-05 Accenture Global Services Limited Client and server system for natural language-based control of a digital network of devices
KR20140057867A (ko) * 2012-11-05 2014-05-14 주식회사 엘에스엘시스템즈 열화상을 이용한 스트레스 지수 측정 시스템
WO2014138925A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
US10319374B2 (en) * 2015-11-25 2019-06-11 Baidu USA, LLC Deployed end-to-end speech recognition
WO2017112813A1 (en) * 2015-12-22 2017-06-29 Sri International Multi-lingual virtual personal assistant
US11043230B1 (en) * 2018-01-25 2021-06-22 Wideorbit Inc. Targeted content based on user reactions
US11538455B2 (en) * 2018-02-16 2022-12-27 Dolby Laboratories Licensing Corporation Speech style transfer
US11526713B2 (en) * 2018-09-28 2022-12-13 Intel Corporation Embedding human labeler influences in machine learning interfaces in computing environments

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003512684A (ja) * 1999-10-21 2003-04-02 プロコスキー，フランシネ，ジェイ 異なるイメジャからの顔及び身体の画像を整列し及び比較するための方法及び装置
JP2010503110A (ja) * 2006-09-07 2010-01-28 ザ プロクター アンド ギャンブル カンパニー 感情反応及び選択傾向を測定するための方法
KR20150000615A (ko) 2013-06-25 2015-01-05 한국과학기술연구원 백색 유기 발광 소자
KR20150095515A (ko) 2014-02-13 2015-08-21 (주)옐리펀트 캐릭터 인형을 이용한 반응형 감성 스마트 토이 시스템
KR20170085732A (ko) * 2016-01-15 2017-07-25 동명대학교산학협력단 감정교류형 스마트 요람 시스템 및 그의 제공방법
KR20180130903A (ko) * 2017-05-30 2018-12-10 주식회사 유진로봇 인터랙션 방식에 따른 감성 스마트 토이 및 그 서비스 시스템
KR20190098781A (ko) * 2018-01-29 2019-08-23 삼성전자주식회사 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법

Also Published As

Publication number Publication date
US20210308593A1 (en) 2021-10-07
US11241635B2 (en) 2022-02-08
WO2021095935A1 (ko) 2021-05-20

Similar Documents

Publication Publication Date Title
JP6888096B2 (ja) ロボット、サーバおよびヒューマン・マシン・インタラクション方法
WO2021043053A1 (zh) 一种基于人工智能的动画形象驱动方法和相关装置
KR102503413B1 (ko) 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체
US9875445B2 (en) Dynamic hybrid models for multimodal analysis
US20210174072A1 (en) Microexpression-based image recognition method and apparatus, and related device
Bhattacharya et al. Speech2affectivegestures: Synthesizing co-speech gestures with generative adversarial affective expression learning
JP2020507835A5 (ko)
JP2020511324A (ja) 育児ロボットのデータ処理方法及び装置
JP2018014094A (ja) 仮想ロボットのインタラクション方法、システム及びロボット
CN111009028A (zh) 虚拟脸部模型的表情拟真系统及方法
David et al. A comprehensive survey of emotion recognition system in facial expression
Lu Application of wireless network and machine learning algorithm in entrepreneurship education of remote intelligent classroom
Marshall et al. 4D Cardiff Conversation Database (4D CCDb): A 4D database of natural, dyadic conversations
KR102247481B1 (ko) 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법
KR102203786B1 (ko) 스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템
CN110910898A (zh) 一种语音信息处理的方法和装置
KR102482841B1 (ko) 인공지능 미러링 놀이 가방
KR20180012192A (ko) 유아동용 학습 장치 및 그 동작 방법
KR102229056B1 (ko) 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
KR102337008B1 (ko) 컨볼루션 뉴럴 네트워크를 이용한 신생아 고통 감지 방법
KR102288001B1 (ko) 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 이를 포함한 포토 부스
Covre et al. Generation of action recognition training data through rotoscoping and augmentation of synthetic animations
Teixeira et al. Silent speech interaction for ambient assisted living scenarios
KR102509449B1 (ko) 인공 지능 기반의 상대방 맞춤형 캐릭터 제어를 포함하는 디지털 컨텐츠 제공 방법 및 서버
Wong et al. Robot emotions generated and modulated by visual features of the environment

Legal Events

Date Code Title Description
GRNT Written decision to grant