WO2024054079A1 - 인공지능 미러링 놀이 가방 - Google Patents

인공지능 미러링 놀이 가방 Download PDF

Info

Publication number
WO2024054079A1
WO2024054079A1 PCT/KR2023/013465 KR2023013465W WO2024054079A1 WO 2024054079 A1 WO2024054079 A1 WO 2024054079A1 KR 2023013465 W KR2023013465 W KR 2023013465W WO 2024054079 A1 WO2024054079 A1 WO 2024054079A1
Authority
WO
WIPO (PCT)
Prior art keywords
play
tip
mirroring
artificial intelligence
user
Prior art date
Application number
PCT/KR2023/013465
Other languages
English (en)
French (fr)
Inventor
윤정하
장석호
Original Assignee
주식회사 씨팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨팩토리 filed Critical 주식회사 씨팩토리
Publication of WO2024054079A1 publication Critical patent/WO2024054079A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an artificial intelligence mirroring play bag.
  • contagious diseases such as Corona, which were expected to temporarily peak and disappear in the number of infected people, are re-emerging according to seasonality, making it increasingly difficult to conduct education purely through face-to-face education.
  • the above-described background technology is technical information that the inventor possessed for deriving the present invention or acquired in the process of deriving the present invention, and cannot necessarily be said to be known technology to the general public before filing the application for the present invention.
  • the present invention is to solve the above problems, and the purpose of the present invention is to provide feedback on play by extracting information about the user's interest or difficulty in play using artificial intelligence technology through an artificial intelligence mirroring play bag. To obtain and provide.
  • the present invention aims to provide a system that can increase the user's play satisfaction and learning level by not simply providing play, but by recommending and providing suitable play to the user while observing the play.
  • the present invention is an artificial intelligence mirroring play bag, comprising: a bag body 100 configured to open and close the upper case 110 and the lower case 120; A fixing pin 130 to maintain the upper case and lower case at a constant angle; A first photographing unit 140 provided at the top of the upper case when the bag body is opened and arranged at an angle to photograph the game board of the lower case; A mounting unit 150 located in the upper case and configured to hold an electronic device - the electronic device includes a second photographing unit provided on the front, a voice recording unit, and a display on which an application is displayed -; A storage portion 160 located within the lower case and configured to store items including teaching aids; A play board (170) configured to be detachable between the upper case and the lower case; A control unit configured to generate a signal to control movements in the artificial intelligence mirroring play bag; a memory unit configured to store captured images; and a communication unit capable of wirelessly communicating with an application installed on the electronic device and transmitting captured images wirelessly.
  • the electronic device provides content related to play and simultaneously photographs the user playing and the items placed on the play board through the second photographing unit 210, and images captured through the second photographing unit 210. It is configured to analyze feedback about the user's play through the application, identify items placed on the play board, and provide content from the application, and listens to the user's voice in the process of providing content to the user through the voice recording unit in the application. It can be configured to record feedback through interviews.
  • the artificial intelligence mirroring play bag may further include a projector configured to provide visualized content on the play board.
  • the electronic device includes an application for analyzing the user, and the application recognizes the initial position of the finger as a coordinate, detects a vector in the finger pointing direction, and detects the vector detected through three dimensions. Express the vector by separating it into (x, y, z) components, detect the coordinates of all objects on the image in 3D space, detect them as (x, y, z) components, and extend the vector from the initial position of the finger. If the coordinates are within the size of the objects surrounding the objects' coordinates, it can be determined that the finger is pointing at the object.
  • the artificial intelligence mirroring play bag is further configured to analyze the video taken simultaneously of the user playing and the items placed on the play board through the second photographing unit 210, and the second photographing unit 210 )
  • Analyzing a video taken simultaneously of a user playing and an item placed on a playboard includes determining whether a hand is detected in the first frame of the video; If no hands are detected in the first frame of video, skip to the next frame; If a hand is detected in the first frame of the video, determining whether the fingertips are the tips of the thumb or index finger; Showing the tip of the thumb in yellow and the tip of the index finger in red in the first frame of the video; Calculate the distance between the thumb and index finger tips, the angle between the thumb and index finger tips in the vertical axis, and the centroid between the thumb and index finger tips; and repeating applying scale, angle, and translation to the virtual object according to the distance, angle, and centroid of the fingertips until the last frame of the video, and consists of multiple frames.
  • the frequency with which the tip of the fingertip is directed to the game or book on the play board 170 is greater than 50%, and the ratio of the number of frames in which the tip of the fingertip is a virtual object is more than 50% of the number of frames with the hand. If the ratio of the number of frames in which the user's facial expression is judged to be a smiling expression is 70% or more in the case of a virtual object with the tip of the end pointing, it is determined that the user is interested in playing, and the tip of the fingertip among the number of frames with the hand is If the ratio of the number of frames in which the virtual object is facing is less than 50%, and the ratio in which the user's facial expression at that time is a smiling expression is less than a certain value (e.g. 70%), it is determined that there is no interest in playing, and the hand If the ratio of the number of frames in which the tip of the fingertip is a virtual object is less than 20% of the number of frames with It may be sent to the user's parents.
  • a certain value e.g
  • a separate recording unit provided in the play bag takes pictures of the playboard (user's hand movements, movements of teaching aids/toys/contents of reading) where teaching aids and reading are performed, and at the same time, plays using the smartphone camera.
  • pictures of the playboard user's hand movements, movements of teaching aids/toys/contents of reading
  • plays using the smartphone camera By simultaneously filming the user's (infant) appearance (facial expression) while playing, it is possible to detect/analyze the user's (infant) response to play and provide customized content in response.
  • the effectiveness of the play content can be increased through images projected on the teaching aids and play board.
  • Figure 1 is a schematic diagram of an artificial intelligence mirroring play bag according to an embodiment of the present invention.
  • Figure 2a is a diagram illustrating a finger mirroring app according to an embodiment of the present invention.
  • Figure 2b is a diagram showing an exemplary process of classifying a user's facial expression in a finger mirroring app according to an embodiment of the present invention.
  • Figure 3 is a diagram illustrating an object recognition process through finger pointing according to an embodiment of the present invention.
  • Figure 4 is a diagram illustrating a method for detecting finger pointing from a photographing unit according to an embodiment of the present invention.
  • Figure 5 is a diagram illustrating the process of analyzing finger pointing in detail according to an embodiment of the present invention.
  • Identification codes (first, second, etc.) for each step are used for convenience of explanation.
  • the identification codes do not describe the order of each step, and each step does not clearly state a specific order in context. It may be carried out differently from the order specified above. That is, each step may be performed in the same order as specified, may be performed substantially simultaneously, or may be performed in the opposite order.
  • Figure 1 is a schematic diagram of an artificial intelligence mirroring play bag according to an embodiment of the present invention.
  • the artificial intelligence mirroring play bag includes a bag body 100 configured to open and close the upper case 110 and the lower case 120, and a bag body 100 for maintaining the upper case and lower case at a certain angle.
  • the first photographing unit 140 which is configured to be arranged at an angle capable of photographing the game board of the lower case, can determine whether the user's hand leaves the game board.
  • the artificial intelligence mirroring play bag also includes a storage portion 160 located in the lower case and configured to store items including teaching aids, and a play board configured to be detachable between the upper case and the lower case.
  • a control unit configured to generate a signal to control movements in the artificial intelligence mirroring play bag
  • a memory unit configured to store the captured image
  • wireless communication with an application installed on the electronic device and the captured image is captured. It may include a communication unit to transmit images wirelessly.
  • Figure 2a is a diagram illustrating a finger mirroring app according to an embodiment of the present invention.
  • FIG. 2A shows various electronic devices that can be mounted on the mounting unit 150 of FIG. 1 .
  • a representative electronic device may be a smartphone. Since the early 2000s, smartphones have been essentially equipped with a camera 210 function. Accordingly, the finger mirroring app according to an embodiment of the present application can obtain feedback about content displayed by an electronic device or play on the game board 170 placed on the user's play bag, for example, through the camera of a smartphone.
  • Feedback may include an artificial intelligence algorithm that determines the user's facial expression.
  • an image of the user's face can be acquired by an electronic device that can be mounted on the mounting unit 150 and includes a photographing unit 210.
  • the user's eyes, eyebrows, tip of the nose, mouth, cheeks, and ears can be recognized as one or more dots and expressed in the form of connected dots (see 220 in FIG. 2A).
  • Figure 2b is a diagram showing an exemplary process of classifying a user's facial expression in a finger mirroring app according to an embodiment of the present invention.
  • CNN convolutional neural network
  • the CNN algorithm is characterized by having a structure that extracts features of the data and identifies patterns of features, unlike techniques in which the learning process is performed by extracting knowledge from existing data.
  • the above CNN can be performed through a convolution process and a pooling process.
  • the above CNN may include an algorithm composed of a complex convolution layer and a pooling layer.
  • a process of extracting features of data (aka, convolution process) is performed in the convolution layer.
  • the above convolution process is a process of identifying features by examining the adjacent components of each component in the data and deriving the identified features into one sheet. As a compression process, the number of parameters can be effectively reduced.
  • Facial expressions when extracting features of data from a convolutional layer, the positions of pixels occupying a picture of the eyes and mouth in one frame (i.e., a picture) of the user's play video are taken into consideration, Facial expressions can be classified.
  • Figure 2b shows an example of distinguishing facial expressions by two-dimensionally displaying the pixels occupied by the eyes and the pixels occupied by the lips in 25 pixels of 5X5.
  • this is only an example, and in reality, based on the previously obtained location information about the user's eyes, eyebrows, tip of the nose, mouth, cheeks, and ears, assuming the video is 30 frames per second, 30 seconds are observed, and a total of 900 frames are recorded.
  • a process (aka pooling process) is performed to reduce the size of the layer that has undergone the convolution process in the pooling layer.
  • the above pooling process can reduce the size of data, cancel out noise, and provide consistent features in fine details.
  • Figure 3 is a diagram illustrating an object recognition process through finger pointing according to an embodiment of the present invention.
  • a person may mainly use the index finger when performing pointing. And because the human arm is made up of joints, the arm may be bent at a specific angle.
  • the pointing direction 310 is based on the direction pointed by the index finger, and if the vector of the virtual extension line from the wrist to the shoulder is within the error range of the vector in the direction pointed by the index finger, the direction pointed by the index finger is the user's direction. It can be judged that it points in the intended direction.
  • the vector 310-1 of the index finger is detected, and among the various objects 320 to 340, the vector 310-1 of the index finger is located on an extension line of the index vector 310-1. If the coordinate equation for an object reaches coordinate information that uses the size of the object as the error range, it can be determined that the user is pointing to the object. For example, in Figure 3(b), it may be determined that the user is pointing at the camera 340.
  • Figure 4 is a diagram illustrating a method for detecting finger pointing from a photographing unit according to an embodiment of the present invention. This method can be executed or implemented through a program stored in a non-transitory readable storage medium.
  • step S410 the vector of the finger pointing direction can be detected.
  • the vector detected through 3D can be separated into (x, y, z) components to express the vector, and the initial position of the finger (eg, index finger) can also be obtained as coordinates in 3D space.
  • step S420 the coordinates of all objects on the image in three-dimensional space can be detected and detected as (x, y, z) components.
  • step S430 if any of the coordinates of the objects match by extending the vector from the initial position of the finger, it can be determined that the finger is pointing to the object.
  • finger pointing can be analyzed in the following data format.
  • FIG. 5 is a diagram illustrating the process of analyzing finger pointing in detail according to an embodiment of the present invention.
  • an input video stream can be received from a filming unit (e.g. a webcam).
  • a filming unit e.g. a webcam
  • Videos taken simultaneously of users playing and items placed on the playboard can be analyzed through the recording unit 210.
  • step S510 a hand may be detected in the first frame of the video.
  • step S520 it can be determined whether a hand is detected in the first frame of the video.
  • the video can be passed to the next frame until a hand is detected.
  • step S530 if a hand is detected in the first frame of the video, it can be determined whether the fingertip is the tip of the thumb or index finger.
  • the tip of the thumb may be displayed in yellow and the tip of the index finger may be displayed in red.
  • step S540 the distance between the thumb and the tips of the index finger, the angle between the tip of the thumb and the tip of the index finger on the vertical axis, and the centroid between the tip of the thumb and the tip of the index finger can be calculated. there is. Here the calculation can continue for each frame where it is determined that a hand is present.
  • step S550 scale, angle, and translation may be applied to the virtual object according to the distance, angle, and centroid of the fingertips. This analysis process can be repeated until the last frame of the video.
  • the artificial intelligence mirroring play bag according to the present invention can determine the user's interest in play through analysis of the user's facial expressions and the objects pointed to by the fingertips.
  • the frequency at which the tip of the fingertip points toward the game or book on the corresponding game board 170 is the virtual toward which the tip of the fingertip points among the number of frames with a hand. If the ratio of the number of frames in the case of objects exceeds 50% and the ratio in which the user's facial expression at that time is happy is above a certain value (for example, 70%), it can be determined that the user is interested. If, among the number of frames with a hand, the ratio of the number of frames in which the tip of the fingertip is a virtual object is less than 50%, and the ratio in which the user's facial expression at that time is happy is less than a certain value (e.g.
  • the person may be determined that the person is not interested in the game or book.
  • the ratio of the number of frames in which the tip of the fingertip is a virtual object is less than 20% of the number of frames in which the hand is located, it is judged that the play or book is not of interest because it is too difficult, and the difficulty level is adjusted accordingly.
  • a message to lower the level can be sent to the administrator or parent by the application.
  • the user's hand leaves the game board compared to the play time. If it exceeds 50% of the time, it may be judged that the game or book is even less interesting.
  • the computer program according to the present invention can be combined with a computer and stored in a computer-readable recording medium to execute the various hardware accelerator control methods described above.
  • the above-mentioned program is a computer language such as C, C++, JAVA, and machine language that the computer's processor (CPU) can read through the device interface of the computer in order for the computer to read the program and execute the above methods implemented as a program. It may include a code coded as . These codes may include functional codes related to functions that define the necessary functions for executing the above methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the above functions according to predetermined procedures. can do. In addition, these codes may further include memory reference-related codes that indicate which location (address address) in the computer's internal or external memory the additional information or media required for the above functions to be executed by the computer's processor should be referenced. there is.
  • the code uses the communication module of the above computer to determine how to communicate with any other remote computer or server. It may further include communication-related codes regarding whether communication should be performed and what information or media should be transmitted and received during communication.
  • the steps of the method or algorithm described in connection with embodiments of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof.
  • the software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 인공지능 미러링 놀이 가방으로서, 상부 케이스(110) 및 하부 케이스(120)를 열고 닫을 수 있도록 구성되는 가방 본체(100); 상부 케이스와 하부 케이스를 일정한 각도로 유지하기 위한 고정핀(130); 가방 본체가 열렸을 때 상부 케이스의 상부에 구비되고, 하부 케이스의 놀이판을 촬영할 수 있는 각도로 배치되도록 구성되는 제1 촬영부(140); 상부 케이스 내에 위치되고, 전자 장치를 거치하도록 구성되는 거치부(150) - 전자 장치는 전면에 구비된 제2 촬영부, 음성녹음부, 및 애플리케이션이 표시되는 디스플레이를 포함함 -; 하부 케이스 내에 위치되고, 교구를 포함하는 물품을 수납하도록 구성되는 수납부(160); 상부 케이스와 하부 케이스 사이에서 탈부착되도록 구성되는 놀이판(170); 인공지능 미러링 놀이 가방에서 동작을 제어하도록 신호를 발생시키도록 구성되는 제어부; 촬영된 영상을 저장하도록 구성되는 메모리부; 및 전자 장치에 설치된 애플리케이션과 무선으로 통신이 가능하고, 촬영된 영상을 무선으로 송신하도록 통신부를 포함할 수 있다.

Description

인공지능 미러링 놀이 가방
본 발명은 인공지능 미러링 놀이 가방에 관한 것이다.
코로나 팬데믹으로 인해 대면 교육이 불가능해짐에 따라 비대면 교육이 불가피해지면서 가정에서 교육을 받는 기회가 자연스럽게 증가하고 있는 실정이다.
구체적으로, 유네스코 집계에 따르면, 2020년 6월 기준으로 119개국 10억 명의 학생들(전 세계 62.3%)이 코로나로 인한 휴교령의 영향을 받고 있는 상태이다. 특히, 우리나라도 공교육 사상 처음으로 온라인 개학을 실시했으며, 탄력적으로 수업과 등교수업을 병행하고 있는 실정이다.
또한, 일시적으로 감염자의 정점을 찍고 사라질 것이라고 예상되었던 코로나와 같은 전염성 질병이 계절성에 따라 다시 재발생이 되고 있는 등, 점차 순수하게 대면 교육만으로 교육을 진행하기는 어려운 상황으로 달려가고 있다.
이를 위해, 기존에 B2B 시장에서 좋은 평가를 받고 있는 콘텐츠를 B2C 시장의 니즈에 맞춰 제품 업그레이드하고, 서비스 고도화에 대한 필요성이 대두되고 있는 실정이다. 또한, B2B 시장은 수요 예측이 가능하고 안정적인 공급에 대한 이점이 있으나, 낮은 공급가격과 낮은 마진으로 인해 사업 성장에 한계가 있다.
한편, 전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공지기술이라 할 수 없다.
기존의 영유아 자연놀이 교구에 인공지능과 콘텐츠 개발을 통하여 신규 에듀테크 상품 및 서비스 개발이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 인공지능 미러링 놀이가방을 통해 사용자의 놀이에 대한 흥미도 내지 난이도에 관한 정보를 인공지능 기술을 이용하여 추출함으로써 놀이에 대한 피드백을 획득하여 제공하는 데 있다.
특히, 본 발명은 단순히 놀이를 제공하는 것이 아니라, 놀이를 관찰하면서 사용자에게 적합한 놀이를 추천하고 제공함으로써 사용자의 놀이 만족도 및 학습도를 높일 수 있는 시스템을 제공하는 것을 목표로 한다.
본 발명의 및 다른 목적과 이점은 바람직한 실시예를 설명한 하기의 설명으로부터 분명해질 것이다.
본 발명은 인공지능 미러링 놀이 가방으로서, 상부 케이스(110) 및 하부 케이스(120)를 열고 닫을 수 있도록 구성되는 가방 본체(100); 상부 케이스와 하부 케이스를 일정한 각도로 유지하기 위한 고정핀(130); 가방 본체가 열렸을 때 상부 케이스의 상부에 구비되고, 하부 케이스의 놀이판을 촬영할 수 있는 각도로 배치되도록 구성되는 제1 촬영부(140); 상부 케이스 내에 위치되고, 전자 장치를 거치하도록 구성되는 거치부(150) - 전자 장치는 전면에 구비된 제2 촬영부, 음성녹음부, 및 애플리케이션이 표시되는 디스플레이를 포함함 -; 하부 케이스 내에 위치되고, 교구를 포함하는 물품을 수납하도록 구성되는 수납부(160); 상부 케이스와 하부 케이스 사이에서 탈부착되도록 구성되는 놀이판(170); 인공지능 미러링 놀이 가방에서 동작을 제어하도록 신호를 발생시키도록 구성되는 제어부; 촬영된 영상을 저장하도록 구성되는 메모리부; 및 전자 장치에 설치된 애플리케이션과 무선으로 통신이 가능하고, 촬영된 영상을 무선으로 송신하도록 통신부를 포함할 수 있다.
일 실시예에 따르면, 전자 장치는, 놀이와 관련된 컨텐츠를 제공함과 동시에 제2 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영하고, 제2 촬영부를 통해 촬영된 이미지를 애플리케이션을 통해 사용자의 놀이에 대한 피드백을 분석하며, 놀이판에 배치된 물품을 식별하고, 애플리케이션에서 컨텐츠를 제공하도록 구성되고, 애플리케이션에서 음성녹음부를 통해 사용자에게 컨텐츠를 제공하는 과정에서 사용자의 음성을 통해 피드백을 인터뷰하게끔 녹음하도록 구성될 수 있다.
일 실시예에 따르면, 인공지능 미러링 놀이 가방은, 놀이판에 시각화된 컨텐츠를 제공하도록 구성되는 프로젝터를 더 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 사용자를 분석하기 위한 애플리케이션을 포함하고, 애플리케이션에 의해, 손가락의 초기 위치를 좌표로 인식하고, 핑거 포인팅 방향의 벡터를 검출하고, 3차원을 통해 검출한 벡터를 (x, y, z) 성분으로 분리하여 벡터를 표현하며, 3차원 공간에서 이미지 상에 모든 물체들의 좌표를 검출하여 (x, y, z) 성분으로 검출하고, 손가락의 초기 위치로부터 벡터를 연장한 좌표들이 물체들의 좌표들의 감싸고 있는 물체들의 크기 내에 포함된다면, 손가락이 물체를 포인팅하고 있다고 판단할 수 있다.
일 실시예에 따르면, 인공지능 미러링 놀이 가방은, 제2 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영한 비디오를 분석하도록 더 구성되고, 제2 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영한 비디오를 분석하는 것은, 비디오의 제1 프레임에서 손이 검출되는지 여부를 판단하는 것; 비디오의 제1 프레임에서 손이 검출되지 않는다면, 다음 프레임으로 넘기는 것; 비디오의 제1 프레임에서 손이 검출되었다면, 손가락 끝이 엄지손가락 끝인지 검지손가락 끝인지를 판단하는 것; 비디오의 제1 프레임에서 엄지손가락 끝을 노란색으로 표시하고, 검지손가락 끝을 빨간색으로 표시하는 것; 엄지손가락과 검지손가락 끝들 사이의 거리, 수직 축에서 엄지손가락과 검지손가락 끝들 사이의 각도, 및 엄지손가락과 검지손가락 끝들 사이의 도심(centroid)를 계산하는 것; 및 손가락 끝들의 거리, 각도, 및 도심에 따라, 스케일(scale), 각도(angle), 옮김(translation)을 가상 객체에 적용시키는 것을 비디오의 마지막 프레임까지 반복하는 것을 포함하고, 다수개의 프레임으로 구성되는 촬영 영상에서 손가락 끝의 팁이 놀이판(170) 위의 놀이 또는 책으로 향하는 빈도가 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 50%를 넘고, 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수에서 사용자의 표정이 웃는 표정이라고 판단되는 경우 비율이 70% 이상인 경우, 사용자가 놀이에 흥미를 느낀다고 판단되고, 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 50% 미만이고, 그 때의 사용자의 표정이 웃는 표정인 경우의 비율이 일정 값(예컨대 70%) 미만인 경우, 놀이에 흥미가 없다고 판단되며, 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 20% 미만인 경우, 놀이의 난이도가 높아서 관심을 두지 않는 것으로 판단되어, 놀이의 난이도를 낮추라는 메시지를 애플리케이션에 의해 사용자의 학부모에게 송신될 수 있다.
본 발명에 따르면, 놀이가방에 구비된 별도의 촬영부가 교구놀이 및 독서 등이 진행되는 놀이판(사용자의 손동작, 교구/장난감의 동작/독서의 내용)을 촬영함과 동시에, 스마트폰 카메라를 통해 놀이를 하는 사용자(영유아)의 모습(얼굴표정)을 동시에 촬영함으로써, 사용자(영유아)의 놀이에 대한 반응을 감지/분석하고, 이에 대응하여 맞춤형 컨텐츠를 제공할 수 있다.
또한, 놀이가방에 프로젝트가 구비되는 경우 교구와 놀이판에 영사된 이미지를 통해 놀이 컨텐츠의 효과를 높일 수 있다.
한편, 인공지능 기술을 통해, 놀이 컨텐츠에 대한 아이의 반응을 지속적으로 학습함으로써, 개별 아이에 맞는 최적화된 분석/놀이를 제안할 수 있다. 예를 들어, 숫자 놀이/도서의 난이도가 사용자에게 높은지, 낮은지, 아이가 숫자에 관심이 많은지, 아니면 영어에 관심이 많은지 등을 분석할 수 있으며, 이를 통해 사용자의 성향, 선호도 등을 분석하고, 이에 맞는 컨텐츠를 제공할 수 있다. 또한, 아이가 숫자와 관련된 놀이를 할 때 표정이 좋지 않거나, 진행이 느리다고 판단되는 경우, 숫자놀이에 대한 난이도를 낮춰줌으로써 아이가 숫자에 대한 거부감을 극복하고 흥미를 유발한 후, 점차적으로 난이도를 맞춤형으로 높여감으로써 놀이/교육의 효과를 높일 수 있다.
다만, 본 발명의 효과들은 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 인공지능 미러링 놀이 가방의 개략도이다.
도 2a는 본 발명의 일 실시예에 따른 핑거미러링 앱을 도시하는 도면이다.
도 2b는 본 발명의 일 실시예에 따른 핑거미러링 앱에서 예시적으로 사용자의 표정을 분류하는 과정을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 핑거 포인팅을 통한 객체 인지 과정을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 촬영부으로부터 핑거 포인팅을 검출하는 방법을 도면이다.
도 5는 본 발명의 일 실시예에 따른 핑거 포인팅을 자세히 분석하는 과정을 설명하는 도면이다.
이하, 본 발명의 실시예와 도면을 참조하여 본 발명을 상세히 설명한다. 이들 실시예는 오로지 본 발명을 보다 구체적으로 설명하기 위해 예시적으로 제시한 것일 뿐, 본 발명의 범위가 이들 실시예에 의해 제한되지 않는다는 것은 통상의 기술자에 있어서 자명할 것이다.
또한, 달리 정의하지 않는 한, 본 명세서에서 사용되는 모든 기술적 및 과학적 용어는 본 발명이 속하는 기술 분야의 통상의 기술자에 의해 통상적으로 이해되는 바와 동일한 의미를 가지며, 상충되는 경우에는, 정의를 포함하는 본 명세서의 기재가 우선할 것이다.
도면에서 제안된 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 그리고, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에서 기술한 "부"란, 특정 기능을 수행하는 하나의 단위 또는 블록을 의미한다.
각 단계들에 있어 식별부호(제1, 제2, 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 실시될 수도 있고 실질적으로 동시에 실시될 수도 있으며 반대의 순서대로 실시될 수도 있다.
이하, 구체적인 실시예와 비교예를 통하여 본 발명의 구성 및 그에 따른 효과를 보다 상세히 설명하고자 한다. 그러나, 본 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것이며, 본 발명의 범위가 이들 실시예에 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 인공지능 미러링 놀이 가방의 개략도이다.
도 1을 구체적으로 살펴보면, 인공지능 미러링 놀이 가방은, 상부 케이스(110) 및 하부 케이스(120)를 열고 닫을 수 있도록 구성되는 가방 본체(100), 상부 케이스와 하부 케이스를 일정한 각도로 유지하기 위한 고정핀(130), 가방 본체가 열렸을 때 상부 케이스의 상부에 구비되고, 하부 케이스의 놀이판을 촬영할 수 있는 각도로 배치되도록 구성되는 제1 촬영부(140), 상부 케이스 내에 위치되고, 전자 장치를 거치하도록 구성되는 거치부(150)를 포함할 수 있다. 또한, 전자 장치는 전면에 구비된 제2 촬영부, 음성녹음부, 및 애플리케이션이 표시되는 디스플레이를 포함할 수 있다.
하부 케이스의 놀이판을 촬영할 수 있는 각도로 배치되도록 구성되는 제1 촬영부(140)은 사용자의 핸드가 놀이판을 벗어나는지 여부를 판단할 수 있다.
본 발명에 일 실시예에 따른 인공지능 미러링 놀이 가방은, 또한 하부 케이스 내에 위치되고, 교구를 포함하는 물품을 수납하도록 구성되는 수납부(160), 상부 케이스와 하부 케이스 사이에서 탈부착되도록 구성되는 놀이판(170), 인공지능 미러링 놀이 가방에서 동작을 제어하도록 신호를 발생시키도록 구성되는 제어부, 촬영된 영상을 저장하도록 구성되는 메모리부, 및 전자 장치에 설치된 애플리케이션과 무선으로 통신이 가능하고, 촬영된 영상을 무선으로 송신하도록 통신부를 포함할 수 있다.
도 2a는 본 발명의 일 실시예에 따른 핑거미러링 앱을 도시하는 도면이다.
도 2a는 도 1의 거치부(150)에 거치될 수 있는 여러 전자 기기를 도시한다.
본 발명의 일 실시예 따르면, 대표적으로 전자 기기는 스마트폰일 수 있다. 2000년초반부터 스마트폰은 카메라(210)의 기능을 필수적으로 탑재하고 있다. 이에 따라, 본원의 일 실시에 따른 핑거미러링 앱은 예컨대 스마트폰의 카메라를 통해 사용자의 놀이가방에 올려진 놀이판(170) 위에서의 놀이 내지 전자기기에 의해 디스플레이되는 컨텐츠에 대한 피드백을 얻을 수 있다.
본원의 일 실시예 따른 피드백은 사용자의 표정을 판단하는 인공지능 알고리즘을 포함할 수 있다.
먼저, 거치부(150)에 거치될 수 있는 전자기기로서 촬영부(210)를 포함하는 전자기기에 의해, 사용자의 얼굴 영상을 획득할 수 있다.
획득된 사용자의 얼굴 영상 중 각각의 프레임에서 사용자의 눈, 미간, 코끝점, 입, 볼, 귀를 하나 이상의 점으로 인식하여 연결된 점의 형태로 표현할 수 있다(도 2a의 220 참조).
도 2b는 본 발명의 일 실시예에 따른 핑거미러링 앱에서 예시적으로 사용자의 표정을 분류하는 과정을 도시하는 도면이다.
놀이를 하고 있는 사용자의 표정을 파악하기 위하여, 주로 컨볼루션 신경망(convolutional neural network; CNN) 알고리즘이 이용하여 표정을 파악할 수 있다.
여기서, CNN 알고리즘은, 기존의 데이터에서 지식을 추출하여 학습 과정이 수행되는 기법과 달리, 데이터의 특징을 추출하여 특징들의 패턴을 파악하는 구조를 갖는 것을 특징으로 한다. 위 CNN은 컨볼루션(convolution) 과정과 풀링(pooling) 과정을 통해 수행될 수 있다. 다시 말해, 위 CNN은 컨볼루션 층과 풀링 층이 복합적으로 구성된 알고리즘을 포함할 수 있다. 여기서, 컨볼루션 층에서는 데이터의 특징을 추출하는 과정(일명, 컨볼루션 과정)이 수행된다. 위 컨볼루션 과정은 데이터에 각 성분의 인접 성분들을 조사해 특징을 파악하고 파악한 특징을 한 장으로 도출하는 과정으로써, 하나의 압축 과정으로써 파라미터의 개수를 효과적으로 줄일 수 있다.
본 발명의 일 실시예에 따르면, 컨볼루션 층에서 데이터의 특징을 추출할 때, 사용자의 놀이 영상의 한 프레임(즉, 사진)에서 눈과 입의 사진 상의 점유하는 픽셀의 위치를 고려하여, 그 표정을 분류해낼 수 있다.
구체적으로 도 2b는, 5X5의 25 픽셀에서 눈이 위치하는 픽셀과 입술이 점유하는 픽셀들을 2차원적으로 표시하여 표정을 분별해내는 일 실시예를 보여준다. 그러나, 이는 예시적인 것일 뿐, 실제로 앞서 획득한 사용자의 눈, 미간, 코끝점, 입, 볼, 귀에 관한 위치 정보를 바탕으로 동영상을 초당 30프레임이라고 할 때, 30초를 관찰하여, 총 900프레임에서 웃는 표정(해피)이라고 인식된 비율 대비 슬픈 표정이라고 인식하는 비율을 비교함으로써, 웃는 표정(해피)이 더 많은 시간(즉, 프레임)을 점유하고 있다면, 사용자가 만족하고 있는 것으로 판단될 수 있다.
또한, CNN 알고리즘에서, 풀링 층에서 컨볼루션 과정을 거친 레이어의 사이즈를 줄여주는 과정(일명, 풀링 과정)이 수행된다. 위 풀링 과정은 데이터의 사이즈를 줄이고 노이즈를 상쇄시키고 미세한 부분에서 일관적인 특징을 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 핑거 포인팅을 통한 객체 인지 과정을 설명하는 도면이다.
본원의 일 실시예에 따르면, 도 3(a)에서 사람은 주로 포인팅을 수행할 때 검지를 이용할 수 있다. 그리고 사람의 팔은 관절 형태로 이루어져 있기 때문에, 팔이 특정한 각도를 이룬 채 구부러진 형태로 있을 수도 있다. 이 때, 본 발명은 포인팅 방향(310)을 검지가 가리키는 방향을 기준으로 하고, 팔목과 어깨까지의 가상의 연장선의 벡터가 검지가 가리키는 방향의 벡터와 오차 범위 내에 있다면, 검지가 가리키는 방향이 사용자가 의도한 방향으로 가리키는 것으로 판단할 수 있다.
본원의 일 실시예에 따르면, 도 3(b)에서, 손가락의 검지의 벡터(310-1)가 검출되고, 여러 물체들(320 내지 340) 중에서 손가락의 검지 벡터(310-1)의 연장선에 관한 좌표 방정식이 물체에 대한 물체의 크기를 오차범위로 하는 좌표 정보에 닿는다면, 사용자가 해당 물체를 가리키는 것으로 판단할 수 있다. 예를 들어, 도 3(b)에서 사용자는 카메라(340)을 가리키고 있는 것이라고 판단될 수 있다.
도 4는 본 발명의 일 실시예에 따른 촬영부으로부터 핑거 포인팅을 검출하는 방법을 도면이다. 이와 같은 방법은 비일시적 판독가능 저장 매체에 저장된 프로그램을 통해 실행 내지 구현될 수 있다.
S410 단계에서, 핑거 포인팅 방향의 벡터를 검출할 수 있다. 이때, 3차원을 통해 검출한 벡터를 (x, y, z) 성분으로 분리하여 벡터를 표현할 수 있고, 손가락(예컨대, 검지)의 초기 위치 또한 3차원 공간에서 좌표로 획득할 수 있다.
S420 단계에서, 3차원 공간에서 이미지 상에 모든 물체들의 좌표를 검출하여 (x, y, z) 성분으로 검출할 수 있다.
S430 단계에서, 손가락의 초기 위치로부터 벡터를 연장하여 물체들의 좌표들 중 일치하는 것이 있다면, 손가락이 해당 물체를 포인팅하고 있다고 판단할 수 있다.
예를 들어, 아래와 같은 데이터 형식으로 핑거 포인팅이 분석될 수 있다.
데이터세트 이미지 정보
엄지, 검지1000 1000 핸드 이미지 1.핸드 바운딩 박스, 및 엄지 및 검지 손가락팁 위치들
2.해상도 640x480
100DOH(핸드 데이터 세트의 100일) 핸드 및 핸드-물체 상호작용을 포함하는 큰 스케일의 비디오 데이터세트 거의 131일의 매일의 상호작용의 장면을 담은 11개의 카테고리들로부터 27.3K 유튜브 비디오들로 이루어질 수 있음
핸드넷(handnet) 핸드넷 데이터세트는 10명의 참가자의 뎁스 이미지들(depth images)을 포함 RealSense RGB-D 카메라의 정면 앞에서 비강직하게 변형될 수 있는 핸드들. 주석은 마그네틱 주석 기술에 의해 생성될 수 있음
도 5는 본 발명의 일 실시예에 따른 핑거 포인팅을 자세히 분석하는 과정을 설명하는 도면이다.도 5를 살펴보면, 촬영부(예컨대 웹캠)으로부터의 입력 비디오 스트림을 수신할 수 있다.예를 들어, 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영한 비디오를 분석할 수 있다.
S510 단계에서, 상기 비디오의 제1 프레임에서 손을 검출할 수 있다.
S520 단계에서, 상기 비디오의 제1 프레임에서 손dl 검출되는지 여부를 판단할 수 있다.
여기서, 비디오의 제1 프레임에서 손이 검출되지 않는다면, 손이 검출될 때까지 다음 프레임으로 넘길 수 있다.
S530 단계에서, 비디오의 제1 프레임에서 손이 검출되었다면, 손가락 끝이 엄지손가락 끝인지 검지손가락 끝인지를 판단할 수 있다.
여기서, 비디오의 제1 프레임에서 엄지손가락 끝을 노란색으로 표시하고, 검지손가락 끝을 빨간색으로 표시할 수 있다.
S540 단계에서, 엄지손가락과 상기 검지손가락 끝들 사이의 거리, 수직 축에서 상기 엄지손가락 끝과 상기 검지손가락 끝 사이의 각도, 및 상기 엄지손가락 끝과 상기 검지손가락 끝 사이의 도심(centroid)를 계산할 수 있다. 여기서 계산은 손이 존재한다고 판단되는 프레임마다 계속 진행될 수 있다.
S550 단계에서, 손가락 끝들의 상기 거리, 상기 각도, 및 상기 도심에 따라, 스케일(scale), 각도(angle), 옮김(translation)을 가상 객체에 적용시킬 수 있다. 이러한 분석 과정은 비디오의 마지막 프레임까지 반복될 수 있다.
본 발명에 따른 인공지능 미러링 놀이가방은, 사용자의 표정과 손가락 끝들이 가리키는 객체의 분석을 통해 놀이에 대한 사용자의 흥미도를 판단할 수 있다.
본 발명의 일 실시예에 의하면, n개의 프레임으로 구성되는 촬영 영상에서 손가락 끝의 팁이 해당 놀이판(170) 위의 놀이 또는 책으로 향하는 빈도가 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 50%를 넘고, 그 때의 사용자의 표정이 해피인 경우의 비율이 일정 값(예컨대 70%) 이상인 경우, 사용자가 흥미를 느낀다고 판단할 수 있다. 만약, 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 50% 미만이고, 그 때의 사용자의 표정이 해피인 경우의 비율이 일정 값(예컨대 70%) 미만인 경우, 해당 놀이 또는 책에 흥미가 없다고 판단할 수 있다. 특히, 아동의 경우, 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 20% 미만인 경우, 놀이 또는 책이 난이도가 높아서 관심을 두지 않는 것으로 판단되어, 난이도를 낮추라는 메시지를 애플리케이션에 의해 관리자 내지 학부모에게 송신할 수 있다.
한편, 놀이 시간 동안, 사용자가 집중을 하지 못하고, 하부 케이스의 놀이판을 촬영할 수 있는 각도로 배치되도록 구성되는 제1 촬영부(140)에서 촬영된 영상에서, 놀이 시간 대비 사용자의 핸드가 놀이판을 벗어나는 시간이 50%를 넘는다면, 해당 놀이 또는 책에 더욱 흥미가 없다고 판단될 수 있다.
추가적으로, 본 발명에 따른 컴퓨터 프로그램은, 컴퓨터와 결합하여, 앞서 상술한 다양한 하드웨어 가속기 제어 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장될 수 있다.
전술한 프로그램은, 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 위 방법들을 실행시키기 위하여, 컴퓨터의 프로세서(CPU)가 위 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 위 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 위 기능들을 위 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 위 기능들을 위 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 위 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 위 컴퓨터의 프로세서가 위 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 위 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
따라서, 본 문서에 개시된 실시예들은 본 문서에 개시된 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 문서에 개시된 기술 사상의 범위가 한정되는 것은 아니다. 본 문서에 개시된 기술 사상의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 문서의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (5)

  1. 인공지능 미러링 놀이 가방으로서,
    상부 케이스(110) 및 하부 케이스(120)를 열고 닫을 수 있도록 구성되는 가방 본체(100);
    상기 상부 케이스와 상기 하부 케이스를 일정한 각도로 유지하기 위한 고정핀(130);
    상기 가방 본체가 열렸을 때 상기 상부 케이스의 상부에 구비되고, 상기 하부 케이스의 놀이판(170)을 촬영할 수 있는 각도로 배치되도록 구성되는 제1 촬영부(140);
    상기 상부 케이스 내에 위치되고, 전자 장치를 거치하도록 구성되는 거치부(150) - 상기 전자 장치는, 전면에 구비된 제2 촬영부(210), 음성녹음부, 및 애플리케이션이 표시되는 디스플레이(220)를 포함함 -;
    상기 하부 케이스 내에 위치되고, 교구를 포함하는 물품을 수납하도록 구성되는 수납부(160);
    상기 상부 케이스와 상기 하부 케이스 사이에서 탈부착되도록 구성되는 놀이판(170);
    상기 인공지능 미러링 놀이 가방에서 동작을 제어하도록 신호를 발생시키도록 구성되는 제어부;
    촬영된 영상을 저장하도록 구성되는 메모리부; 및
    상기 전자 장치에 설치된 애플리케이션과 무선으로 통신이 가능하고, 상기 촬영된 영상을 무선으로 송신하도록 통신부
    를 포함하는, 인공지능 미러링 놀이 가방.
  2. 제1항에 있어서,
    상기 전자 장치는,
    놀이와 관련된 컨텐츠를 제공함과 동시에 상기 제2 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영하고,
    상기 제2 촬영부를 통해 촬영된 이미지를 상기 애플리케이션을 통해 상기 사용자의 놀이에 대한 피드백을 분석하며,
    상기 놀이판에 배치된 물품을 식별하고, 상기 애플리케이션에서 컨텐츠를 제공하도록 구성되고,
    상기 애플리케이션에서 상기 음성녹음부를 통해 상기 사용자에게 컨텐츠를 제공하는 과정에서 상기 사용자의 음성을 통해 피드백을 인터뷰하게끔 녹음하도록 구성되는, 인공지능 미러링 놀이 가방.
  3. 제2항에 있어서,
    상기 인공지능 미러링 놀이 가방은,
    상기 놀이판에 시각화된 컨텐츠를 제공하도록 구성되는 프로젝터
    를 더 포함하는, 인공지능 미러링 놀이 가방.
  4. 제3항에 있어서,
    상기 전자 장치는 사용자를 분석하기 위한 애플리케이션을 포함하고,
    상기 애플리케이션에 의해,
    손가락의 초기 위치를 좌표로 인식하고,
    핑거 포인팅 방향의 벡터를 검출하고,
    3차원을 통해 검출한 벡터를 (x, y, z) 성분으로 분리하여 벡터를 표현하며,
    3차원 공간에서 이미지 상에 모든 물체들의 좌표를 검출하여 (x, y, z) 성분으로 검출하고,
    손가락의 초기 위치로부터 벡터를 연장한 좌표들이 물체들의 좌표들의 감싸고 있는 상기 물체들의 크기 내에 포함된다면, 손가락이 상기 물체를 포인팅하고 있다고 판단하는, 인공지능 미러링 놀이 가방.
  5. 제4항에 있어서,
    상기 인공지능 미러링 놀이 가방은,
    상기 제2 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영한 비디오를 분석하도록 더 구성되고,
    상기 제2 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영한 비디오를 분석하는 것은,
    상기 비디오의 제1 프레임에서 손이 검출되는지 여부를 판단하는 것;
    상기 비디오의 제1 프레임에서 손이 검출되지 않는다면, 다음 프레임으로 넘기는 것;
    상기 비디오의 제1 프레임에서 손이 검출되었다면, 손가락 끝이 엄지손가락 끝인지 검지손가락 끝인지를 판단하는 것;
    상기 비디오의 제1 프레임에서 엄지손가락 끝을 노란색으로 표시하고, 검지손가락 끝을 빨간색으로 표시하는 것;
    상기 엄지손가락 끝과 상기 검지손가락 끝 사이의 거리, 수직 축에서 상기 엄지손가락 끝과 상기 검지손가락 끝 사이의 각도, 및 상기 엄지손가락 끝과 상기 검지손가락 끝 사이의 도심(centroid)를 계산하는 것; 및
    손가락 끝들의 상기 거리, 상기 각도, 및 상기 도심에 따라, 스케일(scale), 각도(angle), 옮김(translation)을 가상 객체에 적용시키는 것
    을 상기 비디오의 마지막 프레임까지 반복하는 것을 포함하고,
    다수개의 프레임으로 구성되는 촬영 영상에서 손가락 끝의 팁이 상기 놀이판(170) 위의 놀이 또는 책으로 향하는 빈도가 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 50%를 넘고, 상기 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수에서 사용자의 표정이 웃는 표정이라고 판단되는 경우 비율이 70% 이상인 경우, 상기 사용자가 놀이에 흥미를 느낀다고 판단되고,
    핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 50% 미만이고, 그 때의 사용자의 표정이 웃는 표정인 경우의 비율이 일정 값(예컨대 70%) 미만인 경우, 상기 놀이에 흥미가 없다고 판단되며,
    핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 20% 미만인 경우, 놀이의 난이도가 높아서 관심을 두지 않는 것으로 판단되어, 상기 놀이의 난이도를 낮추라는 메시지를 상기 애플리케이션에 의해 상기 사용자의 학부모에게 송신되는, 인공지능 미러링 놀이 가방.
PCT/KR2023/013465 2022-09-07 2023-09-07 인공지능 미러링 놀이 가방 WO2024054079A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220113166A KR102482841B1 (ko) 2022-09-07 2022-09-07 인공지능 미러링 놀이 가방
KR10-2022-0113166 2022-09-07

Publications (1)

Publication Number Publication Date
WO2024054079A1 true WO2024054079A1 (ko) 2024-03-14

Family

ID=84538910

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/013465 WO2024054079A1 (ko) 2022-09-07 2023-09-07 인공지능 미러링 놀이 가방

Country Status (2)

Country Link
KR (1) KR102482841B1 (ko)
WO (1) WO2024054079A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102482841B1 (ko) * 2022-09-07 2022-12-30 주식회사 씨팩토리 인공지능 미러링 놀이 가방

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980066263U (ko) * 1997-05-13 1998-12-05 나원복 학습용 가방
KR101985367B1 (ko) * 2017-07-24 2019-06-25 한동대학교 산학협력단 증강현실 기반의 교육용 게임 장치 및 이의 동작 방법
KR20190093243A (ko) * 2018-02-01 2019-08-09 성호준 블록인식기반 유아학습 장치 및 방법
KR20200071954A (ko) * 2018-12-12 2020-06-22 유준배 코딩교육장치
KR20210127104A (ko) * 2020-04-13 2021-10-21 주식회사 재미씨 학습방법, 학습 장치 및 학습시스템
KR102482841B1 (ko) * 2022-09-07 2022-12-30 주식회사 씨팩토리 인공지능 미러링 놀이 가방

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200431659Y1 (ko) 2006-08-31 2006-11-23 문상진 놀이판을 부착한 휴대용 가방
KR200475050Y1 (ko) 2013-09-03 2014-11-03 백정란 지능개발과 학습향상을 위한 놀이교구
KR20200057196A (ko) * 2018-11-16 2020-05-26 주식회사 아토이 Fst 기술을 활용한 언어 학습 교육방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980066263U (ko) * 1997-05-13 1998-12-05 나원복 학습용 가방
KR101985367B1 (ko) * 2017-07-24 2019-06-25 한동대학교 산학협력단 증강현실 기반의 교육용 게임 장치 및 이의 동작 방법
KR20190093243A (ko) * 2018-02-01 2019-08-09 성호준 블록인식기반 유아학습 장치 및 방법
KR20200071954A (ko) * 2018-12-12 2020-06-22 유준배 코딩교육장치
KR20210127104A (ko) * 2020-04-13 2021-10-21 주식회사 재미씨 학습방법, 학습 장치 및 학습시스템
KR102482841B1 (ko) * 2022-09-07 2022-12-30 주식회사 씨팩토리 인공지능 미러링 놀이 가방

Also Published As

Publication number Publication date
KR102482841B1 (ko) 2022-12-30

Similar Documents

Publication Publication Date Title
CN108665492B (zh) 一种基于虚拟人的舞蹈教学数据处理方法及系统
WO2020082566A1 (zh) 基于生物识别的远程教学方法、装置、设备及存储介质
Sahoo et al. Sign language recognition: State of the art
Brashear et al. American sign language recognition in game development for deaf children
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
CN109508656A (zh) 一种舞蹈评级自动判别方法、系统及计算机可读存储介质
CN107004414A (zh) 信息处理设备、信息处理方法及程序
Wexelblat A feature-based approach to continuous-gesture analysis
JP2008257381A (ja) 情報解析システム、情報解析装置、情報解析方法および情報解析プログラム、ならびに、記録媒体
WO2024054079A1 (ko) 인공지능 미러링 놀이 가방
Punsara et al. IoT based sign language recognition system
Dael et al. Measuring body movement: Current and future directions in proxemics and kinesics.
CN114967937B (zh) 一种虚拟人运动生成方法与系统
de Amorim et al. Asl-skeleton3d and asl-phono: Two novel datasets for the american sign language
Rozaliev et al. Detailed analysis of postures and gestures for the identification of human emotional reactions
KR100791362B1 (ko) 베이비사인 인식 방법, 이를 이용한 양방향 멀티미디어 동화 구현 시스템 및 방법
WO2020122463A1 (ko) 가상 현실을 이용한 치매 환자 훈련 시스템
US20200226136A1 (en) Systems and methods to facilitate bi-directional artificial intelligence communications
Križnar et al. Use of Computer Vision Based Hand Tracking in Educational Environments
WO2017213307A1 (ko) Nui/nux에 기반하여 디지털 영상을 처리하는 장치 및 방법
CN117524417A (zh) 自闭症康复训练系统、方法、设备及介质
WO2021095935A1 (ko) 스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템
Rutuja et al. Hand Gesture Recognition System Using Convolutional Neural Networks
Porwal et al. ASL Language Translation using ML
WO2023058809A1 (ko) 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23863543

Country of ref document: EP

Kind code of ref document: A1