WO2020130689A1 - 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법 - Google Patents

놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2020130689A1
WO2020130689A1 PCT/KR2019/018134 KR2019018134W WO2020130689A1 WO 2020130689 A1 WO2020130689 A1 WO 2020130689A1 KR 2019018134 W KR2019018134 W KR 2019018134W WO 2020130689 A1 WO2020130689 A1 WO 2020130689A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
action
electronic device
processor
Prior art date
Application number
PCT/KR2019/018134
Other languages
English (en)
French (fr)
Inventor
강현주
천가원
노재연
조윤선
진연주
박재형
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2020130689A1 publication Critical patent/WO2020130689A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Definitions

  • Various embodiments of the present invention relate to an electronic device for recommending play content and a method for operating the same.
  • the electronic device may provide various functions.
  • the electronic device includes a voice communication function, a data communication function, a short-range wireless communication (eg, Bluetooth, near field communication (NFC), etc.), and a mobile communication (3G (generation), 4G, 5G, etc.) function.
  • a voice communication function e.g., a voice communication function, a data communication function, a short-range wireless communication (eg, Bluetooth, near field communication (NFC), etc.), and a mobile communication (3G (generation), 4G, 5G, etc.) function.
  • NFC near field communication
  • 3G generation
  • 4G fourth generation
  • 5G etc.
  • It can provide various functions such as music or video playback function, photo or video shooting function, or navigation function.
  • the social robot may provide a service using artificial intelligence (AI).
  • AI artificial intelligence
  • a social robot may provide artificial intelligence to play with a child.
  • An electronic device that provides an artificial intelligence service such as a social robot, may provide a service for playing with a child based on a command received from a parent or child.
  • an artificial intelligence service such as a social robot
  • various embodiments of the present invention are to provide a method and apparatus for measuring a user's physical development stage in an electronic device and recommending play content based on the measured development stage.
  • the electronic device includes a camera module, a communication module communicating with an external device (eg, another electronic device, a server, a cloud), and a memory for storing information of reference actions related to body development by age And a processor, wherein the processor detects a user's behavior using the camera module, and based on the detected user behavior and information on reference behaviors stored in at least one of the memory or the external device.
  • the body development stage may be determined, and at least one play content corresponding to the determined initiation stage may be recommended.
  • an operation method of an electronic device may include detecting a user's behavior using a camera module, body development by age, which is pre-stored in at least one of the detected user behavior and memory or an external device. It may include the operation of determining the user's body development stage based on the information of the reference actions related to, and the operation of recommending and providing at least one play content corresponding to the determined initiation stage.
  • An electronic device may improve satisfaction of a user (eg, a parent or child) by measuring a user's physical development stage and recommending play content based on the measured development stage.
  • a user eg, a parent or child
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 is a block diagram of a program in an electronic device, according to various embodiments.
  • FIG. 3 is a flowchart illustrating play content in an electronic device according to various embodiments of the present disclosure.
  • FIG. 4 is a flowchart illustrating a user's behavior in an electronic device according to various embodiments of the present disclosure.
  • FIG. 5 is a flowchart illustrating a user's physical development stage in an electronic device according to various embodiments of the present disclosure.
  • FIG. 6 is a diagram illustrating types of reference action items for determining a user's physical development stage in an electronic device according to various embodiments of the present disclosure.
  • FIG. 7 is a flowchart illustrating play content corresponding to a development stage in an electronic device according to various embodiments of the present disclosure.
  • 8A to 8E are exemplary views for recommending play content corresponding to a development stage in an electronic device according to various embodiments.
  • FIG. 9 is a flowchart of acquiring and storing a result of recommended play content in an electronic device according to various embodiments.
  • 10A to 10C are exemplary diagrams for detecting user behavior by controlling at least one device element in an electronic device according to various embodiments.
  • 11A to 11C are exemplary diagrams for feedback of results for recommended play content in an electronic device according to various embodiments of the present disclosure.
  • FIG. 12 is a flowchart illustrating information on a user's development stage in an electronic device according to various embodiments of the present disclosure.
  • FIG. 13 is a screen configuration diagram providing information about a user's development stage in an electronic device according to various embodiments of the present disclosure.
  • FIG. 14 is an exemplary diagram of obtaining and providing a result by recommending play content corresponding to a development stage in an electronic device according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through the first network 198 (eg, a short-range wireless communication network), or the second network 199. It may communicate with the electronic device 104 or the server 108 through (for example, a remote wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the first network 198 eg, a short-range wireless communication network
  • the server 108 for example, a remote wireless communication network
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, a sensor module ( 176), interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197 ).
  • the components for example, the display device 160 or the camera module 180
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 160 eg., a display
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the processor 120 executes software (eg, the program 140) to execute at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120, for example. It can be controlled and can perform various data processing or operations. According to one embodiment, as at least part of data processing or computation, the processor 120 may receive instructions or data received from other components (eg, the sensor module 176 or the communication module 190) in the volatile memory 132. Loaded into, process instructions or data stored in volatile memory 132, and store result data in non-volatile memory 134.
  • software eg, the program 140
  • the processor 120 may receive instructions or data received from other components (eg, the sensor module 176 or the communication module 190) in the volatile memory 132. Loaded into, process instructions or data stored in volatile memory 132, and store result data in non-volatile memory 134.
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor), and an auxiliary processor 123 (eg, a graphics processing unit, an image signal processor) that can be operated independently or together. , Sensor hub processor, or communication processor). Additionally or alternatively, the coprocessor 123 may be set to use less power than the main processor 121, or to be specialized for a designated function. The coprocessor 123 may be implemented separately from the main processor 121 or as part of it.
  • a main processor 121 eg, a central processing unit or an application processor
  • an auxiliary processor 123 eg, a graphics processing unit, an image signal processor
  • the coprocessor 123 may be set to use less power than the main processor 121, or to be specialized for a designated function.
  • the coprocessor 123 may be implemented separately from the main processor 121 or as part of it.
  • the coprocessor 123 may replace, for example, the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 may be active (eg, execute an application) ) With the main processor 121 while in the state, at least one component of the components of the electronic device 101 (eg, the display device 160, the sensor module 176, or the communication module 190) It can control at least some of the functions or states associated with.
  • the coprocessor 123 eg, image signal processor or communication processor
  • may be implemented as part of other functionally relevant components eg, camera module 180 or communication module 190). have.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176).
  • the data may include, for example, software (eg, the program 140) and input data or output data for commands related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130, and may include, for example, an operating system 142, middleware 144, or an application 146.
  • the input device 150 may receive commands or data to be used for components (eg, the processor 120) of the electronic device 101 from outside (eg, a user) of the electronic device 101.
  • the input device 150 may include, for example, a microphone, mouse, keyboard, or digital pen (eg, a stylus pen).
  • the audio output device 155 may output an audio signal to the outside of the electronic device 101.
  • the audio output device 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive an incoming call.
  • the receiver may be implemented separately from, or as part of, a speaker.
  • the display device 160 may visually provide information to the outside of the electronic device 101 (for example, a user).
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 160 may include a touch circuitry configured to sense a touch, or a sensor circuit (eg, a pressure sensor) configured to measure the strength of the force generated by the touch. have.
  • the action module 163 may perform expression expression change, posture expression, or driving.
  • the action module 163 may include a facial expression motor, a posture expression motor, or a driving unit.
  • the facial expression motor may visually provide the state of the electronic device 101 through, for example, the display device 160.
  • the driving unit may be used, for example, to mechanically change the movement and other components of the electronic device 101.
  • the driving unit may be configured to rotate up/down, left/right, or clockwise/counterclockwise around at least one axis.
  • the driving unit may be implemented by, for example, a combination of a driving motor (eg, a wheel-type wheel, a sphere-type wheel, a continuous track or a propeller), or by independently controlling. .
  • the audio module 170 may convert sound into an electrical signal, or vice versa. According to an embodiment, the audio module 170 acquires sound through the input device 150, or an external electronic device connected directly or wirelessly to the sound output device 155 or the electronic device 101 (for example, Sound may be output through the electronic device 102) (eg, speakers or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biological sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that can be used for the electronic device 101 to be directly or wirelessly connected to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or movement) or electrical stimuli that the user can perceive through tactile or motor sensations.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and videos. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes. According to an embodiment, the camera module 180 may include a 2D camera 182 or an infrared-based depth camera 184.
  • the power management module 188 may manage power supplied to the electronic device 101.
  • the power management module 388 may be implemented, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 may be a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishing and performing communication through the established communication channel.
  • the communication module 190 is operated independently of the processor 120 (eg, an application processor) and may include one or more communication processors supporting direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg : Local area network (LAN) communication module, or power line communication module.
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • LAN Local area network
  • Corresponding communication module among these communication modules includes a first network 198 (for example, a short-range communication network such as Bluetooth, WiFi direct, or infrared data association (IrDA)) or a second network 199 (for example, a cellular network, the Internet, or It can communicate with external electronic devices through a computer network (eg, a telecommunication network such as a LAN or WAN).
  • a computer network eg, a telecommunication network such as
  • the wireless communication module 192 uses a subscriber information (eg, an international mobile subscriber identifier (IMSI)) stored in the subscriber identification module 196 in a communication network such as the first network 198 or the second network 199.
  • IMSI international mobile subscriber identifier
  • the antenna module 197 may transmit a signal or power to the outside (eg, an external electronic device) or receive it from the outside.
  • the antenna module may include a single antenna including a conductor formed on a substrate (eg, a PCB) or a radiator made of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network, such as the first network 198 or the second network 199, is transmitted from the plurality of antennas by, for example, the communication module 190. Can be selected.
  • the signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as part of the antenna module 197.
  • peripheral devices for example, a bus, a general purpose input and output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be the same or a different type of device from the electronic device 101.
  • all or some of the operations performed on the electronic device 101 may be performed on one or more external devices of the external electronic devices 102, 104, or 108.
  • the electronic device 101 executes the function or service itself.
  • one or more external electronic devices may be requested to perform at least a portion of the function or the service.
  • the one or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and deliver the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result, as it is or additionally, and provide it as at least part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology can be used.
  • FIG. 2 is a block diagram 200 of a program 140 in an electronic device 101 according to various embodiments.
  • the program 1401 in FIG. 2 may be at least part of the program 140 in FIG. 1.
  • the program 140 of the electronic device 101 is an operating system 142, a middleware 144, an intelligent framework 230, or internal storage for controlling one or more resources of the electronic device. (internal storage, 220).
  • the operating system 142 may include, for example, Android TM , iOS TM , Windows TM , Symbian TM , Tizen TM , or Bada TM .
  • At least some of the software programs are preloaded on the electronic device 101 at the time of manufacture, for example, or downloaded from an external electronic device (eg, the electronic device 102) or the server 108 when used by the user. It can be updated.
  • the operating system 142 may control management (eg, allocation or retrieval) of one or more system resources (eg, process, memory, or power) of the electronic device.
  • the operating system 142 may additionally or alternatively include other hardware devices of the electronic device 101, for example, an input device (eg, the input device 150 of FIG. 1), an audio output device (eg, of FIG. 1). Sound output device 155), display device (e.g., display device 160 in FIG. 1), action module (e.g., action module 163 in FIG. 1), camera module (e.g., camera module 180 in FIG. 1) )), power management module (e.g., power management module 188 in FIG. 1), battery (e.g., battery 189 in FIG.
  • communication module e.g., communication module 190 in FIG. 1
  • subscriber identification module It may include one or more device driver 215 programs for driving (eg, the subscriber identification module 196 of FIG. 1) or an antenna module (eg, the antenna module 197 of FIG. 1 ).
  • the middleware 144 may detect and track a user's face location using the signal-processed data or perform authentication through face recognition.
  • the middleware may perform a role of recognizing a user's 3D gesture, tracking an input location for audio signals (DOA), voice recognition, and signals of various sensor data.
  • Middleware 144 includes, for example, gesture recognition manager 201, face detection/tracking/recognition manager 203, sensor information processing manager 205, conversation engine manager 207, speech synthesis manager 209, It may include a sound source tracking manager 211, or a voice recognition manager 213.
  • the internal storage 220 may include, for example, a user model DB 221, a behavior model DB 223, a voice model DB 225, or a development matter DB 226.
  • the user model DB 221 may store information learned by the intelligent framework 230 for each user, for example.
  • the behavior model DB 223 may store, for example, information for behavior control (or motion control) of the electronic device 101.
  • the voice model DB 225 may store information for voice response of the electronic device 101, for example.
  • the development matter DB 226 may store development stage (or level) information on physical development matters. According to an embodiment, the development matter DB 226 may store skeleton data for examining physical development matters for each age.
  • the development matter DB 226 may store skeleton data representing reference actions for developmental stages of each month based on the screening tests for infants and toddlers of each country.
  • the development matter DB may include skeleton data for a large muscle workout and/or a small muscle workout that is a criterion for judging a development age by user.
  • the development matter DB 226 may include actions that a child 4-5 months of age can perform and skeleton data indicating the actions, actions that a child 6-7 months of age can perform, and corresponding actions. It may include skeleton data indicating, or skeleton data indicating actions and actions that an 8-9 month old child can perform.
  • the development matter DB 226 may include type information of reference actions for developmental stages for each age.
  • the development matter DB 226 may include information of at least one play content related to (or corresponding to) the reference actions of each development stage. This is illustrative, and various embodiments of the present invention are not limited thereto. According to an embodiment, the development matter DB 226 may be downloaded and/or updated by another electronic device 102 and/or the server 108. According to an embodiment, information stored in each DB may be stored or shared in the wireless network DB 210 (eg, cloud). For example, information stored in the development matters DB 226 and/or development matters DB 226 may be stored or shared in the cloud.
  • the wireless network DB 210 eg, cloud
  • the intelligent framework 230 may include, for example, a multi-modal fusion block 231, a user pattern learning block 233, or a behavior controller block 235.
  • the multi-modal fusion block 231 may serve to collect and manage various information processed by the middleware 144, for example.
  • the multi-modal convergence block 231 determines a user's development stage based on the user's behavior and development matter DB 226, and selects play content to be recommended based on the development stage You can do
  • the user pattern learning block 233 may extract and learn meaningful information such as a user's life pattern and preference using information of the multi-modal fusion block 231, for example.
  • the user pattern learning block 233 may learn user preference (or taste) information based on a user response to play content.
  • the user pattern learning block 233 may learn information on items determined to be insufficiently developed based on the accuracy (or similarity) of the user's behavior and the reference behavior included in the development matter DB 226.
  • the behavior control block 235 may, for example, move information to be fed back to the user through the motors 250, the display 252, the speaker 254, graphic (UI/UX), light, voice response, or Can be expressed in sound.
  • the action control block 235 may provide information about play content to be recommended using at least one of motion, graphics, light, voice response, or sound.
  • the behavior control block 235 provides information on a user's development stage or feedback information indicating a result of play content using at least one of motion, graphics, light, voice response, or sound can do.
  • the processor 120 may detect a behavior of a designated user (eg, a child), and determine a development stage of the user based on the detected user's behavior and development DB 226. According to an embodiment, when an event for monitoring a user's behavior is detected, the processor 120 may detect the event from the camera module 180 and/or an external device (eg, the electronic device 102, the electronic device 104). At least one image of a user's action may be acquired. Events for monitoring a user's behavior include, for example, a call event, a learning event, a play event, a care (or monitoring) event, a shooting event, or an external device (eg, the electronic device 102, the electronic device 104) ).
  • the call event may include at least one of an event in which a call is received from an external device (eg, the electronic device 104) or an event in which a call is sent to an external device.
  • the learning event may include a pre-registered schedule or a learning start event related to the user's education by a reception command.
  • the learning event may be a learning start event for an academic such as language, mathematics, and/or science.
  • the play event may include a pre-registered schedule or a play start event by a reception command.
  • the play event may be, for example, an event that starts play such as singing, physical development play, and/or quiz.
  • the care-taking event may be a pre-registered schedule or an event that starts caring for the user by a reception command.
  • the shooting event may include a pre-registered schedule or a photo and/or video shooting event generated by a reception command.
  • the sharing event may include an image sharing event with an external device (eg, the electronic device 102 or the electronic device 104) generated by a pre-registered schedule or a reception command.
  • External devices may include mobile communication devices such as smart phones, social robots, CCTVs, and/or other camera devices.
  • the processor 120 may generate a user's action on the phone, a user's action during a learning time, a user's action during a play time, a user's action during a care time, or a shooting event through the camera module 180. At least one image including (or photographed) the user's action for a designated time from the time point is acquired.
  • the processor 120 may receive at least one image including (taken) a user's action from an external device.
  • the processor 120 may detect a user's action by analyzing the acquired at least one image.
  • the processor 120 may analyze the obtained at least one image to obtain skeleton data, and determine a type of user action based on the obtained skeleton data.
  • the type of user action may indicate characteristics of the user action. For example, the type may be divided into standing on one foot, jumping on one foot, jumping on both feet, jumping over an obstacle, or drawing.
  • the listed types are exemplary, and the type according to various embodiments of the present invention is not limited thereto.
  • the types of user actions may be determined based on reference action items included in the development matter DB 226.
  • the standard action items may include information on actions that are a standard for determining a user's physical development stage.
  • the processor 120 may determine a development stage based on whether the sensed user's behavior is related to at least one reference behavior item stored in the development matter DB 226. For example, the processor 120 may determine whether the detected user's action is a new action. The processor 120 may determine whether the user's action is a new action based on the user action information registered in the memory 130. The user behavior information registered in the memory 130 may include at least one of skeleton data or type information about the previously sensed user behavior. For example, when the detected user's action is determined as a new action, the processor 120 includes at least one of type information of the user action, which is a new action, or skeleton data in the usual action record DB of the memory 130. User behavior information can be registered.
  • the processor 120 may determine whether a reference action item related to the detected user's action exists in the development matter DB 226.
  • the processor 120 determines whether or not the detected user's behavior is related to the user's physical development by determining whether a reference behavior item related to the detected user's behavior exists in the development matter DB 226. Can decide. For example, the processor 120 may determine whether at least one item having the same (or similar) type to the detected type of user action exists among the reference action items stored in the development matter DB 226. .
  • the processor 120 is based on the skeleton data and/or type information of the detected user behavior and the skeleton data and/or type information of the reference behavior items stored in the development DB 226, and has the same type as the detected user behavior.
  • the processor 120 can be determined whether or not at least one item having. For example, if the processor 120 matches the skeleton data of the detected user behavior and the skeleton data of the first reference behavior item stored in the development DB 226, the first specified value (for example, about 70%) or higher, It may be determined that the type of the detected user action and the type of the first reference action item are the same.
  • the first designated value is exemplary, and various embodiments of the present invention are not limited thereto. The first designated value can be set and changed by the designer.
  • the processor 120 is a detected user action that is related to the user's physical development. You can decide.
  • the processor 120 may determine a development stage based on at least one item having the same type as the type of user action sensed. For example, the processor 120 may determine a developmental stage corresponding to at least one item having the same type as the type of detected user behavior as the developmental stage of the user. According to one embodiment, the processor 120 has a plurality of items having the same type as the type of user action in the development matter DB 226, and when a plurality of items correspond to different development stages, the specified rule , And/or based on user information.
  • the user information may include, for example, date of birth information or age information.
  • the designated rule may be any one of a rule for determining the development stage of the user as the lowest development stage among different development stages, a rule for determining the intermediate stage, or a rule for determining the highest development stage.
  • the type (or characteristic) of the user's behavior is "Standing on One Foot”
  • the reference action item for 24-26 months is "Standing on one second on one foot”
  • 30-32 months Development Stage
  • the processor 120 is " Make sure that there are 3 reference behavior items of the same type as "Standing on One Foot” and determine 30-32 months (development stage n+1) as the user's development stage based on the user's date of birth, or based on the specified rules.
  • Low 24-26 months can be determined as developmental stages.
  • the processor 120 stores information indicating that the detected user's behavior is related to physical development in the memory 130. You can register. For example, the processor 120 may register information indicating that the skeleton data and/or type information about user behavior is behavior information related to physical development in the memory 130.
  • the detected user action is the user's body. It can be determined that the behavior is not related to development.
  • the processor 120 may register information on the user's behavior determined to be unrelated to the user's physical development in the memory 130. For example, the processor 120 may register information indicating that the skeleton data for user behavior is behavior information not related to physical development in the memory 130.
  • the processor 120 compares the detected user's behavior with a reference action item related to the behavior and detects the detected behavior. Accuracy can be determined. For example, the processor 120 uses a plurality of images obtained from the camera module 180 and/or an external device (eg, the electronic device 102, and/or the electronic device 104) to repeat user actions. You can decide whether it is detected. The processor 120 may acquire skeleton data representing user behavior from each of the plurality of images, and determine whether the same user behavior is repeatedly detected using the obtained skeleton data.
  • the processor 120 may compare the obtained skeleton data of each of the plurality of images to determine whether the user action is maintained for a longer period of time than the specified time, or whether the user action having a specific pattern is repeated. have.
  • the processor 120 may determine that the user's behavior is repeatedly detected when the user's behavior is maintained for a longer period of time than the designated time or when the user's behavior having a specific pattern is repeated.
  • the processor 120 may determine whether the repeatedly sensed user behavior is a user behavior related to physical development based on the behavior information registered in the memory 130.
  • the processor 120 may include at least one of skeleton data of the detected user behavior, a retention time of the user behavior, or the number of repetitions of the detected user behavior. Based on one, it is possible to determine the accuracy of a reference action item related to the action. When the determined accuracy is greater than the second designated value (eg, about 80%), the processor 120 may adjust the user's development stage upward. For example, when the development stage of the user is the first stage, the development stage may be adjusted upward to the second stage or the third stage. When the determined accuracy is less than or equal to the second specified value, the processor 120 may maintain the development stage of the user.
  • the second designated value eg, about 80%
  • the second designated value is exemplary, and various embodiments of the present invention are not limited thereto.
  • the second designated value can be set and changed by the designer.
  • the processor 120 may determine operation performance evaluation information for the reference action item based on the accuracy determined for the reference action item.
  • the operation performance evaluation information may be information indicating step-by-step how well the user performed the corresponding reference action item.
  • the performance performance evaluation information is plural such as very good (80-100% accuracy), good (50-79% accuracy), poor (20-49% accuracy), or very poor (10-19%). It can be divided into four stages.
  • the processor 120 may include at least one image including the detected user action, accuracy information determined for the reference action item, and/or action performance evaluation information as a result of performing the action for the reference action item. It can be stored in the memory 130.
  • the processor 120 may recommend play content based on the development stage of the user.
  • the processor 120 may determine play content capable of performing at least one action item among reference action items corresponding to a user's development stage. For example, when the user's development stage is 24-26 months (development stage n), the processor 120 may execute reference action items corresponding to 24-26 months (development stage n) in the development matter DB 226 ( Example: Check 1 second standing with one foot, run once in place with both feet, walk more than 4 steps with crutches, or draw a horizontal line with your finger, etc.), and select at least one of the identified standard action items Can.
  • the processor 120 may determine play content capable of performing an action indicated by the selected reference action item as play content to be recommended to the user.
  • the processor 120 may include at least one of a user's state information, surrounding situation information, recommendation item information, or other user's development related information among a plurality of reference action items corresponding to a user's development stage. Based on this, one reference action item may be selected, and play content related to the selected reference action item may be determined.
  • the user's status information may include, for example, at least one of information indicating the user's physical behavior, information about the body in which the user is moving, or current posture information of the user.
  • the surrounding situation information may include, for example, at least one of environment information, location information, surrounding user-related information, or surrounding object-related information.
  • the environment information may include information about the surrounding environment, such as weather, temperature, wind, air, or dust.
  • the location information may include information that may indicate the user's location, such as indoor, outdoor, small room, living room, large room, beach, park, or playground.
  • the surrounding user-related information may include, for example, whether there are other users in the surroundings, or at least one of identification information about other users in the surroundings.
  • the identification information of other users present in the vicinity may include at least one of a relationship between a user and another user, a name of another user, the age of another user, or gender information of another user.
  • the surrounding object information may include, for example, information about at least one of a toy or a play tool that the user is currently located around, or the user currently has.
  • Information of the recommended item is, for example, information of a reference action item requested to be frequently performed by another user (for example, the user's parent), and information of a reference action item (or play) preferred by the user and/or another user.
  • Other user's development related information may include, for example, behavior information of another user having the same age, gender, and/or tendency as the user.
  • the processor 120 controls at least one of the display device 160, the display 252, the audio output device 155, the audio module 170, or the speaker 254, and determines the determined play content Can be output as audio and/or graphic data.
  • the processor 120 may analyze user behavior for the recommended play content and feedback the analyzed result. According to an embodiment, the processor 120 may control the movement of the electronic device 101 in order to detect the user's action on the recommended play content. For example, the processor 120 obtains at least one device parameter corresponding to the recommended play content, and controls at least one device component included in the electronic device 101 based on the obtained device parameter, It is possible to control the movement of the electronic device. The processor 120 controls the movement of the electronic device while at least one image including user actions from the camera module 180 and/or external devices (eg, the electronic device 102, and/or the electronic device 104) Can be obtained.
  • the processor 120 controls the movement of the electronic device while at least one image including user actions from the camera module 180 and/or external devices (eg, the electronic device 102, and/or the electronic device 104) Can be obtained.
  • the processor 120 may obtain skeleton data representing user behavior from at least one acquired image, and compare the obtained skeleton data with skeleton data of a reference behavior related to the recommended play content to determine the accuracy of the user behavior.
  • the processor 120 may output information about the determined accuracy as audio and/or graphic data, thereby feeding back the result of the recommended play content.
  • the processor 120 may obtain user preference (or preference) information by feedback of a result of the play content and analyzing a user's reaction.
  • the processor 120 may generate a questionnaire for determination of developmental issues for each age by using a result of a development step test for user behavior at a specified time point.
  • the designated time point may be determined based on the user's date of birth information and the time of examination of the infant and the child in the corresponding country. Each country may have different screening periods for infants and toddlers.
  • the processor 120 may create a questionnaire for examining the developmental age of the infant and child based on the user's sensed behavior in advance.
  • the processor 120 may create a questionnaire using similarity or accuracy with at least one predetermined reference action item based on a user action detected during real life or a user action detected by recommending play content. .
  • the questionnaire may indicate in steps or numbers how well the user can perform each reference action item.
  • the questionnaire may provide at least one image including user actions related to each reference action item.
  • the processor 120 may provide a user interface for viewing a photo or video indicating the behavior of a related user for each reference item through a questionnaire.
  • the electronic device may include a camera module (eg, the camera module 180 of FIG. 1 ), and a communication module (eg, FIG. 1) that communicates with an external device (eg, another electronic device, server, or cloud).
  • Communication module 190 of the including a memory for storing information of reference behaviors related to physical development by age (eg, memory 130 of FIG. 1), a processor (eg, processor 120 of FIG. 1), The processor 120 detects a user's behavior using the camera module 180, and the user's behavior is based on information about the detected user behavior and reference behaviors stored in at least one of the memory or the external device.
  • the physical development stage may be determined, and at least one play content corresponding to the determined initiation stage may be recommended.
  • the processor 120 determines whether at least one reference action related to the detected user action exists in at least one of the memory or the external device, based on the type of the detected user action. Determining whether and at least one reference action related to the sensed user action exists in at least one of the memory or the external device, at least one development step corresponding to at least one reference action related to the user action It may be identified, and the body development stage of the user may be determined based on the identified at least one development stage.
  • the processor 120 may adjust or maintain the user's physical development stage based on at least one of the maintenance time of the detected user action or the number of repetitions.
  • the processor 120 determines the accuracy of the user's behavior for at least one reference behavior related to the sensed user behavior, and based on the determined accuracy, the user's body development step Can be adjusted or maintained.
  • the memory 130 may include information indicating reference behaviors at development stages, type information of reference behaviors at development stages, skeleton data for reference behaviors at development stages, or at least one related to reference behaviors at development stages. It can store at least one of the information of the play content.
  • the processor 120 may include the at least one of the determined development stages based on at least one of user status information, surrounding status information, recommendation item information, or other user development related information. You can decide the play content.
  • the user state information may include at least one of information indicating a user's physical behavior, information about a body in which the user is moving, or current posture information of the user.
  • the surrounding situation information may include at least one of environment information, location information, surrounding user-related information, or surrounding object-related information.
  • the recommendation item information may include at least one of behavior information requested by another user, preset preference behavior information, or poor development behavior information.
  • the development related information of the other user may include behavior information of the other user.
  • the processor 120 may adjust at least one of a shooting angle, a shooting direction, or a shooting location for photographing the user through the camera module based on the determined play content.
  • a sound output device eg, the sound output device 155 of FIG. 1
  • a display device eg, the display device 160 of FIG. 1
  • the processor 120 By controlling at least one of the sound output device or the display device, data that guides an action to be taken by a user according to the at least one play content may be output.
  • the processor 120 may output the at least one external electronic device from the at least one external electronic device to output data guiding an action to be taken by the user according to the at least one play content. Can be controlled.
  • an audio output device 155 and a display device 160 are further included, and the processor 120 detects a user action according to the play content recommendation, and detects the user action and The reference action corresponding to the play content may be compared, and at least one of the sound output device 155 or the display device 160 may be controlled to output data indicating the comparison result.
  • a communication module (eg, the communication module 190 of FIG. 1) is further included, and the processor 120 receives information on the determined development stage through the communication module 190. It can be transmitted to at least one external device.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • an electronic device eg, the processor 120 of FIG. 1 may detect a user action in operation 301.
  • the processor 120 may include a camera module 180 and/or an external device (eg, the electronic device 102, and/or the electronic device 104) )) may acquire at least one image of an action of a designated user (eg, a child).
  • Events for monitoring a user's behavior may include, for example, call events, learning events, play events, care (or monitoring) events, shooting events, or external devices (eg, electronic device 102, and/or electronic devices) (104)) may include at least one of the sharing event.
  • the processor 120 may detect a child's behavior when an incoming call and/or an outgoing call occurs through a camera (eg, the camera module 180 of FIG. 1 ).
  • the processor 120 may perform a child's behavior during a learning time related to a child's education, a child's play time, or a time to care for (or monitor) a child through a camera (eg, the camera module 180 of FIG. 1) Can detect.
  • the processor 120 may detect a child's behavior when a photo or video shooting event occurs through a camera (eg, the camera module 180 of FIG. 1 ).
  • the processor 120 may detect a child's behavior by analyzing an image received from the smartphone or CCTV when a sharing event occurs with the parent's smartphone or home CCTV. This is exemplary, and various embodiments of the present invention are not limited thereto.
  • the processor 120 may detect user behavior even when other events designated by the user and/or designer occur.
  • the processor 120 displays at least one image acquired from the camera module 180 and/or external device (eg, the electronic device 102 and/or the electronic device 104 of FIG. 1) of the electronic device 101. Analyze to obtain the skeleton data, it is possible to detect user behavior based on the obtained skeleton data.
  • the electronic device may determine a development stage based on the user behavior and development matter DB (eg, the development matter DB 226 of FIG. 2) in operation 303.
  • the processor 120 is developed from a memory (eg, memory 130 of FIG. 1, or internal storage 220), and/or a cloud (eg, wireless network database 210 of FIG. 2). Information stored in the matter DB 226 and/or development matter DB 226 may be obtained.
  • the processor 120 may determine a user's physical development stage based on at least one of novelty of sensed user behavior, relevance to physical development, repeatability, or accuracy.
  • the processor 120 determines whether the detected user's behavior is related to at least one reference behavior item stored in the development DB 226. Can decide.
  • the processor 120 when the detected user's action is an action related to at least one reference action item stored in the development matter DB 226, a development step corresponding to at least one reference action item related to the user action Can be determined as the development stage of the user.
  • the processor 120 may determine a user's development stage according to user information or a specified rule when a plurality of reference behavior items related to the user behavior and a plurality of reference behavior items correspond to different development stages.
  • the detected user behavior has been previously detected and is an activity related to at least one reference behavior item stored in the development DB 226, the detected user behavior and the detected user behavior
  • the accuracy of the detected behavior may be determined by comparing at least one reference behavior item related to.
  • the processor 120 may adjust or maintain the development stage of the user based on the determined accuracy and the comparison result of the second designated value (eg, about 80%).
  • the electronic device may recommend play content corresponding to the development stage in operation 305.
  • the processor 120 may determine play content capable of performing at least one action item among reference action items corresponding to a user's development stage. For example, the processor 120, when the user's development stage is 30-32 months (development stage n+1), the criteria corresponding to 30-32 months (development stage n+1) in the development matter DB 226 Check the action items (e.g., stand for 2 seconds with one foot, collect both feet and run three times in place, or walk more than 8 steps with crutches, etc.), and select at least one standard action item from the identified standard action items have.
  • the action items e.g., stand for 2 seconds with one foot, collect both feet and run three times in place, or walk more than 8 steps with crutches, etc.
  • the processor 120 may determine play content that induces the user to perform an action indicated by the selected reference action item, as play content to be recommended to the user.
  • the processor 120 may include at least one of a user's state information, surrounding situation information, recommendation item information, or other user's development related information among a plurality of reference action items corresponding to a user's development stage. Based on this, one reference action item may be selected, and play content related to the selected reference action item may be determined.
  • the user's status information may include, for example, at least one of information indicating the user's physical behavior, information about the body in which the user is moving, or current posture information of the user.
  • the surrounding situation information may include, for example, at least one of environment information, location information, surrounding user-related information, or surrounding object-related information.
  • the environment information may include information about the surrounding environment, such as weather, temperature, wind, air, or dust.
  • the location information may include information that may indicate the user's location, such as indoor, outdoor, small room, living room, large room, beach, park, or playground.
  • the surrounding user-related information may include, for example, whether there are other users in the surroundings, or at least one of identification information about other users in the surroundings.
  • the identification information of other users present in the vicinity may include at least one of a relationship between a user and another user, a name of another user, the age of another user, or gender information of another user.
  • the surrounding object information may include, for example, information about at least one of a toy or a play tool that the user is currently located around, or the user currently has.
  • Information of the recommended item is, for example, information of a reference action item requested to be frequently performed by another user (for example, the user's parent), and information of a reference action item (or play) preferred by the user and/or another user. Or, it may include at least one of the information of the reference action item is insufficient development.
  • Other user's development related information may include, for example, behavior information of another user having the same age, gender, and/or tendency as the user.
  • the processor 120 controls at least one of the display device 160, the display 252, the sound output device 155, or the speaker 254, and/or audio and/or recommending the determined play content Graphic data can be output.
  • FIG. 4 is a flowchart 400 of detecting a user's behavior in an electronic device according to various embodiments.
  • the operations of FIG. 4 described below may be at least some of the detailed operations of operation 301 of FIG. 3.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • an electronic device eg, the processor 120 of FIG. 1 may determine whether a user behavior monitoring event is detected in operation 401.
  • the processor 120 may be a call event, a learning event, a play event, a care (or monitoring) event, a shooting event, or an external device (eg, the electronic device 102 of FIG. 1, and/or the electronic device) If at least one of the shared events with (104) occurs, it may be determined that the user behavior monitoring event has been detected.
  • the processor 120 may determine that a user behavior monitoring event is detected when a designated instruction is received or when a designated behavior detection time point arrives.
  • the electronic device may include a camera (eg, the camera module 180 of FIG. 1) and/or an external device (eg, the electronic device 102 of FIG. 1) in operation 403.
  • At least one image may be obtained from the electronic device 104.
  • the processor 120 may acquire at least one image photographing a user action through the camera module 180.
  • the processor 120 may receive at least one image photographing a user action from an external device (eg, the electronic device 102, and/or the electronic device 104).
  • the at least one image may be a photo or video including user actions.
  • the electronic device may analyze the at least one image in operation 405 to determine the type of user action.
  • the processor 120 may analyze the obtained at least one image to obtain skeleton data, and determine a type of user action based on the obtained skeleton data.
  • the processor 120 may acquire skeleton data from at least one image using a known technique.
  • the type of user action may indicate characteristics of the user action. For example, the type may be divided into standing on one foot, jumping on one foot, jumping on both feet, jumping over an obstacle, or drawing. This is an example, and the type according to various embodiments of the present invention is not limited thereto.
  • the types of user actions may be determined based on the development matter DB.
  • FIG. 5 is a flowchart 500 of determining a user's physical development stage in an electronic device according to various embodiments.
  • the operations of FIG. 5 described below may be at least some of the detailed operations of operation 303 of FIG. 3.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • FIG. 6 is a diagram illustrating types of reference action items for determining a user's physical development stage in an electronic device according to various embodiments of the present disclosure.
  • the electronic device may determine whether the user action detected in operation 501 is a new action.
  • the processor 120 may determine whether the detected user's behavior is a new behavior based on the user behavior information previously registered in the memory 130 and the detected user behavior type. For example, the processor 120 checks the type information of pre-registered user behavior information in the usual behavior record DB of the memory 130, compares the identified type information with the detected user behavior type, and detects the user You can decide whether an action is a new one.
  • the processor 120 compares the skeleton data included in the user behavior information previously registered in the usual behavior record DB of the memory 130 and the skeleton data of the detected user behavior, to determine whether the detected user behavior is a new behavior. You can decide whether or not.
  • the usual behavior record DB of the memory 130 may include sensed user behavior information and information indicating whether the sensed user behavior is related to physical development.
  • the usual behavior record DB of the memory 130 may include information indicating whether the newly sensed user behavior information is user behavior information related to physical development or user behavior information not related to physical development.
  • the user behavior information may include at least one of type information of the user behavior or skeleton data.
  • user actions detected previously may be classified and stored in the usual action record DB of the memory 130.
  • the electronic device eg, the processor 120, and/or the memory 130 registers the user action detected in action 503 as a new action. can do.
  • the processor 120 may register user behavior type information including at least one of user behavior type information or skeleton data detected in the usual behavior record DB of the memory 130.
  • the electronic device eg, the processor 120
  • the processor 120 determines whether there is a reference action item related to the detected user's behavior in the development matter DB 226, so that the detected user's behavior is related to the user's body development. You can decide whether this is an action.
  • the processor 120 may include at least one reference action item having the same (or similar) type as the detected user action type (or characteristic) among the reference action items stored in the development matter DB 226.
  • the processor 120 may determine that the first reference action is related to the detected user action. As another example, the processor 120 compares the skeleton data of the detected user behavior and the skeleton data of the reference behavior items stored in the development DB 226 to determine whether at least one reference behavior item related to the detected user behavior exists. Can decide.
  • the processor 120 may have a degree of agreement (or similarity) between the detected skeleton data of the user's behavior and the skeleton data of the first reference behavior item stored in the development DB 226, or greater than a first specified value (eg, about 70%). In the case, it may be determined that the first reference behavior is related to the detected user behavior.
  • the first designated value is exemplary, and various embodiments of the present invention are not limited thereto. The first designated value can be set and changed by the designer.
  • the electronic device eg, the processor 120
  • the electronic device maintains the previously determined user's development step. You can.
  • the processor 120 may maintain the detected user's development stage without adjusting, since the sensed user's behavior is not related to physical development.
  • the processor 120 may additionally register information indicating that the detected user action is an action not related to physical development in the usual action record DB of the memory 130.
  • the electronic device eg, the processor 120, and/or the memory 130
  • the electronic device is related to the action 507
  • the baseline behavior items can be stored and the developmental stage can be determined based on relevant baseline behavior items.
  • the processor 120 detects that the user action detected in the usual action record DB of the memory 130 is related to physical development. You can register additional information to indicate that you are acting.
  • the processor 120 may store information of at least one reference action item related to the user action detected in the usual action record DB in the memory 130.
  • the processor 120 may determine a development stage corresponding to at least one reference behavior item related to user behavior as a user development stage. According to an embodiment, the processor 120 may determine a development stage of the user based on at least one item having the same type as the detected user type. According to one embodiment, the processor 120 has a plurality of items having the same type as the type of user action in the development matter DB 226, and when a plurality of items correspond to different development stages, the specified rule , And/or based on user information.
  • the user information may include, for example, date of birth information or age information.
  • the designated rule may be any one of a rule for determining the development stage of the user as the lowest development stage among different development stages, a rule for determining the intermediate stage, or a rule for determining the highest development stage.
  • the type of user action is “stand on one leg” 601
  • reference action items related to “stand on one leg” 601 are “stand on one leg on one foot” 611 ), "Stand for 2 seconds with one leg” (612), and “Stand for 3 seconds with one leg” (613), the lowest developmental stage among the plurality of reference action items, 24-26 months (Level 1) It can be decided by the development stage of the user.
  • This is exemplary, and various embodiments of the present invention are not limited thereto.
  • the electronic device may determine whether the user's action is a repetitive action related to physical development in operation 509. According to an embodiment, the processor 120 may determine whether the detected user action is a repetitive action for the previously detected user action. For example, the processor 120 analyzes the skeleton data of a plurality of images obtained from the camera module 180 and/or an external device (eg, the electronic device 102, and/or the electronic device 104), and It can be determined whether the action is maintained for a longer period of time than the specified time, or if the user action with a specific pattern is repeated.
  • the processor 120 may determine that the user action is a repetitive action for the previously detected user action when the user action is maintained for a longer period of time than the designated time or when the user action having a specific pattern is repeated.
  • the processor 120 determines that the user action is a repetitive action for the previously detected user action, based on the usual action record DB of the memory 130, the user action that is repeatedly detected is related to physical development You can decide whether or not you are acting.
  • the usual behavior record DB may be updated by the above-described operation 503, operation 507, and/or operation 517.
  • the processor 120 determines whether there is at least one reference action item having the same type as the type of the user's action detected in the development matter DB 226, thereby detecting the detected user's action.
  • the processor 120 determines whether the behavior is related to the user's physical development. For example, when there is at least one item having the same type as the type of the detected user action among the reference action items stored in the development matter DB 226, the processor 120 detects the detected user action with physical development. You can decide with relevant actions. For example, when the type of the detected user action and the type of the first reference action item stored in the development matter DB 226 are the same as "biped and run", the processor 120 detects that the detected user action is related to physical development. You can decide to act.
  • the electronic device eg, the processor 120 may maintain the development stage of the user previously determined in operation 517. have.
  • the processor 120 may maintain, without adjusting the development stage, if the sensed user behavior is related to physical development, but is not a repetitively detected behavior.
  • the electronic device determines the user action for the reference action item related to the action 511. Accuracy can be determined.
  • the processor 120 may determine the accuracy of the detected action by comparing the detected action with a reference action item related to the action. The processor 120 may determine accuracy for at least one reference action item based on at least one of the skeleton data of the sensed action, the number of repetitions of the sensed action, and/or the retention time of the sensed action. For example, the processor 120 may determine the accuracy by comparing the skeleton data of the detected user behavior with the skeleton data of each reference behavior item.
  • the processor 120 compares the skeleton data of the user action with the skeleton data of each reference action item, and the retention time and/or the number of times the detected user action is detected and/or the time and/or time of the reference action items. Accuracy can be determined by comparing the number of times. For example, the processor 120 may determine the accuracy of the user's action for the relevant reference action item based on the comparison result of the skeleton data, and the comparison result of time and/or number of times.
  • the electronic device may determine whether the accuracy determined in operation 513 has a value greater than a specified threshold (or a second specified value). According to various embodiments, when the determined accuracy has a value greater than a specified threshold (eg, the second specified value), the electronic device (eg, the processor 120) performs the user's development step previously determined in operation 515. It can be adjusted upward. According to one embodiment, when the determined accuracy is greater than the second specified value (eg, about 80%), the processor 120 may adjust the user's development stage upward. For example, when the development stage of the user is the first stage, the development stage may be adjusted upward to the second stage or the third stage.
  • the second designated value is exemplary, and various embodiments of the present invention are not limited thereto. The second designated value can be set and changed by the designer.
  • the electronic device eg, the processor 120
  • the processor 120 may maintain the development stage of the user when the determined accuracy is less than or equal to the second specified value.
  • FIG. 7 is a flowchart 700 of recommending play content corresponding to a development stage in an electronic device according to various embodiments.
  • the operations of FIG. 7 described below may be at least some of the detailed operations of operation 305 of FIG. 3.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • at least one of the operations indicated by a dotted line may be omitted according to various embodiments.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • FIGS. 8A to 8E are exemplary views for recommending play content corresponding to a development stage in an electronic device according to various embodiments.
  • an electronic device eg, the processor 120 of FIG. 1 may determine whether a play content recommendation event is detected in operation 701. According to an embodiment, when at least one of a command requesting a play content recommendation, a designated command, or a designated event is detected, the processor 120 may determine that a play content recommendation event has occurred.
  • the electronic device may acquire user status information and/or surrounding status information in operation 703.
  • the processor 120 may acquire user status information and/or surrounding situation information through at least one of the sensor module 176, the camera module 180, or the communication module 190.
  • the user state information may include, for example, at least one of information indicating a user's physical behavior, information about a body in which the user is moving, or current posture information of the user.
  • the surrounding situation information may include, for example, at least one of environment information, location information, surrounding user-related information, or surrounding object-related information.
  • the environment information may include information about the surrounding environment, such as weather, temperature, wind, air, or dust.
  • the location information may include information that may indicate the user's location, such as indoor, outdoor, small room, living room, large room, beach, park, or playground.
  • the surrounding user-related information may include, for example, whether there are other users in the surroundings, or at least one of identification information about other users in the surroundings.
  • the identification information of other users present in the vicinity may include at least one of a relationship between a user and another user, a name of another user, the age of another user, or gender information of another user.
  • the surrounding object information may include, for example, information about at least one of a toy or a play tool that the user currently has, or that is located around the user.
  • the electronic device may obtain information on the recommended item in operation 705.
  • Information of the recommended item is, for example, information of a reference action item requested to be frequently performed by another user (eg, a parent), information of a reference action item (or play) preferred by the user and/or other user, and development It may include at least one of the information of the insufficient reference action item, or information of the action item not detected from the user through observation.
  • the processor 120 learns user preferences and/or preferences of other users based on the user's and/or other user's reaction to the play content, and the user and/or based on the learned preference information. Alternatively, information about a reference action item (or play) preferred by another user may be acquired.
  • the processor 120 may identify a reference action item that has insufficient development based on a performance evaluation result for each reference action item. According to an embodiment, the processor 120 may identify an action item that is not detected from the user based on a performance evaluation result for each reference action item.
  • the electronic device may acquire development related information of another user in operation 707.
  • Other user's development related information may include, for example, behavior information of another user having the same age, gender, and/or tendency as the user.
  • the processor 120 may acquire information related to development of another user from an external device (for example, the electronic device 102 or 104 of FIG. 1 or the server 108 or the cloud).
  • the processor 120 may control a communication module (eg, the communication module 190 of FIG. 1) to interwork with the external device cloud, and at least from the linked cloud It is possible to acquire information related to the development of one other user.
  • the electronic device may determine play content corresponding to the development stage based on the information obtained in operation 709.
  • the processor 120 may include at least one of a user's state information, surrounding situation information, recommendation item information, or other user's development related information among a plurality of reference action items corresponding to a user's development stage.
  • a basic action item may be determined based on the play content corresponding to the determined basic action item. For example, when recommendation item information including information of a basic action item that has not been detected is obtained from the user, the processor 120 uses the recommendation item information, as shown in FIG. 8A, to be a development stage of the user.
  • basic undetected behavior items 801, 802, 803, 804, and 805 may be identified.
  • the processor 120 may determine the play content to induce to perform an action corresponding to any one of the identified basic action items 801, 802, 803, 804, and 805 as play content to be recommended.
  • recommendation information including information on a reference action item that is insufficiently developed, and information on an action item that is not detected from the user, and surrounding situation information indicating that there is a ball around, is obtained
  • FIG. 8B based on the obtained information, a basic action item using a ball among the basic action items that are insufficient or undetected among the basic action items corresponding to the user's development stage 60-65 months.
  • Fields 821 and 813 can be identified.
  • the processor 120 may determine play content that induces to perform an action corresponding to any one of the identified basic action items 821 and 813 as play content to be recommended.
  • the processor 120 may When surrounding situation information indicating that a parent exists around the user is obtained, a basic behavior item that can be performed together with another user may be identified among basic behavior items corresponding to a development stage of the user. Based on the selected basic action item, as illustrated in FIG. 8C, play content that induces a specific action to be performed together with another user may be determined as play content to be recommended.
  • a basic action item that can be performed using an object may be identified from among basic action items corresponding to a user's development stage.
  • play contents 841, 843, and 845 that induce the user to perform an action corresponding to the basic action item using a surrounding object may be determined as recommended play content.
  • the processor 120 uses books to make a stone bridge on the floor, play content 841 to cross the stone bridge, toys to put on the floor, and play contents to skip toy obstacles placed on the floor with one or two feet (843).
  • the processor 120 selects a drawing item suitable for the room from among basic action items corresponding to the development stage and uses play content for drawing as recommended content Can decide.
  • the electronic device may output audio and/or graphic data recommending play content determined in operation 711.
  • the processor 120 may include a display device 160, a display 252, an audio module 170, a speaker 254, or an external device (eg, the electronic device 102 of FIG. 1, or electronics).
  • the processor 120 may output audio and/or graphic data that guides a user to follow a specific action according to the determined play content.
  • FIG. 9 is a flowchart 900 of obtaining and storing a result of recommended play content in an electronic device according to various embodiments.
  • the operations of FIG. 9 described below may be at least some of the detailed operations of operation 305 of FIG. 3 and/or operation 711 of FIG. 7.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • FIGS. 10A to 10C and FIGS. 11A to 8C will be described with reference to FIGS. 10A to 10C and FIGS. 11A to 8C.
  • FIGS. 11A to 11C are exemplary diagrams for detecting a user's behavior by controlling at least one device element in an electronic device according to various embodiments
  • FIGS. 11A to 11C are recommended play in an electronic device according to various embodiments This is an example of feedback on the results of content.
  • an electronic device eg, the processor 120 of FIG. 1
  • audio and/or graphic data for guiding play content may be output.
  • the electronic device may acquire device setting parameters corresponding to play content in operation 903.
  • the processor 120 may acquire device setting parameters corresponding to the play content in order to control the movement of the electronic device 101 according to the play content.
  • the play setting parameter may include, for example, at least one parameter for controlling the shooting angle, shooting direction, or shooting position.
  • the play setting parameter may include at least one of the head angle, head direction, or position of the electronic device 101.
  • the device setting parameter corresponding to the play content may be different depending on the type of the basic action item corresponding to the play content.
  • the device setting parameter corresponding to the play content may be changed based on body information (eg, height, and/or posture) of the user (eg, child).
  • Device setting parameters corresponding to the play content may be obtained from the memory 130.
  • Device setting parameters corresponding to the play content may be set and/or updated by a designer and/or user (eg, child, parent).
  • the device setting parameter corresponding to the play content may include parameters for at least one external device (eg, the electronic device 102 and/or the electronic device 104 of FIG. 1 ). .
  • the electronic device may adjust the motion of the electronic device and photograph a user's action based on the device setting parameter obtained in operation 905.
  • the processor 120 may adjust at least one of a photographing angle, a photographing direction, or a photographing position by adjusting the movement of the electronic device based on the device setting parameter.
  • the processor 120 may photograph a user's action while adjusting the movement of the electronic device based on the device setting parameter.
  • the processor 120 has an angle of the head of the electronic device 101 at 0 degrees at the first time point, -15 degrees at the second time point, and 35 degrees at the third time point. You can capture user behavior while controlling as much as possible.
  • the processor 120 changes the direction of the head of the electronic device 101 from -60 degrees to 60 degrees based on the first direction, and again from -60 degrees
  • the user's behavior can be captured while controlling to change in the direction of 60 degrees.
  • the processor 120 may include at least one external device.
  • the signal for requesting a user photographing may be transmitted to at least one external device while including parameters for.
  • the processor 120 may capture a user action in cooperation with the at least one external device, and receive at least one image captured for the user action from the at least one external device. For example, as illustrated in FIG.
  • the processor 120 may include the first external device (while the electronic device 1051 photographs the user at the first position using the first shooting angle and the first shooting direction). 1053) photographs the user using the second photographing angle and the second photographing direction at the second location, and uses the second photographing angle and the second photographing direction at the location where the second external device 1055 is fixed. It can be controlled to shoot the user.
  • the processor 120 may receive at least one image taken by the user from the first external device 1053 and the second external device 1055.
  • the electronic device may analyze the accuracy of the action based on the image captured in operation 907.
  • the processor 120 may acquire skeleton data for user behavior included in the captured image, and determine accuracy by comparing the obtained skeleton data with skeleton data of a reference action item corresponding to play content have.
  • the processor 120 acquires skeleton data for user actions included in the captured image, and uses the obtained skeleton data to determine the retention time and/or number of repetitions of the user actions, and determines the determined user Accuracy can be determined by additionally using the duration of action and/or the number of repetitions.
  • the processor 120 maintains user behavior included in the captured image, in addition to a result of comparing skeleton data for user behavior included in the captured image and skeleton data of a reference behavior item corresponding to play content.
  • the accuracy may be determined by additionally using a result of comparing the time and the action retention time of the reference action item, and/or comparing the number of repetitions of the user action included in the captured image with the number of repetition of the reference action item.
  • the electronic device may feedback the analysis result in operation 909.
  • the processor 120 may output information about the determined accuracy as audio and/or graphic data, so as to feedback the result of the recommended play content.
  • the processor 120 controls such that at least one image including the behavior of the play content and at least one image of the user action are displayed together, and audio indicating the accuracy of the user action with respect to the behavior of the play content Data can be output.
  • the processor 120 may output audio and/or graphic data that guides a part different from the reference action item of the play content among user actions.
  • the processor 120 outputs audio and/or graphic data indicating that the movement of the arm is different when the movement of the arm is different from the movement of the user in the behavior of the play content, thereby allowing the user to arm his or her arm. It is possible to induce the movement of the play content to be the same as the movement of the arm.
  • the electronic device may acquire user response information in operation 911.
  • the processor 120 may feedback a result of the play content, and then obtain a user's facial expression, behavior, or voice information for the feedback result.
  • the electronic device may store play content, captured images, analysis results, and user responses in operation 913.
  • the processor 120 may store at least one image of a user action on the play content in the memory 130 as a result of performing the action on the reference action item of the play content.
  • the processor 120 determines operation performance evaluation information for a reference action item of the play content, and uses the result of analyzing a user action for the play content, and operates the reference action item of the play content Performance evaluation information may be stored in the memory 130.
  • the operation performance evaluation information may be information indicating step-by-step how well the user performed the corresponding reference action item.
  • the performance performance evaluation information is plural such as very good (80-100% accuracy), good (50-79% accuracy), poor (20-49% accuracy), or very poor (10-19%). It can be divided into four stages.
  • the processor 120 may acquire user preference (or taste) information using the user's reaction information, and store the obtained user preference information in the memory 130.
  • the electronic device 1131 may use the “right foot” through an audio module (eg, the display device 170 of FIG. 1) to guide recommended play content, as illustrated in FIG. 11A.
  • the electronic device 1131 acquires at least one image by photographing the action of the user 1121, analyzes the accuracy of the user action, and then displays graphic data 1111 representing the analysis result through the external device 1100. Can print
  • the electronic device 1141 outputs graphic data 1151 indicating behavior of play content using a display device such as a projector to guide recommended play content. can do.
  • the electronic device 1141 acquires at least one image by photographing the user's action 1153, analyzes the accuracy of the user's action, and then uses the display device such as a projector to display graphic data 1157.
  • the electronic device 1141 may output audio data 1155 requesting a change (correction) of the user behavior, indicating that the user behavior is different from the behavior of the play content.
  • the electronic device 1161 uses a display device such as a projector to guide recommended play content, and outputs graphic data 1171 indicating the behavior of the play content can do.
  • the electronic device 1141 photographs the user's action 1117 to analyze the accuracy of the user's action, and then outputs graphic data 1179 representing the analysis result using a display device such as a projector, and analyzes the user's action Audio data 1175 indicating the same action as the play content can be output.
  • FIG. 12 is a flowchart 1200 of providing information about a user's development stage in an electronic device according to various embodiments.
  • the operations of FIG. 12 described below may be at least a part of the detailed operation of operation 303 or operation 305 of FIG. 3 or an operation performed after operation 305 is performed.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • FIG. 13 is a screen configuration diagram providing information about a user's development stage in an electronic device according to various embodiments of the present disclosure.
  • an electronic device eg, the processor 120 of FIG. 1 may determine whether an infant/child check-up time has arrived in operation 1201.
  • the time for the examination of infants and toddlers may be determined based on the examination time recommended by the infant and toddler development screening system of each country.
  • the processor 120 may determine whether an infant or toddler screening time has arrived based on the date of birth, recommended screening time, and/or user (eg, parent) input of a designated user (eg, a child). .
  • the processor 120 may determine the number of months of birth based on the date of birth information of the designated user, and determine whether the check-up period for infants and toddlers has arrived based on whether the number of confirmed months corresponds to the recommended check-up time. For example, the processor 120 may receive an input for selecting a specific period (for example, 24 to 24 months after birth) of a period corresponding to the recommended examination time (for example, 18 to 24 months after birth), and the received input Based on this, the characteristic period (eg, 23 to 24 months of age) can be determined as the time for screening infants and toddlers. When the number of months of birth of the designated user becomes 23 months corresponding to a specific period, the processor 120 may determine that the time for the infant and toddler examination has arrived.
  • a specific period for example, 24 to 24 months after birth
  • the recommended examination time for example, 18 to 24 months after birth
  • the electronic device may generate a questionnaire based on a result of detecting a user's action and an analysis result of play content in operation 1203.
  • the processor 120 may create a questionnaire for determining developmental information for each age by using a developmental stage determined based on a designated user's behavior and a user behavior analysis result used for determining the developmental stage.
  • the processor 120 may create a questionnaire using the results obtained by performing at least one operation of FIGS. 3, 4, 5, 9, or 7.
  • the electronic device may provide a questionnaire prepared in operation 1205.
  • the processor 120 may provide a questionnaire through the display of the electronic device 101 or the display of the external device (eg, the electronic devices 102 and 104 of FIG. 1 ).
  • the processor 120 may control a display device (eg, the display device 160 of FIG. 1) so that a questionnaire is displayed through the display of the electronic device 101.
  • the processor 120 may transmit a questionnaire to an external device owned by the parent user of the designated user, so that the questionnaire is displayed on the external device.
  • the questionnaire displayed on the display of the electronic device 101 or the display of the external device may be configured as illustrated in FIG. 13.
  • the questionnaire includes information on the number of months of birth of a designated user, developmental stage information, the rate at which responses to queries are checked through observation, the rate of physical play activity, and the reference behavior items corresponding to the number of months of birth.
  • Information e.g., a query asking whether a reference action is possible, and a response indicating an evaluation of performance of an action on the reference action item
  • information indicating whether there is at least one image of a user action associated with the reference action item Can be configured.
  • the reference action items 1301, 1305, and 1307 in which the response to the query is checked through observation and the reference action item 1303 in which the response to the query is not checked through observation are graphical data and / Or can be configured to be displayed separately by a graphic effect.
  • the questionnaire may indicate in steps or numerical values how well the user can perform each reference action item.
  • the questionnaire may be configured to enable viewing of a picture or video indicating a user's behavior related to each of the reference action items 1301, 1305, and 1307 in which a response to a query is checked through observation.
  • the electronic device may be the electronic device 101 of FIG. 1.
  • the electronic device 101 may receive a voice command (“Please play with Yerim ⁇ ”, 1411) from a parent requesting to play with a child.
  • the electronic device 101 may output audio data ("Yerim ⁇ Let's play together ⁇ What kind of play do you want to play?", 1415) while suggesting a play to the child.
  • the electronic device 101 receives a voice command (“I want to play mirrored”, 1415) that suggests a specific type of play, and stands on one foot corresponding to the child's physical development stage based on the type of play.
  • Select and output the audio data (“You are standing on one leg for 3 seconds ⁇ ", 1415) recommending the selected play, and controlling the external device (eg, controlling the TV to turn on) to display on the external device.
  • graphic data 1415 that guides an action to be taken by the child may be output.
  • the electronic device 101 analyzes the accuracy of the child's action by photographing the child's action, and then displays graphic data that guides the child's action according to the selected play on the display of the external device and an image of the child's action.
  • graphic data 1419 representing audio, and audio data ("1, 2, 3, Yerim is good", 1421) representing the analysis result of the child's behavior.
  • the electronic device 101 is graphic data indicating the result of the child's behavior analysis on the play content and the play content ("I'm mirroring and playing in the body. And can stand for more than 3 seconds", 1423).
  • the electronic device 101 may prepare a questionnaire for examining physical developments of each month by using a result of analyzing a child's behavior with respect to play content and transmit it to an external device (eg, the parent's electronic device).
  • the external device may display the questionnaire received from the electronic device 101 through a display.
  • a method for operating an electronic device includes a motion detection function of a user using a camera module, a criterion related to physical development for each age, which is pre-stored in at least one of the sensed user action and memory or an external device. It may include an operation of determining the user's body development stage based on information of the behaviors, and an operation of recommending at least one play content corresponding to the determined initiation stage.
  • the determining of the user's physical development stage may include determining, based on the detected type of user behavior, the user behavior and at least one reference behavior stored in at least one of the memory or an external device. Determining whether the action is related, if the user action is an action related to at least one reference action stored in at least one of the memory or an external device, at least one corresponding to the at least one reference action related to the user action And identifying a developmental stage, and determining a body developmental stage of the user based on the identified at least one developmental stage.
  • the determining of the user's physical development stage may include adjusting or maintaining the user's physical development stage based on at least one of the sensed user behavior retention time or the number of repetitions. It may further include.
  • the determining of the user's body development stage may include determining an accuracy of the user's behavior for at least one reference behavior related to the sensed user's behavior, and based on the determined accuracy. It may further include the operation of adjusting or maintaining the user's body development stage.
  • the memory may include information indicating reference behaviors at development stages, type information of reference behaviors at development stages, skeleton data for reference behaviors at development stages, or at least one play content related to reference behaviors at development stages. It can store at least one of the information.
  • the operation of recommending at least one play content corresponding to the determined initiation step is based on at least one of user state information, surrounding situation information, recommendation item information, or other user development related information. And determining the at least one play content corresponding to the determined development stage.
  • the user state information may include at least one of information indicating a user's physical behavior, information about a body in which the user is moving, or current posture information of the user.
  • the surrounding situation information may include at least one of environment information, location information, surrounding user-related information, or surrounding object-related information.
  • the recommendation item information may include at least one of behavior information requested by another user, preset preference behavior information, or poor development behavior information.
  • the development related information of the other user may include behavior information of the other user.
  • the camera module may further include an operation of adjusting at least one of a shooting angle, a shooting direction, or a shooting position for photographing the user.
  • the operation of recommending at least one play content corresponding to the determined initiation step may include outputting data guiding an action to be taken by a user according to the at least one play content. have.
  • an operation of detecting a user behavior according to the recommendation of the play content, an operation of comparing the sensed user action with a reference action corresponding to the play content, and outputting data indicating the comparison result may further include.
  • An electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • any (eg, first) component is referred to as “coupled” or “connected” to another (eg, second) component, with or without the term “functionally” or “communically” When referred to, it means that any of the above components can be connected directly to the other components (eg by wire), wirelessly, or through a third component.
  • module used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, components, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof performing one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101). It may be implemented as software (e.g., program 140) that includes.
  • a processor eg, processor 120
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the storage medium readable by the device may be provided in the form of a non-transitory storage medium.
  • a signal eg, electromagnetic waves
  • a method may be provided as being included in a computer program product.
  • Computer program products can be traded between sellers and buyers as products.
  • the computer program product is distributed in the form of a storage medium readable by a device (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store TM ) or two user devices ( For example, it can be distributed directly (e.g., downloaded or uploaded) between smartphones).
  • a device eg compact disc read only memory (CD-ROM)
  • an application store eg Play Store TM
  • two user devices For example, it can be distributed directly (e.g., downloaded or uploaded) between smartphones).
  • at least a portion of the computer program product may be temporarily stored at least temporarily in a storage medium readable by a device such as a memory of a manufacturer's server, an application store's server, or a relay server, or may be temporarily generated.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities.
  • one or more components or operations of the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations may be executed in a different order, or omitted Or, one or more other actions can be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 다양한 실시예들은 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법에 관한 것이다. 이때 전자 장치는, 카메라 모듈, 월령별 신체 발달에 관련된 기준 행동들의 정보를 저장하는 메모리, 및 프로세서를 포함하며, 상기 프로세서는, 상기 카메라 모듈을 이용하여 사용자의 행동을 감지하고, 상기 감지된 사용자 행동과 상기 메모리에 저장된 기준 행동들의 정보에 기초하여 상기 사용자의 신체 발달 단계를 결정하고, 상기 결정된 발단 단계에 대응되는 적어도 하나의 놀이 컨텐츠를 추천할 수 있다. 다른 실시예들도 가능할 수 있다.

Description

놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법
본 발명의 다양한 실시예들은 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법에 관한 것이다.
기술의 발전으로 인해, 전자 장치들(예: 이동 단말기, 스마트 폰, 착용형(wearable) 장치, 소셜 로봇 등)은 다양한 기능을 제공할 수 있다. 예를 들어, 전자 장치는 음성 통신 기능, 데이터 통신 기능, 근거리 무선 통신(예: 블루투스(bluetooth), NFC (near field communication) 등) 기능, 이동 통신(3G(generation), 4G, 5G 등) 기능, 음악 또는 동영상 재생 기능, 사진 또는 동영상 촬영 기능, 또는 네비게이션 기능 등과 같은 다양한 기능을 제공할 수 있다.
특히, 소셜 로봇은 인공 지능(AI, artificial intelligence)을 이용한 서비스를 제공할 수 있다. 예를 들어, 소셜 로봇은 인공 지능을 이용하여 아이와 함께 놀아주는 서비스를 제공할 수 있다.
소셜 로봇과 같이 인공 지능 서비스를 제공하는 전자 장치는 부모 또는 아이로부터 수신된 명령에 기초하여 아이와 함께 놀아주는 서비스를 제공할 수 있다. 그러나, 이와 같이 수신된 명령에 기초하여 놀아주는 방식만으로는, 사용자(예: 부모 또는 아이)의 다양한 욕구를 충족시키는데 한계가 있다.
따라서, 본 발명의 다양한 실시예들은 전자 장치에서 사용자의 신체적인 발달 단계를 측정하고, 측정된 발달 단계에 기초하여 놀이 컨텐츠를 추천하는 방법 및 장치를 제공하기 위한 것이다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 다양한 실시예들에 따르면, 전자 장치는, 카메라 모듈, 외부 장치(예: 다른 전자 장치, 서버, 클라우드)와 통신하는 통신 모듈, 월령별 신체 발달에 관련된 기준 행동들의 정보를 저장하는 메모리, 및 프로세서를 포함하며, 상기 프로세서는, 상기 카메라 모듈을 이용하여 사용자의 행동을 감지하고, 상기 감지된 사용자 행동과 상기 메모리 또는 상기 외부 장치 중 적어도 하나에 저장된 기준 행동들의 정보에 기초하여 상기 사용자의 신체 발달 단계를 결정하고, 상기 결정된 발단 단계에 대응되는 적어도 하나의 놀이 컨텐츠를 추천할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치의 동작 방법은, 카메라 모듈을 이용하여 사용자의 행동을 감지하는 동작, 상기 감지된 사용자 행동과 메모리 또는 외부 장치 중 적어도 하나에 기 저장된 월령별 신체 발달에 관련된 기준 행동들의 정보에 기초하여 상기 사용자의 신체 발달 단계를 결정하는 동작, 및 상기 결정된 발단 단계에 대응되는 적어도 하나의 놀이 컨텐츠를 추천하여 제공하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 사용자의 신체적인 발달 단계를 측정하고, 측정된 발달 단계에 기초하여 놀이 컨텐츠를 추천함으로써, 사용자(예: 부모 또는 아이)의 만족도를 향상시킬 수 있다.
도 1은 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 다양한 실시예에 따른, 전자 장치에서 프로그램의 블록도이다.
도 3은 다양한 실시예들에 따른 전자 장치에서 놀이 컨텐츠를 추천하는 흐름도이다.
도 4는 다양한 실시예들에 따른 전자 장치에서 사용자의 행동을 감지하는 흐름도이다.
도 5는 다양한 실시예들에 따른 전자 장치에서 사용자의 신체적인 발달 단계를 결정하는 흐름도이다.
도 6은 다양한 실시예들에 따른 전자 장치에서 사용자의 신체적인 발달 단계를 결정하기 위한 기준 행동 항목들을 유형화한 도면이다.
도 7은 다양한 실시예들에 따른 전자 장치에서 발달 단계에 대응되는 놀이 컨텐츠를 추천하는 흐름도이다.
도 8a 내지 도8e는 다양한 실시예들에 따른 전자 장치에서 발달 단계에 대응되는 놀이 컨텐츠를 추천하는 예시도이다.
도 9는 다양한 실시예들에 따른 전자 장치에서 추천된 놀이 컨텐츠에 대한 결과를 획득하여 저장하는 흐름도이다.
도 10a 내지 도 10c는 다양한 실시예들에 따른 전자 장치에서 적어도 하나의 장치 요소를 제어하여 사용자 행동을 감지하는 예시도이다.
도 11a 내지 도 11c는 다양한 실시예들에 따른 전자 장치에서 추천된 놀이 컨텐츠에 대한 결과를 피드백하는 예시도이다.
도 12는 다양한 실시예들에 따른 전자 장치에서 사용자의 발달 단계에 대한 정보를 제공하는 흐름도이다.
도 13은 다양한 실시예들에 따른 전자 장치에서 사용자의 발달 단계에 대한 정보를 제공하는 화면 구성도이다.
도 14는 다양한 실시예들에 따른 전자 장치에서 발달 단계에 대응되는 놀이 컨텐츠를 추천하여 결과를 획득 및 제공하는 예시도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예:스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
행동 모듈(163)은 표정 변화 표현, 자세 표현 또는 주행을 수행할 수 있다. 일실시예에 따르면, 행동 모듈(163)은 얼굴 표정 모터, 자세 표현 모터 또는 구동부를 포함할 수 있다. 얼굴 표정 모터는, 예를 들면, 표시 장치(160)를 통해 전자 장치(101)의 상태를 시각적으로 제공할 수 있다. 구동부는, 예를 들면, 전자 장치(101)의 이동 및 다른 구성 요소를 기구적으로 변경하기 위해 사용할 수 있다. 구동부는, 예를 들면, 적어도 하나 이상의 축을 중심으로 하여 상/ 하, 좌/우 또는 시계/반시계 방향의 회전이 가능한 형태일 수 있다. 구동부는, 예를 들면, 구동 모터(예: 휠(wheel)형 바퀴, 구(sphere)형 바퀴, 무한궤도(continuous track) 또는 프로펠러)를 조합하여 구현될 수도 있고 독립적으로 제어함으로써 구현될 수도 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 2D 카메라(182) 또는 적외선 기반의 깊이(depth) 카메라(184)를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, or 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예에 따른, 전자 장치(101)에서 프로그램(140)의 블록도(200)이다. 도 2에서 프로그램(1401)은 도 1의 프로그램(140)의 적어도 일부일 수 있다. 도 2를 참조하면, 전자 장치(101)의 프로그램(140)은 전자 장치의 하나 이상의 리소스들을 제어하기 위한 운영 체제(142), 미들웨어(144), 지능형 프레임워크(Intelligent Framework, 230) 또는 내부 저장소(internal storage, 220)를 포함할 수 있다. 운영 체제(142)는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM 를 포함할 수 있다. 소프트웨어 프로그램 중 적어도 일부 프로그램은, 예를 들면, 제조 시에 전자 장치(101)에 프리로드되거나, 또는 사용자에 의해 사용 시 외부 전자 장치(예: 전자 장치 102), 또는 서버(108))로부터 다운로드되거나 갱신될 수 있다.
운영 체제(142)는 전자 장치의 하나 이상의 시스템 리소스들(예: 프로세스, 메모리, 또는 전원)의 관리(예: 할당 또는 회수)를 제어할 수 있다. 운영 체제(142)는, 추가적으로 또는 대체적으로, 전자 장치(101)의 다른 하드웨어 디바이스, 예를 들면, 입력 장치(예: 도 1의 입력 장치(150)), 음향 출력 장치(예: 도 1의 음향 출력 장치(155)), 표시 장치(예: 도 1의 표시 장치(160)), 행동 모듈(예: 도 1의 행동 모듈(163)), 카메라 모듈(예: 도 1의 카메라 모듈(180)), 전력 관리 모듈(예: 도 1의 전력 관리 모듈(188)), 배터리(예: 도 1의 배터리(189), 통신 모듈(예: 도 1의 통신 모듈(190)), 가입자 식별 모듈(예: 도 1의 가입자 식별 모듈(196)), 또는 안테나 모듈(예: 도 1의 안테나 모듈(197))을 구동하기 위한 하나 이상의 디바이스 드라이버(215) 프로그램들을 포함할 수 있다.
미들웨어(144)는 신호 처리된 데이터를 이용하여 사용자의 얼굴 위치를 검출하고 추적하거나 얼굴 인식을 통한 인증을 수행할 수 있다. 미들웨어는 사용자의 3D 제스처를 인식, 오디오 신호에 대한 입력 위치 추적(DOA, Direct of Arrival), 음성 인식 및 각종 센서 데이터들의 신호를 처리하는 역할을 수행할 수 있다. 미들웨어(144)는, 예를 들면, 제스처 인식 매니저(201), 얼굴 검출/추적/인식 매니저(203), 센서 정보 처리 매니저(205), 대화 엔진 매니저(207), 음성 합성 매니저(209), 음원 추적 매니저(211), 또는 음성 인식 매니저(213)를 포함할 수 있다.
내부 저장소(220)는, 예를 들면, 사용자 모델 DB(221), 행동 모델 DB(223), 음성 모델 DB(225), 또는 발달 사항 DB(226)를 포함할 수 있다. 사용자 모델 DB(221)는, 예를 들면, 지능형 프레임워크(230)에서 학습한 정보를 사용자 별로 저장할 수 있다. 행동 모델 DB(223)는, 예를 들면, 전자 장치(101)의 행동 제어(또는 동작 제어)를 위한 정보를 저장할 수 있다. 음성 모델 DB(225)는, 예를 들면, 전자 장치(101)의 음성 응답을 위한 정보를 저장할 수 있다. 발달 사항 DB(226)는, 신체적 발달 사항에 대한 발달 단계(또는 지수(level)) 정보를 저장할 수 있다. 일실시예에 따르면, 발달 사항 DB(226)는 월령별 신체 발달 사항을 검사하기 위한 스켈레톤 데이터를 저장할 수 있다. 발달 사항 DB(226)는, 각 국가의 영유아 발달선별 검사에 기초하여 월령별 발달 단계에 대한 기준 행동들을 나타내는 스켈레톤 데이터를 저장할 수 있다. 예를 들어 발달 사항 DB는, 사용자의 월령별 발달 사항의 판단 기준이 되는 대근육 운동, 및/또는 소근육 운동에 대한 스켈레톤 데이터를 포함할 수 있다. 예컨대, 발달 사항 DB(226)는, 생후 4-5개월된 아이가 수행할 수 있는 행동들 및 해당 행동들을 나타내는 스켈레톤 데이터, 생후 6-7개월된 아이가 수행할 수 있는 행동들 및 해당 행동들을 나타내는 스켈레톤 데이터, 또는 8-9개월된 아이가 수행할 수 있는 행동들 및 해당 행동들을 나타내는 스켈레톤 데이터를 포함할 수 있다. 발달 사항 DB(226)는, 월령별 발달 단계에 대한 기준 행동들의 유형 정보를 포함할 수 있다. 발달 사항 DB(226)는, 각 발달 단계의 기준 행동들에 관련된(또는 대응되는) 적어도 하나의 놀이 컨텐츠의 정보를 포함할 수 있다. 이는, 예시적인 것으로서, 본 발명의 다양한 실시예들은 이에 한정되지 않는다. 일실시예에 따르면, 발달 사항 DB(226)는, 다른 전자 장치(102), 및/또는 서버(108)에 의해 다운로드 및/또는 갱신될 수 있다. 일실시예에 따르면, 각각의 DB에 저장된 정보들은 무선 네트워크 DB(210)(예: 클라우드(cloud))에 저장되거나 공유될 수 있다. 예를 들어, 발달 사항 DB(226) 및/또는 발달 사항 DB(226)에 저장된 정보들은 클라우드에 저장되거나 공유될 수 있다.
지능형 프레임워크(230)는, 예를 들면, 멀티모달 융합 블록(231), 사용자 패턴 학습 블록(233), 또는 행동 제어 블록(Behavior Controller)(235)을 포함할 수 있다. 멀티모달 융합 블록(231)은, 예를 들면, 미들웨어(144)에서 처리된 각종 정보를 취합하고 관리하는 역할을 할 수 있다. 일실시예에 따르면, 멀티모달 융합 블록(231)은, 사용자의 행동 및 발달 사항 DB(226)에 기초하여, 사용자의 발달 단계를 결정하고, 발달 단계에 기초하여 추천할 놀이 컨텐츠를 선택하는 역할을 수행할 수 있다. 사용자 패턴 학습 블록(233)은, 예를 들면, 멀티모달 융합 블록(231)의 정보를 이용하여 사용자의 생활 패턴, 선호도 등의 유의미한 정보를 추출하고 학습할 수 있다. 예를 들어, 사용자 패턴 학습 블록(233)은 놀이 컨텐츠에 대한 사용자 반응에 기초하여 사용자 선호도(또는 취향) 정보를 학습할 수 있다. 사용자 패턴 학습 블록(233)은 사용자의 행동과 발달 사항 DB(226)에 포함된 기준 행동의 정확도(또는 유사도)에 기초하여, 발달이 미흡한 것으로 판단된 항목에 대한 정보를 학습할 수 있다. 행동 제어 블록(235)은, 예를 들면, 모터들(250), 디스플레이(252), 스피커(254)를 통해 사용자에게 피드백할 정보를 움직임, 그래픽(UI/UX), 빛, 음성 응답, 또는 소리로 표현할 수 있다. 일실시예에 따르면, 행동 제어 블록(235)은 움직임, 그래픽, 빛, 음성 응답, 또는 소리 중 적어도 하나를 이용하여 추천할 놀이 컨텐츠에 대한 정보를 제공할 수 있다. 일실시예에 따르면, 행동 제어 블록(235)은 움직임, 그래픽, 빛, 음성 응답, 또는 소리 중 적어도 하나를 이용하여 사용자의 발달 단계에 대한 정보, 또는 놀이 컨텐츠에 대한 결과를 나타내는 피드백 정보를 제공할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 지정된 사용자(예: 아이)의 행동을 감지하고, 감지된 사용자의 행동 및 발달 사항 DB(226)에 기초하여 사용자의 발달 단계를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 사용자의 행동을 모니터링하기 위한 이벤트가 감지되는 경우, 카메라 모듈(180) 및/또는 외부 장치(예: 전자 장치(102), 전자 장치(104))로부터 사용자의 행동을 촬영한 적어도 하나의 이미지를 획득할 수 있다. 사용자의 행동을 모니터링하기 위한 이벤트는, 예를 들어, 통화 이벤트, 학습 이벤트, 놀이 이벤트, 돌보기(또는 모니터링)이벤트, 촬영 이벤트, 또는 외부 장치(예: 전자 장치(102), 전자 장치(104))와의 공유 이벤트 중 적어도 하나를 포함할 수 있다. 통화 이벤트는, 외부 장치(예: 전자 장치(104))로부터 전화가 착신되는 이벤트, 또는 외부 장치로 전화가 발신되는 이벤트 중 적어도 하나를 포함할 수 있다. 학습 이벤트는, 미리 등록된 스케줄, 또는 수신 명령에 의한 사용자의 교육과 관련된 학습 시작 이벤트를 포함할 수 있다. 예를 들어, 학습 이벤트는, 언어, 수학, 및/또는 과학 등과 같은 학문에 대한 학습 시작 이벤트일 수 있다. 놀이 이벤트는, 미리 등록된 스케줄, 또는 수신 명령에 의한 놀이 시작 이벤트를 포함할 수 있다. 놀이 이벤트는, 예를 들어, 노래, 신체 발달 놀이, 및/또는 퀴즈 등과 같은 놀이를 시작하는 이벤트일 수 있다. 돌보기 이벤트는, 미리 등록된 스케줄, 또는 수신 명령에 의해 사용자 돌보기를 개시하는 이벤트일 수 있다. 촬영 이벤트는, 미리 등록된 스케줄, 또는 수신 명령에 의해 발생되는 사진 및/또는 동영상 촬영 이벤트를 포함할 수 있다. 공유 이벤트는, 미리 등록된 스케줄, 또는 수신 명령에 의해 발생되는 외부 장치(예: 전자 장치(102), 전자 장치(104))와의 영상 공유 이벤트를 포함할 수 있다. 외부 장치는, 스마트 폰과 같은 이동 통신 장치, 소셜 로봇, CCTV, 및/또는 기타 카메라 장치를 포함할 수 있다. 예를 들어, 프로세서(120)는 카메라 모듈(180)을 통해 전화에 대한 사용자의 행동, 학습 시간 동안의 사용자 행동, 놀이 시간 동안의 사용자의 행동, 돌보기 시간 동안의 사용자 행동, 또는 촬영 이벤트가 발생된 시점으로부터 지정된 시간 동안의 사용자의 행동을 포함하는(또는 촬영한) 적어도 하나의 이미지를 획득할 수 있다. 다른 예로, 프로세서(120)는 외부 장치로부터 사용자의 행동을 포함하는(촬영한) 적어도 하나의 이미지를 수신할 수 있다. 일실시예에 따르면, 프로세서(120)는 획득된 적어도 하나의 이미지를 분석하여 사용자의 행동을 감지할 수 있다. 예를 들어, 프로세서(120)는 획득된 적어도 하나의 이미지를 분석하여 스켈레톤 데이터를 획득하고, 획득된 스켈레톤 데이터에 기초하여 사용자 행동의 유형을 결정할 수 있다. 사용자 행동의 유형은, 사용자 행동에 대한 특징을 나타낼 수 있다. 예를 들어, 유형은, 한발로 서있기, 한발로 뛰기, 양발 모아 뛰기, 장애물 뛰어 넘기, 또는 그리기 등으로 구분될 수 있다. 나열된 유형들은 예시적인 것으로서, 본 발명의 다양한 실시예들에 따른 유형은 이에 한정되지 않는다. 일실시예에 따르면, 사용자 행동의 유형들은, 발달 사항 DB(226)에 포함된 기준 행동 항목들에 기초하여 결정될 수 있다. 기준 행동 항목들은, 사용자의 신체적인 발달 단계를 판단하기 위한 기준이 되는 행동들에 대한 정보를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 감지된 사용자의 행동이 발달 사항 DB(226)에 저장된 적어도 하나의 기준 행동 항목과 관계가 있는지 여부에 기초하여 발달 단계를 결정할 수 있다. 예를 들어, 프로세서(120)는 감지된 사용자의 행동이 신규한 행동인지 여부를 결정할 수 있다. 프로세서(120)는 메모리(130)에 등록된 사용자 행동 정보에 기초하여, 사용자의 행동이 신규한 행동인지 여부를 결정할 수 있다. 메모리(130)에 등록된 사용자 행동 정보는, 이전에 감지된 사용자 행동에 대한 스켈레톤 데이터, 또는 유형 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 프로세서(120)는 감지된 사용자의 행동이 신규한 행동으로 결정된 경우, 메모리(130)의 평소 행동 기록 DB에 신규 행동인 사용자 행동의 유형 정보, 또는 스켈레톤 데이터 중 적어도 하나를 포함하는 사용자 행동 정보를 등록할 수 있다. 일실시예에 따르면, 프로세서(120)는 감지된 사용자의 행동과 관련성이 있는 기준 행동 항목이 발달 사항 DB(226)에 존재하는지 여부를 결정할 수 있다. 프로세서(120)는 감지된 사용자의 행동과 관련성이 있는 기준 행동 항목이 발달 사항 DB(226)에 존재하는지 여부를 결정함으로써, 감지된 사용자의 행동이 사용자의 신체 발달과 관련성이 있는 행동인지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 발달 사항 DB(226)에 저장된 기준 행동 항목들 중에서, 감지된 사용자 행동의 유형과 동일한(또는 유사한) 유형을 갖는 적어도 하나의 항목이 존재하는지 여부를 결정할 수 있다. 프로세서(120)는 감지된 사용자 행동의 스켈레톤 데이터 및/또는 유형 정보와 발달 사항 DB(226)에 저장된 기준 행동 항목들의 스켈레톤 데이터 및/또는 유형 정보에 기초하여, 감지된 사용자 행동의 유형과 동일한 유형을 갖는 적어도 하나의 항목이 존재하는지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 감지된 사용자 행동의 스켈레톤 데이터와 발달 사항 DB(226)에 저장된 제1 기준 행동 항목의 스켈레톤 데이터의 일치도가 제1 지정된 값(예: 약 70%) 이상인 경우, 감지된 사용자 행동의 유형과 제1 기준 행동 항목의 유형이 동일한 것으로 결정할 수 있다. 제1 지정된 값은 예시적인 것으로서, 본 발명의 다양한 실시예들은 이에 한정되지 않는다. 제1 지정된 값은 설계자에 의해 설정 및 변경될 수 있다. 프로세서(120)는 감지된 사용자 행동의 유형과 동일한 유형을 갖는 적어도 하나의 기준 행동 항목이 발달 사항 DB(226)에 존재하는 경우, 감지된 사용자의 행동이 사용자의 신체 발달과 관련성이 있는 행동인 것으로 결정할 수 있다. 프로세서(120)는 감지된 사용자 행동의 유형과 동일한 유형을 갖는 적어도 하나의 항목에 기초하여 발달 단계를 결정할 수 있다. 예를 들어, 프로세서(120)는 감지된 사용자 행동의 유형과 동일한 유형을 갖는 적어도 하나의 항목에 대응되는 발달 단계를 사용자의 발달 단계로 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 발달 사항 DB(226) 내에 사용자 행동의 유형과 동일한 유형을 갖는 복수 개의 항목들이 존재하고, 복수 개의 항목들이 서로 다른 발달 단계들에 대응되는 경우, 지정된 규칙, 및/또는 사용자 정보에 기초하여 발달 단계를 결정할 수 있다. 사용자 정보는, 예를 들어, 생년월일 정보, 또는 나이 정보를 포함할 수 있다. 지정된 규칙은, 사용자의 발달 단계를 서로 다른 발달 단계들 중에서 가장 낮은 발달 단계로 결정하는 규칙, 중간 단계로 결정하는 규칙, 또는 가장 높은 발달 단계로 결정하는 규칙 중 어느 하나일 수 있다. 예를 들어, 사용자 행동의 유형(또는 특징)이 "한발로 서있기"이고, 24-26개월(발달 단계 n)의 기준 행동 항목이 "한발로 1초 서있기"이고, 30-32개월(발달 단계 n+1)의 기준 행동 항목이 "한발로 2초 서있기"이고, 33-35개월(발달 단계 n+2)의 기준 행동 항목이 "한발로 3초 서있기"인 경우, 프로세서(120)는 "한발로 서있기" 와 동일한 유형의 기준 행동 항목들이 3개인 것을 확인하고, 사용자의 생년월일에 근거하여 30-32개월(발달 단계 n+1)을 사용자의 발달 단계로 결정하거나, 지정된 규칙에 근거하여 가장 낮은 24-26개월(발달 단계 n)을 발달 단계로 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 감지된 사용자의 행동이 사용자의 신체 발달과 관련성이 있는 행동으로 결정된 경우, 감지된 사용자 행동이 신체 발달과 관련성이 있음을 나타내는 정보를 메모리(130)에 등록할 수 있다. 예를 들어, 프로세서(120)는 사용자 행동에 대한 스켈레톤 데이터 및/또는 유형 정보가 신체 발달과 관련성 있는 행동 정보임을 나타내는 정보를 메모리(130)에 등록할 수 있다.
일실시예에 따르면, 프로세서(120)는 발달 사항 DB(226)에 감지된 사용자 행동의 유형과 동일한 유형을 갖는 적어도 하나의 기준 행동 항목이 존재하지 않는 경우, 감지된 사용자의 행동이 사용자의 신체 발달과 관련성이 없는 행동인 것으로 결정할 수 있다. 프로세서(120)는 사용자의 신체 발달과 관련성이 없는 것으로 판단된 사용자 행동에 대한 정보를 메모리(130)에 등록할 수 있다. 예를 들어, 프로세서(120)는 사용자 행동에 대한 스켈레톤 데이터가 신체 발달과 관련성 없는 행동 정보임을 나타내는 정보를 메모리(130)에 등록할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 사용자의 신체 발달과 관련성이 있는 사용자 행동이 반복적으로 감지되는 경우, 감지된 사용자 행동과 해당 행동에 관련성이 있는 기준 행동 항목을 비교하여 감지된 행동의 정확도를 결정할 수 있다. 예를 들어, 프로세서(120)는 카메라 모듈(180) 및/또는 외부 장치(예: 전자 장치(102), 및/또는 전자 장치(104))로부터 획득된 복수의 이미지들을 이용하여 사용자 행동이 반복적으로 감지되는지 여부를 결정할 수 있다. 프로세서(120)는 복수의 이미지들 각각에서 사용자 행동을 나타내는 스켈레톤 데이터를 획득하고, 획득된 스켈레톤 데이터를 이용하여 동일한 사용자 행동이 반복적으로 감지되는지 여부를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 복수의 이미지들 각각의 획득된 스켈레톤 데이터를 비교하여 사용자 행동이 지정된 시간보다 긴 시간 동안 유지되는지, 또는 특정 패턴을 갖는 사용자 행동이 반복되는지 여부를 결정할 수 있다. 프로세서(120)는 사용자 행동이 지정된 시간보다 긴 시간 동안 유지되거나, 특정 패턴을 갖는 사용자 행동이 반복되는 경우, 사용자 행동이 반복적으로 감지되는 것으로 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 메모리(130)에 등록된 행동 정보에 기초하여, 반복 감지된 사용자 행동이 신체 발달과 관련성 있는 사용자 행동인지 여부를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 사용자 신체 발달과 관련성 있는 사용자 행동이 반복적으로 감지되는 경우, 감지된 사용자 행동의 스켈레톤 데이터, 사용자 행동의 유지 시간, 또는 감지된 사용자 행동의 반복 횟수 중 적어도 하나에 기초하여, 해당 행동과 관련성 있는 기준 행동 항목에 대한 정확도를 결정할 수 있다. 프로세서(120)는 결정된 정확도가 제2 지정된 값(예: 약 80%)보다 큰 경우, 사용자의 발달 단계를 상향 조절할 수 있다. 예를 들어, 사용자의 발달 단계가 1단계인 경우, 발달 단계를 2단계 또는 3단계로 상향 조절할 수 있다. 프로세서(120)는 결정된 정확도가 제2 지정된 값보다 작거나 같은 경우, 사용자의 발달 단계를 유지할 수 있다. 제2 지정된 값은 예시적인 것으로서, 본 발명의 다양한 실시예들은 이에 한정되지 않는다. 제2 지정된 값은 설계자에 의해 설정 및 변경될 수 있다. 일실시예에 따르면, 프로세서(120)는 기준 행동 항목에 대해 결정된 정확도에 기초하여, 해당 기준 행동 항목에 대한 동작 수행 평가 정보를 결정할 수 있다. 동작 수행 평가 정보는, 해당 기준 행동 항목을 사용자가 얼마나 잘 수행하였는지를 단계적으로 나타내는 정보일 수 있다. 예를 들어, 동작 수행 평가 정보는, 매우 잘한다(정확도 80-100%), 잘한다(정확도 50-79%), 못한다(정확도 20-49%), 또는 매우 못한다(10-19%) 등과 같은 복수 개의 단계로 구분될 수 있다. 일실시예에 따르면, 프로세서(120)는 감지된 사용자 행동을 포함하는 적어도 하나의 이미지, 기준 행동 항목에 대해 결정된 정확도 정보, 및/또는 동작 수행 평가 정보를 해당 기준 행동 항목에 대한 동작 수행 결과로써 메모리(130)에 저장할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 사용자의 발달 단계에 기초하여 놀이 컨텐츠를 추천할 수 있다. 일실시예에 따르면, 프로세서(120)는 사용자의 발달 단계에 대응되는 기준 행동 항목들 중에서 적어도 하나의 행동 항목을 수행할 수 있는 놀이 컨텐츠를 결정할 수 있다. 예를 들어, 프로세서(120)는 사용자의 발달 단계가 24-26개월(발달 단계 n)인 경우, 발달 사항 DB(226)에서 24-26개월(발달 단계 n)에 대응되는 기준 행동 항목들(예: 한발로 1초 서있기, 양발을 모아 제자리에서 1회 뛰기, 까치발로 4걸음 이상 걷기, 또는 손가락으로 수평선 그리기 등)을 확인하고, 확인된 기준 행동 항목들 중 적어도 하나의 기준 행동 항목을 선택할 수 있다. 프로세서(120)는 선택된 기준 행동 항목이 나타내는 행동을 수행할 수 있는 놀이 컨텐츠를 사용자에게 추천할 놀이 컨텐츠로 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 사용자의 발달 단계에 대응되는 복수의 기준 행동 항목들 중에서, 사용자의 상태 정보, 주변 상황 정보, 추천 항목의 정보, 또는 다른 사용자의 발달 관련 정보 중 적어도 하나에 기초하여 하나의 기준 행동 항목을 선택하고, 선택된 기준 행동 항목에 관련된 놀이 컨텐츠를 결정할 수 있다. 사용자의 상태 정보는, 예를 들어, 사용자의 신체 행동을 나타내는 정보, 사용자가 움직이고 있는 신체에 관한 정보, 또는 사용자의 현재 자세 정보 중 적어도 하나를 포함할 수 있다. 주변 상황 정보는, 예를 들어, 환경 정보, 위치 정보, 주변 사용자 관련 정보, 또는 주변 물체 관련 정보 중 적어도 하나를 포함할 수 있다. 환경 정보는, 날씨, 온도, 바람, 공기, 또는 먼지와 같은 주변 환경에 대한 정보를 포함할 수 있다. 위치 정보는, 예를 들어, 실내, 실외, 작은방, 거실, 큰방, 바닷가, 공원, 또는 운동장과 같이 사용자의 위치를 나타낼 수 있는 정보를 포함할 수 있다. 주변 사용자 관련 정보는, 예를 들어, 주변에 다른 사용자가 존재하는지 여부, 또는 주변에 존재하는 다른 사용자에 대한 식별 정보 중 적어도 하나를 포함할 수 있다. 주변에 존재하는 다른 사용자에 대한 식별 정보는, 사용자와 다른 사용자의 관계, 다른 사용자의 이름, 다른 사용자의 나이, 또는 다른 사용자의 성별 정보 중 적어도 하나를 포함할 수 있다. 주변 물체 정보는, 예를 들어, 사용자 주변에 위치하거나, 사용자가 현재 가지고 있는 장난감, 또는 놀이 도구 중 적어도 하나에 대한 정보를 포함할 수 있다. 추천 항목의 정보는, 예를 들어, 다른 사용자(예: 사용자의 부모)에 의해 자주 수행되도록 요청된 기준 행동 항목의 정보, 사용자 및/또는 다른 사용자가 선호하는 기준 행동 항목(또는 놀이)의 정보, 발달이 미흡한 기준 행동 항목의 정보, 또는 관찰을 통해 사용자로부터 감지되지 않은 행동 항목의 정보 중 적어도 하나를 포함할 수 있다. 다른 사용자의 발달 관련 정보는, 예를 들어, 사용자와 동일한 월령, 성별, 및/또는 성향을 갖는 다른 사용자의 행동 정보를 포함할 수 있다. 일실시예에 따르면, 프로세서(120)는 표시 장치(160), 디스플레이(252), 음향 출력 장치(155), 오디오 모듈(170), 또는 스피커(254) 중 적어도 하나를 제어하여, 결정된 놀이 컨텐츠를 오디오 및/또는 그래픽 데이터로 출력할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 추천된 놀이 컨텐츠에 대한 사용자 행동을 분석하고, 분석된 결과를 피드백할 수 있다. 일실시예에 따르면, 프로세서(120)는 추천된 놀이 컨텐츠에 대한 사용자 행동을 감지하기 위해, 전자 장치(101)의 움직임을 제어할 수 있다. 예를 들어, 프로세서(120)는 추천된 놀이 컨텐츠에 대응되는 적어도 하나의 장치 파라미터를 획득하고, 획득된 장치 파라미터에 기초하여 전자 장치(101)에 포함된 적어도 하나의 장치 구성 요소를 제어함으로써, 전자 장치의 움직임을 제어할 수 있다. 프로세서(120)는 전자 장치의 움직임을 제어하면서 카메라 모듈(180) 및/또는 외부 장치(예: 전자 장치 (102), 및/또는 전자 장치(104))로부터 사용자 행동을 포함하는 적어도 하나의 이미지를 획득할 수 있다. 프로세서(120)는 획득된 적어도 하나의 이미지로부터 사용자 행동을 나타내는 스켈레톤 데이터를 획득하고, 획득된 스켈레톤 데이터와 추천된 놀이 컨텐츠에 관련된 기준 행동의 스켈레톤 데이터를 비교하여 사용자 행동의 정확도를 결정할 수 있다. 프로세서(120)는 결정된 정확도에 대한 정보를 오디오 및/또는 그래픽 데이터로 출력함으로써, 추천된 놀이 컨텐츠에 대한 결과를 피드백할 수 있다. 일실시예에 따르면, 프로세서(120)는 놀이 컨텐츠에 대한 결과를 피드백한 후, 사용자의 반응을 분석하여 사용자 선호도(또는 취향) 정보를 획득할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 지정된 시점에 사용자 행동에 대한 발달 단계 검사 결과를 이용하여 월령별 발달 사항 판단을 위한 문진표를 작성할 수 있다. 지정된 시점은 사용자의 생년월일 정보 및 해당 국가의 영유아 검진 시기에 기초하여 결정될 수 있다. 각 국가별 영유아 검진 시기는 상이할 수 있다. 예를 들어, 프로세서(120)는 사용자의 영유아 검진 시기가 도래할 경우, 미리 감지된 사용자 행동에 기초하여 영유아의 월령별 발달 사항을 검사하기 위한 문진표를 작성할 수 있다. 예컨대, 프로세서(120)는 실생활 동안에 감지된 사용자 행동, 또는 놀이 컨텐츠 추천에 의해 감지된 사용자 행동에 기초하여, 사전에 결정된 적어도 하나의 기준 행동 항목과의 유사도 또는 정확도를 이용하여 문진표를 작성할 수 있다. 문진표는, 사용자가 각 기준 행동 항목을 얼마나 잘 수행할 수 있는지를 단계 또는 수치로 나타낼 수 있다. 문진표는, 각 기준 행동 항목에 관련된 사용자 행동을 포함하는 적어도 하나의 이미지를 제공할 수 있다. 예를 들어, 프로세서(120)는 문진표를 통해 각 기준 항목에 대해, 관련된 사용자의 행동을 나타내는 사진 또는 동영상 시청이 가능하도록 하는 사용자 인터페이스를 제공할 수 있다.
다양한 실시예들에 따르면, 전자 장치는, 카메라 모듈(예: 도 1의 카메라 모듈(180)), 외부 장치(예: 다른 전자 장치, 서버, 또는 클라우드)와 통신하는 통신 모듈(예: 도 1의 통신 모듈(190)), 월령별 신체 발달에 관련된 기준 행동들의 정보를 저장하는 메모리(예: 도 1의 메모리(130)), 프로세서(예: 도 1의 프로세서(120))를 포함하며, 상기 프로세서(120)는, 상기 카메라 모듈(180)을 이용하여 사용자의 행동을 감지하고, 상기 감지된 사용자 행동과 상기 메모리 또는 상기 외부 장치 중 적어도 하나에 저장된 기준 행동들의 정보에 기초하여 상기 사용자의 신체 발달 단계를 결정하고, 상기 결정된 발단 단계에 대응되는 적어도 하나의 놀이 컨텐츠를 추천할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 감지된 사용자 행동의 유형에 기초하여, 상기 메모리 또는 상기 외부 장치 중 적어도 하나에 상기 감지된 사용자 행동에 관련된 적어도 하나의 기준 행동이 존재하는지 여부를 결정하고, 상기 메모리 또는 상기 외부 장치 중 적어도 하나에 상기 감지된 사용자 행동에 관련된 적어도 하나의 기준 행동이 존재하는 경우, 상기 사용자 행동에 관련된 적어도 하나의 기준 행동에 대응되는 적어도 하나의 발달 단계를 식별하고, 상기 식별된 적어도 하나의 발달 단계에 기초하여 상기 사용자의 신체 발달 단계를 결정할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 감지된 사용자 행동의 유지 시간, 또는 반복 횟수 중 적어도 하나에 기초하여 상기 사용자의 신체 발달 단계를 조절 또는 유지할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 감지된 사용자 행동에 관련된 적어도 하나의 기준 행동에 대한 상기 사용자 행동의 정확도를 결정하고, 상기 결정된 정확도에 기초하여 상기 사용자의 신체 발달 단계를 조절 또는 유지할 수 있다.
다양한 실시예들에 따르면, 상기 메모리(130)는, 발달 단계별 기준 행동들을 나타내는 정보, 발달 단계별 기준 행동들의 유형 정보, 발달 단계별 기준 행동들에 대한 스켈레톤 데이터, 또는 발달 단계별 기준 행동들에 관련된 적어도 하나의 놀이 컨텐츠의 정보 중 적어도 하나를 저장할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(120)는, 사용자 상태 정보, 주변 상황 정보, 추천 항목 정보, 또는 다른 사용자의 발달 관련 정보 중 적어도 하나에 기초하여 상기 결정된 발달 단계에 대응되는 상기 적어도 하나의 놀이 컨텐츠를 결정할 수 있다.
다양한 실시예들에 따르면, 상기 사용자 상태 정보는, 사용자의 신체 행동을 나타내는 정보, 사용자가 움직이고 있는 신체에 관한 정보, 또는 사용자의 현재 자세 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 주변 상황 정보는, 환경 정보, 위치 정보, 주변 사용자 관련 정보, 또는 주변 물체 관련 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 추천 항목 정보는, 다른 사용자에 의해 요청된 행동 정보, 미리 설정된 선호 행동 정보, 또는 발달이 미흡한 행동 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 다른 사용자의 발달 관련 정보는, 상기 다른 사용자의 행동 정보를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 결정된 놀이 컨텐츠에 기초하여, 상기 카메라 모듈을 통해 상기 사용자를 촬영하기 위한 촬영 각도, 촬영 방향, 또는 촬영 위치 중 적어도 하나를 조절할 수 있다.
다양한 실시예들에 따르면, 음향 출력 장치(예: 도 1의 음향 출력 장치(155), 및 표시 장치(예: 도 1의 표시 장치(160))를 더 포함하며, 상기 프로세서(120)는, 상기 음향 출력 장치, 또는 상기 표시 장치 중 적어도 하나를 제어하여, 상기 적어도 하나의 놀이 컨텐츠에 따라 사용자가 취해야 하는 행동을 안내하는 데이터를 출력할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(120)는, 적어도 하나의 외부 전자 장치에서 상기 적어도 하나의 놀이 컨텐츠에 따라 사용자가 취해야 하는 행동을 안내하는 데이터를 출력하도록, 상기 적어도 하나의 외부 전자 장치를 제어할 수 있다.
다양한 실시예들에 따르면, 음향 출력 장치(155), 및 표시 장치(160)를 더 포함하며, 상기 프로세서(120)는, 상기 놀이 컨텐츠 추천에 따른 사용자 행동을 감지하고, 상기 감지된 사용자 행동과 상기 놀이 컨텐츠에 대응되는 기준 행동을 비교하고, 상기 음향 출력 장치(155), 또는 상기 표시 장치(160) 중 적어도 하나를 제어하여, 상기 비교 결과를 나타내는 데이터를 출력하도록 제어할 수 있다.
다양한 실시예들에 따르면, 통신 모듈(예: 도 1의 통신 모듈(190))을 더 포함하며, 상기 프로세서(120)는, 상기 통신 모듈(190)을 통해, 상기 결정된 발달 단계에 대한 정보를 적어도 하나의 외부 장치로 전송할 수 있다.
도 3은 다양한 실시예들에 따른 전자 장치에서 놀이 컨텐츠를 추천하는 흐름도(300)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101)일 수 있다.
도 3을 참조하면, 다양한 실시예들에 따른, 전자 장치(예: 도 1의 프로세서(120))는 동작 301에서 사용자 행동을 감지할 수 있다. 일실시예에 따르면, 프로세서(120)는 사용자의 행동을 모니터링하기 위한 이벤트가 감지되는 경우, 카메라 모듈(180) 및/또는 외부 장치(예: 전자 장치(102), 및/또는 전자 장치(104))로부터 지정된 사용자(예: 아이)의 행동을 촬영한 적어도 하나의 이미지를 획득할 수 있다. 사용자의 행동을 모니터링하기 위한 이벤트는, 예를 들어, 통화 이벤트, 학습 이벤트, 놀이 이벤트, 돌보기(또는 모니터링)이벤트, 촬영 이벤트, 또는 외부 장치(예: 전자 장치(102), 및/또는 전자 장치(104))와의 공유 이벤트 중 적어도 하나를 포함할 수 있다. 예를 들어, 프로세서(120)는 카메라(예: 도 1의 카메라 모듈(180))를 통해 착신 전화 및/또는 발신 전화가 발생했을 때의 아이의 행동을 감지할 수 있다. 다른 예로, 프로세서(120)는 카메라(예: 도 1의 카메라 모듈(180))를 통해 아이의 교육에 관련된 학습 시간, 아이의 놀이 시간, 또는 아이를 돌보는(또는 모니터링하는) 시간 동안에 아이의 행동을 감지할 수 있다. 또다른 예로, 프로세서(120)는 카메라(예: 도 1의 카메라 모듈(180))를 통해 사진 또는 동영상 촬영 이벤트가 발생했을 때의 아이의 행동을 감지할 수 있다. 또 다른 예로, 프로세서(120)는 부모의 스마트폰, 또는 댁 내 CCTV와 공유 이벤트가 발생될 시, 스마트폰 또는 CCTV로부터 수신된 이미지를 분석하여 아이의 행동을 감지할 수 있다. 이는 예시적인 것으로서, 본 발명의 다양한 실시예들은 이에 한정되지 않는다. 예를 들어, 프로세서(120)는 사용자 및/또는 설계자에 의해 지정된 다른 이벤트가 발생되는 경우에도 사용자 행동을 감지할 수 있다. 프로세서(120)는 전자 장치(101)의 카메라 모듈(180) 및/또는 외부 장치(예: 도 1의 전자 장치(102), 및/또는 전자 장치(104))로부터 획득된 적어도 하나의 이미지를 분석하여 스켈레톤 데이터를 획득하고, 획득된 스켈레톤 데이터에 기초하여 사용자 행동을 감지할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 303에서 사용자 행동 및 발달 사항 DB(예: 도 2의 발달 사항 DB(226))에 기초하여 발달 단계를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 메모리(예: 도 1의 메모리(130), 또는 내부 저장소(220)), 및/또는 클라우드(예: 도 2의 무선 네트워크 데이터베이스(210))로부터 발달 사항 DB(226) 및/또는 발달 사항 DB(226)에 저장된 정보들을 획득될 수 있다. 일실시예에 따르면, 프로세서(120)는 감지된 사용자 행동에 대한 신규성, 신체 발달과의 관련성, 반복성, 또는 정확성 중 적어도 하나에 기초하여 사용자의 신체적인 발달 단계를 결정할 수 있다. 예를 들어, 프로세서(120)는 감지된 사용자의 행동이 이전에 감지되지 않은 신규한 행동인 경우, 감지된 사용자 행동이 발달 사항 DB(226)에 저장된 적어도 하나의 기준 행동 항목과 관련이 있는지 여부를 결정할 수 있다. 프로세서(120)는 감지된 사용자의 행동이 발달 사항 DB(226)에 저장된 적어도 하나의 기준 행동 항목과 관련이 있는 행동인 경우, 사용자 행동과 관련이 있는 적어도 하나의 기준 행동 항목에 대응되는 발달 단계를 사용자의 발달 단계로 결정할 수 있다. 프로세서(120)는 사용자 행동과 관련이 있는 기준 행동 항목이 복수 개이고, 복수 개의 기준 행동 항목들이 서로 다른 발달 단계들에 대응되는 경우, 사용자 정보 또는 지정된 규칙에 의해 사용자의 발달 단계를 결정할 수 있다. 다른 예로, 프로세서(120)는 감지된 사용자 행동이 이전에 감지된 적이 있으면서 발달 사항 DB(226)에 저장된 적어도 하나의 기준 행동 항목과 관련이 있는 행동인 경우, 감지된 사용자 행동 및 감지된 사용자 행동에 관련이 있는 적어도 하나의 기준 행동 항목을 비교하여 감지된 행동의 정확도를 결정할 수 있다. 프로세서(120)는 결정된 정확도와 제2 지정된 값(예: 약 80%)의 비교 결과에 기초하여 사용자의 발달 단계를 조절하거나 유지할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 305에서 발달 단계에 대응되는 놀이 컨텐츠를 추천할 수 있다. 일실시예에 따르면, 프로세서(120)는 사용자의 발달 단계에 대응되는 기준 행동 항목들 중에서 적어도 하나의 행동 항목을 수행할 수 있는 놀이 컨텐츠를 결정할 수 있다. 예를 들어, 프로세서(120)는 사용자의 발달 단계가 30-32개월(발달 단계 n+1)인 경우, 발달 사항 DB(226)에서 30-32개월(발달 단계 n+1)에 대응되는 기준 행동 항목들(예: 한발로 2초 서있기, 양발을 모아 제자리에서 3회 뛰기, 또는 까치발로 8걸음 이상 걷기 등)을 확인하고, 확인된 기준 행동 항목들 중 적어도 하나의 기준 행동 항목을 선택할 수 있다. 프로세서(120)는 선택된 기준 행동 항목이 나타내는 행동을 사용자가 수행하도록 유도하는 놀이 컨텐츠를, 사용자에게 추천할 놀이 컨텐츠로 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 사용자의 발달 단계에 대응되는 복수의 기준 행동 항목들 중에서, 사용자의 상태 정보, 주변 상황 정보, 추천 항목의 정보, 또는 다른 사용자의 발달 관련 정보 중 적어도 하나에 기초하여 하나의 기준 행동 항목을 선택하고, 선택된 기준 행동 항목에 관련된 놀이 컨텐츠를 결정할 수 있다. 사용자의 상태 정보는, 예를 들어, 사용자의 신체 행동을 나타내는 정보, 사용자가 움직이고 있는 신체에 관한 정보, 또는 사용자의 현재 자세 정보 중 적어도 하나를 포함할 수 있다. 주변 상황 정보는, 예를 들어, 환경 정보, 위치 정보, 주변 사용자 관련 정보, 또는 주변 물체 관련 정보 중 적어도 하나를 포함할 수 있다. 환경 정보는, 날씨, 온도, 바람, 공기, 또는 먼지와 같은 주변 환경에 대한 정보를 포함할 수 있다. 위치 정보는, 예를 들어, 실내, 실외, 작은방, 거실, 큰방, 바닷가, 공원, 또는 운동장과 같이 사용자의 위치를 나타낼 수 있는 정보를 포함할 수 있다. 주변 사용자 관련 정보는, 예를 들어, 주변에 다른 사용자가 존재하는지 여부, 또는 주변에 존재하는 다른 사용자에 대한 식별 정보 중 적어도 하나를 포함할 수 있다. 주변에 존재하는 다른 사용자에 대한 식별 정보는, 사용자와 다른 사용자의 관계, 다른 사용자의 이름, 다른 사용자의 나이, 또는 다른 사용자의 성별 정보 중 적어도 하나를 포함할 수 있다. 주변 물체 정보는, 예를 들어, 사용자 주변에 위치하거나, 사용자가 현재 가지고 있는 장난감, 또는 놀이 도구 중 적어도 하나에 대한 정보를 포함할 수 있다. 추천 항목의 정보는, 예를 들어, 다른 사용자(예: 사용자의 부모)에 의해 자주 수행되도록 요청된 기준 행동 항목의 정보, 사용자 및/또는 다른 사용자가 선호하는 기준 행동 항목(또는 놀이)의 정보, 또는 발달이 미흡한 기준 행동 항목의 정보 중 적어도 하나를 포함할 수 있다. 다른 사용자의 발달 관련 정보는, 예를 들어, 사용자와 동일한 월령, 성별, 및/또는 성향을 갖는 다른 사용자의 행동 정보를 포함할 수 있다. 일실시예에 따르면, 프로세서(120)는 표시 장치(160), 디스플레이(252), 음향 출력 장치(155) 또는 스피커(254) 중 적어도 하나를 제어하여, 결정된 놀이 컨텐츠를 추천하는 오디오 및/또는 그래픽 데이터를 출력할 수 있다.
도 4는 다양한 실시예들에 따른 전자 장치에서 사용자의 행동을 감지하는 흐름도(400)이다. 이하 설명되는 도 4의 동작들은 도 3의 동작 301의 상세한 동작 중 적어도 일부일 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101)일 수 있다.
도 4를 참조하면, 다양한 실시예들에 따른, 전자 장치(예: 도 1의 프로세서(120))는 동작 401에서 사용자 행동 모니터링 이벤트가 감지되는지 여부를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 통화 이벤트, 학습 이벤트, 놀이 이벤트, 돌보기(또는 모니터링)이벤트, 촬영 이벤트, 또는 외부 장치(예: 도 1의 전자 장치(102), 및/또는 전자 장치(104))와의 공유 이벤트 중 적어도 하나가 발생되는 경우, 사용자 행동 모니터링 이벤트가 감지된 것으로 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 지정된 명령이 수신되거나, 지정된 행동 감지 시점이 도래하는 경우, 사용자 행동 모니터링 이벤트가 감지된 것으로 결정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 403에서 카메라(예: 도 1의 카메라 모듈(180)) 및/또는 외부 장치(예: 도 1의 전자 장치(102), 전자 장치(104))로부터 적어도 하나의 이미지를 획득할 수 있다. 일실시예에 따르면, 프로세서(120)는 카메라 모듈(180)을 통해 사용자 행동을 촬영한 적어도 하나의 이미지를 획득할 수 있다. 일실시예에 따르면, 프로세서(120)는 외부 장치(예: 전자 장치(102), 및/또는 전자 장치(104))로부터 사용자 행동을 촬영한 적어도 하나의 이미지를 수신할 수 있다. 적어도 하나의 이미지는 사용자 행동을 포함하는 사진 또는 동영상일 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 405에서 적어도 하나의 이미지를 분석하여 사용자 행동의 유형을 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 획득된 적어도 하나의 이미지를 분석하여 스켈레톤 데이터를 획득하고, 획득된 스켈레톤 데이터에 기초하여 사용자 행동의 유형을 결정할 수 있다. 프로세서(120)는 공지된 기술을 이용하여 적어도 하나의 이미지로부터 스켈레톤 데이터를 획득할 수 있다. 사용자 행동의 유형은, 사용자 행동에 대한 특징을 나타낼 수 있다. 예를 들어, 유형은, 한발로 서있기, 한발로 뛰기, 양발 모아 뛰기, 장애물 뛰어 넘기, 또는 그리기 등으로 구분될 수 있다. 이는 예시적인 것으로서, 본 발명의 다양한 실시예들에 따른 유형은 이에 한정되지 않는다. 일실시예에 따르면, 사용자 행동의 유형들은, 발달 사항 DB에 기초하여 결정될 수 있다.
도 5는 다양한 실시예들에 따른 전자 장치에서 사용자의 신체적인 발달 단계를 결정하는 흐름도(500)이다. 이하 설명되는 도 5의 동작들은 도 3의 동작 303의 상세한 동작 중 적어도 일부일 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101)일 수 있다. 이하에서 도 5의 적어도 일부 동작은 도 6을 참조하여 설명할 것이다. 도 6은 다양한 실시예들에 따른 전자 장치에서 사용자의 신체적인 발달 단계를 결정하기 위한 기준 행동 항목들을 유형화한 도면이다.
도 5를 참조하면, 다양한 실시예들에 따른, 전자 장치(예: 도 1의 프로세서(120))는 동작 501에서 감지된 사용자 행동이 신규한 행동인지 여부를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 메모리(130)에 기 등록된 사용자 행동 정보와 감지된 사용자 행동의 유형에 기초하여, 감지된 사용자의 행동이 신규한 행동인지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 메모리(130)의 평소 행동 기록 DB에서 기 등록된 사용자 행동 정보의 유형 정보를 확인하고, 확인된 유형 정보와 감지된 사용자 행동의 유형을 비교하여, 감지된 사용자 행동이 신규한 행동인지 여부를 결정할 수 있다. 다른 예로, 프로세서(120)는 메모리(130)의 평소 행동 기록 DB에서 기 등록된 사용자 행동 정보에 포함된 스켈레톤 데이터와 감지된 사용자 행동의 스켈레톤 데이터를 비교하여, 감지된 사용자 행동이 신규한 행동인지 여부를 결정할 수 있다. 일실시예에 따르면, 메모리(130)의 평소 행동 기록 DB는 감지된 사용자 행동 정보, 및 감지된 사용자 행동의 신체 발달 관련 여부를 나타내는 정보를 포함할 수 있다. 예를 들어, 메모리(130)의 평소 행동 기록 DB는 신규 감지된 사용자 행동 정보가 신체 발달과 관련성이 있는 사용자 행동 정보인지, 또는 신체 발달과 관련성이 없는 사용자 행동 정보인지 나타내는 정보를 포함할 수 있다. 사용자 행동 정보는, 해당 사용자 행동의 유형 정보, 또는 스켈레톤 데이터 중 적어도 하나를 포함할 수 있다. 일실시예에 따르면, 메모리(130)의 평소 행동 기록 DB에는 이전에 감지된 사용자 행동들이 유형별로 분류되어 저장될 수 있다.
다양한 실시예들에 따르면, 감지된 사용자 행동이 신규한 행동인 경우, 전자 장치(예: 프로세서(120), 및/또는 메모리(130))는 동작 503에서 감지된 사용자 행동을 신규한 행동으로 등록할 수 있다. 일실시예에 따르면, 프로세서(120)는 메모리(130)의 평소 행동 기록 DB에 감지된 사용자 행동의 유형 정보, 또는 스켈레톤 데이터 중 적어도 하나를 포함하는 사용자 행동 정보를 등록할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 505에서 발달 사항 DB(예: 도 2의 발달 사항 DB(226))에 감지된 사용자 행동과 관련성 있는 기준 행동 항목이 존재하는지 여부를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 발달 사항 DB(226)에 감지된 사용자의 행동과 관련성이 있는 기준 행동 항목이 존재하는지 여부를 결정함으로써, 감지된 사용자의 행동이 사용자의 신체 발달과 관련성이 있는 행동인지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 발달 사항 DB(226)에 저장된 기준 행동 항목들 중에서 감지된 사용자 행동의 유형(또는 특징)과 동일한(또는 유사한) 유형을 갖는 적어도 하나의 기준 행동 항목이 존재하는지 여부에 기초하여, 발달 사항 DB(226)에 감지된 사용자 행동과 관련성 있는 기준 행동 항목이 존재하는지 여부를 결정할 수 있다. 예컨대, 프로세서(120)는 감지된 사용자 행동의 유형과 발달 사항 DB(226)에 저장된 제1 기준 행동 항목의 유형이 동일한 경우, 제1 기준 행동이 감지된 사용자 행동과 관련성 있는 것으로 결정할 수 있다. 다른 예로, 프로세서(120)는 감지된 사용자 행동의 스켈레톤 데이터와 발달 사항 DB(226)에 저장된 기준 행동 항목들의 스켈레톤 데이터를 비교하여 감지된 사용자 행동과 관련성 있는 적어도 하나의 기준 행동 항목이 존재하는지 여부를 결정할 수 있다. 예컨대, 프로세서(120)는 감지된 사용자 행동의 스켈레톤 데이터와 발달 사항 DB(226)에 저장된 제1 기준 행동 항목의 스켈레톤 데이터의 일치도(또는 유사도)가 제1 지정된 값(예: 약 70%) 이상인 경우, 제1 기준 행동이 감지된 사용자 행동과 관련성 있는 것으로 결정할 수 있다. 제1 지정된 값은 예시적인 것으로서, 본 발명의 다양한 실시예들은 이에 한정되지 않는다. 제1 지정된 값은 설계자에 의해 설정 및 변경될 수 있다.
다양한 실시예들에 따르면, 발달 사항 DB에 감지된 사용자 행동과 관련성 있는 기준 행동 항목이 존재하지 않는 경우, 동작 517에서 전자 장치(예: 프로세서(120))는 이전에 결정된 사용자의 발달 단계를 유지할 수 있다. 예를 들어, 프로세서(120)는 감지된 사용자 행동이 신체 발달과 관련성이 없는 행동이므로, 이전에 결정된 사용자의 발달 단계를 조절하지 않고 유지할 수 있다. 일실시예에 따르면, 프로세서(120)는 메모리(130)의 평소 행동 기록 DB에 감지된 사용자 행동이 신체 발달과 관련성이 없는 행동임을 나타내는 정보를 추가로 등록할 수 있다.
다양한 실시예들에 따르면, 발달 사항 DB에 감지된 사용자 행동과 관련성 있는 기준 행동 항목이 존재하는 경우, 전자 장치(예: 프로세서(120), 및/또는 메모리(130))는 동작 507에서 관련성이 있는 기준 행동 항목을 저장하고, 관련성 있는 기준 행동 항목에 기초하여 발달 단계를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 발달 사항 DB에 감지된 사용자 행동과 관련성 있는 기준 행동 항목이 존재하는 경우, 메모리(130)의 평소 행동 기록 DB에 감지된 사용자 행동이 신체 발달과 관련성이 있는 행동임을 나타내는 정보를 추가로 등록할 수 있다. 예를 들어, 프로세서(120)는 평소 행동 기록 DB에 감지된 사용자 행동과 관련성 있는 적어도 하나의 기준 행동 항목의 정보를 메모리(130)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 사용자 행동과 관련성이 있는 적어도 하나의 기준 행동 항목에 대응되는 발달 단계를 사용자 발달 단계로 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 감지된 사용자 유형과 동일한 유형을 갖는 적어도 하나의 항목에 기초하여 사용자의 발달 단계를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 발달 사항 DB(226) 내에 사용자 행동의 유형과 동일한 유형을 갖는 복수 개의 항목들이 존재하고, 복수 개의 항목들이 서로 다른 발달 단계들에 대응되는 경우, 지정된 규칙, 및/또는 사용자 정보에 기초하여 발달 단계를 결정할 수 있다. 사용자 정보는, 예를 들어, 생년월일 정보, 또는 나이 정보를 포함할 수 있다. 지정된 규칙은, 사용자의 발달 단계를 서로 다른 발달 단계들 중에서 가장 낮은 발달 단계로 결정하는 규칙, 중간 단계로 결정하는 규칙, 또는 가장 높은 발달 단계로 결정하는 규칙 중 어느 하나일 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 사용자 행동의 유형이 "한발로 서있기"(601)이고, "한발로 서있기"(601)와 관련된 기준 행동 항목들이 "한발로 1초 서있기"(611), "한발로 2초 서있기"(612), 및 "한발로 3초 서있기"(613)로 복수개인 경우, 복수개의 기준 행동 항목들 중에서 가장 낮은 발달 단계인 24-26개월(Level 1)을 사용자의 발달 단계로 결정할 수 있다. 이는 예시적인 것으로서, 본 발명의 다양한 실시예들은 이에 한정되지 않는다. 다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 509에서 사용자 행동이 신체 발달과 관련성이 있는 반복적인 행동인지 여부를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 감지된 사용자 행동이 이전에 감지된 사용자 행동에 대한 반복적인 행동인지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 카메라 모듈(180) 및/또는 외부 장치(예: 전자 장치(102), 및/또는 전자 장치(104))로부터 획득된 복수의 이미지들의 스켈레톤 데이터를 분석하여 사용자 행동이 지정된 시간보다 긴 시간 동안 유지되는지, 또는 특정 패턴을 갖는 사용자 행동이 반복되는지 여부를 결정할 수 있다. 프로세서(120)는 사용자 행동이 지정된 시간보다 긴 시간 동안 유지되거나, 특정 패턴을 갖는 사용자 행동이 반복되는 경우, 사용자 행동이 이전에 감지된 사용자 행동에 대한 반복적인 행동인 것으로 결정할 수 있다. 프로세서(120)는 사용자 행동이 이전에 감지된 사용자 행동에 대한 반복적인 행동으로 결정되는 경우, 메모리(130)의 평소 행동 기록 DB에 기초하여, 반복적으로 감지된 사용자 행동이 신체 발달과 관련성 있는 사용자 행동인지 여부를 결정할 수 있다. 평소 행동 기록 DB는 상술한 동작 503, 동작 507, 및/또는 동작 517에 의해 갱신될 수 있다. 일실시예에 따르면, 프로세서(120)는 발달 사항 DB(226)에 감지된 사용자의 행동의 유형과 동일한 유형을 갖는 적어도 하나의 기준 행동 항목이 존재하는지 여부를 결정함으로써, 감지된 사용자의 행동이 사용자의 신체 발달과 관련성이 있는 행동인지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 발달 사항 DB(226)에 저장된 기준 행동 항목들 중에서 감지된 사용자 행동의 유형과 동일한 유형을 갖는 적어도 하나의 항목이 존재하는 경우, 감지된 사용자 행동을 신체 발달과 관련성이 있는 행동으로 결정할 수 있다. 예컨대, 프로세서(120)는 감지된 사용자 행동의 유형과 발달 사항 DB(226)에 저장된 제1 기준 행동 항목의 유형이 "양발 모아 뛰기"로 동일한 경우, 감지된 사용자 행동이 신체 발달과 관련성이 있는 행동인 것으로 결정할 수 있다.
다양한 실시예들에 따르면, 감지된 사용자 행동이 신체 발달과 관련성이 있는 반복 검출된 행동이 아닌 경우, 전자 장치(예: 프로세서(120))는 동작 517에서 이전에 결정된 사용자의 발달 단계를 유지할 수 있다. 예를 들어, 프로세서(120)는 감지된 사용자 행동이 신체 발달과 관련성이 있으나, 반복적으로 검출된 행동이 아닌 경우, 발달 단계를 조절하지 않고, 유지할 수 있다.
다양한 실시예들에 따르면, 감지된 사용자 행동이 신체 발달과 관련성이 있는 반복 검출된 행동인 경우, 전자 장치(예: 프로세서(120))는 동작 511에서 관련성이 있는 기준 행동 항목에 대한 사용자 행동의 정확도를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 감지된 행동과 해당 행동에 관련성이 있는 기준 행동 항목을 비교하여 감지된 행동의 정확도를 결정할 수 있다. 프로세서(120)는 감지된 행동의 스켈레톤 데이터, 감지된 행동의 반복 횟수, 및/또는 감지된 행동의 유지 시간 중 적어도 하나에 기초하여 적어도 하나의 기준 행동 항목에 대한 정확도를 결정할 수 있다. 예를 들어, 프로세서(120)는 감지된 사용자 행동의 스켈레톤 데이터를 각 기준 행동 항목들의 스켈레톤 데이터와 비교하여 정확도를 결정할 수 있다. 다른 예로, 프로세서(120)는 사용자 행동의 스켈레톤 데이터와 각 기준 행동 항목들의 스켈레톤 데이터를 비교한 결과와, 감지된 사용자 행동의 유지 시간 및/또는 반복 감지된 횟수와 기준 행동 항목들의 시간 및/또는 횟수를 비교한 결과를 이용하여 정확도를 결정할 수 있다. 예를 들어, 프로세서(120)는 스켈레톤 데이터의 비교 결과, 시간 및/또는 횟수의 비교 결과에 기초하여, 관련성 있는 기준 행동 항목에 대한 사용자 행동의 정확도를 결정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 513에서 결정된 정확도가 지정된 임계값(또는 제2 지정된 값)보다 큰 값을 가지는지 여부를 결정할 수 있다. 다양한 실시예들에 따르면, 결정된 정확도가 지정된 임계값(예: 제2 지정된 값)보다 큰 값을 가지는 경우, 전자 장치(예: 프로세서(120))는 동작 515에서 이전에 결정된 사용자의 발달 단계를 상향 조절할 수 있다. 일실시예에 따르면, 프로세서(120)는 결정된 정확도가 제2 지정된 값(예: 약 80%)보다 큰 경우, 사용자의 발달 단계를 상향 조절할 수 있다. 예를 들어, 사용자의 발달 단계가 1단계인 경우, 발달 단계를 2단계 또는 3단계로 상향 조절할 수 있다. 제2 지정된 값은 예시적인 것으로서, 본 발명의 다양한 실시예들은 이에 한정되지 않는다. 제2 지정된 값은 설계자에 의해 설정 및 변경될 수 있다.
다양한 실시예들에 따르면, 결정된 정확도가 지정된 임계값(예: 제2 지정된 값)보다 작거나 같은 값을 가지는 경우, 전자 장치(예: 프로세서(120))는 동작 517에서 이전에 결정된 사용자의 발달 단계를 유지할 수 있다. 일실시예에 따르면, 프로세서(120)는 결정된 정확도가 제2 지정된 값보다 작거나 같은 경우, 사용자의 발달 단계를 유지할 수 있다.
도 7은 다양한 실시예들에 따른 전자 장치에서 발달 단계에 대응되는 놀이 컨텐츠를 추천하는 흐름도(700)이다. 이하 설명되는 도 7의 동작들은 도 3의 동작 305의 상세한 동작 중 적어도 일부일 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 이하에서 점선으로 표시된 동작들 중 적어도 하나의 동작은 다양한 실시예에 따라 생략될 수 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101)일 수 있다. 이하에서 도 7의 적어도 일부 동작은 도 8a 내지 도 8e를 참조하여 설명할 것이다. 도 8a 내지 도8e는 다양한 실시예들에 따른 전자 장치에서 발달 단계에 대응되는 놀이 컨텐츠를 추천하는 예시도이다.
도 7을 참조하면, 다양한 실시예들에 따른, 전자 장치(예: 도 1의 프로세서(120))는 동작 701에서 놀이 컨텐츠 추천 이벤트가 감지되는지 여부를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 놀이 컨텐츠 추천을 요청하는 명령, 지정된 명령, 또는 지정된 이벤트 중 적어도 하나가 감지되는 경우, 놀이 컨텐츠 추천 이벤트가 발생된 것으로 결정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 703에서 사용자 상태 정보 및/또는 주변 상황 정보를 획득할 수 있다. 일실시예에 따르면, 프로세서(120)는 센서 모듈(176), 카메라 모듈(180), 또는 통신 모듈(190) 중 적어도 하나를 통해 사용자 상태 정보 및/또는 주변 상황 정보를 획득할 수 있다. 사용자 상태 정보는, 예를 들어, 사용자의 신체 행동을 나타내는 정보, 사용자가 움직이고 있는 신체에 관한 정보, 또는 사용자의 현재 자세 정보 중 적어도 하나를 포함할 수 있다. 주변 상황 정보는, 예를 들어, 환경 정보, 위치 정보, 주변 사용자 관련 정보, 또는 주변 물체 관련 정보 중 적어도 하나를 포함할 수 있다. 환경 정보는, 날씨, 온도, 바람, 공기, 또는 먼지와 같은 주변 환경에 대한 정보를 포함할 수 있다. 위치 정보는, 예를 들어, 실내, 실외, 작은방, 거실, 큰방, 바닷가, 공원, 또는 운동장과 같이 사용자의 위치를 나타낼 수 있는 정보를 포함할 수 있다. 주변 사용자 관련 정보는, 예를 들어, 주변에 다른 사용자가 존재하는지 여부, 또는 주변에 존재하는 다른 사용자에 대한 식별 정보 중 적어도 하나를 포함할 수 있다. 주변에 존재하는 다른 사용자에 대한 식별 정보는, 사용자와 다른 사용자의 관계, 다른 사용자의 이름, 다른 사용자의 나이, 또는 다른 사용자의 성별 정보 중 적어도 하나를 포함할 수 있다. 주변 물체 정보는, 예를 들어, 사용자 주변에 위치하거나, 사용자가 현재 가지고 있는 장난감, 또는 놀이 도구 중 적어도에 대한 정보를 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 705에서 추천 항목의 정보를 획득할 수 있다. 추천 항목의 정보는, 예를 들어, 다른 사용자(예: 부모)에 의해 자주 수행되도록 요청된 기준 행동 항목의 정보, 사용자 및/또는 다른 사용자가 선호하는 기준 행동 항목(또는 놀이)의 정보, 발달이 미흡한 기준 행동 항목의 정보, 또는 관찰을 통해 사용자로부터 감지되지 않은 행동 항목의 정보 중 적어도 하나를 포함할 수 있다. 일실시예에 따르면, 프로세서(120)는 놀이 컨텐츠에 대한 사용자 및/또는 다른 사용자의 반응에 기초하여 사용자 선호도 및/또는 다른 사용자의 선호도 정보를 학습하고, 학습된 선호도 정보에 기초하여 사용자 및/또는 다른 사용자가 선호하는 기준 행동 항목(또는 놀이)의 정보를 획득할 수 있다. 일실시예에 따르면, 프로세서(120)는 각 기준 행동 항목들에 대한 수행 평가 결과에 기초하여 발달이 미흡한 기준 행동 항목을 확인할 수 있다. 일실시예에 따르면, 프로세서(120)는 각 기준 행동 항목들에 대한 수행 평가 결과에 기초하여 사용자로부터 감지되지 않은 행동 항목을 확인할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 707에서 다른 사용자의 발달 관련 정보를 획득할 수 있다. 다른 사용자의 발달 관련 정보는, 예를 들어, 사용자와 동일한 월령, 성별, 및/또는 성향을 갖는 다른 사용자의 행동 정보를 포함할 수 있다. 일실시예에 따르면, 프로세서(120)는 외부 장치(예: 도 1의 전자 장치(102, 104), 또는 서버(108), 클라우드)로부터 다른 사용자의 발달 관련 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는 놀이 컨텐츠 추천 이벤트가 감지될 시, 외부 장치인 클라우드와 연동하도록 통신 모듈(예: 도 1의 통신 모듈(190))을 제어할 수 있으며, 연동된 클라우드로부터 적어도 하나의 다른 사용자의 발달 관련 정보를 획득할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 709에서 획득된 정보에 기초하여 발달 단계에 대응되는 놀이 컨텐츠를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 사용자의 발달 단계에 대응되는 복수의 기준 행동 항목들 중에서, 사용자의 상태 정보, 주변 상황 정보, 추천 항목의 정보, 또는 다른 사용자의 발달 관련 정보 중 적어도 하나에 기초하여 기초 행동 항목을 결정하고, 결정된 기초 행동 항목에 대응되는 놀이 컨텐츠를 결정할 수 있다. 예를 들어, 사용자로부터 감지되지 않은 기초 행동 항목의 정보를 포함하는 추천 항목 정보가 획득된 경우, 프로세서(120)는 도 8a에 도시된 바와 같이, 추천 항목 정보를 이용하여, 사용자의 발달 단계인 42-47개월에 대응되는 기초 행동 항목들 중에서 감지되지 않은 기초 행동 항목들(801, 802, 803, 804, 805)을 식별 할 수 있다. 프로세서(120)는 식별된 기초 행동 항목들(801, 802, 803, 804, 805) 중 어느 하나의 항목에 대응되는 행동을 수행하도록 유도하는 놀이 컨텐츠를 추천할 놀이 컨텐츠로 결정할 수 있다. 다른 예로, 프로세서(120)는 발달이 미흡한 기준 행동 항목의 정보, 및 사용자로부터 감지되지 않은 행동 항목의 정보를 포함하는 추천 정보가 획득되고, 주변에 공이 존재함을 나타내는 주변 상황 정보가 획득된 경우, 도 8b에 도시된 바와 같이, 획득된 정보에 기초하여 사용자의 발달 단계인 60-65개월에 대응되는 기초 행동 항목들 중에서 발달이 미흡하거나 감지되지 않은 기초 행동 항목들 중에서 공을 이용하는 기초 행동 항목들(821, 813)을 식별할 수 있다. 프로세서(120는 식별된 기초 행동 항목들(821, 813) 중에서 어느 하나의 항목에 대응되는 행동을 수행하도록 유도하는 놀이 컨텐츠를 추천할 놀이 컨텐츠로 결정할 수 있다. 또 다른 예로, 프로세서(120)는 사용자 주변에 부모가 존재함을 나타내는 주변 상황 정보가 획득된 경우, 사용자의 발달 단계에 대응되는 기초 행동 항목들 중에서 다른 사용자와 함께 수행할 수 있는 기초 행동 항목을 식별할 수 있다. 프로세서(120)는 선택된 기초 행동 항목에 기초하여 도 8c에 도시된 바와 같이, 다른 사용자와 함께 특정 행동을 수행하도록 유도하는 놀이 컨텐츠를 추천할 놀이 컨텐츠로 결정할 수 있다. 또 다른 예로, 프로세서(120)는 사용자 주변에 물체가 존재함을 나타내는 주변 상황 정보가 획득된 경우, 사용자의 발달 단계에 대응되는 기초 행동 항목들 중에서 물체를 이용하여 수행할 수 있는 기초 행동 항목을 식별할 수 있다. 프로세서(120)는 선택된 기초 행동 항목에 기초하여 도 8d에 도시된 바와 같이, 주변 물체를 이용하여 기초 행동 항목에 대응되는 행동을 수행하도록 유도하는 놀이 컨텐츠들(841, 843, 845)을 추천할 놀이 컨텐츠로 결정할 수 있다. 예컨대, 프로세서(120)는 책들을 이용하여 바닥에 돌다리를 만들고, 돌다리를 건너는 놀이 컨텐츠(841), 장난감들을 바닥에 놓고, 바닥에 놓인 장난감 장애물들을 한발 또는 두발로 건너뛰는 놀이 컨텐츠(843), 또는 주변에 의자에 올라간 후 의자에서 뛰어내리는 놀이 컨텐츠(845) 등과 같이, 주변 물체를 이용하여 특정 행동을 수행하도록 유도하는 놀이 컨텐츠를 결정할 수 있다. 또 다른 예로, 프로세서(120)는 도 8e에 도시된 바와 같이, 획득된 사용자 상태 정보에 기초하여, 사용자가 벽에 기대어 한발로 서있는 상태(851)인 것으로 확인되는 경우, 사용자의 발달 단계에 대응되는 기초 행동 항목들 중에서 해당 행동 정보와 관련성이 있는 기초 행동 항목인 한발로 n초 동안 서있기(853)를 유도하는 놀이 컨텐츠를 추천할 놀이 컨텐츠로 결정할 수 있다. 또 다른 예로, 프로세서(120)는 주변 상황 정보가 "미세먼지가 많은 날"을 나타내는 경우, 발달 단계에 대응되는 기초 행동 항목 중에서 실내에 적합한 그리기 항목을 선택하고 그림을 그리는 놀이 컨텐츠를 추천 컨텐츠로 결정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 711에서 결정된 놀이 컨텐츠를 추천하는 오디오 및/또는 그래픽 데이터를 출력할 수 있다. 일실시예에 따르면, 프로세서(120)는 표시 장치(160), 디스플레이(252), 오디오 모듈(170), 스피커(254), 또는 외부 장치(예: 도 1의 전자 장치(102), 또는 전자 장치(104)) 중 적어도 하나를 제어하여, 결정된 놀이 컨텐츠를 추천하는 오디오 및/또는 그래픽 데이터를 출력할 수 있다. 예를 들어, 프로세서(120)는 결정된 놀이 컨텐츠에 따른 특정 행동을 사용자가 따라 할 수 있도록 안내하는 오디오 및/또는 그래픽 데이터를 출력할 수 있다.
도 9는 다양한 실시예들에 따른 전자 장치에서 추천된 놀이 컨텐츠에 대한 결과를 획득하여 저장하는 흐름도(900)이다. 이하 설명되는 도 9의 동작들은 도 3의 동작 305 및/또는 도 7의 동작 711의 상세한 동작 중 적어도 일부일 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101)일 수 있다. 이하에서 도 9의 적어도 일부 동작은 도 10a 내지 도 10c, 및 도 11a 내지 도 8c를 참조하여 설명할 것이다. 도 10a 내지 도 10c는 다양한 실시예들에 따른 전자 장치에서 적어도 하나의 장치 요소를 제어하여 사용자 행동을 감지하는 예시도이고, 도 11a 내지 도 11c는 다양한 실시예들에 따른 전자 장치에서 추천된 놀이 컨텐츠에 대한 결과를 피드백하는 예시도이다.
도 9를 참조하면, 다양한 실시예들에 따른, 전자 장치(예: 도 1의 프로세서(120))는 동작 901에서 놀이 컨텐츠를 안내하는 오디오 및/또는 그래픽 데이터를 출력할 수 있다. 예를 들어, 도 7의 동작 711에서 설명한 바와 같이 놀이 컨텐츠를 안내하는 오디오 및/또는 그래픽 데이터를 출력할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 903에서 놀이 컨텐츠에 대응되는 장치 설정 파라미터를 획득할 수 있다. 예를 들어, 프로세서(120)는 놀이 컨텐츠에 따라 전자 장치(101)의 움직임을 제어하기 위해, 놀이 컨텐츠에 대응되는 장치 설정 파라미터를 획득할 수 있다. 놀이 설정 파라미터는, 예를 들어, 촬영 각도, 촬영 방향, 또는 촬영 위치를 제어하기 위한 적어도 하나의 파라미터를 포함할 수 있다. 예컨대, 놀이 설정 파라미터는, 전자 장치(101)의 헤드 각도, 헤드 방향, 또는 위치 중 적어도 하나를 포함할 수 있다. 일실시예에 따르면, 놀이 컨텐츠에 대응되는 장치 설정 파라미터는, 놀이 컨텐츠에 대응되는 기초 행동 항목의 유형에 따라 상이할 수 있다. 일실시DP에 따르면, 놀이 컨텐츠에 대응되는 장치 설정 파라미터는, 사용자(예: 아이)의 신체 정보(예: 키, 및/또는 자세)에 기초하여 변경될 수 있다. 놀이 컨텐츠에 대응되는 장치 설정 파라미터는, 메모리(130)로부터 획득될 수 있다. 놀이 컨텐츠에 대응되는 장치 설정 파라미터는, 설계자 및/또는 사용자(예: 아이, 부모)에 의해 설정 및/또는 갱신될 수 있다. 일실시예에 따르면, 놀이 컨텐츠에 대응되는 장치 설정 파라미터는, 적어도 하나의 외부 장치(예: 도 1의 전자 장치(102), 및/또는 전자 장치(104))에 대한 파라미터를 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 905에서 획득된 장치 설정 파라미터에 기초하여 전자 장치의 움직임을 조절하고 사용자의 행동을 촬영할 수 있다. 일실시예에 따르면, 프로세서(120)는 장치 설정 파라미터에 기초하여 전자 장치의 움직임을 조절함으로써 촬영 각도, 촬영 방향, 또는 촬영 위치 중 적어도 하나를 조절할 수 있다. 프로세서(120)는 장치 설정 파라미터에 기초하여 전자 장치의 움직임을 조절하면서 사용자의 행동을 촬영할 수 있다. 예를 들어, 도 10a에 도시된 바와 같이, 프로세서(120)는 전자 장치(101)의 헤드의 각도가 제1 시점에 0도가 되고, 제2 시점에 -15도가 되고, 제3 시점에 35도가 되도록 제어하면서, 사용자 행동을 촬영할 수 있다. 다른 예로, 도 10b에 도시된 바와 같이, 프로세서(120)는 전자 장치(101)의 헤드의 방향이 제1 방향을 기준으로 -60도의 방향에서 60도의 방향으로 변경되고, 다시 -60도의 방향에서 60도의 방향으로 변경되도록 제어하면서 사용자 행동을 촬영할 수 있다. 일실시예에 따르면, 프로세서(120)는 장치 설정 파라미터에 적어도 하나의 외부 장치(예: 장치(102), 및/또는 전자 장치(104))에 대한 파라미터가 포함된 경우, 적어도 하나의 외부 장치에 대한 파라미터를 포함하면서 사용자 촬영을 요청하는 신호를 적어도 하나의 외부 장치로 전송할 수 있다. 프로세서(120)는 적어도 하나의 외부 장치와 협력하여 사용자 행동을 촬영하고, 적어도 하나의 외부 장치로부터 사용자 행동에 대해 촬영된 적어도 하나의 이미지를 수신할 수 있다. 예를 들어, 도 10c에 도시된 바와 같이, 프로세서(120)는 전자 장치(1051)가 제1 위치에서 제1 촬영 각도, 및 제1 촬영 방향을 이용하여 사용자를 촬영하면서, 제1 외부 장치(1053)가 제2 위치에서 제2 촬영 각도, 및 제2 촬영 방향을 이용하여 사용자를 촬영하고, 제2 외부 장치(1055)가 고정된 위치에서 제2 촬영 각도, 및 제2 촬영 방향을 이용하여 사용자를 촬영하도록 제어할 수 있다. 프로세서(120)는 제1 외부 장치(1053) 및 제2 외부 장치(1055)로부터 사용자를 촬영한 적어도 하나의 이미지를 수신할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 907에서 촬영된 이미지에 기초하여 행동의 정확도를 분석할 수 있다. 일실시예에 따르면, 프로세서(120)는 촬영된 이미지에 포함된 사용자 행동에 대한 스켈레톤 데이터를 획득하고, 획득된 스켈레톤 데이터를 놀이 컨텐츠에 대응되는 기준 행동 항목의 스켈레톤 데이터와 비교하여 정확도를 결정할 수 있다. 일실시예에 따르면, 프로세서(120)는 촬영된 이미지에 포함된 사용자 행동에 대한 스켈레톤 데이터를 획득하고, 획득된 스켈레톤 데이터를 이용하여 사용자 행동의 유지 시간 및/또는 반복 횟수를 결정하고, 결정된 사용자 행동의 유지 시간 및/또는 반복 횟수를 추가적으로 이용하여 정확도를 결정할 수 있다. 예를 들어, 프로세서(120)는 촬영된 이미지에 포함된 사용자 행동에 대한 스켈레톤 데이터와 놀이 컨텐츠에 대응되는 기준 행동 항목의 스켈레톤 데이터를 비교한 결과에 더하여, 촬영된 이미지에 포함된 사용자 행동의 유지 시간과 기준 행동 항목의 행동 유지 시간을 비교한 결과, 및/또는 촬영된 이미지에 포함된 사용자 행동의 반복 횟수와 기준 행동 항목의 반복 횟수를 비교한 결과를 추가적으로 이용하여 정확도를 결정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 909에서 분석 결과를 피드백할 수 있다. 일실시예에 따르면, 프로세서(120)는 결정된 정확도에 대한 정보를 오디오 및/또는 그래픽 데이터로 출력함으로써, 추천된 놀이 컨텐츠에 대한 결과를 피드백할 수 있다. 예를 들어, 프로세서(120)는 놀이 컨텐츠의 행동을 포함하는 적어도 하나의 이미지와 사용자 행동을 촬영한 적어도 하나의 이미지가 함께 디스플레이되도록 제어하고, 놀이 컨텐츠의 행동에 대한 사용자 행동의 정확도를 나타내는 오디오 데이터를 출력할 수 있다. 일실시예에 따르면, 프로세서(120)는 사용자 행동 중 놀이 컨텐츠의 기준 행동 항목과 상이한 부분을 안내하는 오디오 및/또는 그래픽 데이터를 출력할 수 있다. 예컨대, 프로세서(120)는 놀이 컨텐츠의 행동에서 팔의 움직임과 사용자 행동의 팔의 움직임이 상이한 경우, 팔의 움직임이 상이함을 나타내는 오디오 및/또는 그래픽 데이터를 출력함으로써, 사용자로 하여금 자신의 팔을 놀이 컨텐츠의 행동의 팔의 움직임과 동일하게 움직이게 하도록 유도할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 911에서 사용자 반응 정보를 획득할 수 있다. 일실시예에 따르면, 프로세서(120)는 놀이 컨텐츠에 대한 결과를 피드백한 후, 피드백 결과에 대한 사용자의 표정, 행동, 또는 음성 정보를 획득할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120), 및/또는 메모리(130))는 동작 913에서 놀이 컨텐츠, 촬영 이미지, 분석 결과, 및 사용자 반응을 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 놀이 컨텐츠에 대한 사용자 행동을 촬영한 적어도 하나의 이미지를 놀이 컨텐츠의 기준 행동 항목에 대한 동작 수행 결과로써 메모리(130)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 놀이 컨텐츠에 대한 사용자 행동을 분석한 결과를 이용하여, 놀이 컨텐츠의 기준 행동 항목에 대한 동작 수행 평가 정보를 결정하고, 놀이 컨텐츠의 기준 행동 항목에 대한 동작 수행 평가 정보를 메모리(130)에 저장할 수 있다. 동작 수행 평가 정보는, 해당 기준 행동 항목을 사용자가 얼마나 잘 수행하였는지를 단계적으로 나타내는 정보일 수 있다. 예를 들어, 동작 수행 평가 정보는, 매우 잘한다(정확도 80-100%), 잘한다(정확도 50-79%), 못한다(정확도 20-49%), 또는 매우 못한다(10-19%) 등과 같은 복수 개의 단계로 구분될 수 있다. 일실시예에 따르면, 프로세서(120)는 사용자의 반응 정보를 이용하여 사용자 선호도(또는 취향) 정보를 획득하고, 획득된 사용자 선호도 정보를 메모리(130)에 저장할 수 있다.
상술한 바와 같은 다양한 실시예들에 따르면, 전자 장치(1131)는 도 11a에 도시된 바와 같이, 추천 놀이 컨텐츠를 안내하기 위해 오디오 모듈(예: 도 1의 표시 장치(170))을 통해 "오른발을 들고 3회 뛰어봐~ 콩콩콩"(1133)과 같은 오디오 데이터를 출력하고, 외부 장치(1100)를 제어하여 오른발을 들고 3회 뛰는 그래픽 데이터(1101)를 출력할 수 있다. 전자 장치(1131)는 사용자(1121)의 행동을 촬영하여 적어도 하나의 이미지를 획득하고, 사용자 행동에 대한 정확도를 분석한 후, 외부 장치(1100)를 통해 분석 결과를 나타내는 그래픽 데이터(1111)를 출력할 수 있다.
다양한 실시예들에 따르면, 전자 장치(1141)는 도 11b에 도시된 바와 같이, 추천 놀이 컨텐츠를 안내하기 위해 프로젝터와 같은 표시 장치를 이용하여, 놀이 컨텐츠의 행동을 나타내는 그래픽 데이터(1151)를 출력할 수 있다. 전자 장치(1141)는 사용자의 행동을 촬영(1153)하여 적어도 하나의 이미지를 획득하고, 사용자 행동에 대한 정확도를 분석한 후, 프로젝터와 같은 표시 장치를 이용하여 분석 결과를 나타내는 그래픽 데이터(1157)를 출력할 수 있다. 전자 장치(1141)는 분석 결과 사용자 행동이 놀이 컨텐츠의 행동과 상이함을 나타내면서, 사용자 행동에 대한 변경(교정)을 요청하는 오디오 데이터(1155)를 출력할 수 있다.
다양한 실시예들에 따르면, 전자 장치(1161)는 도 11c에 도시된 바와 같이, 추천 놀이 컨텐츠를 안내하기 위해 프로젝터와 같은 표시 장치를 이용하여, 놀이 컨텐츠의 행동을 나타내는 그래픽 데이터(1171)를 출력할 수 있다. 전자 장치(1141)는 사용자의 행동을 촬영(1173)하여 사용자 행동에 대한 정확도를 분석한 후, 프로젝터와 같은 표시 장치를 이용하여 분석 결과를 나타내는 그래픽 데이터(1179)를 출력하고, 분석 결과 사용자 행동이 놀이 컨텐츠의 행동과 동일함을 나타내는 오디오 데이터(1175)를 출력할 수 있다.
도 12는 다양한 실시예들에 따른 전자 장치에서 사용자의 발달 단계에 대한 정보를 제공하는 흐름도(1200)이다. 이하 설명되는 도 12의 동작들은 도 3의 동작 303 또는 동작 305의 상세한 동작 중 적어도 일부이거나, 동작 305가 수행된 이후에 수행되는 동작일 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101)일 수 있다. 이하에서 도 12의 적어도 일부 동작은 도 13을 참조하여 설명할 것이다. 도 13은 다양한 실시예들에 따른 전자 장치에서 사용자의 발달 단계에 대한 정보를 제공하는 화면 구성도이다.
도 12를 참조하면, 다양한 실시예들에 따른, 전자 장치(예: 도 1의 프로세서(120))는 동작 1201에서 영유아 검진 시기가 도래되는지 여부를 결정할 수 있다. 일실시예에 따르면, 영유아 검진 시기는, 각 국가의 영유아 발달 선별 검사 시스템에서 권장하는 검진 시기에 기초하여 결정될 수 있다. 일 실시예에 따르면, 프로세서(120)는 지정된 사용자(예: 아이)의 생년월일 정보, 권장 검진 시기, 및/또는 사용자(예: 부모) 입력에 기초하여 영유아 검진 시기가 도래되었는지 여부를 결정할 수 있다. 예컨대, 프로세서(120)는 지정된 사용자의 생년월일 정보에 기초하여 생후 개월 수를 하고, 확인된 개월 수가 권장 검진 시기에 해당하는지 여부에 기초하여 영유아 검진 시기가 도래되었는지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 권장 검진 시기에 해당하는 기간(예: 생후 18~24개월) 중 특정 기간(예: 생후 24~24개월)을 선택하는 입력을 수신할 수 있으며, 수신된 입력에 기초하여 특징 기간(예: 생후 23~24개월)을 영유아 검진 시기로 결정할 수 있다. 프로세서(120)는 지정된 사용자의 생후 개월 수가 특정 기간에 해당하는 23개월이 되면, 영유아 검진 시기가 도래된 것으로 결정할 수 있다.
다양한 실시예들에 따르면, 영유아 검진 시기가 도래되면, 전자 장치(예: 프로세서(120))는 동작 1203에서 사용자 행동 감지 결과 및 놀이 컨텐츠의 분석 결과에 기초하여 문진표를 작성할 수 있다. 일실시예에 따르면, 프로세서(120)는 지정된 사용자의 행동에 기초하여 결정된 발달 단계 및 발달 단계 결정에 이용된 사용자 행동 분석 결과를 이용하여 월령별 발달 사항 판단을 위한 문진표를 작성할 수 있다. 예를 들어, 프로세서(120)는 도 3, 도 4, 도 5, 도 9, 또는 도 7의 적어도 하나의 동작을 수행하여 획득된 결과를 이용하여 문진표를 작성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120))는 동작 1205에서 작성된 문진표를 제공할 수 있다. 일실시예에 따르면, 프로세서(120)는 전자 장치(101)의 디스플레이, 또는 외부 장치(예: 도 1의 전자 장치(102), (104))의 디스플레이를 통해 문진표를 제공할 수 있다. 예를 들어, 프로세서(120)는 전자 장치(101)의 디스플레이를 통해 문진표가 표시되도록 표시 장치(예: 도 1의 표시 장치(160)))를 제어할 수 있다. 다른 예로, 프로세서(120)는 지정된 사용자의 부모 사용자가 소유한 외부 장치로 문진표를 전송하여, 외부 장치에서 문진표가 표시되도록 할 수 있다. 전자 장치(101)의 디스플레이, 또는 외부 장치의 디스플레이에 표시된 문진표는, 도 13에 도시된 바와 같이 구성될 수 있다. 예를 들어, 문진표는, 지정된 사용자의 생후 개월 수에 대한 정보, 발달 단계 정보, 관찰을 통해 질의에 대한 응답이 체크된 비율, 신체 놀이 활동 비율, 생후 개월 수에 대응되는 기준 행동 항목들에 대한 정보(예: 기준 행동이 가능한지 여부를 묻는 질의, 및 기준 행동 항목에 대한 동작 수행 평가를 나타내는 응답), 또는 기준 행동 항목과 연관된 사용자 행동을 촬영한 적어도 하나의 이미지 존재 여부를 나타내는 정보를 포함하도록 구성될 수 있다. 예를 들어, 문진표는, 관찰을 통해 질의에 대한 응답이 체크된 기준 행동 항목들(1301, 1305, 1307)과 관찰을 통해 질의에 대한 응답이 체크되지 않은 기준 행동 항목(1303)이 그래픽 데이터 및/또는 그래픽 효과에 의해 구분되어 표시되도록 구성될 수 있다. 예컨대, 문진표는, 사용자가 각 기준 행동 항목을 얼마나 잘 수행할 수 있는지를 단계 또는 수치로 나타낼 수 있다. 문진표는, 관찰을 통해 질의에 대한 응답이 체크된 기준 행동 항목들(1301, 1305, 1307) 각각에 대해, 관련된 사용자의 행동을 나타내는 사진 또는 동영상 시청이 가능하도록 하는 구성될 수 있다.
도 14는 다양한 실시예들에 따른 전자 장치에서 발달 단계에 대응되는 놀이 컨텐츠를 추천하여 결과를 획득 및 제공하는 예시도이다. 여기에서, 전자 장치는 도 1의 전자 장치(101)일 수 있다.
도 14를 참조하면, 다양한 실시예들에 따른 전자 장치(101)는 부모로부터 아이와 놀아줄 것을 요청하는 음성 명령("예림이랑 놀아주고 있어줘~", 1411)을 수신할 수 있다. 전자 장치(101)는 아이에게 놀이를 제안하면서, 어떤 놀이를 할지 묻는 오디오 데이터("예림아~ 우리 같이 놀자~ 어떤 놀이하고 싶어?", 1415)를 출력할 수 있다. 전자 장치(101)는 특정 타입의 놀이를 제안하는 음성 명령("거울아 거울아 놀이할래", 1415)을 수신하고, 해당 놀이의 타입에 기초하여 아이의 신체 발달 단계에 대응되는 한발로 서있는 놀이를 선택하고, 선택된 놀이를 추천하는 오디오 데이터("3초간 한발로 서있어 보는거야~", 1415)를 출력하고, 외부 장치를 제어(예: TV의 전원이 온되도록 제어)하여 외부 장치의 디스플레이에 선택된 놀이에 따라 아이가 취해야 할 행동을 안내하는 그래픽 데이터(1415)를 출력할 수 있다. 전자 장치(101)는 아이의 행동을 촬영하여 아이의 행동에 대한 정확도를 분석한 후, 외부 장치의 디스플레이에 선택된 놀이에 따라 아이가 취해야 할 행동을 안내하는 그래픽 데이터와 아이의 행동을 촬영한 이미지를 나타내는 그래픽 데이터(1419)를 출력하고, 아이의 행동에 대한 분석 결과를 나타내는 오디오 데이터("1, 2, 3, 예림이 잘한다", 1421)를 출력할 수 있다. 전자 장치(101)는 아이와의 놀이에 대한 부모의 질의가 수신되는 경우, 놀이 컨텐츠 및 놀이 컨텐츠에 대한 아이의 행동 분석 결과를 나타내는 그래픽 데이터("거울아 거울아 신체 놀이 중이에요. 예림이가 한발로 균형 잡고 3초 이상 서있을 수 있어요", 1423)를 출력할 수 있다. 전자 장치(101)는 놀이 컨텐츠에 대한 아이의 행동을 분석한 결과를 이용하여 월령별 신체 발달 사항을 검진하기 위한 문진표를 작성하여 외부 장치(예: 부모의 전자 장치)로 전송할 수 있다. 외부 장치는 전자 장치(101)로부터 수신된 문진표를 디스플레이를 통해 표시할 수 있다.
다양한 실시예들에 따르면, 전자 장치의 동작 방법은, 카메라 모듈을 이용하여 사용자의 행동을 감지하는 동작, 상기 감지된 사용자 행동과 메모리 또는 외부 장치 중 적어도 하나에 기 저장된 월령별 신체 발달에 관련된 기준 행동들의 정보에 기초하여 상기 사용자의 신체 발달 단계를 결정하는 동작, 및 상기 결정된 발단 단계에 대응되는 적어도 하나의 놀이 컨텐츠를 추천하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 사용자의 신체 발달 단계를 결정하는 동작은, 상기 감지된 사용자 행동의 유형에 기초하여, 상기 사용자 행동이 상기 메모리 또는 외부 장치 중 적어도 하나에 저장된 적어도 하나의 기준 행동과 관련된 행동인지 여부를 결정하는 동작, 상기 사용자 행동이 상기 메모리 또는 외부 장치 중 적어도 하나에 저장된 적어도 하나의 기준 행동과 관련된 행동인 경우, 상기 사용자 행동에 관련된 적어도 하나의 기준 행동에 대응되는 적어도 하나의 발달 단계를 식별하는 동작, 및 상기 식별된 적어도 하나의 발달 단계에 기초하여 상기 사용자의 신체 발달 단계를 결정하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 사용자의 신체 발달 단계를 결정하는 동작은, 상기 감지된 사용자 행동의 유지 시간, 또는 반복 횟수 중 적어도 하나에 기초하여 상기 사용자의 신체 발달 단계를 조절 또는 유지하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 상기 사용자의 신체 발달 단계를 결정하는 동작은, 상기 감지된 사용자 행동에 관련된 적어도 하나의 기준 행동에 대한 상기 사용자 행동의 정확도를 결정하는 동작, 및 상기 결정된 정확도에 기초하여 상기 사용자의 신체 발달 단계를 조절 또는 유지하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 상기 메모리는, 발달 단계별 기준 행동들을 나타내는 정보, 발달 단계별 기준 행동들의 유형 정보, 발달 단계별 기준 행동들에 대한 스켈레톤 데이터, 또는 발달 단계별 기준 행동들에 관련된 적어도 하나의 놀이 컨텐츠의 정보 중 적어도 하나를 저장할 수 있다.
다양한 실시예들에 따르면, 상기 결정된 발단 단계에 대응되는 적어도 하나의 놀이 컨텐츠를 추천하는 동작은, 사용자 상태 정보, 주변 상황 정보, 추천 항목 정보, 또는 다른 사용자의 발달 관련 정보 중 적어도 하나에 기초하여 상기 결정된 발달 단계에 대응되는 상기 적어도 하나의 놀이 컨텐츠를 결정하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 사용자 상태 정보는, 사용자의 신체 행동을 나타내는 정보, 사용자가 움직이고 있는 신체에 관한 정보, 또는 사용자의 현재 자세 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 주변 상황 정보는, 환경 정보, 위치 정보, 주변 사용자 관련 정보, 또는 주변 물체 관련 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 추천 항목 정보는, 다른 사용자에 의해 요청된 행동 정보, 미리 설정된 선호 행동 정보, 또는 발달이 미흡한 행동 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 다른 사용자의 발달 관련 정보는, 상기 다른 사용자의 행동 정보를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 결정된 놀이 컨텐츠에 기초하여, 상기 카메라 모듈을 통해 상기 사용자를 촬영하기 위한 촬영 각도, 촬영 방향, 또는 촬영 위치 중 적어도 하나를 조절하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 상기 결정된 발단 단계에 대응되는 적어도 하나의 놀이 컨텐츠를 추천하는 동작은, 상기 적어도 하나의 놀이 컨텐츠에 따라 사용자가 취해야 하는 행동을 안내하는 데이터를 출력하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 놀이 컨텐츠 추천에 따른 사용자 행동을 감지하는 동작, 상기 감지된 사용자 행동과 상기 놀이 컨텐츠에 대응되는 기준 행동을 비교하는 동작, 및 상기 비교 결과를 나타내는 데이터를 출력하는 동작을 더 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    카메라 모듈;
    외부 장치와 통신하는 통신 모듈;
    월령별 신체 발달에 관련된 기준 행동들의 정보를 저장하는 메모리; 및
    프로세서를 포함하며, 상기 프로세서는,
    상기 카메라 모듈을 이용하여 사용자의 행동을 감지하고,
    상기 감지된 사용자 행동과 상기 메모리 또는 상기 외부 장치 중 적어도 하나에 저장된 기준 행동들의 정보에 기초하여 상기 사용자의 신체 발달 단계를 결정하고,
    상기 결정된 발단 단계에 대응되는 적어도 하나의 놀이 컨텐츠를 추천하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 감지된 사용자 행동의 유형에 기초하여, 상기 메모리 또는 상기 외부 장치 중 적어도 하나에 상기 감지된 사용자 행동에 관련된 적어도 하나의 기준 행동이 존재하는지 여부를 결정하고,
    상기 메모리 또는 상기 외부 장치 중 적어도 하나에 상기 감지된 사용자 행동에 관련된 적어도 하나의 기준 행동이 존재하는 경우, 상기 사용자 행동에 관련된 적어도 하나의 기준 행동에 대응되는 적어도 하나의 발달 단계를 식별하고,
    상기 식별된 적어도 하나의 발달 단계에 기초하여 상기 사용자의 신체 발달 단계를 결정하는 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 감지된 사용자 행동의 유지 시간, 또는 반복 횟수 중 적어도 하나에 기초하여 상기 사용자의 신체 발달 단계를 조절 또는 유지하는 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는, 상기 감지된 사용자 행동에 관련된 적어도 하나의 기준 행동에 대한 상기 사용자 행동의 정확도를 결정하고,
    상기 결정된 정확도에 기초하여 상기 사용자의 신체 발달 단계를 조절 또는 유지하는 전자 장치.
  5. 제1항에 있어서,
    상기 메모리는, 발달 단계별 기준 행동들을 나타내는 정보, 발달 단계별 기준 행동들의 유형 정보, 발달 단계별 기준 행동들에 대한 스켈레톤 데이터, 또는 발달 단계별 기준 행동들에 관련된 적어도 하나의 놀이 컨텐츠의 정보 중 적어도 하나를 저장하는 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는, 사용자 상태 정보, 주변 상황 정보, 추천 항목 정보, 또는 다른 사용자의 발달 관련 정보 중 적어도 하나에 기초하여 상기 결정된 발달 단계에 대응되는 상기 적어도 하나의 놀이 컨텐츠를 결정하며,
    상기 사용자 상태 정보는, 사용자의 신체 행동을 나타내는 정보, 사용자가 움직이고 있는 신체에 관한 정보, 또는 사용자의 현재 자세 정보 중 적어도 하나를 포함하고,
    상기 주변 상황 정보는, 환경 정보, 위치 정보, 주변 사용자 관련 정보, 또는 주변 물체 관련 정보 중 적어도 하나를 포함하고,
    상기 추천 항목 정보는, 다른 사용자에 의해 요청된 행동 정보, 미리 설정된 선호 행동 정보, 또는 발달이 미흡한 행동 정보 중 적어도 하나를 포함하고, 및
    상기 다른 사용자의 발달 관련 정보는, 상기 다른 사용자의 행동 정보를 포함하는 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는, 상기 결정된 놀이 컨텐츠에 기초하여, 상기 카메라 모듈을 통해 상기 사용자를 촬영하기 위한 촬영 각도, 촬영 방향, 또는 촬영 위치 중 적어도 하나를 조절하는 전자 장치.
  8. 제1항에 있어서,
    음향 출력 장치; 및
    표시 장치를 더 포함하며,
    상기 프로세서는, 상기 음향 출력 장치, 또는 상기 표시 장치 중 적어도 하나를 제어하여, 상기 적어도 하나의 놀이 컨텐츠에 따라 사용자가 취해야 하는 행동을 안내하는 데이터를 출력하는 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는, 적어도 하나의 외부 전자 장치에서 상기 적어도 하나의 놀이 컨텐츠에 따라 사용자가 취해야 하는 행동을 안내하는 데이터를 출력하도록, 상기 적어도 하나의 외부 전자 장치를 제어하는 전자 장치.
  10. 제1항에 있어서,
    음향 출력 장치; 및
    표시 장치를 더 포함하며,
    상기 프로세서는, 상기 놀이 컨텐츠 추천에 따른 사용자 행동을 감지하고,
    상기 감지된 사용자 행동과 상기 놀이 컨텐츠에 대응되는 기준 행동을 비교하고,
    상기 음향 출력 장치, 또는 상기 표시 장치 중 적어도 하나를 제어하여, 상기 비교 결과를 나타내는 데이터를 출력하도록 제어하는 전자 장치.
  11. 제1항에 있어서,
    통신 모듈을 더 포함하며,
    상기 프로세서는, 상기 통신 모듈을 통해, 상기 결정된 발달 단계에 대한 정보를 적어도 하나의 외부 장치로 전송하는 전자 장치.
  12. 전자 장치의 동작 방법에 있어서,
    카메라 모듈을 이용하여 사용자의 행동을 감지하는 동작;
    상기 감지된 사용자 행동과 메모리 또는 외부 장치 중 적어도 하나에 기 저장된 월령별 신체 발달에 관련된 기준 행동들의 정보에 기초하여 상기 사용자의 신체 발달 단계를 결정하는 동작; 및
    상기 결정된 발단 단계에 대응되는 적어도 하나의 놀이 컨텐츠를 추천하는 동작을 포함하는 방법.
  13. 제12항에 있어서,
    상기 사용자의 신체 발달 단계를 결정하는 동작은,
    상기 감지된 사용자 행동의 유형에 기초하여, 상기 사용자 행동이 상기 메모리 또는 상기 외부 장치 중 적어도 하나에 저장된 적어도 하나의 기준 행동과 관련된 행동인지 여부를 결정하는 동작;
    상기 사용자 행동이 상기 메모리 또는 상기 외부 장치 중 적어도 하나에 저장된 적어도 하나의 기준 행동과 관련된 행동인 경우, 상기 사용자 행동에 관련된 적어도 하나의 기준 행동에 대응되는 적어도 하나의 발달 단계를 식별하는 동작; 및
    상기 식별된 적어도 하나의 발달 단계에 기초하여 상기 사용자의 신체 발달 단계를 결정하는 동작을 포함하는 방법.
  14. 제13항에 있어서,
    상기 사용자의 신체 발달 단계를 결정하는 동작은,
    상기 감지된 사용자 행동의 유지 시간, 또는 반복 횟수 중 적어도 하나에 기초하여 상기 사용자의 신체 발달 단계를 조절 또는 유지하는 동작을 더 포함하는 방법.
  15. 제13항에 있어서,
    상기 사용자의 신체 발달 단계를 결정하는 동작은,
    상기 감지된 사용자 행동에 관련된 적어도 하나의 기준 행동에 대한 상기 사용자 행동의 정확도를 결정하는 동작; 및
    상기 결정된 정확도에 기초하여 상기 사용자의 신체 발달 단계를 조절 또는 유지하는 동작을 더 포함하는 방법.
PCT/KR2019/018134 2018-12-19 2019-12-19 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법 WO2020130689A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0165014 2018-12-19
KR1020180165014A KR20200076169A (ko) 2018-12-19 2018-12-19 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2020130689A1 true WO2020130689A1 (ko) 2020-06-25

Family

ID=71102624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018134 WO2020130689A1 (ko) 2018-12-19 2019-12-19 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법

Country Status (2)

Country Link
KR (1) KR20200076169A (ko)
WO (1) WO2020130689A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378064A (zh) * 2021-07-09 2021-09-10 小红书科技有限公司 一种确定内容相似度方法和基于相似度的内容推荐方法
WO2023151232A1 (zh) * 2022-02-10 2023-08-17 北京优幕科技有限责任公司 信息处理方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527061B1 (en) * 2019-03-29 2022-12-13 United Services Automobile Association (Usaa) Systems and methods for assessing property development condition
KR102299414B1 (ko) * 2020-11-23 2021-09-07 스튜디오아트원 주식회사 댄스 커리큘럼 추천 시스템 및 댄스 커리큘럼 추천 서버
KR102338217B1 (ko) * 2021-05-07 2021-12-09 한지우 언어학습 시스템의 제어 방법
KR102367024B1 (ko) * 2021-08-10 2022-02-24 주식회사 어루만짐 심리분석을 이용한 예술놀이 키트 매칭 시스템 및 방법
KR20230024008A (ko) * 2021-08-11 2023-02-20 오로라월드 주식회사 놀이 성향에 기반한 상품 추천방법 및 그를 위한 상품 추천 모델 생성방법
KR102559308B1 (ko) 2022-03-30 2023-07-25 이정은 아동의 행동특징 및 정서특징을 이용한 교육 제안 서비스 제공 장치, 방법 및 프로그램
KR20240096270A (ko) 2022-12-19 2024-06-26 주식회사 자라나다 유아용 아이템 추천 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050123499A (ko) * 2004-06-25 2005-12-29 전미숙 유아의 성장발달단계를 체크하는 서비스를 제공하는시스템 및 방법
KR20100002210A (ko) * 2008-06-27 2010-01-06 주식회사 유진로봇 유아교육시 로봇을 이용한 양방향 학습 시스템 및 그 운영방법
KR101221784B1 (ko) * 2011-07-20 2013-01-11 장우빈 카메라를 이용한 운동 분석평가 시스템 및 그 제어방법
KR20130044458A (ko) * 2011-10-24 2013-05-03 (주)이투데이피엔씨 유아부모용 놀이학습 콘텐츠 서비스 시스템 및 그 제공 방법
US20160293027A1 (en) * 2015-04-05 2016-10-06 Smilables, Inc. Presentation of customized learning content for an infant based on developmental age

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050123499A (ko) * 2004-06-25 2005-12-29 전미숙 유아의 성장발달단계를 체크하는 서비스를 제공하는시스템 및 방법
KR20100002210A (ko) * 2008-06-27 2010-01-06 주식회사 유진로봇 유아교육시 로봇을 이용한 양방향 학습 시스템 및 그 운영방법
KR101221784B1 (ko) * 2011-07-20 2013-01-11 장우빈 카메라를 이용한 운동 분석평가 시스템 및 그 제어방법
KR20130044458A (ko) * 2011-10-24 2013-05-03 (주)이투데이피엔씨 유아부모용 놀이학습 콘텐츠 서비스 시스템 및 그 제공 방법
US20160293027A1 (en) * 2015-04-05 2016-10-06 Smilables, Inc. Presentation of customized learning content for an infant based on developmental age

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378064A (zh) * 2021-07-09 2021-09-10 小红书科技有限公司 一种确定内容相似度方法和基于相似度的内容推荐方法
WO2023151232A1 (zh) * 2022-02-10 2023-08-17 北京优幕科技有限责任公司 信息处理方法及装置

Also Published As

Publication number Publication date
KR20200076169A (ko) 2020-06-29

Similar Documents

Publication Publication Date Title
WO2020130689A1 (ko) 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법
WO2020159217A1 (en) Electronic device and method for determining task including plural actions
WO2020171621A1 (en) Method of controlling display of avatar and electronic device therefor
WO2020050636A1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
WO2020130691A1 (en) Electronic device and method for providing information thereof
WO2021045552A1 (en) Electronic device for image synthesis and operating method thereof
WO2020166894A1 (en) Electronic device and method for recommending word in same
WO2020171548A1 (ko) 사용자 입력 처리 방법 및 이를 지원하는 전자 장치
WO2019168377A1 (en) Electronic device and method for controlling external electronic device based on use pattern information corresponding to user
WO2020153785A1 (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
WO2019177373A1 (en) Electronic device for controlling predefined function based on response time of external electronic device on user input, and method thereof
WO2020106104A1 (en) Electronic device for providing meditation contents and operating method thereof
EP3691521A1 (en) Electronic device and method for providing stress index corresponding to activity of user
WO2019209075A1 (ko) 외부 전자 장치를 제어하는 전자 장치 및 방법
WO2019107719A1 (ko) 360 비디오에서 화자의 음성을 시각적으로 표시하기 위한 장치 및 방법
WO2019151734A1 (ko) 카메라 구동 방식 변경 기반의 음성 및 얼굴 인식 장치 및 방법
WO2019151689A1 (ko) 전자 장치 및 이의 제어 방법
WO2021149938A1 (en) Electronic device and method for controlling robot
WO2020138909A1 (ko) 콘텐트 공유 방법 및 그 전자 장치
WO2017188470A1 (ko) 스마트 펜을 이용한 그림 그리기 방법 및 시스템
WO2021162241A1 (ko) 이미지 센서 제어 방법 및 장치
KR20190108977A (ko) 화면 제어 방법 및 이를 지원하는 전자 장치
WO2020111704A1 (en) Electronic device for scheduling a plurality of tasks and operating method thereof
WO2020130734A1 (ko) 사용자 상태에 기초하여 반응을 제공하는 전자 장치 및 그의 동작 방법
WO2020159115A1 (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19901359

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19901359

Country of ref document: EP

Kind code of ref document: A1