WO2020159318A1 - 적어도 하나의 그래픽 엘리먼트를 표시하는 전자장치 및 그 제어 방법 - Google Patents

적어도 하나의 그래픽 엘리먼트를 표시하는 전자장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2020159318A1
WO2020159318A1 PCT/KR2020/001536 KR2020001536W WO2020159318A1 WO 2020159318 A1 WO2020159318 A1 WO 2020159318A1 KR 2020001536 W KR2020001536 W KR 2020001536W WO 2020159318 A1 WO2020159318 A1 WO 2020159318A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
display
graphic element
user
information
Prior art date
Application number
PCT/KR2020/001536
Other languages
English (en)
French (fr)
Inventor
이재명
이선영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2020159318A1 publication Critical patent/WO2020159318A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • This document relates to an electronic device displaying at least one graphic element and a control method thereof.
  • the emotion recognition service is a service that provides a variety of content services to consumers in response to the emotional state of consumers identified from the image of the consumer's face photographed by a camera provided in portable digital communication devices.
  • the emotion recognition service is performed to improve consumers' immersion in various content services provided.
  • an emotion recognition service In response to a user's emotional state, an emotion recognition service is provided that displays a screen of the electronic device.
  • the electronic device provides a screen corresponding to various user emotion states (eg, happiness, sadness, anger, etc.).
  • various user emotion states eg, happiness, sadness, anger, etc.
  • the electronic device displays a static screen in response to the user's emotional state, which is insufficient to feedback the user's emotion. This is because simply displaying a static screen cannot express liveliness.
  • the psychological sympathy obtained by the user may be increased. Accordingly, it is required to develop a technology capable of increasing the psychological sympathy of the user by increasing the sense of vitality using, for example, a moving visual element.
  • the electronic device and its control method may continuously change attributes of at least one graphic element displayed on the screen of the electronic device in response to the identified user's emotional state, and provide it with various content services. . Accordingly, the user is provided with a dynamic screen in response to the user's emotional state, so that the user can have an improved sense of immersion in various content services provided with the dynamic screen. Accordingly, an electronic device and a control method thereof for providing a content service in an optimal manner for improving a user's immersion feeling in response to a user's emotional state in the field of emotion recognition service may be provided.
  • an execution screen of at least one program including a camera, a display, and at least one processor, wherein the at least one processor includes at least one graphic element Control the display to display, and control the camera to obtain at least one image of a user's face, check the emotion information of the user based on the at least one image, and confirm the emotion
  • the pattern information corresponding to the information is checked, and at least a part of at least one attribute of at least a part of at least one graphic element is continuously (continuously) based on the identified pattern information on the execution screen of the executed at least one program.
  • An electronic device configured to control the display to change and display, may be provided.
  • the operation of checking the emotion information of the user, the operation of checking the pattern information corresponding to the identified emotion information, and the execution screen of the executed at least one program A control method of an electronic device may be provided, including an operation of controlling a display to continuously change and display at least a portion of at least one attribute of at least a portion of at least one graphic element based on the identified pattern information. .
  • an execution screen of at least one program including a camera, a display, and at least one processor, wherein the at least one processor includes at least one graphic element Control the display to display, control the camera to obtain at least one image of a user's face, check the first emotion information of the user based on the at least one image, and confirm the Control the display to display at least a portion of the at least one graphic element on the execution screen of the executed at least one program based on the first emotion information, and the second emotion of the user based on the at least one image
  • an electronic device configured to check information and control the display to display at least a portion of the at least one graphic element on an execution screen of the executed at least one program based on the identified second emotion information Can.
  • a solution means for solving a problem is not limited to the above-described solution means, and solution means not mentioned are provided to those skilled in the art from the present specification and the accompanying drawings. It will be clearly understood.
  • an electronic device and a control method thereof provided with various content services by continuously changing attributes of at least one graphic element displayed on the screen of the electronic device in response to the identified user's emotional state Can.
  • an electronic device and a method of controlling the same can be provided by providing a dynamic screen in response to a user's emotional state, thereby providing an improved immersion feeling for various content services.
  • an electronic device and a control method of providing a content service in an optimal manner to improve a user's immersion in response to a user's emotional state in the field of emotion recognition service may be provided.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 is a flowchart illustrating an example of an operation of an electronic device performed based on emotion information of a user according to various embodiments.
  • FIG. 3 is a diagram illustrating an example of an operation of an electronic device performed based on emotion information of a user according to various embodiments.
  • FIG. 4 is a flowchart illustrating another example of an operation of an electronic device according to various embodiments of the present disclosure.
  • FIG. 5 is a flowchart illustrating an example of an operation of acquiring an image of a face of a user of an electronic device according to various embodiments.
  • FIG. 6 is a diagram illustrating an example of an operation of acquiring an image of a face of a user of an electronic device according to various embodiments.
  • FIG. 7 is a flowchart illustrating an example of an operation of checking emotion information of an electronic device and displaying a graphic element based on pattern information, according to various embodiments.
  • FIG. 8 is a view for explaining an example of an operation of checking emotion information of an electronic device and displaying a graphic element based on pattern information according to various embodiments.
  • 9A is a diagram illustrating an example of an operation of continuously changing at least a portion of at least one attribute of at least a portion of a graphic element of an electronic device according to various embodiments.
  • 9B is a diagram illustrating an example of an operation of continuously changing at least a portion of at least one attribute of at least a portion of a graphic element of an electronic device according to various embodiments.
  • FIG. 10 illustrates an example of an operation of displaying at least one graphic element based on a plurality of emotion information obtained from at least one image of faces of a plurality of users of an electronic device, according to various embodiments; It is a flowchart for.
  • FIG. 11 is a diagram for describing an example of an operation of acquiring at least one image of faces of a plurality of users of an electronic device and checking a plurality of emotion information, according to various embodiments.
  • 12A is a diagram illustrating an example of an operation of displaying a graphic element based on a plurality of emotion information identified from at least one image of faces of a plurality of users of an electronic device according to various embodiments.
  • 12B is a diagram illustrating another example of an operation of displaying a graphic element based on a plurality of emotion information identified from at least one image of a face of a plurality of users of an electronic device according to various embodiments.
  • FIG. 13 is a diagram illustrating another example of an operation of displaying a graphic element based on a plurality of emotion information identified from at least one image of faces of a plurality of users of an electronic device according to various embodiments.
  • FIG. 14 is a flowchart illustrating an example of an operation of displaying at least one graphic element based on a plurality of emotion information of an electronic device according to various embodiments.
  • 15A is a diagram illustrating an example of an operation of displaying at least one graphic element based on a plurality of emotion information of an electronic device according to various embodiments.
  • 15B is a diagram illustrating another example of an operation of displaying at least one graphic element based on a plurality of emotion information of an electronic device according to various embodiments.
  • 16 is a flowchart illustrating an operation of displaying at least one variable graphic element on each execution screen of a plurality of programs based on a plurality of pre-stored pattern information of an electronic device according to various embodiments.
  • 17A is a diagram illustrating an example of an operation of displaying at least one variable graphic element on each execution screen of a plurality of programs based on a plurality of pre-stored pattern information of an electronic device according to various embodiments.
  • 17B is a diagram illustrating another example of an operation of displaying at least one variable graphic element on each execution screen of a plurality of programs based on a plurality of pre-stored pattern information of an electronic device according to various embodiments.
  • 18 is a flowchart illustrating an operation of displaying at least one variable graphic element by reflecting pre-stored user data of an electronic device in pattern information according to various embodiments.
  • 19 is a view for explaining an operation of displaying at least one variable graphic element by reflecting pre-stored user data of the electronic device in pattern information according to various embodiments.
  • 20 is a flowchart illustrating an example of an operation of acquiring user data of an electronic device according to various embodiments.
  • 21 is a diagram illustrating an example of an operation of acquiring user data of an electronic device according to various embodiments.
  • 22 is a flowchart illustrating an example of an operation of displaying a plurality of accumulated emotion information in an electronic device according to various embodiments in a designated information form.
  • 23 is a view for explaining an example of an operation of displaying a plurality of accumulated emotion information according to various embodiments in the form of specified information.
  • 24 is a flowchart illustrating an example of an operation of providing various contents based on emotion information of a user of an electronic device according to various embodiments.
  • 25 is a diagram illustrating another example of an operation of providing various contents based on emotion information of a user of an electronic device according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through the first network 198 (eg, a short-range wireless communication network), or the second network 199. It may communicate with the electronic device 104 or the server 108 through (for example, a remote wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the first network 198 eg, a short-range wireless communication network
  • the server 108 for example, a remote wireless communication network
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, a sensor module ( 176), interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197 ).
  • the components for example, the display device 160 or the camera module 180
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 160 eg., a display
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the processor 120 executes software (eg, the program 140) to execute at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and can perform various data processing or operations. According to one embodiment, as at least part of data processing or computation, the processor 120 may receive instructions or data received from other components (eg, the sensor module 176 or the communication module 190) in the volatile memory 132. Loaded into, process instructions or data stored in volatile memory 132, and store result data in non-volatile memory 134.
  • software eg, the program 140
  • the processor 120 may receive instructions or data received from other components (eg, the sensor module 176 or the communication module 190) in the volatile memory 132. Loaded into, process instructions or data stored in volatile memory 132, and store result data in non-volatile memory 134.
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor), and an auxiliary processor 123 (eg, a graphics processing unit, an image signal processor) that can be operated independently or together. , Sensor hub processor, or communication processor). Additionally or alternatively, the coprocessor 123 may be set to use lower power than the main processor 121, or to be specialized for a specified function. The coprocessor 123 may be implemented separately from the main processor 121 or as a part thereof.
  • a main processor 121 eg, a central processing unit or an application processor
  • an auxiliary processor 123 eg, a graphics processing unit, an image signal processor
  • the coprocessor 123 may be set to use lower power than the main processor 121, or to be specialized for a specified function.
  • the coprocessor 123 may be implemented separately from the main processor 121 or as a part thereof.
  • the coprocessor 123 may replace, for example, the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 may be active (eg, execute an application) ) While in the state, with the main processor 121, at least one component of the components of the electronic device 101 (eg, the display device 160, the sensor module 176, or the communication module 190) It can control at least some of the functions or states associated with.
  • the coprocessor 123 eg, image signal processor or communication processor
  • may be implemented as part of other functionally relevant components eg, camera module 180 or communication module 190). have.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176).
  • the data may include, for example, software (eg, the program 140) and input data or output data for commands related thereto.
  • the memory 130 may include a volatile memory 132 or a nonvolatile memory 134.
  • the program 140 may be stored as software in the memory 130, and may include, for example, an operating system 142, middleware 144, or an application 146.
  • the input device 150 may receive commands or data to be used for components (eg, the processor 120) of the electronic device 101 from outside (eg, a user) of the electronic device 101.
  • the input device 150 may include, for example, a microphone, mouse, or keyboard.
  • the audio output device 155 may output an audio signal to the outside of the electronic device 101.
  • the audio output device 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive an incoming call.
  • the receiver may be implemented separately from, or as part of, the speaker.
  • the display device 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 160 may include a touch circuitry configured to sense a touch, or a sensor circuit (eg, a pressure sensor) configured to measure the strength of the force generated by the touch. have.
  • the audio module 170 may convert sound into an electrical signal, or vice versa. According to an embodiment, the audio module 170 acquires sound through the input device 150 or directly or wirelessly connects to the sound output device 155 or the electronic device 101 (for example, an external electronic device) Sound may be output through the electronic device 102) (eg, speakers or headphones).
  • the audio module 170 acquires sound through the input device 150 or directly or wirelessly connects to the sound output device 155 or the electronic device 101 (for example, an external electronic device) Sound may be output through the electronic device 102) (eg, speakers or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biological sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used for the electronic device 101 to directly or wirelessly connect to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or movement) or electrical stimuli that the user can perceive through tactile or motor sensations.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and videos. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101.
  • the power management module 388 may be implemented, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishing and performing communication through the established communication channel.
  • the communication module 190 operates independently of the processor 120 (eg, an application processor) and may include one or more communication processors supporting direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg : Local area network (LAN) communication module, or power line communication module.
  • the corresponding communication module among these communication modules includes a first network 198 (for example, a short-range communication network such as Bluetooth, WiFi direct, or infrared data association (IrDA)) or a second network 199 (for example, a cellular network, the Internet, or It may communicate with external electronic devices through a computer network (eg, a telecommunication network such as a LAN or WAN).
  • a computer network eg, a telecommunication network such as a LAN or WAN.
  • the wireless communication module 192 uses a subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the antenna module 197 may transmit a signal or power to the outside (eg, an external electronic device) or receive it from the outside.
  • the antenna module 197 may include one or more antennas, from which at least one antenna suitable for a communication scheme used in a communication network, such as a first network 198 or a second network 199, For example, it may be selected by the communication module 190.
  • the signal or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • peripheral devices for example, a bus, a general purpose input and output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be the same or a different type of device from the electronic device 101.
  • all or some of the operations executed in the electronic device 101 may be performed in one or more external devices of the external electronic devices 102, 104, or 108.
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead executes the function or service itself.
  • one or more external electronic devices may be requested to perform at least a portion of the function or the service.
  • the one or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and deliver the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result, as it is or additionally, and provide it as at least part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology can be used, for example.
  • the operation of the electronic device 101 described below is described as being controlled such that the processor 120 performs the corresponding operation using at least one configuration of the electronic device 101, but may not be limited thereto.
  • instructions or computer codes that cause the operation of the electronic device 101 described below may be stored in the memory 130.
  • the stored instructions or computer code may cause the processor 120 to process the corresponding operation using at least one component included in the electronic device 101.
  • FIG. 2 is a flowchart 200 for describing an example of an operation of the electronic device 101 performed based on emotion information of a user according to various embodiments.
  • the operation of the electronic device 101 is not limited to the order of the operation of the electronic device 101 shown in FIG. 2, but may be performed in a different order from the order shown. Further, according to various embodiments, more operations than the operation of the electronic device 101 shown in FIG. 2 are performed, or at least one operation less than the operations of the electronic device 101 shown in FIG. 2. This can also be done.
  • FIG. 2 will be described with reference to FIG. 3.
  • FIG 3 is a view for explaining an example of the operation of the electronic device 101 performed based on the emotion information of the user according to various embodiments.
  • the electronic device 101 eg, at least one processor 120
  • the electronic device 101 is based on emotion information of a user identified based on at least one image of a user's face, and at least one Graphic elements can be displayed on the program execution screen.
  • the electronic device 101 displays the execution screens 301 and 302 of at least one program including at least one graphic element in operation 201. You can control the display.
  • a program executed by the electronic device 101 includes a native application installed on the electronic device 101, a web application, a mobile web, a hybrid application, and the like, and is not limited to the above description. It can be a variety of programs that display the city run screen. For example, as illustrated in FIG. 3, at least one program may be a lock screen program.
  • the execution screens 301 and 302 of at least one program are screens displayed on the display of the electronic device 101 according to the execution of the program, and are initially displayed when the program is executed (initial screen), but is not limited thereto, and may be various screens (eg, a background screen, a splash screen, a loading screen, etc.) that may be displayed according to execution of a program other than the basic screen.
  • the electronic device 101 includes at least one graphic element 221, 222, 223, 224, 225, 226, 227 in response to the execution of the lock screen program as shown in FIG.
  • the basic screen of the lock screen program can be displayed.
  • At least one graphic element may mean at least one object displayed on a display to configure execution screens 301 and 302 of at least one program.
  • at least one graphic element displays the execution screens 301 and 302 of at least one program
  • execution of a program including graphic elements to configure the execution screens 301 and 302 of at least one program The screens 301 and 302 may be generated in advance or pre-programmed to display graphic elements separately from the program execution screens 301 and 302.
  • the electronic device 101 controls the camera 180 to acquire at least one image 211, 212 associated with the user's face in operation 202. can do.
  • the electronic device 101 (eg, at least one processor 120) checks the first emotion information in operation 203, and at least one executed based on the first emotion information in operation 204.
  • the display may be controlled to display while continuously changing attributes of at least a portion of the at least one graphic element on the execution screens 301 and 302 of the program.
  • the electronic device 101 confirms the user's happiness based on at least one image of the user's face (eg, a first emotion indicating happiness)
  • the properties of at least one graphic element 221, 222, 223, 224 are continuously changed on the execution screens 301, 302 of the program in a form corresponding to the user's happy emotional state. Can be displayed.
  • various attributes such as size, color, and transparency of the at least one graphic element 221,222,223,224 may be continuously changed according to the first pattern.
  • at least some of the attributes of the at least one graphic element 221,222,223,224 may be changed gradually, and in this case, an animation effect in which the at least one graphic element 221,222,223,224 is changed may be provided.
  • the electronic device 101 (eg, the at least one processor 120) checks the second emotion information in operation 205, and at least one executed based on the second emotion information in operation 206.
  • the display may be controlled to change and display attributes of at least a portion of the at least one graphic element on the execution screens 301 and 302 of the program. For example, as illustrated in FIG. 3, the electronic device 101 confirms the user's anger based on at least one image of the user's face (eg, second emotion information indicating anger) In response to confirmation), the properties of the at least one graphic element 225 and 226 may be changed and displayed on the execution screens 301 and 302 of the program in a form corresponding to the user's angry emotion.
  • various attributes such as size, color, and transparency of the at least one graphic element 225 and 226 may be continuously changed according to the second pattern, and the first pattern and the second pattern may be different. That is, an animation effect in which at least one graphic element 225 and 226 is changed may be provided.
  • FIG. 3 it is illustrated in FIG. 3 that elements are different for each emotion, this is merely exemplary, and the electronic device 101 according to various embodiments may set attribute change patterns for each emotion differently for the same elements.
  • the electronic device 101 checks the user's emotion information based on at least one image of the acquired user's face, and corresponds to the user's emotion information identified on the execution screen of the program At least one graphic element may be displayed based on the pattern information.
  • the operation of the electronic device 101 is not limited to the order of the operation of the electronic device 101 shown in FIG. 4, but may be performed in a different order from the order shown. Further, according to various embodiments, more operations than the operation of the electronic device 101 shown in FIG. 4 are performed, or at least one operation less than the operations of the electronic device 101 shown in FIG. 4. This can also be done.
  • the electronic device 101 controls the display to display an execution screen of at least one program including at least one graphic element in operation 401.
  • the electronic device 101 controls the display to display an execution screen of at least one program including at least one graphic element in operation 401.
  • Can Since the operation of the electronic device 101 displaying the execution screen of the program can be performed as in operation 201, a duplicate description is omitted.
  • the electronic device 101 may control the camera 180 to acquire an image 211, 212 by capturing a user's face in operation 402. .
  • FIG. 5 is a flowchart 500 illustrating an example of an operation of acquiring an image of a face of a user of an electronic device according to various embodiments.
  • the operation of the electronic device 101 is not limited to the order of the operation of the electronic device 101 shown in FIG. 5, but may be performed in a different order from the order shown. Further, according to various embodiments, more operations are performed than the operation of the electronic device 101 shown in FIG. 5, or at least one operation is less than the operations of the electronic device 101 shown in FIG. 5. This can also be done.
  • FIG. 5 will be described with reference to FIG. 6.
  • FIG. 6 is a diagram illustrating an example of an operation of acquiring an image of a face of a user of an electronic device according to various embodiments.
  • the electronic device 101 displays an execution screen of at least one program including at least one graphic element in response to execution of the at least one program. And at least one image of a user's face.
  • the electronic device 101 in response to the execution of at least one program, as illustrated in FIG. 6 in operation 501, is a variable graphic element 601 , 602, 603 and an immutable graphic element 604.
  • the electronic device 101 may execute at least one program based on execution instructions in a designated manner.
  • the electronic device 101 controls the physical key (eg, power key) 301 of the electronic device 101 (eg : User physical push input) may execute at least one program.
  • the electronic device 101 responds to a user input for selecting an application icon displayed on the touch screen display of the electronic device 101, and then displays the at least one program. It is workable.
  • at least one program may be executed by various user inputs for executing at least one program.
  • variable graphic elements 601, 602, and 603 displayed on the execution screen of at least one program are graphic elements that are controllable (for example, the attribute 807 is changed based on pattern information) and cannot be
  • the side graphic element 604 may be a graphic element that cannot be controlled based on pattern information (for example, the attribute 807 cannot be changed based on the pattern information).
  • the variable graphic elements 601, 602, and 603 may be controlled by the electronic device 101 based on the parameter 808 related to at least one attribute 807 included in the pattern information. Control operations of the variable graphic elements 601, 602, and 603 of the electronic device 101 will be described later in detail.
  • the immutable graphic element 604 cannot be controlled based on pattern information, but may provide a designated function (for example, providing information or executing a specified operation by executing another program).
  • the immutable graphic element 604 may provide a current time display function as illustrated in FIG. 6.
  • the invariant graphic element 604 executes a telephone application of the electronic device 101 when a telephone function (for example, the invariant graphic element 604) is selected to the user as illustrated in FIG. 6. Phone call) or a message function (eg, when the invariant graphic element 604 is selected, a message creation application is executed to perform a message generation operation).
  • the electronic device 101 may activate the camera 180 in response to the program execution in operation 502.
  • the electronic device 101 may switch the camera 180 in an inactive state (eg, a shooting state off) to an activated state (eg, a shooting state on) before the program is executed.
  • the electronic device 101 executes the program as shown in FIG. 6, and after the program is executed, the user's face for a designated time period ⁇ t At least one image 211 and 212 photographed may be obtained.
  • the electronic device 101 activates the camera 180 for a predetermined time period ⁇ t, and at least one that photographs a user's face during the predetermined time period ⁇ t. Images 211 and 212 of can be obtained.
  • the predetermined time period ( ⁇ t) may be while the execution screen of the program is displayed (in other words, a time period from the time the execution screen of the program is displayed until the execution screen of the program is not displayed), It may be a specific time period from the execution screen is displayed (for example, t seconds after the execution screen of the program is displayed, or t1 to t2 after the execution screen of the program is displayed).
  • the electronic device 101 photographs at least one image of a user's face previously stored in the electronic device 101 (eg, a user's face registered in the electronic device 101) Until at least one image) is acquired, at least one image 211 and 212 of the user's face may be acquired.
  • the electronic device 101 after the execution of the program, at least one image of the user's face of the electronic device 101 stored in advance (for example, at least one of the user's face registered in the electronic device 101) Image), and continuously acquire at least one image 211 and 212 of the user's face of the electronic device 101 during a predetermined time period ⁇ t.
  • image 211 and 212 of the user's face of the electronic device 101 during a predetermined time period ⁇ t.
  • the electronic device 101 (eg, at least one processor 120), in operation 403, based on at least one image 211, 212 of the acquired user's face. You can check the emotion information.
  • the electronic device 101 may analyze the at least one image 211 and 212 of the acquired user's face to check the user's emotion information. The image analysis operation of photographing the face of the user of the electronic device 101 will be described later in detail.
  • the user's emotion information may be information indicating a user's emotional state at present (eg, a time point after execution of the program).
  • the current emotional state of the user indicated by the user's emotional information may be various types of emotional states (eg, anger, contempt, disgust, fear, happiness, neutrality, sadness, surprise, etc.).
  • the electronic device 101 may check pattern information corresponding to the identified emotion information of the user in operation 404.
  • the pattern information includes at least one graphic element having various forms (eg, color, brightness, saturation, size, shape, transparency, and sharpness), and various movements (eg, rotational speed, moving speed, and moving direction). It may be information for moving on the execution screen of the program.
  • the pattern information is information that continuously changes at least one attribute of at least one graphic element (eg, color, brightness, saturation, size, shape, transparency, sharpness, rotation speed, movement speed, movement direction, etc.) Can be The operation of the electronic device to continuously change the graphic element based on the pattern information will be described later in detail.
  • the memories 132 and 134 may previously store a plurality of pattern information 805 corresponding to each of various types of emotion states of the user indicated by the user's emotion information.
  • a plurality of pattern information 805 including information may be previously stored in the memories 132 and 134 of the electronic device 101.
  • pattern information may be defined differently depending on the emotion level for each emotional state. For example, a level for each emotional state may be determined according to a value determined for each emotional state, and parameters for each attribute may be determined for each determined emotional state. Each parameter of at least one attribute included in the plurality of pattern information 805 will be described later in detail.
  • the electronic device 101 displays at least one graphic element based on pattern information identified on the execution screen of at least one program executed.
  • the display may be controlled to continuously change and display at least a portion of at least a portion of the attributes 807 of.
  • the electronic device 101 eg, at least one processor 120
  • the electronic device 101 is a controllable graphic element (eg, at least a part of at least one graphic element displayed on an execution screen of at least one program).
  • the variable graphic elements 601, 602, and 603 may be controlled and displayed based on the identified pattern information.
  • At least one graphic element may be represented by at least one attribute 807.
  • At least one attribute 807 is the shape of the graphic element (eg, color, brightness, saturation, size, shape, transparency, sharpness, etc.), the direction of movement of the graphic element on the display, the rotational speed/acceleration when the graphic element is rotated , May include movement speed/acceleration when moving the graphic element.
  • the electronic device 101 may provide an execution screen of a dynamically changed program by continuously changing and displaying the attributes 807 of at least one graphic element based on pattern information.
  • FIG. 7 is a flowchart 700 illustrating an example of an operation of checking emotion information of the electronic device 101 according to various embodiments and displaying a graphic element based on pattern information.
  • the operation of the electronic device 101 is not limited to the order of the operation of the electronic device 101 shown in FIG. 7, and may be performed in a different order from the order shown. Further, according to various embodiments, more operations than the operation of the electronic device 101 shown in FIG. 7 are performed, or at least one operation less than the operations of the electronic device 101 shown in FIG. 7 This can also be done.
  • FIG. 7 will be described with reference to FIGS. 8 and 9.
  • the at least one attribute 807 illustrated in FIG. 8 is only an example, and the attributes included in the pattern information may be implemented with more attributes or fewer attributes.
  • the parameter 808 of the at least one attribute 807 illustrated in FIG. 8 is only an example and may be set to various values without being limited to the illustrated one.
  • 9A is a diagram illustrating an example of an operation of continuously changing at least a portion of at least one attribute 807 of at least a portion of a graphic element of the electronic device 101 according to various embodiments.
  • 9B is a diagram illustrating an example of an operation of continuously changing at least a portion of at least one attribute 807 of at least a portion of a graphic element of an electronic device according to various embodiments.
  • the electronic device 101 may check information related to at least one emotion related to a user in operation 701.
  • the electronic device 101 analyzes at least one image 211 and 212 of the acquired user's face, and analyzes at least one image of the user from at least one image 211 and 212 of the user Status (eg, angry, contempt, disgust, fear, happiness, neutrality, sadness, surprise, etc.) 802 can be identified.
  • the electronic device 101 represents each of at least one image 211 and 212 of the acquired user's face and at least one emotional state 802 stored in advance.
  • the electronic device 101 can check the emotional state using a feature point comparison method, etc., and there is no limitation on the image comparison method.
  • the electronic device 101 may perform various operations for checking at least one emotional state 802 from at least one image 211, 212 of the acquired user's face (for example, at least one of the user's face) It is possible to perform operations such as analyzing the depth of wrinkles from the images (211, 212).
  • the electronic device 101 (eg, the at least one processor 120) checks the emotion information of the user based on at least one image 211 and 212 of the registered user's face.
  • the electronic device 101 may include at least one image taken by capturing the user's face of the electronic device 101 previously stored among at least one image 211 and 212 of the acquired plurality of user's faces. By using only the corresponding image as at least one image 211 and 212 of the user's face, the user's emotion information can be confirmed.
  • the electronic device 101 may determine a value associated with each of the information related to the identified at least one emotion in operation 702. For example, as illustrated in FIG. 8, the electronic device 101 may generate an accuracy value 803 for each of at least one emotional state 802 identified from at least one image 211, 212 of a user's face. Can be confirmed. The electronic device 101 compares at least one image 211 and 212 of the user's face with face images 211 and 212 representing each of the at least one emotional state 802 stored in advance, and compares the similarity.
  • the electronic device 101 may have a first value (eg, 70% similarity) for a first emotional state (eg, happiness) and a second emotional state (eg, sadness).
  • a first value eg, 70% similarity
  • a second emotional state eg, sadness
  • a second value e.g., 5% similarity
  • a third value for a third emotional state e.g., angry
  • a fourth value for a fourth emotional state e.g., surprise
  • the fifth value e.g., similarity 2%)
  • the electronic device 101 converts the first information having the largest value among the identified at least one emotion information into user emotion information. Can be confirmed.
  • the electronic device 101 checks a value associated with each of at least one emotional state identified from at least one image 211 and 212 of a user's face, and simulates the most.
  • the first emotion state (eg, happiness) 804 having a large value is checked, and the first information indicating the first emotion state 804 is the user's emotion information indicating the user's emotional state of the current electronic device 101. You can check with
  • the electronic device 101 may check pattern information corresponding to emotion information in operation 704. As illustrated in FIG. 8, the electronic device 101 may check pattern information 806 corresponding to emotion information among a plurality of pattern information 805 stored in advance.
  • each of the plurality of pattern information 805 may include a parameter 808 related to at least one attribute 807.
  • At least one attribute 807 is a shape (eg, color, brightness, saturation, size, shape, transparency, sharpness, etc.) when at least one graphic element is displayed, movement direction, rotation speed/acceleration, movement speed/acceleration It may be information for determining the value of the.
  • parameters related to at least one attribute 807 of each of the plurality of pattern information 805 may be determined according to a degree of a corresponding emotional state.
  • the parameter related to at least one attribute 807 corresponding to the first emotional state eg, happiness
  • the second emotional state When is the second level it may be set to a second value.
  • the level of the emotional state may be set based on a value associated with the emotional state. For example, the higher the value associated with the emotional state, the higher the level of the emotional state can be set.
  • parameters related to at least one attribute 807 of each of the plurality of pattern information 805 may be continuously changed. Accordingly, attributes of at least one graphic element displayed correspondingly may also be continuously changed and displayed.
  • the continuously changed parameter may be defined as a pattern parameter 904, which will be described later in the description related to FIG. 9B.
  • the electronic device 101 (eg, the at least one processor 120) is based on a parameter 808 related to the at least one attribute 807 (eg, a degree of shape of at least one graphic element) : The degree of color, the degree of brightness, the degree of saturation, the degree of size, the type of shape, the degree of transparency, the degree of sharpness, etc.), the direction of movement, the degree of rotational speed/acceleration, or the degree of movement speed/acceleration Can decide.
  • a parameter 808 related to the at least one attribute 807 eg, a degree of shape of at least one graphic element
  • the electronic device 101 (eg, the at least one processor 120) includes at least a controllable portion of at least one graphic element in operation 705 and includes it in the first pattern information in operation 706.
  • the display may be controlled to display at least a part of at least one graphic element identified based on the parameter 808 related to the at least one attribute 807.
  • the electronic device 101 may control at least a portion of at least one graphic element (eg, based on information on at least one graphic element stored in advance).
  • First graphic element The information about at least one graphic element stored in advance may be information indicating a type of at least one graphic displayed on each execution screen of a plurality of programs.
  • the information on at least one graphic element stored in advance may include information on the variable graphic elements 601, 602, and 603 for each of a plurality of programs and information on the immutable graphic elements 604.
  • information on at least one graphic element stored in advance may include at least one graphic element displayed on the execution screen (eg, lock screen screen) of the first program when the first program (eg, lock screen program) is executed. It may include information indicating the type of each element of the (eg, variable graphic elements (601, 602, 603) or immutable graphic elements 604).
  • the electronic device 101 (eg, the at least one processor 120) is based on the parameter 808 related to the attribute 807 included in the pattern information, and the execution screen of at least one program At least one of the form (eg, color, brightness, saturation, size, shape, transparency, sharpness), direction of movement, rotational speed/acceleration, or movement speed/acceleration, which is at least one attribute 807 of the graphic element displayed in Can decide.
  • the electronic device 101 displays a color of a first graphic element displayed on an execution screen of a program (eg, a lock screen screen) as a first color value and a brightness as a first brightness value.
  • Saturation is the second saturation value
  • the size is the first size value
  • the shape is a circle shape
  • the transparency is the first transparency value
  • the sharpness is the first sharpness value
  • the movement acceleration is the first movement acceleration value
  • the rotation acceleration is the first rotation It can be determined by the acceleration value.
  • the electronic device 101 may continuously change at least a part of the identified at least one attribute 807 of the at least one graphic element. For example, as illustrated in FIG. 9, the electronic device 101 may continuously increase the size of the first graphic element 901, the first graphic element 901 of the first size, and the first graphic element of the second size ( 901).
  • the electronic device 101 can control the display to continuously display various attributes other than the size of the graphic element.
  • the electronic device 101 eg, the at least one processor 120 identifies at least a part of attributes that are continuously changed among at least one attribute 807 of the at least one graphic element, and is checked At least some of the attributes can be changed continuously.
  • the electronic device 101 may check an attribute to be changed among the at least one attribute 807 based on pattern information corresponding to emotion information. For example, when the first pattern information corresponding to the first emotion information indicating the first emotion state (for example, happiness) is used, the electronic device 101 is selected from among at least one attribute 807 based on the first pattern information.
  • the first pattern information corresponding to the first emotion information indicating the first emotion state for example, happiness
  • At least one first attribute (eg, color, size, and sharpness) corresponding to the first emotion state may be identified, and corresponding to second emotion information indicating a second emotion state (eg, contempt)
  • second emotion information indicating a second emotion state (eg, contempt)
  • the attribute to be changed among the at least one attribute 807 based on the second pattern information corresponds to the second emotion state (eg, corresponding At least one second attribute 807 (eg, size, sharpness) designated as a change of the attribute suitable for the emotional state may be identified.
  • the electronic device 101 may identify an attribute to be changed among the at least one attribute 807 based on the type of the at least one program. For example, when the execution screen including the immutable graphic element 604 providing a designated function (eg, a call function, etc.) is displayed when the program is executed, the electronic device 101 of the at least one attribute 807 Only at least one first attribute (eg, color, sharpness, etc.) that does not interfere with the performance of a designated function can be identified as a target of change.
  • a designated function eg, a call function, etc.
  • the electronic device 101 when the execution screen of a program including an immutable element having a specified number or more is displayed when the program is executed, the electronic device 101 does not interfere with the performance of the specified function among at least one attribute 807 Only one first attribute (eg, color, sharpness, etc.) can be identified as the object of change.
  • a first attribute eg, color, sharpness, etc.
  • the electronic device 101 has at least one attribute of a graphic element at a different change rate for each type of user's emotional state indicated by the emotion information. Can be changed continuously.
  • the electronic device 101 may display the at least one graphic based on first pattern information corresponding to the emotion information indicating a first emotion state (eg, happiness) as illustrated in FIG. 9A (a).
  • the size of the at least a portion of the element 901 is gradually changed to the first change acceleration 902, and the size is gradually changed, and a second emotional state (for example, angry) is shown in FIG. 9A (b).
  • the size of the at least a portion 901 of the at least one graphic element may be changed to a second change acceleration 903 based on the second pattern information corresponding to the emotion information to be gradually changed. Even when other attributes 807 other than the size attribute of the graphic element are changed, the attribute of the graphic element may be changed at a different change rate for each type of emotional state according to the above-described description.
  • the rate of change in FIG. 9A (a) and the rate of change in FIG. 9A (b) may not be constant.
  • the electronic device may continuously change (or set differently for each time period) at least a part of the speed of change of at least one speed.
  • the rate of change may also be configured differently over time, and accordingly, various pattern parameters for the rate of change may exist.
  • the electronic device 101 continuously changes at least some of at least one attribute (eg, rotational acceleration, positional acceleration) based on various pattern parameters 904 for a change speed. Can be changed.
  • the electronic device may change a value of at least some of the at least one attribute according to a value (v) for each time (t), such as the pattern parameters 904 illustrated in FIG. 9B.
  • a value (v) for each time (t) such as the pattern parameters 904 illustrated in FIG. 9B.
  • the speed (or acceleration) at which the value (v) is changed for each time period of each graph Can be changed continuously.
  • the pattern parameter 904 has been described as being applied to rotational acceleration and positional acceleration, it may be applied to at least one other property (eg, size).
  • the pattern parameters 904 illustrated in FIG. 9B may be given to pattern information for each emotional state. For example, when the first emotional state is detected, the electronic device 101 increases the size of the element at a high speed in the beginning based on the first pattern parameter corresponding to the first emotional state, and then gradually increases the element speed. Can increase the size of For example, when the second emotional state is detected, the electronic device 101 increases the size of the element at a slow speed in the beginning based on the second pattern parameter corresponding to the second emotional state, and then gradually increases the element speed. Can increase the size of
  • the electronic device 101 may receive the first pattern information in operation 707 when at least a controllable portion of the at least one graphic element is not identified in operation 705.
  • the at least one first graphic element whose attributes are continuously changed may be further (added) displayed on the execution screen of the at least one program.
  • the electronic device 101 acquires a plurality of images of a user's face during a designated time period in response to the execution of at least one program and
  • the display may be controlled to display at least one graphic element based on a plurality of emotion information obtained from a plurality of images of the acquired user's face.
  • the operation of the electronic device 101 is not limited to the order of the operation of the electronic device 101 shown in FIG. 10, but may be performed in a different order from the order shown. Further, according to various embodiments, more operations are performed than the operation of the electronic device 101 shown in FIG. 10, or at least one operation less than the operations of the electronic device 101 shown in FIG. 10. This can also be done.
  • FIG. 10 will be described with reference to FIG. 11.
  • 11 is an example of an operation of acquiring at least one image of faces of a plurality of users of the electronic device 101 and checking a plurality of emotion information 1111, 1112, and 1113 according to various embodiments of the present disclosure. It is a drawing for explaining.
  • the electronic device 101 may activate the camera 180 in response to executing at least one program in operation 1001.
  • the electronic device 101 performs a plurality of images of a user's face for a designated time period ( ⁇ t) after execution of at least one program in operation 1002.
  • the camera 180 may be controlled to acquire the images 1101, 1102, and 1103.
  • the electronic device 101 may continuously photograph a user's face for a designated time period ⁇ t, and sequentially acquire a plurality of images 1101, 1102, and 1103. have.
  • the user's emotional state identified from at least a portion of the plurality of images 1101, 1102, and 1103 may be different from the user's home status identified from another portion. Since the designated time period ⁇ t is as described in FIG. 7, redundant description is omitted.
  • the electronic device 101 may determine whether to acquire a plurality of images 1101, 1102, and 1103 photographing a user's face in operation 1003.
  • a plurality of emotion information 1111, 1112, and 1113 may be identified based on images of faces of a plurality of users sequentially acquired at a plurality of viewpoints t1, t2, and t3 during a designated time period ⁇ t. .
  • the electronic device 101 may check a plurality of pattern information corresponding to a plurality of user emotion information identified in operation 1005.
  • the electronic device 101 eg, at least one processor 120 displays the display to display at least a portion of the at least one graphic element based on a plurality of pattern information identified in operation 1006 Can be controlled.
  • 12A is an operation of displaying a graphic element based on a plurality of emotion information 1111, 1112, and 1113 identified from at least one image of faces of a plurality of users of the electronic device 101 according to various embodiments. It is a diagram for explaining an example of. 12B is an operation of displaying a graphic element based on a plurality of emotion information 1111, 1112, and 1113 identified from at least one image of faces of a plurality of users of the electronic device 101 according to various embodiments. It is a diagram for explaining an example of.
  • FIG. 13 is an operation of displaying a graphic element based on a plurality of emotion information 1111, 1112, and 1113 identified from at least one image of faces of a plurality of users of the electronic device 101 according to various embodiments of the present disclosure. It is a diagram for explaining another example of.
  • the electronic device 101 is currently based on a plurality of emotion information (1111, 1112, 1113) identified from at least one image of the faces of a plurality of users as shown in FIG. It is possible to control at least one variable graphic element displayed on the execution screen of the program.
  • the electronic device 101 (eg, at least one processor 120) is based on each of the plurality of emotion information 1111, 1112, 1113 identified as shown in FIG. 12A, and at least one variable The display can be controlled to display each graphic element.
  • the electronic device 101 displays the first variable graphic element 1201 based on the first pattern information corresponding to the first emotion information (eg, indicating happiness) 1111, and the second and The display may be controlled to display the second variable graphic element 1202 based on the second pattern information corresponding to the third emotion information (eg, anger) 1112.
  • the continuous change of the attribute of the first variable graphic element 1201 displayed based on the first pattern information is the same as the continuous change of the second variable graphic element 1202 displayed based on the second pattern information.
  • a more dynamic program execution screen may be provided.
  • the electronic device 101 (eg, at least one processor 120) is a variable graphic based on each of the plurality of emotion information 1111, 1112, 1113 identified as shown in FIG. 12B.
  • the display can be controlled to display a portion of the element.
  • the electronic device 101 displays a partial region 1203 of the variable graphic element based on the first pattern information corresponding to the first emotion information (eg, happiness) 1111, and the second and second 3 Other partial regions 1204 of the variable graphic element may be displayed based on the second pattern information corresponding to the emotion information (eg, anger) 1112.
  • the continuous change of the attribute of the partial region 1203 of the variable graphic element displayed based on the first pattern information is the continuation of the other partial region 1204 of the variable graphic element displayed based on the second pattern information.
  • the execution screen of a more dynamic program can be provided.
  • the number of variable graphic elements controlled by a plurality of emotion information 1111, 1112, 1113 or the size of a region of the variable graphic element may be changed.
  • the electronic device 101 eg, the at least one processor 120
  • the electronic device 101 is based on a value (eg, accuracy) associated with each of the plurality of emotion information 1111, 1112, 1113, and a plurality of emotion information
  • the number of graphic elements corresponding to each of or the size of the area of the graphic element may be determined. For example, if the first value associated with the first emotion information among the plurality of emotion information 1111, 1112, and 1113 is greater than the second value associated with the second emotion information, the electronic device 101 corresponds to the first emotion information.
  • the number of graphic elements (or areas of the graphic elements) whose attributes are continuously changed is greater than the number of graphic elements (or areas of the graphic elements) whose attributes are continuously changed corresponding to the second emotion information ( Or, to be large).
  • the electronic device 101 may include a plurality of emotion information identified from at least one image photographing faces of a plurality of users, as illustrated in FIG. 13. Based on (1111, 1112, 1113), at least one variable graphic element displayed on the execution screen of the program may be controlled for each designated time interval.
  • the electronic device 101 sequentially displays at least one of a plurality of emotion information 1111, 1112, and 1113 on the execution screen of the program as illustrated in FIG. It can be controlled to display variable graphic elements.
  • the electronic device 101 displays at least one graphic element displayed on the execution screen of the program based on the first pattern information corresponding to the first emotion information in the first time period, and the second time period Displays at least one graphic element displayed on the execution screen of the program based on the second pattern information corresponding to the second emotion information, and based on the third pattern information corresponding to the third emotion information in the third time interval.
  • the display may be controlled to display at least one graphic element displayed on the execution screen of the program.
  • time lengths of a plurality of time periods in which at least one graphic element is displayed for a plurality of emotion information 1111, 1112, and 1113 may be set differently.
  • the time lengths of a plurality of time periods may be set based on values (eg, similarity, accuracy) corresponding to a plurality of pieces of information.
  • the time length of the time period is the first time length
  • the time length of the time period is the second time length
  • the first time length may be set to be longer than the second time length.
  • the order of a plurality of time periods in which at least one graphic element is displayed for a plurality of emotion information 1111, 1112, and 1113 may be controlled.
  • the order of a plurality of time periods may be set based on a point in time at which an image corresponding to corresponding emotion information is acquired. For example, when the first emotion information is confirmed from the image acquired at the first time point, the corresponding time interval is the first order, and when the second emotion information is confirmed from the image acquired at the second time point t2
  • the time period to be performed is a second order, and if the first time point is faster than the second time point, the first order may be set in a faster order than the second order.
  • the electronic device 101 does not acquire at least one image of faces of a plurality of users in operation 1003, or each has the same emotional state
  • the emotion information is checked based on the images of the faces of the users acquired during the designated time period in operation 1007, and in operation 1008
  • the display may be controlled to check pattern information corresponding to the identified emotion information and display at least a portion of the at least one graphic element based on the pattern information identified in operation 1009.
  • Operations 1007 to 1009 may be performed in the same manner as operations 404 to 405 described above, and thus duplicate descriptions are omitted.
  • the electronic device may control the display to continuously change and display the properties of at least one graphic element based on a plurality of emotion information obtained from an image of the acquired user's face. have.
  • FIG. 14 is a flowchart 1400 illustrating an example of an operation of displaying at least one graphic element based on a plurality of emotion information of an electronic device according to various embodiments.
  • the operation of the electronic device 101 is not limited to the order of the operation of the electronic device 101 shown in FIG. 14, and may be performed in a different order from the order shown. Further, according to various embodiments, more operations than the operation of the electronic device 101 shown in FIG. 14 are performed, or at least one operation less than the operations of the electronic device 101 shown in FIG. 14. This can also be done.
  • FIG. 14 will be described with reference to FIG. 15.
  • 15A is a diagram illustrating an example of an operation of displaying at least one graphic element based on a plurality of emotion information of an electronic device according to various embodiments.
  • 15B is a diagram illustrating an example of an operation of displaying at least one graphic element based on a plurality of emotion information of an electronic device according to various embodiments.
  • the electronic device may identify information related to at least one emotion related to a user as emotion information in operation 1401. As in the description of FIG. 8, the electronic device may check a plurality of emotional states (eg, happiness, sadness, anger, surprise, neutrality, etc.) 802 associated with the user from an image of the user's face. .
  • emotional states eg, happiness, sadness, anger, surprise, neutrality, etc.
  • the electronic device may check the first pattern information and the second pattern information based on information related to at least one emotion related to the user in operation 1402.
  • the electronic device checks the first pattern information corresponding to the identified first emotional state (eg, happiness) among the plurality of emotional states 802, and the second pattern information corresponding to the second emotional state (eg, anger) You can check Without being limited to the above description, the electronic device may check pattern information corresponding to each of the more emotional states.
  • the electronic device displays a part of at least a portion of the at least one graphic element based on the first pattern information in operation 1403, and displays the portion of the at least one graphic element based on the second pattern information. At least some other parts can be displayed.
  • the electronic device controls the display to display at least one variable graphic element 1501, 1502, respectively, based on each of the emotion information representing the plurality of emotion states 802 identified as shown in FIG. 15A. can do.
  • the electronic device controls the display to display some of the variable graphic elements 1503 and 1504, based on each of the emotion information representing the plurality of emotion states 802 identified as shown in FIG. 15B. can do.
  • the operation of the electronic device displaying the variable graphic element based on each of the emotion information representing the plurality of emotion states 802 may be performed as described with reference to FIG. 12, and thus duplicate description is omitted.
  • the electronic device displays at least a portion of the at least one graphic element based on the first pattern information during the first time period designated in operation 1404, and the second pattern during the designated second time period. Based on the information, at least a part of the at least one graphic element may be displayed.
  • the electronic device may control the display to display a variable graphic element for each designated time interval based on the emotion information representing the plurality of acquired emotion states 802. Since the operation of the electronic device displaying the variable graphic element for each designated time interval based on the emotion information representing the plurality of emotion states 802 may be performed as described above in the description of FIG. 13, redundant description will be omitted. .
  • the electronic device continuously changes and displays attributes of at least one variable graphic element on each execution screen of a plurality of programs, based on a plurality of pattern information stored in advance, for each of the plurality of programs So you can control the display.
  • FIG. 16 is a flowchart 1600 for describing an operation of displaying at least one variable graphic element on each execution screen of a plurality of programs based on a plurality of pre-stored pattern information of an electronic device according to various embodiments.
  • the operation of the electronic device 101 is not limited to the order of the operation of the electronic device 101 shown in FIG. 16, but may be performed in a different order from the order shown. Further, according to various embodiments, more operations than the operation of the electronic device 101 shown in FIG. 16 are performed, or at least one operation less than the operations of the electronic device 101 shown in FIG. 16. This can also be done.
  • FIG. 16 will be described with reference to FIG. 17.
  • 17A is a diagram illustrating an example of an operation of displaying at least one variable graphic element on each execution screen of a plurality of programs based on a plurality of pre-stored pattern information of an electronic device according to various embodiments.
  • 17B is a diagram illustrating another example of an operation of displaying at least one variable graphic element on each execution screen of a plurality of programs based on a plurality of pre-stored pattern information of an electronic device according to various embodiments.
  • the electronic device may execute at least one first program in operation 1601.
  • the electronic device may execute a program different from the program executed in operation 401, or may execute the same program again after the program executed in operation 401 ends.
  • the electronic device may execute the phone application 1701 as shown in FIG. 17.
  • the electronic device may display an execution screen of the executed at least one first program including the first graphic element in operation 1602.
  • the electronic device may display an execution screen of a telephone application including an immutable graphic element that provides a telephone function and a variable graphic element that is a graphic element.
  • the electronic device may control the camera to obtain a first image of a user's face in response to the execution of the first program in operation 1603.
  • the electronic device may check the first emotion information of the user based on the first image of the user's face obtained in operation 1604. For example, the electronic device may check first emotion information indicating a first emotion state (for example, happiness) from the first image as shown in FIG. 17A, and from the first image as shown in FIG. 17B. The first emotion information indicating the second emotion state (for example, anger) may be checked.
  • first emotion information indicating a first emotion state for example, happiness
  • the first emotion information indicating the second emotion state for example, anger
  • the electronic device may check the first pattern information corresponding to the first emotion information of the user among the plurality of pattern information in operation 1605.
  • the operation of checking the pattern information of the electronic device may be performed as in operation 404 described above.
  • the operation of controlling the graphic element may be performed by checking only the pattern information corresponding to and reflecting the identified pattern information. That is, the electronic device can control a graphic element for each execution screen of a plurality of programs based on pattern information stored in advance.
  • the electronic device does not need to store various execution screens corresponding to the user's emotion information in advance for each execution screen of a plurality of programs, and reconstructs a graphic element for each execution screen of a plurality of programs by using only a plurality of stored pattern information You can do
  • the electronic device continuously changes the attribute of at least a portion of the at least one first graphic element based on the identified first pattern information on the execution screen of at least one first program in operation 1606.
  • the display can be controlled to display.
  • the electronic device may continuously change and display the attribute of the variable graphic element based on the first pattern information corresponding to the first emotion information indicating the first emotion state (1702).
  • 17B attributes of the variable graphic element may be continuously changed and displayed (1703) based on first pattern information corresponding to first emotion information indicating the second emotion state, as illustrated in FIG. 17B. Since this may be performed as described above in FIG. 4, redundant description is omitted.
  • the electronic device 101 may reflect the pre-stored user data on a plurality of pattern information, and display a graphic element more suitable for the user's emotional state of the electronic device 101 on the execution screen of the program. have.
  • FIG. 18 is an operation of displaying at least one variable graphic element 601, 602, 603 by reflecting pre-stored user data 1901 of the electronic device 101 in a plurality of pattern information 805 according to various embodiments of the present disclosure. It is a flow chart 1800 for explaining. According to various embodiments, the operation of the electronic device 101 is not limited to the order of the operation of the electronic device 101 shown in FIG. 18, but may be performed in a different order from the order shown. Further, according to various embodiments, more operations than the operation of the electronic device 101 shown in FIG. 18 are performed, or at least one operation less than the operations of the electronic device 101 shown in FIG. 18. This can also be done. Hereinafter, FIG. 18 will be described with reference to FIG. 19.
  • the at least one attribute 807 illustrated in FIG. 19 is only an example, and the attributes included in the pattern information may be implemented with more attributes or fewer attributes.
  • the parameter 808 of the at least one attribute 807 illustrated in FIG. 19 is only an example and may be set to various values without being limited to the illustrated one.
  • the electronic device 101 may determine whether to acquire the user data 1901 in operation 1801.
  • the user data 1901 may be data representing a user's preference for at least one attribute 805 of a graphic element displayed corresponding to a user's emotional state.
  • the operation of the electronic device 101 for obtaining the user data 1901 will be described later in detail.
  • the electronic device 101 may, in operation 1802, process some pattern information of the plurality of pattern information 805 based on the obtained user data 1901.
  • Parameters related to at least one attribute 805 included may be changed.
  • the electronic device 101 has a preference for at least one variable element displayed based on the emotion information regarding the user's first emotional state (eg, anger).
  • the electronic device 101 may include a plurality of pattern information corresponding to the emotion information regarding the user's first emotional state (eg, anger).
  • the parameters associated with at least one attribute 805 of 805 may be increased or decreased in response to a user's preference.
  • the electronic device 101 identifies a user's preference tendency based on the accumulated user data 1901, and a plurality of patterns corresponding to the emotion information regarding the user's first emotional state (eg, anger)
  • the parameter may be increased or decreased in response to a user preference associated with at least one attribute 805 of the information 805. Accordingly, the electronic device 101 can control the graphic element on the program execution screen so that a user interface more suitable for the user's emotional state is provided.
  • the electronic device 101 may execute at least one first program in operation 1803.
  • the electronic device 101 (eg, the at least one processor 120), in operation 1804, includes the at least one first graphic element and the executed at least one first graphic element.
  • the first execution screen of the program can be displayed.
  • the electronic device 101 may acquire a first image of a user's face and check first emotion information in operation 1805.
  • the electronic device 101 in operation 1806, the adjusted pattern corresponding to the identified user's emotion information among the plurality of pattern information 805
  • the first pattern information 1901 including the parameter 1901 related to the at least one attribute 805 may be identified.
  • the electronic device 101 in operation 1807, based on the first pattern information 1901, at least one graphic element 601, 602, 603,
  • the display can be controlled to continuously change and display the properties of 604).
  • the electronic device 101 attributes the variable graphic elements 601, 602, and 603 based on the first pattern information 1901 including adjusted parameters related to the at least one attribute 805.
  • the display may be controlled to continuously change and display at least a portion of the. At this time, as shown in FIG.
  • variable graphic elements 601, 602, and 603 displayed based on the plurality of pattern information 805 before the parameters are adjusted, and the plurality of pattern information after the parameters are adjusted The attributes of the variable graphic elements 601, 602, and 603 displayed based on 805 may be different.
  • FIG. 20 is a flowchart 2000 illustrating an example of an operation of acquiring user data 1901 of the electronic device 101 according to various embodiments.
  • the operation of the electronic device 101 is not limited to the order of the operation of the electronic device 101 shown in FIG. 20, and may be performed in a different order from the order shown. Further, according to various embodiments, more operations than the operation of the electronic device 101 shown in FIG. 20 are performed, or at least one operation less than the operations of the electronic device 101 shown in FIG. 20. This can also be done.
  • FIG. 20 will be described with reference to FIG. 21.
  • 21 is a diagram illustrating an example of an operation of acquiring user data 1901 of the electronic device 101 according to various embodiments.
  • the electronic device 101 displays at least one graphic element 601 displayed based on the identified plurality of pattern information 805. , 602, 603, 604) may receive a user input for inputting a score associated with at least a portion. For example, as illustrated in FIG. 21, the electronic device 101 may display at least one graphic element 601, 602, 603, or 604 based on the plurality of pattern information 805 identified on the program execution screen. After displaying and continuously changing at least a part of at least some attributes, an interface 2101 for receiving a user's score for a specified period (eg, x seconds, or until an execution screen of a program is not displayed) is displayed. can do.
  • a specified period eg, x seconds, or until an execution screen of a program is not displayed
  • the user may assign a predetermined score based on the current emotional state to the attribute change operation of at least a part of the continuous graphic element performed by the electronic device 101.
  • the electronic device 101 may receive a user input for inputting a score on the interface (eg, a user's touch input for inputting a star corresponding to a preference) 2102.
  • the electronic device 101 may update the user data 1901 based on the input score in operation 2002. For example, the electronic device 101 based on the score 2103 input from the user in response to a graphic element that is displayed by changing at least a part of the attribute continuously in response to the first emotional state (eg, happiness).
  • the first emotional state eg, happiness
  • the preference for the attribute of the displayed graphic element may be updated (eg, the preference is increased, the preference is decreased).
  • the electronic device 101 may generate at least a portion of at least one attribute 805 of the at least one graphic element 601, 602, 603, 604 based on the user data 1901 including the updated preference.
  • an execution screen of a program more suitable for the user's emotional state can be provided.
  • the electronic device may accumulate a plurality of acquired emotion information and display the accumulated plurality of emotion information in a designated information form.
  • FIG. 22 is a flowchart 2200 illustrating an example of an operation of displaying a plurality of accumulated emotion information of an electronic device in a designated information form according to various embodiments.
  • the operation of the electronic device 101 is not limited to the order of the operation of the electronic device 101 shown in FIG. 22, and may be performed in a different order from the order shown. Further, according to various embodiments, more operations than the operation of the electronic device 101 shown in FIG. 22 are performed, or at least one operation less than the operations of the electronic device 101 shown in FIG. 22. This can also be done.
  • FIG. 22 will be described with reference to FIG. 23.
  • 23 is a view for explaining an example of an operation of displaying a plurality of accumulated emotion information according to various embodiments in the form of specified information.
  • the electronic device may store a plurality of emotion information in operation 2201.
  • the electronic device may check emotion information of a plurality of users in each of execution of the multiple conference program in response to the execution of the multiple conference program.
  • the electronic device may continuously store and manage the identified emotion information of the plurality of users in the memory. For example, the electronic device continuously stores the first emotion information obtained at the first time point, the second emotion information obtained at the second time point, ..., the Nth emotion information obtained at the Nth time point in memory, , Can be managed.
  • the electronic device may check a plurality of pattern information corresponding to a plurality of emotion information. For example, the electronic device may check each of the plurality of pattern information respectively corresponding to the accumulated plurality of emotion information.
  • the electronic device may display at least one first graphic element based on each of the identified plurality of pattern information. For example, as illustrated in FIG. 23, the electronic device may configure and display at least one graphic element to which pattern information is applied so that the identified emotion information is displayed for each viewpoint.
  • Each area on the display on which the graphic element is displayed may indicate a time point (eg, month, day, time, etc.).
  • each region arranged in the horizontal direction 2301 may indicate a month or day
  • each region arranged in the longitudinal direction 2302 may represent time.
  • each region may be sequentially represented from a first position (eg, the top 2303) to a second position (eg, the bottom 2304) in the longitudinal direction, from 00:00 to 24:00.
  • each region sequentially represents the most recent month, or day, from the first position (eg, leftmost end 2305) to the second position (eg, rightmost end 2306) in the transverse direction.
  • the electronic device applies the first pattern information corresponding to the first emotion information acquired at the first time point to display the first graphic element in the first area corresponding to the first time point of the display, and the first The second graphic element may be displayed on the second area corresponding to the second viewpoint of the display by applying the second pattern information corresponding to the two emotion information.
  • the electronic device performs an operation of displaying a graphic element based on the emotion information identified at each time point on the display area designated for each time point, thereby allowing the user of the electronic device to determine the emotion information of the user over time. Can be checked.
  • the electronic device 101 may continuously change attributes of various contents available to the user in addition to the graphic elements described above based on the identified user emotion information.
  • various content that can be provided to a user may include various types of content that stimulate the user's senses, such as visual content, auditory content, and tactile content.
  • the visual content may include a visual graphic element including the graphic element described above.
  • the auditory content may include audio.
  • the tactile content may include a sense of vibration.
  • the electronic device 101 may control each component of the electronic device to provide the executed program with various contents in response to the execution of the program.
  • the electronic device 101 may control the display to display a graphic element constituting the execution screen of the executed program in response to the execution of the program. Redundant description of the display operation of the graphic element of the electronic device 101 is omitted.
  • the electronic device 101 may control the audio device 170 to output audio related to the executed program in response to the execution of the program. For example, if the electronic device 101 receives a user input (eg, touch input, voice input, etc.) related to the program during execution of the program, the audio corresponding to the received user input in response to the received user input The audio device 170 may be controlled to output.
  • a user input eg, touch input, voice input, etc.
  • the electronic device 101 may control the vibration module to provide a sense of vibration related to the executed program in response to the execution of the program. For example, if the electronic device 101 receives a user input (eg, touch input, voice input, etc.) related to the program during execution of the program, the electronic device 101 vibrates in response to the received user input in response to the received user input So that the vibration module can be controlled.
  • a user input eg, touch input, voice input, etc.
  • FIG. 24 is a flowchart 2400 illustrating an example of an operation of providing various contents based on emotion information of a user of the electronic device 101 according to various embodiments.
  • the operation of the electronic devices 101 and 101 is not limited to the order of the operations of the electronic devices 101 and 101 shown in FIG. 24, and may be performed in a different order from the order shown. have.
  • more operations are performed than the operations of the electronic devices 101 and 101 shown in FIG. 24 or the operations of the electronic devices 101 and 101 shown in FIG. 24 are performed. Less than one operation may be performed.
  • FIG. 24 will be described with reference to FIG. 25.
  • 25 is a diagram illustrating another example of an operation of providing various contents based on emotion information of a user of the electronic device 101 according to various embodiments.
  • the electronic device 101 may control the camera to acquire at least one image of a user's face as shown in FIG.
  • the electronic device 101 may control the camera to photograph the user's face in response to the execution of the program.
  • Operation 2401 may be performed as in operation 402 described above, so a duplicate description is omitted.
  • the electronic device 101 may check the emotion information of the user based on at least one image as illustrated in FIG. 25.
  • Operation 2402 may be performed based on an operation of analyzing at least one image, such as operation 403 described above, and thus, redundant description will be omitted.
  • the electronic device 101 may check pattern information corresponding to the identified user's emotion information.
  • the pattern information may be information that variously outputs the audio 2501 from the electronic device 101 in response to the user's emotion information.
  • the pattern information may include at least one attribute of the audio 2501 output from the electronic device 101 in response to the user's emotion information (eg, the overall volume of the audio, the depth of the audio, and the audio of each frequency). Volume).
  • the pattern information may include information on at least one attribute of the audio 2501 for each emotion type of the user.
  • the pattern information includes information indicating parameters for the first attribute, ..., and N attributes corresponding to the first emotion information (for example, happiness), and the second emotion information (for example, sadness). It may include information indicating parameters for the corresponding first attribute, ..., parameters for the Nth attribute.
  • the pattern information may include information to continuously change at least one attribute of the audio 2501 output from the electronic device 101.
  • the information for continuously changing at least one attribute of the audio 2501 is information in which a change speed of at least one attribute is time-varying, such as the above-described pattern parameter, and thus redundant description is omitted.
  • the pattern information may be information for determining the type of the audio 2501 corresponding to the identified user's emotion information.
  • the pattern information may include a type of audio 2501 corresponding to each emotion type of the user.
  • the pattern information includes first audio (eg, an audio of an exciting mood) corresponding to first emotion information indicating a first emotional state (eg, happiness), and a second representing a second emotional state (eg, sadness) And second audio (eg, sad mood audio) corresponding to emotion information.
  • the electronic device 101 controls the audio device 170 to continuously change and output at least a portion of at least one attribute of the audio 2501 based on the identified pattern information. can do. As illustrated in FIG. 25, when the electronic device 101 outputs the audio 2501 associated with the program while the program is being executed, at least a part of at least one attribute of the audio 2501 based on the identified pattern information The audio device 170 may be controlled to continuously change and output.
  • the electronic device 101 checks the pattern information corresponding to the identified emotion information, and the audio 2501 is based on the value of at least one attribute of the audio 2501 included in the identified pattern information.
  • the audio device 170 can be controlled to output.
  • the electronic device 101 may continuously change and output the first attribute (eg, the entire volume of the audio) among at least one attribute of the audio 2501 based on the pattern information corresponding to the identified emotion information. have.
  • the rate of change may be different for each emotion information of the identified user.
  • the electronic device 101 increases the size of the first attribute (eg, the entire volume of the audio) at a high speed in the beginning based on the first parameter corresponding to the first emotional state, and then gradually increases the speed of the element. You can increase the size.
  • the electronic device 101 may initially set the first attribute (eg, the entire volume of audio) at a slow speed based on the second pattern parameter corresponding to the second emotional state. You can increase the size and then gradually increase the size of the element.
  • the electronic device 101 may control the audio device 170 to output the audio 2501 corresponding to the user's emotion information based on the identified pattern information. For example, when the first pattern information corresponding to the first emotion information is checked, the electronic device 101 first audio (eg, happiness) corresponding to the first emotion information (eg, happiness) based on the first pattern information (eg : When the second pattern information corresponding to the second emotion information is checked, the second audio (eg, sadness) corresponding to the second emotion information (for example, sadness) is included. Sad mood audio).
  • the electronic device 101 outputs the audio 2501 based on the plurality of emotion information, such as the operation of displaying a graphic element based on the plurality of emotion information of the electronic device 101 according to various embodiments. So that the audio device 170 can be controlled. In this regard, redundant description will be omitted.
  • the electronic device 101 may control the vibration module to vibrate in response to the user's emotion information.
  • the electronic device 101 may check the emotion information of the user, and control the vibration module so that at least one property of vibration is continuously changed based on pattern information corresponding to the identified emotion information.
  • the electronic device 101 may check the emotion information of the user and control the vibration module to vibrate in response to the user's emotion information based on the pattern information corresponding to the identified emotion information. Since the vibration operation of the electronic device 101 can be performed as the operation of displaying the graphic element described above and the operation of outputting audio in response to user emotion information, a duplicate description is omitted.
  • an execution screen of at least one program including a camera, a display, and at least one processor, wherein the at least one processor includes at least one graphic element Control the display to display, and control the camera to obtain at least one image of a user's face, check the emotion information of the user based on the at least one image, and confirm the emotion
  • the pattern information corresponding to the information is checked, and at least a part of at least one attribute of at least a part of at least one graphic element is continuously (continuously) based on the identified pattern information on the execution screen of the executed at least one program.
  • An electronic device configured to control the display to change and display, may be provided.
  • the at least one processor is at least a part of an operation of continuously changing and displaying the at least a part of at least one attribute of at least a part of the at least one graphic element, and the at least one graphic element It can be set to gradually change the size of at least a portion of the.
  • the at least one processor is based on first pattern information corresponding to the emotion information indicating a first emotion state as at least a part of an operation of gradually changing the size of at least a portion of the at least one graphic element
  • the size is gradually changed by changing the size of at least a portion of the at least one graphic element to a first change speed
  • the size of the at least one graphic element may be set to gradually change the size by setting the rate of change of the size to a second rate of change.
  • the at least one processor is at least part of an operation of controlling the display to continuously change and display the at least a portion of at least one attribute of at least a portion of at least one graphic element,
  • the rate of change of color of at least one graphic element the rate of change in brightness, the rate of change in saturation, the rate of change in sharpness, the rate of change in size, the rate of change in transparency, the rate of change in sharpness, the rate of rotation change, or the rate of change in position movement It may be set to continuously change at least one of the time intervals.
  • the at least one processor is a part of an operation of controlling the camera to obtain at least one image of a user's face, in response to execution of the at least one program, for a specified period of time. It may be set to control the camera to obtain the at least one image.
  • the at least one processor is at least part of an operation of controlling the camera to obtain at least one image of a user's face, and sequentially after the execution of the at least one program, Controlling the camera to obtain a plurality of images of a face, and as a part of the operation of checking the emotion information, the plurality of emotion information based on the plurality of images captured by the user's face sequentially obtained
  • Checking as at least a part of the operation of checking the pattern information corresponding to the checked emotion information, check the plurality of pattern information corresponding to the identified plurality of emotion information, and at least one based on the identified pattern information
  • At least a part of an operation of controlling the display to continuously change and display at least one attribute of at least a part of the graphic element, wherein the at least part of the graphic element is displayed based on the identified plurality of pattern information Can be set to control the display.
  • the at least one processor is based on the at least one image, and based on the at least one image as at least a part of an operation of checking the emotion information, and at least one emotion associated with the user.
  • the at least one processor is based on the at least one image, and based on the at least one image as at least a part of an operation of checking the emotion information, and at least one emotion associated with the user.
  • the first pattern information is checked based on a part of the information related to the at least one emotion related to the user, and the user Check the second pattern information based on another part of the information related to the at least one emotion associated with, and at least one of the at least one graphic element based on the identified pattern information on the execution screen of the executed at least one program
  • At least part of the operation of controlling the display to display a part, displaying at least a part of the at least one graphic element based on the first pattern information, and displaying the at least one graphic based on the second pattern information It can be set to control the display to display another portion of at least a portion of the element.
  • the at least one processor is based on the at least one image, and at least part of an operation of checking the emotion information, based on the at least one image, at least one emotion associated with the user
  • Checking information related to, and at least part of the operation of checking pattern information based on the identified emotion information checks the first pattern information based on a part of the information related to at least one emotion related to the user, and The second pattern information is checked based on another part of the information related to at least one emotion related to the user, and the at least one graphic element is displayed on the execution screen of the at least one program based on the identified pattern information.
  • the at least one processor is at least part of an operation of controlling the display to display at least a portion of the at least one graphic element based on the identified pattern information, and executing the at least one program Based on information related to the at least one graphic element included in the screen, it may be set to check at least a portion of the at least one graphic element that can be controlled.
  • the electronic device further includes a memory storing the pattern information in advance, and the pattern information includes parameters related to at least one display attribute of the at least one graphic element, and the at least one The parameter related to the above display attribute corresponds to the identified at least one value, and the at least one processor is configured to display the at least one graphic element based on the identified pattern information on the execution screen of the executed at least one program.
  • the display may be configured to control the display to display the at least one graphic element based on parameters related to the at least one attribute.
  • the at least one processor executes at least one first program after an operation of controlling the display to display at least a portion of the at least one graphic element based on the identified pattern information And control the display to display an execution screen of the executed at least one first program including at least one first graphic element in response to the execution of the at least one first program, and
  • the camera is controlled to obtain a first image of a user's face, and based on the acquired first image of the user's face, the user's first Check the emotion information, check the first pattern information corresponding to the first emotion information of the identified user, and the at least one based on the identified first pattern information on the execution screen of the at least one first program It can be set to control the display to display at least a portion of the first graphical element of the.
  • the electronic device further includes a memory for storing a plurality of programs and a plurality of pattern information including the pattern information, and the at least one processor is the first emotion information of the identified user.
  • the at least one processor is the first emotion information of the identified user.
  • it may be set to check the pattern information corresponding to the first emotion information of the identified user among the plurality of pattern information.
  • the electronic device further includes a memory storing a plurality of pattern information and user data
  • the at least one processor includes at least one included in each of the plurality of pattern information based on the user data.
  • Adjusting parameters related to one or more display attributes, and at least part of an operation of checking the pattern information includes parameters related to the adjusted at least one display attribute corresponding to the identified emotion information among the plurality of pattern information It can be set to check the pattern information.
  • the at least one processor displays based on the identified pattern information after an operation of controlling the display to display at least a portion of at least one graphic element based on the identified pattern information It may be configured to receive a user input for inputting a score associated with at least a portion of at least one graphic element, and to update the user data based on the input score.
  • the electronic device further includes a memory storing a plurality of emotion information including the at least one emotion information, and the at least one processor includes a plurality of patterns corresponding to the plurality of emotion information. It can be set to check the information and control the display to display at least one first graphic element based on each of the identified plurality of pattern information.
  • the electronic device further includes an audio device, and the at least one processor identifies first pattern information corresponding to the user's emotion information, and based on the identified first pattern information, the user It may be set to control the audio device to output the audio corresponding to the emotion information of.
  • the operation of checking the emotion information of the user, the operation of checking the pattern information corresponding to the identified emotion information, and the execution screen of the executed at least one program A control method of an electronic device may be provided, including an operation of controlling a display to continuously change and display at least a portion of at least one attribute of at least a portion of at least one graphic element based on the identified pattern information. .
  • controlling the camera to acquire the at least one image for a specified period after execution of the at least one program
  • a method of controlling an electronic device including an operation may be provided.
  • based on the at least one image based on the at least one image as at least a part of the operation of checking the emotion information, checking the information related to the at least one emotion related to the user , An operation of checking at least one value associated with each of the information related to the identified at least one emotion, and a first emotion information of the identified at least one emotion information having the largest at least one value as the emotion information
  • a control method of an electronic device including an operation of checking may be provided.
  • a control method of an electronic device including an operation of identifying at least a portion of the at least one controllable graphic element may be provided.
  • an execution screen of at least one program including a camera, a display, and at least one processor, wherein the at least one processor includes at least one graphic element Control the display to display, control the camera to obtain at least one image of a user's face, check the first emotion information of the user based on the at least one image, and confirm the Control the display to display at least a portion of the at least one graphic element on the execution screen of the executed at least one program based on the first emotion information, and the second emotion of the user based on the at least one image
  • an electronic device configured to check information and control the display to display at least a portion of the at least one graphic element on an execution screen of the executed at least one program based on the identified second emotion information Can.
  • one (eg, first) component is “connected (functionally or communicatively)” to another (eg, second) component or is “connected,” the component is the other It may be directly connected to the component, or may be connected through another component (eg, the third component).
  • “configured to (or configured)” is changed to “a suitable for”, “a suitable for,” or “a”, depending on the situation, for example, in hardware or software. It can be used interchangeably with “made to do,” “can do,” or “designed to do.”
  • the expression “device configured to” may mean that the device “can” with other devices or parts.
  • processors configured (or set) to perform A, B, and C means by executing a dedicated processor (eg, an embedded processor) to perform the operation, or one or more software programs stored in the memory device.
  • a general-purpose processor eg, CPU or application processor
  • Electronic devices or external electronic devices include, for example, a smart phone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, and a server.
  • PDA portable multimedia player
  • MP3 player MP3 player
  • Medical device camera
  • wearable devices are accessories (e.g. watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted-devices (HMD)), fabrics or clothing (e.g.
  • the electronic clothing may include at least one of a body-attached type (eg, a skin pad) or a bio-implantable circuit
  • the electronic device or electronic device is, for example, a television, a digital video disk (DVD) player.
  • Audio refrigerator, air conditioner, cleaner, oven, microwave, washing machine, air purifier, set-top box, home automation control panel, security control panel, media box, game console, electronic dictionary, electronic key, camcorder, or electronic picture frame It may include at least one of.
  • the electronic device or external electronic device includes various medical devices (eg, various portable medical measurement devices (such as a blood glucose meter, heart rate monitor, blood pressure meter, or body temperature meter), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI) resonance imaging (CT), computed tomography (CT), imaging, or ultrasound), navigation devices, global navigation satellite system (GNSS), event data recorder (EDR), flight data recorder (FDR), automotive infotainment devices , Marine electronic equipment (e.g.
  • the electronic device or external electronic device is a furniture, building/structure, or part of a vehicle, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, Water, electricity, gas, or radio wave measurement devices, etc.).
  • the electronic device or at least one external electronic device may be flexible or a combination of two or more of the various devices described above.
  • the electronic device or at least one external electronic device according to the embodiment of the present document is not limited to the above-described devices.
  • the term user may refer to a person or electronic device using an electronic device or at least one external electronic device, or a device using at least one external electronic device (eg, artificial intelligence electronic device).

Abstract

다양한 실시예들에 따르면, 전자장치에 있어서, 카메라, 디스플레이, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 적어도 하나의 그래픽 엘리먼트(graphic element)를 포함하는 적어도 하나의 프로그램의 실행 화면을 표시하도록 상기 디스플레이를 제어하고, 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하고, 상기 적어도 하나의 이미지를 기반으로, 상기 사용자의 감정 정보를 확인하고, 상기 확인된 감정 정보에 대응하는 패턴 정보를 확인하고, 상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 확인된 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 적어도 일부를 연속적으로(continuously) 변경하여 표시하도록 상기 디스플레이를 제어하도록 설정된, 전자장치가 제공된다. 그 밖의 다양한 실시예가 가능하다.

Description

적어도 하나의 그래픽 엘리먼트를 표시하는 전자장치 및 그 제어 방법
본 문서는 적어도 하나의 그래픽 엘리먼트를 표시하는 전자장치 및 그 제어 방법에 관한 것이다.
현대를 살아가는 많은 사람들에게 휴대용 디지털 통신기기들은 하나의 필수 요소가 되었다. 소비자들은 휴대용 디지털 통신기기들을 이용하여 언제 어디서나 자신이 원하는 다양한 고품질의 서비스를 제공받고 싶어한다.
감정인식 서비스는, 휴대용 디지털 통신기기들에 구비되는 카메라에 의해 촬영되는 소비자의 얼굴의 이미지로부터 확인되는 소비자들의 감정 상태에 대응하여 다양한 컨텐츠 서비스를 소비자들에게 제공하는 서비스이다. 감정인식 서비스는 제공되는 다양한 컨텐츠 서비스에 대한 소비자들의 몰입감을 향상 시키기 위해 수행된다.
감정인식 서비스에 의해 제공되는 다양한 컨텐츠 서비스에 대한 소비자들의 몰입감을 고양시키기 위해서는, 소비자들의 감정 상태에 대응하는 최적의 방식으로 다양한 컨텐츠 서비스를 제공하는 기술의 구현이 필요하다.
사용자의 감정 상태에 대응하여 전자장치의 화면을 표시하는 감정인식 서비스가 제공된다. 전자장치는 다양한 컨텐츠 서비스의 제공 시, 다양한 사용자 감정 상태(예: 행복, 슬픔, 화남 등)에 대응하는 화면을 제공한다. 그러나, 전자장치는 사용자의 감정 상태에 대응하여 정적인(static) 화면을 표시하며, 이는 사용자 감정을 피드백하는데 불충분하다. 단순히 정적인 화면을 표시하는 것으로는 생동감을 표현할 수 없기 때문이다. 사용자가 상대방으로부터 자신의 감정에 공감하는 리액션을 보았을 때, 사용자가 얻는 심리적 공감도가 높아질 수 있다. 이에 따라, 예를 들어 움직이는 비주얼 엘리먼트 등을 이용하여 생동감을 높임으로서 사용자의 심리적 공감도를 높일 수 있는 기술 개발이 요청된다.
다양한 실시예에 따른 전자장치 및 그 제어 방법은 확인된 사용자의 감정 상태에 대응하여 전자장치의 화면에 표시되는 적어도 하나의 그래픽 엘리먼트의 속성을 연속적으로 변경하여, 다양한 컨텐츠 서비스와 함께 제공할 수 있다. 이에 따라, 사용자는 사용자의 감정 상태에 대응하여 다이나믹(Dymanic)한 화면을 제공받게 되어, 다이나믹한 화면과 함께 제공되는 다양한 컨텐츠 서비스에 대한 향상된 몰입감을 가질 수 있다. 이에 따라, 감정인식 서비스 분야에서 사용자의 감정 상태에 대응하여 사용자의 몰입감을 향상시키는 최적의 방식으로 컨텐츠 서비스를 제공하는 전자장치 및 그 제어 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 전자장치에 있어서, 카메라, 디스플레이, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 적어도 하나의 그래픽 엘리먼트(graphic element)를 포함하는 적어도 하나의 프로그램의 실행 화면을 표시하도록 상기 디스플레이를 제어하고, 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하고, 상기 적어도 하나의 이미지를 기반으로, 상기 사용자의 감정 정보를 확인하고, 상기 확인된 감정 정보에 대응하는 패턴 정보를 확인하고, 상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 확인된 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 적어도 일부를 연속적으로(continuously) 변경하여 표시하도록 상기 디스플레이를 제어하도록 설정된, 전자장치가 제공될 수 있다.
다양한 실시예들에 따르면, 적어도 하나의 그래픽 엘리먼트(graphic element)를 포함하는 적어도 하나의 프로그램의 실행 화면을 표시하도록 상기 디스플레이를 제어하는 동작, 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 카메라를 제어하는 동작, 상기 적어도 하나의 이미지를 기반으로, 상기 사용자의 감정 정보를 확인하는 동작, 상기 확인된 감정 정보에 대응하는 패턴 정보를 확인하는 동작 및 상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 확인된 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 적어도 일부를 연속적으로 변경하여 표시하도록 디스플레이를 제어하는 동작을 포함하는, 전자장치의 제어 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 전자장치에 있어서, 카메라, 디스플레이, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 적어도 하나의 그래픽 엘리먼트(graphic element)를 포함하는 적어도 하나의 프로그램의 실행 화면을 표시하도록 상기 디스플레이를 제어하고, 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하고, 상기 적어도 하나의 이미지를 기반으로 상기 사용자의 제 1 감정 정보를 확인하고, 상기 확인된 제 1 감정 정보를 기반으로 상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하고, 상기 적어도 하나의 이미지를 기반으로 상기 사용자의 제 2 감정 정보를 확인하고, 상기 확인된 제 2 감정 정보를 기반으로 상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하도록 설정된, 전자장치가 제공될 수 있다.
다양한 실시예들에 따른, 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예에 따르면 확인된 사용자의 감정 상태에 대응하여 전자장치의 화면에 표시되는 적어도 하나의 그래픽 엘리먼트의 속성을 연속적으로 변경하여, 다양한 컨텐츠 서비스와 함께 제공하는 전자장치 및 그 제어 방법이 제공될 수 있다. 다양한 실시예에 따르면 사용자의 감정 상태에 대응하여 다이나믹(Dymanic)한 화면을 제공하여, 다양한 컨텐츠 서비스에 대한 향상된 몰입감을 제공하는 전자장치 및 그 제어 방법이 제공될 수 있다. 다양한 실시예에 따르면 감정인식 서비스 분야에서 사용자의 감정 상태에 대응하여 사용자의 몰입감을 향상시키는 최적의 방식으로 컨텐츠 서비스를 제공하는 전자장치 및 그 제어 방법이 제공될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자장치의 블럭도이다.
도 2는 다양한 실시예들에 따른 사용자의 감정 정보를 기반으로 수행되는 전자장치의 동작의 일 예를 설명하기 위한 흐름도이다.
도 3은 다양한 실시예들에 따른 사용자의 감정 정보를 기반으로 수행되는 전자장치의 동작의 일 예를 설명하기 위한 도면이다.
도 4는 다양한 실시예들에 따른 전자장치의 동작의 다른 예를 설명하기 위한 흐름도이다.
도 5는 다양한 실시예들에 따른 전자장치의 사용자의 얼굴을 촬영한 이미지를 획득하는 동작의 일 예를 설명하기 위한 흐름도이다.
도 6은 다양한 실시예들에 따른 전자장치의 사용자의 얼굴을 촬영한 이미지를 획득하는 동작의 일 예를 설명하기 위한 도면이다.
도 7은 다양한 실시예들에 따른 전자장치의 감정 정보를 확인하고, 패턴 정보를 기반으로 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 흐름도이다.
도 8은 다양한 실시예들에 따른 전자장치의 감정 정보를 확인하고, 패턴 정보를 기반으로 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 도면이다.
도 9a는 다양한 실시예들에 따른 전자장치의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 적어도 일부를 연속적으로 변경하는 동작의 일 예를 설명하기 위한 도면이다.
도 9b는 다양한 실시예들에 따른 전자장치의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 적어도 일부를 연속적으로 변경하는 동작의 일 예를 설명하기 위한 도면이다.
도 10은 다양한 실시예들에 따른, 전자장치의 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지로부터 획득된 복수 개의 감정 정보를 기반으로 적어도 하나의 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 흐름도이다.
도 11은 다양한 실시예들에 따른, 전자장치의 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하고, 복수 개의 감정 정보를 확인하는 동작의 일 예를 설명하기 위한 도면이다.
도 12a는 다양한 실시예들에 따른 전자장치의 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지로부터 확인된 복수 개의 감정 정보를 기반으로 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 도면이다.
도 12b는 다양한 실시예들에 따른 전자장치의 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지로부터 확인된 복수 개의 감정 정보를 기반으로 그래픽 엘리먼트를 표시하는 동작의 다른 예를 설명하기 위한 도면이다.
도 13은 다양한 실시예들에 따른 전자장치의 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지로부터 확인된 복수 개의 감정 정보를 기반으로 그래픽 엘리먼트를 표시하는 동작의 다른 예를 설명하기 위한 도면이다.
도 14는 다양한 실시예들에 따른, 전자장치의 복수 개의 감정 정보를 기반으로 적어도 하나의 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 흐름도이다.
도 15a는 다양한 실시예들에 따른, 전자장치의 복수 개의 감정 정보를 기반으로 적어도 하나의 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 도면이다.
도 15b는 다양한 실시예들에 따른, 전자장치의 복수 개의 감정 정보를 기반으로 적어도 하나의 그래픽 엘리먼트를 표시하는 동작의 다른 예를 설명하기 위한 도면이다.
도 16은 다양한 실시예들에 따른 전자장치의 미리 저장된 복수 개의 패턴 정보를 기반으로 복수 개의 프로그램들의 각각의 실행 화면 상에서 적어도 하나의 가변 그래픽 엘리먼트를 표시하는 동작을 설명하기 위한 흐름도이다.
도 17a는 다양한 실시예들에 따른 전자장치의 미리 저장된 복수 개의 패턴 정보를 기반으로 복수 개의 프로그램들의 각각의 실행 화면 상에서 적어도 하나의 가변 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 도면이다.
도 17b는 다양한 실시예들에 따른 전자장치의 미리 저장된 복수 개의 패턴 정보를 기반으로 복수 개의 프로그램들의 각각의 실행 화면 상에서 적어도 하나의 가변 그래픽 엘리먼트를 표시하는 동작의 다른 예를 설명하기 위한 도면이다.
도 18은 다양한 실시예들에 따른 전자장치의 미리 저장된 사용자 데이터를 패턴 정보에 반영하여 적어도 하나의 가변 그래픽 엘리먼트를 표시하는 동작을 설명하기 위한 흐름도이다.
도 19는 다양한 실시예들에 따른 전자장치의 미리 저장된 사용자 데이터를 패턴 정보에 반영하여 적어도 하나의 가변 그래픽 엘리먼트를 표시하는 동작을 설명하기 위한 도면이다.
도 20은 다양한 실시예들에 따른 전자장치의 사용자 데이터를 획득하는 동작의 일 예를 설명하기 위한 흐름도이다.
도 21은 다양한 실시예들에 따른 전자장치의 사용자 데이터를 획득하는 동작의 일 예를 설명하기 위한 도면이다.
도 22는 다양한 실시예들에 따른 전자장치의 축적된 복수 개의 감정 정보들을 지정된 정보 형태로 표시하는 동작의 일 예를 설명하기 위한 흐름도이다.
도 23은 다양한 실시예들에 따른 축적된 복수 개의 감정 정보들을 지정된 정보 형태로 표시하는 동작의 일 예를 설명하기 위한 도면이다.
도 24는 다양한 실시예들에 따른 전자장치의 사용자의 감정 정보를 기반으로 다양한 컨텐트를 제공하는 동작의 일 예를 설명하기 위한 흐름도이다.
도 25는 다양한 실시예들에 따른 전자장치의 사용자의 감정 정보를 기반으로 다양한 컨텐트를 제공하는 동작의 다른 예를 설명하기 위한 도면이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자장치(101)는 서버(108)를 통하여 전자장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150) 를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자장치(101)와 직접 또는 무선으로 연결된 외부 전자장치(예: 전자장치(102))(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자장치(101)이 외부 전자장치(예: 전자장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자장치(101)가 외부 전자장치(예: 전자장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자장치(101)와 외부 전자장치(예: 전자장치(102), 전자장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 하나 이상의 안테나들을 포함할 수 있고, 이로부터, 제 1 네트워크 198 또는 제 2 네트워크 199와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자장치 간에 송신되거나 수신될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자장치(101)와 외부의 전자장치(104)간에 송신 또는 수신될 수 있다. 전자장치(102, 104) 각각은 전자장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자장치들(102, 104, or 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자장치(101)로 전달할 수 있다. 전자장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
이하에서는, 다양한 실시예들에 따른 전자장치 및 그 제어 방법의 일 예를 설명한다.
이하에서 설명되는 전자장치(101)의 동작은 프로세서(120)가 전자장치(101)의 적어도 하나의 구성을 이용하여 해당 동작을 수행하도록 제어되는 것으로 기재되어 있으나, 이에 국한되지 않을 수 있다. 예를 들어, 이하에서 설명되는 전자장치(101)의 동작을 유발하는 인스트럭션 또는 컴퓨터 코드가 메모리(130)에 저장되어 있을 수 있다. 저장된 인스트럭션 또는 컴퓨터 코드는 프로세서(120)가 전자장치(101)에 포함된 적어도 하나의 구성을 이용하여 해당 동작을 처리하도록 유발할 수 있다.
도 2는 다양한 실시예들에 따른 사용자의 감정 정보를 기반으로 수행되는 전자장치(101)의 동작의 일 예를 설명하기 위한 흐름도(200)이다. 다양한 실시예들에 따르면, 전자장치(101)의 동작은 도 2에 도시되는 전자장치(101)의 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 2에 도시되는 전자장치(101)의 동작 보다 더 많은 동작들이 수행되거나, 또는 도 2에 도시되는 전자장치(101)의 동작들 보다 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 3을 참조하여 도 2에 대해서 설명한다.
도 3은 다양한 실시예들에 따른 사용자의 감정 정보를 기반으로 수행되는 전자장치(101)의 동작의 일 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 기반으로 확인되는 사용자의 감정 정보를 기반으로, 적어도 하나의 프로그램의 실행 화면 상에서 그래픽 엘리먼트를 표시할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 201 동작에서 적어도 하나의 그래픽 엘리먼트를 포함하는 적어도 하나의 프로그램의 실행 화면(301, 302)을 표시하도록 디스플레이를 제어할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)에 의해 실행되는 프로그램은 전자장치(101)에 설치된 네이티브 어플리케이션, 웹 어플리케이션, 모바일 웹, 하이브리드 어플리케이션 등을 포함하며, 상기 기재에 국한되지 않고 프로그램의 실행 시 실행 화면이 표시되는 다양한 프로그램이 될 수 있다. 일 예를 들어, 도 3에 도시된 바와 같이 적어도 하나의 프로그램은 락 스크린 프로그램일 수 있다.
다양한 실시예들에 따르면, 적어도 하나의 프로그램의 실행 화면(301, 302)은 프로그램의 실행에 따라 전자장치(101)의 디스플레이 상에 표시되는 화면으로서, 프로그램의 실행 시에 최초로 표시되는 화면(initial screen)일 수 있으나, 이에 국한되지 않고 기본 화면 이외의 프로그램의 실행에 따라 표시될 수 있는 다양한 화면(예: 배경 화면, 스플래시 화면(splash screen, 로딩 화면) 등)이 될 수 있다. 예를 들어, 전자장치(101)는, 도 3에 도시된 바와 같이 락 스크린 프로그램의 실행에 응답하여, 적어도 하나의 그래픽 엘리먼트(221, 222, 223, 224, 225, 226, 227)를 포함하는 락 스크린 프로그램의 기본 화면을 표시할 수 있다.
다양한 실시예들에 따르면 적어도 하나의 그래픽 엘리먼트(graphic element)는 적어도 하나의 프로그램의 실행 화면(301, 302)을 구성하도록 디스플레이 상에 표시되는 적어도 하나의 객체를 의미할 수 있다. 예를 들어, 적어도 하나의 그래픽 엘리먼트는 적어도 하나의 프로그램의 실행 화면(301, 302)이 표시되는 경우, 적어도 하나의 프로그램의 실행 화면(301, 302)을 구성하도록 그래픽 엘리먼트를 포함하는 프로그램의 실행 화면(301, 302)이 미리 생성되거나 또는 프로그램의 실행 화면(301, 302)과는 별도로 그래픽 엘리먼트가 표시되도록 미리 프로그래밍 된 것일 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 202 동작에서 사용자의 얼굴과 관련된 적어도 하나의 이미지(211, 212)를 획득하도록 카메라(180)를 제어할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 203 동작에서 제 1 감정 정보를 확인하고, 204 동작에서 제 1 감정 정보를 기반으로 실행된 적어도 하나의 프로그램의 실행 화면(301, 302) 상에서 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 속성을 연속적으로 변경하면서 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 전자장치(101)는, 도 3에 도시된 바와 같이, 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 기반으로, 사용자의 행복함을 확인한 것(예: 행복함을 나타내는 제 1 감정 정보를 확인)에 응답하여, 프로그램의 실행 화면(301, 302) 상에 사용자의 행복한 감정 상태에 대응하는 형태로 적어도 하나의 그래픽 엘리먼트(221, 222, 223, 224)의 속성을 연속적으로 변경하여 표시할 수 있다. 예를 들어, 적어도 하나의 그래픽 엘리먼트(221,222,223,224)의 크기, 색상, 투명도 등의 다양한 속성이 제 1 패턴에 따라 계속적으로 변경될 수 있다. 예를 들어, 적어도 하나의 그래픽 엘리먼트(221,222,223,224)의 속성 중 적어도 일부가 점진적으로(gradually) 변경될 수도 있으며, 이 경우 적어도 하나의 그래픽 엘리먼트(221,222,223,224)가 변경되는 애니메이션 효과가 제공될 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 205 동작에서 제 2 감정 정보를 확인하고, 206 동작에서 제 2 감정 정보를 기반으로 실행된 적어도 하나의 프로그램의 실행 화면(301, 302) 상에서 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 속성을 변경하며 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 전자장치(101)는, 도 3에 도시된 바와 같이, 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 기반으로, 사용자의 화남을 확인한 것(예: 화남을 나타내는 제 2 감정 정보를 확인)에 응답하여, 프로그램의 실행 화면(301, 302) 상에 사용자의 화난 감정에 대응하는 형태로 적어도 하나의 그래픽 엘리먼트(225, 226)의 속성을 변경하며 표시할 수 있다. 예를 들어, 적어도 하나의 그래픽 엘리먼트(225,226)의 크기, 색상, 투명도 등의 다양한 속성이 제 2 패턴에 따라 계속적으로 변경될 수 있으며, 제 1 패턴 및 제 2 패턴이 상이할 수 있다. 즉, 적어도 하나의 그래픽 엘리먼트(225,226)가 변경되는 애니메이션 효과가 제공될 수 있다. 도 3에서는 감정별로 엘리먼트가 상이한 것이 도시되어 있지만, 이는 단순히 예시적인 것으로, 다양한 실시예에 따른 전자 장치(101)는, 동일한 엘리먼트들에 대하여, 감정마다 속성 변경 패턴을 상이하게 설정할 수도 있다.
이하에서는, 다양한 실시예들에 따른 전자장치(101) 및 그 제어 방법의 다른 예를 설명한다.
다양한 실시예들에 따르면, 전자장치(101)는 획득된 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 기반으로 사용자의 감정 정보를 확인하고, 프로그램의 실행 화면 상에서 확인된 사용자의 감정 정보에 대응하는 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트를 표시할 수 있다.
도 4는 다양한 실시예들에 따른 전자장치(101)의 동작의 다른 예를 설명하기 위한 흐름도(400)이다. 다양한 실시예들에 따르면, 전자장치(101)의 동작은 도 4에 도시되는 전자장치(101)의 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 4에 도시되는 전자장치(101)의 동작 보다 더 많은 동작들이 수행되거나, 또는 도 4에 도시되는 전자장치(101)의 동작들 보다 더 적은 적어도 하나의 동작이 수행될 수도 있다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는, 401 동작에서, 적어도 하나의 그래픽 엘리먼트를 포함하는 적어도 하나의 프로그램의 실행 화면을 표시하도록 디스플레이를 제어할 수 있다. 프로그램의 실행 화면을 표시하는 전자장치(101)의 동작은 201 동작과 같이 수행될 수 있으므로, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는, 402 동작에서, 사용자의 얼굴을 촬영하여 이미지(211,212)를 획득하도록 카메라(180)를 제어할 수 있다.
이하에서는 도 5 내지 도 6을 참조하여 401 동작과 402 동작에 대해서 설명한다.
도 5는 다양한 실시예들에 따른 전자장치의 사용자의 얼굴을 촬영한 이미지를 획득하는 동작의 일 예를 설명하기 위한 흐름도(500)이다. 다양한 실시예들에 따르면, 전자장치(101)의 동작은 도 5에 도시되는 전자장치(101)의 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 5에 도시되는 전자장치(101)의 동작 보다 더 많은 동작들이 수행되거나, 또는 도 5에 도시되는 전자장치(101)의 동작들 보다 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 6을 참조하여 도 5에 대해서 설명한다.
도 6은 다양한 실시예들에 따른 전자장치의 사용자의 얼굴을 촬영한 이미지를 획득하는 동작의 일 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 적어도 하나의 프로그램의 실행에 응답하여, 적어도 하나의 그래픽 엘리먼트를 포함하는 적어도 하나의 프로그램의 실행 화면을 표시하고, 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는, 501 동작에서 도 6에 도시된 바와 같이 적어도 하나의 프로그램의 실행에 응답하여, 가변 그래픽 엘리먼트(601, 602, 603) 및 불가변 그래픽 엘리먼트(604)를 포함하는 적어도 하나의 프로그램의 실행 화면을 표시할 수 있다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는 지정된 방식의 실행 명령을 기반으로, 적어도 하나의 프로그램을 실행할 수 있다. 예를 들어, 도 6에 도시된 바와 같이 적어도 하나의 프로그램이 락 스크린 프로그램인 경우, 전자장치(101)는 전자장치(101)의 물리적인 키(예: 전원 키)(301)의 제어(예: 사용자 물리적 푸쉬 입력)에 응답하여 적어도 하나의 프로그램을 실행할 수 있다. 또 예를 들어, 적어도 하나의 프로그램이 어플리케이션인 경우, 전자장치(101)는 전자장치(101)의 터치 스크린 디스플레이 상에 표시되는 어플리케이션 아이콘을 선택하기 위한 사용자 입력에 응답하여, 적어도 하나의 프로그램을 실행할 수 있다. 상기 기재에 국한되지 않고, 적어도 하나의 프로그램을 실행하기 위한 다양한 사용자 입력에 의해, 적어도 하나의 프로그램이 실행될 수 있다.
다양한 실시예들에 따르면 적어도 하나의 프로그램의 실행 화면에 표시되는 가변 그래픽 엘리먼트(601, 602, 603)는 제어 가능(예: 패턴 정보를 기반으로 속성(807)을 변경)한 그래픽 엘리먼트이고, 불가변 그래픽 엘리먼트(604)는 패턴 정보를 기반으로 제어 불가능(예: 패턴 정보를 기반으로 속성(807)을 변경하지 못함)한 그래픽 엘리먼트일 수 있다. 가변 그래픽 엘리먼트(601, 602, 603)는 패턴 정보에 포함된 적어도 하나의 속성(807)에 관한 파라미터(808)를 기반으로 전자장치(101)에 의해 제어될 수 있다. 전자장치(101)의 가변 그래픽 엘리먼트(601, 602, 603)의 제어 동작에 대해서는 구체적으로 후술한다. 불가변 그래픽 엘리먼트(604)는 패턴 정보를 기반으로 제어될 수 없으나, 지정된 기능(예: 정보 제공, 또는 다른 프로그램을 실행하여 지정된 동작을 수행)을 제공할 수 있다. 예를 들어, 불가변 그래픽 엘리먼트(604)는 도 6에 도시된 바와 같이 현재 시각 표시 기능을 제공할 수 있다. 또 예를 들어, 불가변 그래픽 엘리먼트(604)는 도 6에 도시된 바와 같이 사용자에게 전화 기능(예: 불가변 그래픽 엘리먼트(604)가 선택되는 경우, 전자장치(101)의 전화 어플리케이션을 실행하여 전화 동작을 수행) 또는 메시지 기능(예: 불가변 그래픽 엘리먼트(604)가 선택되는 경우, 메시지 작성 어플리케이션을 실행하여 메시지 생성 동작을 수행)을 제공할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는, 502 동작에서 프로그램 실행에 응답하여, 카메라(180) 활성화할 수 있다. 예를 들어, 전자장치(101)는 프로그램의 실행 이전에 비활성화 상태(예: 촬영 상태 off)인 카메라(180)를 활성화 상태(예: 촬영 상태 on)로 전환할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는, 503 동작에서 도 6에 도시된 바와 같이 프로그램 실행 이후, 지정된 시간 구간(△t) 동안 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)를 획득할 수 있다. 예를 들어, 전자장치(101)는 프로그램의 실행 이후, 기설정된 시간 구간(△t) 동안 카메라(180)를 활성화 하고, 상기 기설정된 시간 구간(△t) 동안 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)를 획득할 수 있다. 상기 기설정된 시간 구간(△t)은 프로그램의 실행 화면이 표시되는 동안(달리 말하면, 프로그램의 실행 화면이 표시된 이후부터 프로그램의 실행 화면이 표시되지 않을 때까지의 시간 구간)일 수 있으나, 프로그램의 실행 화면이 표시된 이후로부터 특정 시간 구간(예: 프로그램의 실행 화면이 표시된 이후 t초, 또는 프로그램의 실행 화면이 표시된 이후 t1~t2)일 수 있다. 또 예를 들어, 전자장치(101)는 프로그램의 실행 이후, 미리 저장된 전자장치(101)의 사용자의 얼굴을 촬영한 적어도 하나의 이미지 (예: 전자장치(101)에 등록된 사용자의 얼굴을 촬영한 적어도 하나의 이미지)를 획득할 때까지 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)를 획득할 수 있다. 또, 전자장치(101)는 프로그램의 실행 이후, 미리 저장된 전자장치(101)의 사용자의 얼굴을 촬영한 적어도 하나의 이미지 (예: 전자장치(101)에 등록된 사용자의 얼굴을 촬영한 적어도 하나의 이미지)를 획득하고, 기설정된 시간 구간(△t) 동안 전자장치(101)의 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)를 계속하여 획득할 수 있다. 도 6에서는 두 개의 이미지(211, 212)를 이용하는 실시예에 대하여 설명되어 있지만, 이는 단순히 예시적인 것으로 하나의 이미지를 통한 감정 분석이 가능함을 당업자는 용이하게 이해할 수 있을 것이다.
이하에서는, 계속하여 전자 장치의 403 동작 내지 405 동작에 대해서 설명한다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는, 403 동작에서, 획득된 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)를 기반으로 사용자의 감정 정보를 확인할 수 있다. 전자장치(101)는 획득된 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)를 분석하여, 사용자의 감정 정보를 확인할 수 있다. 전자장치(101)의 사용자의 얼굴을 촬영한 이미지 분석 동작에 대해서는 구체적으로 후술한다.
다양한 실시예들에 따르면 사용자의 감정 정보는 현재(예: 프로그램의 실행 이후의 시점) 사용자의 감정 상태를 나타내는 정보일 수 있다.
다양한 실시예들에 따르면 사용자의 감정 정보에 의해 지시되는 사용자의 현재 감정 상태는 다양한 종류의 감정 상태(예: 화남, 경멸, 역겨움, 두려움, 행복, 중립, 슬픔, 놀람 등)일 수 있다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는, 404 동작에서, 확인된 사용자의 감정 정보에 대응하는 패턴 정보를 확인할 수 있다.
다양한 실시예들에 따르면 패턴 정보는 적어도 하나의 그래픽 엘리먼트가 다양한 형태(예: 색상, 명도, 채도, 크기, 모양, 투명도, 선명도)를 가지고, 다양한 움직임(예: 회전 속도, 이동 속도, 이동 방향 등)으로 프로그램의 실행 화면 상에서 이동되도록 하기 위한 정보일 수 있다. 구체적으로, 패턴 정보는 적어도 하나의 그래픽 엘리먼트의 적어도 하나의 속성(예: 색상, 명도, 채도, 크기, 모양, 투명도, 선명도, 회전 속도, 이동 속도, 이동 방향 등)이 연속적으로 변경되도록 하는 정보일 수 있다. 패턴 정보에 기반한 그래픽 엘리먼트를 연속적으로 변경하는 전자장치의 동작에 대해서는 구체적으로 후술한다.
다양한 실시예들에 따르면 메모리(132, 134)는 사용자의 감정 정보에 의해 지시되는 사용자의 다양한 종류의 감정 상태들의 각각에 각각 대응하는 복수 개의 패턴 정보(805)를 미리 저장할 수 있다. 예를 들어, 제 1 감정 상태(예: 화남)를 지시하는 제 1 감정 정보에 대응하는 제 1 패턴 정보 및 제 2 감정 상태(예: 경멸)를 지시하는 제 2 감정 정보에 대응하는 제 2 패턴 정보를 포함하는 복수 개의 패턴 정보(805)가 전자장치(101)의 메모리(132, 134)에 미리 저장되어 있을 수 있다. 또는, 감정 상태 별 감정 정도에 따라서도 패턴 정보가 상이하게 정의될 수도 있다. 예를 들어, 감정 상태 별로 확인된 값에 따라서, 감정 상태 별 레벨이 결정되며, 결정된 감정 상태 별로 속성 별 파라미터가 결정될 수 있다. 복수 개의 패턴 정보(805)에 포함된 적어도 하나의 속성의 각각의 파라미터에 대해서는 구체적으로 후술한다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는, 405 동작에서, 실행된 적어도 하나의 프로그램의 실행 화면 상에서 확인된 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 속성(807)의 적어도 일부를 연속적으로(continuously) 변경하여 표시하도록 디스플레이를 제어할 수 있다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는 적어도 하나의 프로그램의 실행 화면 상에 표시되는 적어도 하나의 그래픽 엘리먼트들 중 적어도 일부인 제어 가능한 그래픽 엘리먼트(예: 가변 그래픽 엘리먼트(601, 602, 603))를 확인된 패턴 정보를 기반으로 제어하여 표시할 수 있다.
다양한 실시예들에 따르면, 적어도 하나의 그래픽 엘리먼트는 적어도 하나의 속성(807)으로 표시될 수 있다. 적어도 하나의 속성(807)은 그래픽 엘리먼트의 형상(예: 색상, 명도, 채도, 크기, 모양, 투명도, 선명도 등), 그래픽 엘리먼트의 디스플레이 상에서의 이동 방향, 그래픽 엘리먼트의 회전 시의 회전 속도/가속도, 그래픽 엘리먼트의 이동 시의 이동 속도/가속도 등을 포함할 수 있다. 구체적으로 후술하겠으나, 전자장치(101)는 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트의 속성(807)을 연속적으로 변경하여 표시함으로써, 동적으로 변경되는 프로그램의 실행 화면을 제공할 수 있다.
이하에서는, 도 7 내지 도 9를 참조하여 403 동작 내지 405 동작에 대해서 설명한다.
도 7은 다양한 실시예들에 따른 전자장치(101)의 감정 정보를 확인하고, 패턴 정보를 기반으로 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 흐름도(700)이다. 다양한 실시예들에 따르면, 전자장치(101)의 동작은 도 7에 도시되는 전자장치(101)의 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 7에 도시되는 전자장치(101)의 동작 보다 더 많은 동작들이 수행되거나, 또는 도 7에 도시되는 전자장치(101)의 동작들 보다 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 8 및 9를 참조하여 도 7에 대해서 설명한다.
도 8은 다양한 실시예들에 따른 전자장치(101)의 감정 정보를 확인하고, 패턴 정보를 기반으로 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 도면이다. 도 8에 도시된 적어도 하나의 속성(807)은 예시에 불과하며, 패턴 정보에 포함된 속성은 그보다 더 많은 속성 또는 더 적은 속성으로 구현될 수 있다. 또한, 도 8에 도시된 적어도 하나의 속성(807)의 파라미터(808)는 예시에 불과하며, 도시된 바에 국한되지 않고 다양한 값으로 설정될 수 있다.
도 9a는 다양한 실시예들에 따른 전자장치(101)의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성(807)의 적어도 일부를 연속적으로 변경하는 동작의 일 예를 설명하기 위한 도면이다.
도 9b는 다양한 실시예들에 따른 전자장치의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성(807)의 적어도 일부를 연속적으로 변경하는 동작의 일 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는 701 동작에서, 사용자와 관련된 적어도 하나의 감정과 관련된 정보를 확인할 수 있다. 전자장치(101)는, 획득된 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)를 분석하여, 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)로부터 사용자의 적어도 하나의 감정 상태(예: 화남, 경멸, 역겨움, 두려움, 행복, 중립, 슬픔, 놀람 등)(802)를 확인할 수 있다. 예를 들어, 전자장치(101)는 도 8에 도시된 바와 같이, 획득된 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)와 미리 저장된 적어도 하나의 감정 상태(802)의 각각을 나타내는 얼굴 이미지(801)를 비교하여, 획득된 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)로부터 사용자의 적어도 하나의 감정 상태(802)를 확인할 수 있다. 예를 들어, 전자 장치(101)는 특징점 비교 방식등으로 감정 상태를 확인할 수 있으며, 이미지 비교 방식에는 제한이 없다. 아울러, 전자장치(101)는 획득된 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)로부터 적어도 하나의 감정 상태(802)를 확인하는 다양한 동작(예: 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)로부터 주름 깊이를 분석하는 동작 등)을 수행할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 등록된 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)만을 기반으로 사용자의 감정 정보를 확인할 수 있다. 예를 들어, 전자장치(101)는 획득된 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)들 중 미리 저장된 전자장치(101)의 사용자의 얼굴을 촬영한 적어도 하나의 이미지에 대응하는 이미지만을 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)로 하여, 사용자의 감정 정보를 확인할 수 있다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는 702 동작에서, 확인된 적어도 하나의 감정과 관련된 정보의 각각과 관련된 값을 확인할 수 있다. 예를 들어 전자장치(101)는, 도 8에 도시된 바와 같이 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)로부터 확인되는 적어도 하나의 감정 상태(802) 별로 정확도 값(803)을 확인할 수 있다. 전자장치(101)는, 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)와 미리 저장된 적어도 하나의 감정 상태(802)의 각각을 나타내는 얼굴 이미지(211, 212)를 비교하여, 유사도를 확인하고, 확인된 유사도를 기반으로 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)로부터 확인되는 적어도 하나의 감정 상태(802) 별로 정확도 값(803)을 확인(예: 적어도 하나의 감정 상태(802) 별 유사도를 백분율로 계산 또는 적어도 하나의 감정 상태(802) 별 유사도 그 자체를 정확도 값(803)으로 확인)할 수 있다. 예를 들어, 전자장치(101)는 도 8에 도시된 바와 같이 제 1 감정 상태(예: 행복)에 대해서 제 1 값(예: 유사도 70%), 제 2 감정 상태(예: 슬픔)에 대해서 제 2 값(예: 유사도 5%), 제3 감정 상태(예: 화남)에 대해서 제3 값(예: 유사도 1%), 제4 감정 상태(예: 놀람)에 대해서 제4 값(예: 유사도 11%), 제5 감정 상태(예: 중립)에 대해서 제5 값(예: 유사도 2%)를 확인할 수 있다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는 703 동작에서, 확인된 적어도 하나의 감정과 관련된 정보 중 값이 가장 큰 제 1 정보를 사용자의 감정 정보로 확인할 수 있다. 예를 들어, 전자장치(101)는 도 8에 도시된 바와 같이 사용자의 얼굴을 촬영한 적어도 하나의 이미지(211, 212)로부터 확인된 적어도 하나의 감정 상태의 각각과 관련된 값을 확인하고, 가장 큰 값을 가진 제 1 감정 상태(예: 행복)(804)를 확인하고, 제 1 감정 상태(804)를 나타내는 제 1 정보를 현재 전자장치(101)의 사용자의 감정 상태를 나타내는 사용자의 감정 정보로 확인할 수 있다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는 704 동작에서, 감정 정보에 대응하는 패턴 정보를 확인할 수 있다. 도 8에 도시된 바와 같이, 전자장치(101)는 미리 저장된 복수 개의 패턴 정보(805) 중 감정 정보에 대응하는 패턴 정보(806)를 확인할 수 있다.
다양한 실시예들에 따르면 복수 개의 패턴 정보(805)의 각각은 적어도 하나의 속성(807)에 관한 파라미터(808)를 포함할 수 있다. 적어도 하나의 속성(807)은 적어도 하나의 그래픽 엘리먼트가 표시되는 경우의 형상(예: 색상, 명도, 채도, 크기, 모양, 투명도, 선명도 등), 이동 방향, 회전 속도/가속도, 이동 속도/가속도 등의 값을 결정하는 정보일 수 있다.
다양한 실시예들에 따르면 복수 개의 패턴 정보(805)의 각각의 적어도 하나의 속성(807)에 관한 파라미터는, 대응하는 감정 상태의 정도에 따라 결정될 수 있다. 예를 들어, 제 1 감정 상태(예: 행복함)애 대응하는 적어도 하나의 속성(807)에 관한 파라미터는, 제 1 감정 상태가 제 1 레벨인 경우 제 1 값으로 설정되고, 제 2 감정 상태가 제 2 레벨인 경우 제 2 값으로 설정될 수 있다. 감정 상태의 레벨은, 감정 상태와 관련된 값을 기반으로 설정될 수 있다. 예를 들어, 감정 상태와 관련된 값이 높을수록, 해당 감정 상태의 레벨은 높은 레벨로 설정될 수 있다.
다양한 실시예들에 따르면, 복수 개의 패턴 정보(805)의 각각의 적어도 하나의 속성(807)에 관한 파라미터는, 연속적으로 변경될 수 있다. 이에 따라, 이에 대응하여 표시되는 적어도 하나의 그래픽 엘리먼트의 속성 또한 연속적으로 변경되어 표시될 수 있다. 해당 연속적으로 변경되는 파라미터는, 패턴 파라미터(904)로 정의될 수 있으며, 이에 대해서는 도 9b와 관련된 설명에서 후술한다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는 적어도 하나의 속성(807)에 관한 파라미터(808)를 기반으로 적어도 하나의 그래픽 엘리먼트의 형상의 정도(예: 색상의 정도, 명도의 정도, 채도의 정도, 크기의 정도, 모양의 종류, 투명도의 정도, 선명도의 정도 등), 이동 방향, 회전 속도/가속도의 정도, 또는 이동 속도/가속도의 정도 등을 결정할 수 있다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는 705 동작에서 적어도 하나의 그래픽 엘리먼트 중 제어 가능한 적어도 일부가 확인되는 경우, 706 동작에서 제 1 패턴 정보에 포함된 적어도 하나의 속성(807)에 관한 파라미터(808)를 기반으로 확인된 적어도 하나의 그래픽 엘리먼트 중 제어 가능한 적어도 일부를 표시하도록 디스플레이를 제어할 수 있다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는 미리 저장된 적어도 하나의 그래픽 엘리먼트에 대한 정보를 기반으로, 적어도 하나의 그래픽 엘리먼트 중 제어 가능한 적어도 일부(예: 제 1 그래픽 엘리먼트)를 확인할 수 있다. 미리 저장된 적어도 하나의 그래픽 엘리먼트에 대한 정보는, 복수 개의 프로그램들의 각각의 실행 화면에 표시되는 적어도 하나의 그래픽의 종류를 나타내는 정보일 수 있다. 예를 들어, 미리 저장된 적어도 하나의 그래픽 엘리먼트에 대한 정보는 복수 개의 프로그램 별로 가변 그래픽 엘리먼트(601, 602, 603)에 대한 정보 및 불가변 그래픽 엘리먼트(604)에 대한 정보를 포함할 수 있다. 예를 들어, 미리 저장된 적어도 하나의 그래픽 엘리먼트에 대한 정보는 제 1 프로그램(예: 락 스크린 프로그램)의 실행 시, 제 1 프로그램의 실행 화면(예: 락 스크린 화면)에 표시되는 적어도 하나의 그래픽 엘리먼트의 각각의 엘리먼트의 종류(예: 가변 그래픽 엘리먼트(601, 602, 603) 또는 불가변 그래픽 엘리먼트(604))를 나타내는 정보를 포함할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 패턴 정보에 포함된 속성(807)에 관한 파라미터(808)를 기반으로, 적어도 하나의 프로그램의 실행 화면에 표시되는 그래픽 엘리먼트의 적어도 하나의 속성(807)인 형태(예: 색상, 명도, 채도, 크기, 모양, 투명도, 선명도), 이동 방향, 회전 속도/가속도, 또는 이동 속도/가속도 중 적어도 하나를 결정할 수 있다. 예를 들어, 전자장치(101)는 도 8에 도시된 바와 같이, 프로그램의 실행 화면(예: 락 스크린 화면)에 표시되는 제 1 그래픽 엘리먼트의 색상을 제 1 색상 값, 명도를 제 1 명도 값, 채도를 제 2 채도 값, 크기를 제 1 크기 값, 모양을 원 모양, 투명도를 제 1 투명도 값, 선명도를 제 1 선명도 값, 이동 가속도를 제 1 이동 가속도 값, 및 회전 가속도를 제 1 회전 가속도 값으로 결정할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 적어도 하나의 그래픽 엘리먼트의 확인된 적어도 하나의 속성(807)의 적어도 일부를 연속적으로 변경할 수 있다. 예를 들어, 전자장치(101)는 도 9에 도시된 바와 같이 제 1 그래픽 엘리먼트(901)의 크기를 연속적으로 제 1 크기의 제 1 그래픽 엘리먼트(901), 제 2 크기의 제 1 그래픽 엘리먼트(901)로 변경할 수 있다. 상기 기재에 국한되지 않고, 전자장치(101)는 그래픽 엘리먼트의 크기 이외의 다양한 속성들을 연속적으로 변경하여 표시하도록 디스플레이를 제어할 수 있다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는 적어도 하나의 그래픽 엘리먼트의 적어도 하나의 속성(807) 중 연속적으로 변경할 적어도 일부의 속성을 확인하고, 확인된 적어도 일부의 속성을 연속적으로 변경할 수 있다.
예를 들어, 전자장치(101)(예: 적어도 하나의 프로세서(120))는, 감정 정보에 대응하는 패턴 정보를 기반으로, 적어도 하나의 속성(807) 중 변경될 속성을 확인할 수 있다. 일 예로, 전자장치(101)는 제 1 감정 상태(예: 행복함)를 나타내는 제 1 감정 정보에 대응하는 제 1 패턴 정보인 경우, 제 1 패턴 정보를 기반으로 적어도 하나의 속성(807) 중 변경될 속성으로서 제 1 감정 상태에 대응하는 적어도 하나의 제 1 속성(예: 색상, 크기, 선명도)을 확인할 수 있고, 제 2 감정 상태(예: 경멸)를 나타내는 제 2 감정 정보에 대응하는(예: 해당 감정 상태에 적합한 속성의 변경으로 지정된) 제 2 패턴 정보인 경우, 제 2 패턴 정보를 기반으로 적어도 하나의 속성(807) 중 변경될 속성으로서 제 2 감정 상태에 대응하는(예: 해당 감정 상태에 적합한 속성의 변경으로 지정된) 적어도 하나의 제 2 속성(807)(예: 크기, 선명도)을 확인할 수 있다.
또 예를 들어, 전자장치(101)(예: 적어도 하나의 프로세서(120))는, 적어도 하나의 프로그램의 종류를 기반으로, 적어도 하나의 속성(807) 중 변경될 속성을 확인할 수 있다. 일 예로, 전자장치(101)는 프로그램의 실행 시 지정된 기능(예: 통화 기능 등)을 제공하는 불가변 그래픽 엘리먼트(604)를 포함하는 실행 화면이 표시되는 경우, 적어도 하나의 속성(807) 중 지정된 기능의 수행을 방해하지 않는 적어도 하나의 제 1 속성 (예: 색상, 선명도 등)만을 변경의 대상으로 확인할 수 있다. 또, 일 예로, 전자장치(101)는 프로그램의 실행 시 지정된 갯수 이상의 불가변 엘리먼트를 포함하는 프로그램의 실행 화면이 표시되는 경우, 적어도 하나의 속성(807) 중 지정된 기능의 수행을 방해하지 않는 적어도 하나의 제 1 속성(예: 색상, 선명도 등)만을 변경의 대상으로 확인할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 감정 정보에 의해 지시되는 사용자의 감정 상태의 종류 별로, 서로 다른 변화 속도로 그래픽 엘리먼트의 적어도 하나의 속성을 연속적으로 변경할 수 있다. 예를 들어, 전자장치(101)는 도 9a (a)에 도시된 바와 같이 제 1 감정 상태(예: 행복함)를 나타내는 상기 감정 정보에 대응하는 제 1 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부(901)의 크기의 변경 속도를 제 1 변경 가속도(902)로 하여 상기 크기를 점진적으로 변경하고, 도 9a (b)에 도시된 바와 같이 제 2 감정 상태(예: 화남)를 나타내는 상기 감정 정보에 대응하는 제 2 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부(901)의 크기의 변경 속도를 제 2 변경 가속도(903)로 하여 상기 크기를 점진적으로 변경할 수 있다. 그래픽 엘리먼트의 크기 속성 이외의 다른 속성(807)이 변경되는 경우에도, 상술한 설명에 따라 감정 상태의 종류 별로 서로 다른 변경 속도로 그래픽 엘리먼트의 속성이 변경될 수 있다.
또 다른 실시예에서, 도 9a (a)에서의 변경 속도 및 도 9a (b)에서의 변경 속도는 일정하지 않을 수 있다. 달리 말해, 전자장치는 적어도 하나의 속도 중 적어도 일부의 변경 속도를 연속적으로 변경(또는, 시구간 별로 다르게 설정)할 수 있다. 변경 속도도 시간구간에 따라 상이하게 구성될 수 있으며, 이에 따라 변경 속도에 대한 다양한 패턴 파라미터가 존재할 수 있다. 예를 들어 전자 장치(101)는, 도 9b에 도시된 바와 같이 적어도 하나의 속성 중 적어도 일부(예: 회전 가속도, 위치 이동 가속도)를 변경 속도에 대한 다양한 패턴 파라미터(904)를 기반으로 연속적으로 변경할 수 있다. 구체적으로, 전자장치는 도 9b에 도시된 패턴 파라미터들(904)과 같은 시간(t)별 값(v)에 따라, 적어도 하나의 속성 중 적어도 일부의 값을 변경할 수 있다. 이 때, 도 9b에 도시된 패턴 파라미터(904)를 나타내는 그래프의 시간(t)별 값(v)을 참조하면, 각각의 그래프들의 시구간 별로 값(v)이 변경되는 속도(또는, 가속도)는 연속적으로 변경될 수 있다. 아울러, 해당 패턴 파라미터(904)가 회전 가속도, 위치 이동 가속도에 적용되는 것으로 설명하였으나, 다른 다양한 적어도 하나의 속성(예: 크기)에도 적용될 수 있다.
또한, 도 9b에 도시된 패턴 파라미터들(904)은 각각의 감정 상태 별로 패턴 정보에 부여될 수 있다. 예를 들어, 제 1 감정 상태가 검출된 경우, 전자 장치(101)는 제 1 감정 상태에 대응하는 제 1 패턴 파라미터를 기반으로 초반에는 빠른 속도로 엘리먼트의 크기를 증가시키다가 점차 느린 속도로 엘리먼트의 크기를 증가시킬 수 있다. 예를 들어, 제 2 감정 상태가 검출된 경우, 전자 장치(101)는 제 2 감정 상태에 대응하는 제 2 패턴 파라미터를 기반으로 초반에는 느린 속도로 엘리먼트의 크기를 증가시키다가 점차 빠른 속도로 엘리먼트의 크기를 증가시킬 수 있다.
다양한 실시예들에 따르면 전자장치(101)(예: 적어도 하나의 프로세서(120))는 705 동작에서 적어도 하나의 그래픽 엘리먼트 중 제어 가능한 적어도 일부가 확인되지 않는 경우, 707 동작에서 제 1 패턴 정보를 기반으로 속성이 연속적으로 변경되는 적어도 하나의 제 1 그래픽 엘리먼트를 적어도 하나의 프로그램의 실행 화면 상에 더(추가적으로) 표시할 수도 있다.
이하에서는 도 10 내지 도 11을 참조하여 다양한 실시예들에 따른 전자장치(101)의 동작의 다른 예를 설명한다. 한편 이하에서, 상술한 전자장치(101)의 동작과 관련된 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 적어도 하나의 프로그램의 실행에 응답하여, 지정된 시간 구간 동안 사용자의 얼굴을 촬영한 복수 개의 이미지를 획득하고, 획득된 사용자의 얼굴을 촬영한 복수 개의 이미지로부터 획득된 복수 개의 감정 정보를 기반으로 적어도 하나의 그래픽 엘리먼트를 표시하도록 디스플레이를 제어할 수 있다.
도 10은 다양한 실시예들에 따른, 전자장치(101)의 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지로부터 획득된 복수 개의 감정 정보(1111, 1112, 1113)를 기반으로 적어도 하나의 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 흐름도(1000)이다. 다양한 실시예들에 따르면, 전자장치(101)의 동작은 도 10에 도시되는 전자장치(101)의 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 10에 도시되는 전자장치(101)의 동작 보다 더 많은 동작들이 수행되거나, 또는 도 10에 도시되는 전자장치(101)의 동작들 보다 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 11을 참조하여 도 10에 대해서 설명한다.
도 11은 다양한 실시예들에 따른, 전자장치(101)의 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하고, 복수 개의 감정 정보(1111, 1112, 1113)를 확인하는 동작의 일 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1001 동작에서 적어도 하나의 프로그램을 실행에 응답하여, 카메라(180)를 활성화할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1002 동작에서 적어도 하나의 프로그램의 실행 이후, 지정된 시간 구간(△t) 동안 사용자의 얼굴을 촬영한 복수 개의 이미지(1101, 1102, 1103)를 획득하도록 카메라(180)를 제어할 수 있다. 예를 들어, 전자장치(101)는 도 11에 도시된 바와 같이 지정된 시간 구간(△t) 동안 연속적으로 사용자의 얼굴을 촬영하고, 순차적으로 복수 개의 이미지(1101, 1102, 1103)를 획득할 수 있다. 이때, 복수 개의 이미지(1101, 1102, 1103)의 적어도 일부로부터 확인되는 사용자의 감정 상태와, 다른 일부로부터 확인되는 사용자의 가정 상태는 서로 다를 수 있다. 상기 지정된 시간 구간(△t)은 도 7에서 설명된 바와 같으므로, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1003 동작에서 사용자의 얼굴을 촬영한 복수 개의 이미지(1101, 1102, 1103) 획득 여부를 확인할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 사용자의 얼굴을 촬영한 복수 개의 이미지(1101, 1102, 1103) 획득된 것으로 확인된 경우, 1004 동작에서 지정된 시간 구간(△t) 동안 복수 개의 시점(t1, t2, t3)에서 순차적으로 획득된 복수 개의 사용자의 얼굴을 촬영한 이미지를 기반으로 복수 개의 감정 정보(1111, 1112, 1113)를 확인할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1005 동작에서 확인된 복수 개의 사용자의 감정 정보에 대응하는 복수 개의 패턴 정보를 확인할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1006 동작에서 확인된 복수 개의 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어할 수 있다.
이하에서는 도 12 내지 도 13을 참조하여 전자장치(101)의 1006 동작에 대해서 설명한다.
도 12a는 다양한 실시예들에 따른 전자장치(101)의 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지로부터 확인된 복수 개의 감정 정보(1111, 1112, 1113)를 기반으로 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 도면이다. 도 12b는 다양한 실시예들에 따른 전자장치(101)의 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지로부터 확인된 복수 개의 감정 정보(1111, 1112, 1113)를 기반으로 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 도면이다.
도 13은 다양한 실시예들에 따른 전자장치(101)의 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지로부터 확인된 복수 개의 감정 정보(1111, 1112, 1113)를 기반으로 그래픽 엘리먼트를 표시하는 동작의 다른 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자장치(101)는 도 11에 도시된 바와 같이 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지로부터 확인된 복수 개의 감정 정보(1111, 1112, 1113)를 기반으로 현재 프로그램의 실행 화면 상에 표시되는 적어도 하나의 가변 그래픽 엘리먼트를 제어할 수 있다.
예를 들어 전자장치(101)(예: 적어도 하나의 프로세서(120))는 도 12a에 도시된 바와 같이 확인된 복수 개의 감정 정보(1111, 1112, 1113)의 각각을 기반으로, 적어도 하나의 가변 그래픽 엘리먼트를 각각 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 전자장치(101)는 제 1 감정 정보(예: 행복함을 나타냄)(1111)에 대응하는 제 1 패턴 정보를 기반으로 제 1 가변 그래픽 엘리먼트(1201)를 표시하고, 제 2 및 제 3 감정 정보(예: 화남)(1112)에 대응하는 제 2 패턴 정보를 기반으로 제 2 가변 그래픽 엘리먼트(1202)를 표시하도록 디스플레이를 제어할 수 있다. 이에 따라, 제 1 패턴 정보를 기반으로 표시되는 제 1 가변 그래픽 엘리먼트(1201)의 속성의 연속적인 변경은, 제 2 패턴 정보를 기반으로 표시되는 제 2 가변 그래픽 엘리먼트(1202)의 연속적인 변경과 시각적으로 구분되어, 더 다이나믹한 프로그램의 실행 화면이 제공될 수 있다.
또 예를 들어, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 도 12b에 도시된 바와 같이 확인된 복수 개의 감정 정보(1111, 1112, 1113)의 각각을 기반으로, 가변 그래픽 엘리먼트의 일부를 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 전자장치(101)는 제 1 감정 정보(예: 행복함) (1111)에 대응하는 제 1 패턴 정보를 기반으로 가변 그래픽 엘리먼트의 일부 영역(1203)을 표시하고, 제 2 및 제 3 감정 정보(예: 화남)(1112)에 대응하는 제 2 패턴 정보를 기반으로 가변 그래픽 엘리먼트의 다른 일부 영역(1204)을 표시할 수 있다. 이에 따라, 제 1 패턴 정보를 기반으로 표시되는 가변 그래픽 엘리먼트의 일부 영역(1203)의 속성의 연속적인 변경은, 제 2 패턴 정보를 기반으로 표시되는 가변 그래픽 엘리먼트의 다른 일부 영역(1204)의 연속적인 변경과 시각적으로 구분되어, 더 다이나믹한 프로그램의 실행 화면이 제공될 수 있다.
다양한 실시예들에 따르면, 복수 개의 감정 정보(1111, 1112, 1113) 별로 제어되는 가변 그래픽 엘리먼트의 갯수 또는 가변 그래픽 엘리먼트의 영역의 크기가 달라질 수 있다. 예를 들어, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 복수 개의 감정 정보(1111, 1112, 1113)의 각각과 관련된 값(예: 정확도)를 기반으로, 복수개의 감정 정보의 각각에 대응하는 그래픽 엘리먼트의 갯수 또는 그래픽 엘리먼트의 영역의 크기를 결정할 수 있다. 일 예로, 전자장치(101)는 복수 개의 감정 정보(1111, 1112, 1113) 중 제 1 감정 정보와 관련된 제 1 값이 제 2 감정 정보와 관련된 제 2 값 보다 큰 경우, 제 1 감정 정보에 대응하여 연속적으로 속성이 변경되는 그래픽 엘리먼트의 수(또는, 그래픽 엘리먼트의 영역)를 제 2 감정 정보에 대응하여 연속적으로 속성이 변경되는 그래픽 엘리먼트의 수(또는, 그래픽 엘리먼트의 영역) 보다 더 많도록(또는, 크도록) 결정할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 도 13에 도시된 바와 같이 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지로부터 확인된 복수 개의 감정 정보(1111, 1112, 1113)를 기반으로 지정된 시간 구간 별로 프로그램의 실행 화면 상에 표시되는 적어도 하나의 가변 그래픽 엘리먼트를 제어할 수 있다.
예를 들어, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 도 12 에 도시된 바와 같이 순차적으로 복수 개의 감정 정보(1111, 1112, 1113) 별로 프로그램의 실행 화면 상에서 적어도 하나의 가변 그래픽 엘리먼트를 표시하도록 제어할 수 있다. 전자장치(101)는 프로그램의 실행 이후, 제 1 시간 구간에서 제 1 감정 정보에 대응하는 제 1 패턴 정보를 기반으로 프로그램의 실행 화면에 표시되는 적어도 하나의 그래픽 엘리먼트를 표시하고, 제 2 시간 구간에서 제 2 감정 정보에 대응하는 제 2 패턴 정보를 기반으로 프로그램의 실행 화면에 표시되는 적어도 하나의 그래픽 엘리먼트를 표시하고, 제 3 시간 구간에서 제 3 감정 정보에 대응하는 제3 패턴 정보를 기반으로 프로그램의 실행 화면에 표시되는 적어도 하나의 그래픽 엘리먼트를 표시하도록 디스플레이를 제어할 수 있다.
다양한 실시예들에 따르면 복수 개의 감정 정보(1111, 1112, 1113) 별로 적어도 하나의 그래픽 엘리먼트가 표시되는 복수 개의 시간 구간들의 시간 길이는 서로 다르게 설정될 수 있다. 예를 들어, 복수 개의 시간 구간들의 시간 길이는 복수 개의 강정 정보들 별로 대응하는 값(예: 유사도, 정확도)을 기반으로 설정될 수 있다. 제 1 감정 정보에 대응하는 값이 제 1 값인 경우 시간 구간의 시간 길이는 제 1 시간 길이이고, 제 2 감정 정보에 대응하는 값이 제 2 값인 경우 시간 구간의 시간 길이는 제 2 시간 길이이고, 제 1 값이 제 2 값보다 큰 경우 제 1 시간 길이는 제 2 시간 길이보다 길도록 설정될 수 있다.
다양한 실시예들에 따르면 복수 개의 감정 정보(1111, 1112, 1113) 별로 적어도 하나의 그래픽 엘리먼트가 표시되는 복수 개의 시간 구간들의 순서가 제어될 수 있다. 예를 들어, 복수 개의 시간 구간들의 순서는 해당하는 감정 정보에 대응하는 이미지가 획득되는 시점을 기반으로 설정될 수 있다. 예를 들어, 제 1 감정 정보가 제 1 시점에 획득되는 이미지로부터 확인되는 경우 해당하는 시간 구간은 제 1 순서이고, 제 2 감정 정보가 제 2 시점(t2)에 획득되는 이미지로부터 확인되는 경우 해당하는 시간 구간은 제 2 순서이고, 제 1 시점이 제 2 시점 보다 빠른 경우 제 1 순서는 제 2 순서보다 빠른 순서로 설정될 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1003 동작에서 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하지 않았거나 또는 각각이 동일한 감정 상태를 나타내는 복수 개의 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득한 것으로 확인되는 경우, 1007 동작에서 지정된 시간 구간 동안 획득된 사용자의 얼굴을 촬영한 이미지를 기반으로 감정 정보를 확인하고, 1008 동작에서 확인된 감정 정보에 대응하는 패턴 정보를 확인하고, 1009 동작에서 확인된 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어할 수 있다. 1007 동작 내지 1009 동작은 상술한 404 동작 내지 405 동작과 같이 수행될 수 있으므로, 중복되는 설명은 생략한다.
이하에서는 도 14 내지 도 15를 참조하여 다양한 실시예들에 따른 전자장치의 동작의 또 다른 예를 설명한다. 한편 이하에서, 상술한 전자장치의 동작과 관련된 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자장치는 획득된 사용자의 얼굴을 촬영한 일 이미지로부터 획득되는 복수 개의 감정 정보를 기반으로, 적어도 하나의 그래픽 엘리먼트의 속성을 연속적으로 변경하여 표시하도록 디스플레이를 제어할 수 있다.
도 14는 다양한 실시예들에 따른, 전자장치의 복수 개의 감정 정보를 기반으로 적어도 하나의 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 흐름도(1400)이다. 다양한 실시예들에 따르면, 전자장치(101)의 동작은 도 14에 도시되는 전자장치(101)의 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 14에 도시되는 전자장치(101)의 동작 보다 더 많은 동작들이 수행되거나, 또는 도 14에 도시되는 전자장치(101)의 동작들 보다 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 15을 참조하여 도 14에 대해서 설명한다.
도 15a는 다양한 실시예들에 따른, 전자장치의 복수 개의 감정 정보를 기반으로 적어도 하나의 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 도면이다. 도 15b는 다양한 실시예들에 따른, 전자장치의 복수 개의 감정 정보를 기반으로 적어도 하나의 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자장치는 1401 동작에서 사용자와 관련된 적어도 하나의 감정과 관련된 정보를 감정 정보로서 확인할 수 있다. 전자장치는 도 8에 대한 설명에서와 같이, 사용자의 얼굴을 촬영한 일 이미지로부터 사용자와 관련된 복수 개의 감정 상태(예: 행복함, 슬픔, 화남, 놀람, 중립 등)(802)를 확인할 수 있다.
다양한 실시예들에 따르면, 전자장치는 1402 동작에서 사용자와 관련된 적어도 하나의 감정과 관련된 정보를 기반으로 제 1 패턴 정보를 확인하고, 제 2 패턴 정보를 확인할 수 있다. 전자장치는 복수 개의 감정 상태(802) 중 확인된 제 1 감정 상태(예: 행복함)에 대응하는 제 1 패턴 정보를 확인하고, 제 2 감정 상태(예: 화남)에 대응하는 제 2 패턴 정보를 확인할 수 있다. 상기 기재에 국한되지 않고, 전자장치는 더 많은 감정 상태의 각각에 대응하는 패턴 정보를 확인할 수 있다.
다양한 실시예들에 따르면, 전자장치는 1403 동작에서 제 1 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 일부를 표시하고, 상기 제 2 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 다른 일부를 표시할 수 있다.
예를 들어 전자장치는 도 15a에 도시된 바와 같이 확인된 복수 개의 감정 상태(802)를 나타내는 감정 정보의 각각을 기반으로, 적어도 하나의 가변 그래픽 엘리먼트(1501, 1502)를 각각 표시하도록 디스플레이를 제어할 수 있다.
또 예를 들어, 전자장치는 도 15b에 도시된 바와 같이 확인된 복수 개의 감정 상태(802)를 나타내는 감정 정보의 각각을 기반으로, 가변 그래픽 엘리먼트의 일부(1503, 1504)를 표시하도록 디스플레이를 제어할 수 있다.
복수 개의 감정 상태(802)를 나타내는 감정 정보의 각각을 기반으로 가변 그래픽 엘리먼트를 표시하는 전자장치의 동작은, 도 12에 대한 설명과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자장치는 1404 동작에서 지정된 제 1 시간 구간 동안 상기 제 1 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하고, 지정된 제 2 시간 구간 동안 상기 제 2 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시할 수 있다.
예를 들어, 전자장치는 획득되는 복수 개의 감정 상태(802)를 나타내는 감정 정보를 기반으로 지정된 시간 구간 별로 가변 그래픽 엘리먼트를 표시하도록 디스플레이를 제어할 수 있다. 복수 개의 감정 상태(802)를 나타내는 감정 정보를 기반으로 지정된 시간 구간 별로 가변 그래픽 엘리먼트를 표시하는 전자장치의 동작은 도 13에 대한 설명에서 상술한 바와 같이 수행될 수 있으므로, 중복되는 설명은 생략한다.
이하에서는 도 16 내지 도 17을 참조하여 다양한 실시예들에 따른 전자장치의 동작의 또 다른 예를 설명한다. 한편 이하에서, 상술한 전자장치의 동작과 관련된 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자장치는 복수 개의 프로그램들의 각각에 대해서, 미리 저장된 복수 개의 패턴 정보를 기반으로 복수 개의 프로그램들의 각각의 실행 화면 상에서 적어도 하나의 가변 그래픽 엘리먼트의 속성을 연속적으로 변경하여 표시하도록 디스플레이를 제어할 수 있다.
도 16은 다양한 실시예들에 따른 전자장치의 미리 저장된 복수 개의 패턴 정보를 기반으로 복수 개의 프로그램들의 각각의 실행 화면 상에서 적어도 하나의 가변 그래픽 엘리먼트를 표시하는 동작을 설명하기 위한 흐름도(1600)이다. 다양한 실시예들에 따르면, 전자장치(101)의 동작은 도 16에 도시되는 전자장치(101)의 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 16에 도시되는 전자장치(101)의 동작 보다 더 많은 동작들이 수행되거나, 또는 도 16에 도시되는 전자장치(101)의 동작들 보다 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 17을 참조하여 도 16에 대해서 설명한다.
도 17a는 다양한 실시예들에 따른 전자장치의 미리 저장된 복수 개의 패턴 정보를 기반으로 복수 개의 프로그램들의 각각의 실행 화면 상에서 적어도 하나의 가변 그래픽 엘리먼트를 표시하는 동작의 일 예를 설명하기 위한 도면이다. 도 17b는 다양한 실시예들에 따른 전자장치의 미리 저장된 복수 개의 패턴 정보를 기반으로 복수 개의 프로그램들의 각각의 실행 화면 상에서 적어도 하나의 가변 그래픽 엘리먼트를 표시하는 동작의 다른 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자장치는 1601 동작에서 적어도 하나의 제 1 프로그램을 실행할 수 있다. 예를 들어, 전자장치는 401 동작에서 실행된 프로그램과 다른 프로그램을 실행할 수도 있고, 또는 401 동작에서 실행된 프로그램이 종료된 이후 다시 같은 프로그램을 실행할 수도 있다. 일 예로, 전자장치는 도 17에 도시된 바와 같이 전화 어플리케이션(1701)을 실행할 수 있다.
다양한 실시예들에 따르면, 전자장치는 1602 동작에서 제 1 그래픽 엘리먼트를 포함하는 상기 실행된 적어도 하나의 제 1 프로그램의 실행 화면을 표시할 수 있다. 예를 들어, 전자장치는 도 17에 도시된 바와 같이 전화 기능을 제공하는 불가변 그래픽 엘리먼트 및 그래픽적 요소인 가변 그래픽 엘리먼트를 포함하는 전화 어플리케이션의 실행 화면을 표시할 수 있다.
다양한 실시예들에 따르면, 전자장치는 1603 동작에서 제 1 프로그램의 실행에 응답하여 사용자의 얼굴을 촬영한 제 1 이미지를 획득하도록 상기 카메라를 제어할 수 있다.
다양한 실시예들에 따르면, 전자장치는 1604 동작에서 획득된 사용자의 얼굴을 촬영한 제 1 이미지를 기반으로, 상기 사용자의 제 1 감정 정보를 확인할 수 있다. 예를 들어, 전자장치는 도 17a에 도시된 바와 같이 제 1 이미지로부터 제 1 감정 상태(예: 행복함)를 나타내는 제 1 감정 정보를 확인할 수 있고, 도 17b에 도시된 바와 같이 제 1 이미지로부터 제 2 감정 상태(예: 화남)를 나타내는 제 1 감정 정보를 확인할 수도 있다.
다양한 실시예들에 따르면, 전자장치는 1605 동작에서 복수의 패턴 정보 중 사용자의 제 1 감정 정보에 대응하는 제 1 패턴 정보를 확인할 수 있다. 전자장치의 패턴 정보를 확인하는 동작은, 상술한 404 동작과 같이 수행될 수 있다. 달리 말해, 전자장치가 다양한 프로그램을 실행하여 다양한 컨텐츠 서비스를 제공하는 경우, 미리 저장된 실행된 다양한 프로그램의 각각에서 사용자의 감정 정보에 대응하는 배경 화면, 배경 이미지들을 제공할 필요 없이, 사용자의 감정 정보에 대응하는 패턴 정보만을 확인하고 확인된 패턴 정보를 반영하여 그래픽 엘리먼트를 제어하는 동작을 수행할 수 있다. 즉, 전자장치는 미리 저장된 패턴 정보를 기반으로, 복수 개의 프로그램의 실행 화면 별로 그래픽 엘리먼트를 제어할 수 있게 된다. 따라서, 전자장치는 복수개의 프로그램의 실행 화면 별로 사용자의 감정 정보에 대응하는 다양한 실행 화면들을 미리 저장할 필요가 없이, 저장된 복수 개의 패턴 정보만을 활용하여 복수 개의 프로그램의 실행 화면 별로 그래픽 엘리먼트를 재구성하는 동작을 수행할 수 있다.
다양한 실시예들에 따르면, 전자장치는 1606 동작에서 적어도 하나의 제 1 프로그램의 실행 화면 상에서 상기 확인된 제 1 패턴 정보를 기반으로 상기 적어도 하나의 제 1 그래픽 엘리먼트의 적어도 일부의 속성을 연속적으로 변경하여 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 전자장치는 도 17a에 도시된 바와 같이 제 1 감정 상태를 나타내는 제 1 감정 정보에 대응하는 제 1 패턴 정보를 기반으로 가변 그래픽 엘리먼트의 속성을 연속적으로 변경하여 표시(1702)할 수 있고, 도 17b에 도시된 바와 같이 제 2 감정 상태를 나타내는 제 1 감정 정보에 대응하는 제 1 패턴 정보를 기반으로 가변 그래픽 엘리먼트의 속성을 연속적으로 변경하여 표시(1703)할 수 있다. 이는 도 4에서 상술한 바와 같이 수행될 수 있으므로, 중복되는 설명은 생략한다.
이하에서는 도 18 내지 도 19를 참조하여 다양한 실시예들에 따른 전자장치(101)의 동작의 또 다른 예를 설명한다. 한편 이하에서, 상술한 전자장치(101)의 동작과 관련된 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자장치(101)는 미리 저장된 사용자 데이터를 복수 개의 패턴 정보에 반영하여, 전자장치(101)의 사용자의 감정 상태에 더 적합한 그래픽 엘리먼트를 프로그램의 실행 화면 상에서 표시할 수 있다.
도 18은 다양한 실시예들에 따른 전자장치(101)의 미리 저장된 사용자 데이터(1901)를 복수 개의 패턴 정보(805)에 반영하여 적어도 하나의 가변 그래픽 엘리먼트(601, 602, 603)를 표시하는 동작을 설명하기 위한 흐름도(1800)이다. 다양한 실시예들에 따르면, 전자장치(101)의 동작은 도 18에 도시되는 전자장치(101)의 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 18에 도시되는 전자장치(101)의 동작 보다 더 많은 동작들이 수행되거나, 또는 도 18에 도시되는 전자장치(101)의 동작들 보다 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 19를 참조하여 도 18에 대해서 설명한다.
도 19는 다양한 실시예들에 따른 전자장치(101)의 미리 저장된 사용자 데이터(1901)를 복수 개의 패턴 정보(805)에 반영하여 적어도 하나의 가변 그래픽 엘리먼트(601, 602, 603)를 표시하는 동작을 설명하기 위한 도면이다. 도 19에 도시된 적어도 하나의 속성(807)은 예시에 불과하며, 패턴 정보에 포함된 속성은 그보다 더 많은 속성 또는 더 적은 속성으로 구현될 수 있다. 또한, 도 19에 도시된 적어도 하나의 속성(807)의 파라미터(808)는 예시에 불과하며, 도시된 바에 국한되지 않고 다양한 값으로 설정될 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1801 동작에서, 사용자 데이터(1901)의 획득 여부를 확인할 수 있다.
다양한 실시예들에 따르면, 사용자 데이터(1901)는 사용자의 감정 상태에 대응하여 표시되는 그래픽 엘리먼트의 적어도 하나의 속성(805)에 대한 사용자의 선호도를 나타내는 데이터일 수 있다. 사용자 데이터(1901)를 획득하는 전자장치(101)의 동작에 대해서는 구체적으로 후술한다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1802 동작에서, 획득된 사용자 데이터(1901)를 기반으로 복수 개의 패턴 정보(805)의 일부 패턴 정보에 포함된 적어도 하나의 속성(805)과 관련된 파라미터를 변경할 수 있다. 예를 들어, 전자장치(101)는 도 19에 도시된 바와 같이 전자장치(101)는 사용자의 제 1 감정 상태(예: 화남)에 관한 감정 정보를 기반으로 표시된 적어도 하나의 가변 엘리먼트에 대한 선호도를 나타내는 사용자 데이터(1901)를 기반으로, 사용자의 제 1 감정 상태(예: 화남)에 관한 감정 정보에 대응하는 복수 개의 패턴 정보(805)의 적어도 하나의 속성(805)과 관련된 파라미터(1903)를 변경할 수 있다. 일 예로, 전자장치(101)는 해당 사용자 데이터(1901)를 기반으로 사용자의 낮은 선호도를 확인하는 경우, 사용자의 제 1 감정 상태(예: 화남)에 관한 감정 정보에 대응하는 복수 개의 패턴 정보(805)의 적어도 하나의 속성(805)과 관련된 파라미터를 사용자의 선호도에 대응하여 증가시키거나 감소시킬 수 있다. 또 예를 들어, 전자장치(101)는 축적된 사용자 데이터(1901)를 기반으로 사용자의 선호 경향을 확인하여, 사용자의 제 1 감정 상태(예: 화남)에 관한 감정 정보에 대응하는 복수 개의 패턴 정보(805)의 적어도 하나의 속성(805)과 관련된 사용자의 선호도에 대응하여 파라미터를 증가시키거나 감소시킬 수 있다. 이에 따라, 전자장치(101)는 사용자의 감정 상태에 더 적합한 유저 인터페이스가 제공되도록, 프로그램 실행 화면 상에서 그래픽 엘리먼트를 제어할 수 있게 된다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1803 동작에서, 적어도 하나의 제 1 프로그램을 실행할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1804 동작에서, 적어도 하나의 제 1 그래픽 엘리먼트(graphic element)를 포함하는 상기 실행된 적어도 하나의 제 1 프로그램의 제 1 실행 화면을 표시할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1805 동작에서, 사용자의 얼굴을 촬영한 제 1 이미지를 획득하고, 제 1 감정 정보를 확인할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1806 동작에서, 복수 개의 패턴 정보(805) 중에서 상기 확인된 사용자의 감정 정보에 대응하는 상기 조절된 상기 적어도 하나의 속성(805)에 관한 파라미터(1903)를 포함하는 제 1 패턴 정보(1901)를 확인할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 1807 동작에서, 제 1 패턴 정보(1901)를 기반으로 적어도 하나의 그래픽 엘리먼트(601, 602, 603, 604)의 속성을 연속적으로 변경하여 표시하도록 디스플레이를 제어할 수 있다. 도 19를 참조하면, 전자장치(101)는 적어도 하나의 속성(805)에 관한 조절된 파라미터를 포함하는 제 1 패턴 정보(1901)를 기반으로, 가변 그래픽 엘리먼트(601, 602, 603)의 속성의 적어도 일부를 연속적으로 변경하여 표시하도록 디스플레이를 제어할 수 있다. 이때, 도 19에 도시된 바와 같이, 파라미터가 조절되기 전 복수 개의 패턴 정보(805)를 기반으로 표시되는 가변 그래픽 엘리먼트(601, 602, 603)의 속성과, 파라미터가 조절된 후 복수 개의 패턴 정보(805)를 기반으로 표시되는 가변 그래픽 엘리먼트(601, 602, 603)의 속성은 서로 다를 수 있다.
이하에서는 도 20 내지 도 21을 참조하여 다양한 실시예들에 따른 전자장치(101)의 사용자 데이터(1901)를 획득하는 동작의 일예에 대해서 설명한다.
도 20은 다양한 실시예들에 따른 전자장치(101)의 사용자 데이터(1901)를 획득하는 동작의 일 예를 설명하기 위한 흐름도(2000)이다. 다양한 실시예들에 따르면, 전자장치(101)의 동작은 도 20에 도시되는 전자장치(101)의 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 20에 도시되는 전자장치(101)의 동작 보다 더 많은 동작들이 수행되거나, 또는 도 20에 도시되는 전자장치(101)의 동작들 보다 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 21을 참조하여 도 20에 대해서 설명한다.
도 21은 다양한 실시예들에 따른 전자장치(101)의 사용자 데이터(1901)를 획득하는 동작의 일 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 2001 동작에서, 상기 확인된 복수 개의 패턴 정보(805)를 기반으로 표시되는 적어도 하나의 그래픽 엘리먼트(601, 602, 603, 604)의 적어도 일부와 관련된 점수를 입력하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 전자장치(101)는 도 21에 도시된 바와 같이, 프로그램의 실행 화면 상에서 확인된 복수 개의 패턴 정보(805)를 기반으로 적어도 하나의 그래픽 엘리먼트(601, 602, 603, 604)의 적어도 일부의 속성의 적어도 일부를 연속적으로 변경하여 표시한 이후, 지정된 기간(예: x초, 또는 프로그램의 실행 화면이 표시되지 않을 때 까지) 동안 사용자의 점수를 입력 받기 위한 인터페이스(2101)를 표시할 수 있다. 사용자는 전자장치(101)에 의해 수행된 연속적인 그래픽 엘리먼트의 적어도 일부의 속성 변경 동작에 대해서, 현재 감정 상태를 기반으로 소정의 점수를 부여할 수 있다. 전자장치(101)는 상기 인터페이스 상에서 점수를 입력하기 위한 사용자의 입력(예: 선호도에 대응하는 별점을 입력하기 위한 사용자의 터치 입력)(2102)을 수신할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)(예: 적어도 하나의 프로세서(120))는 2002 동작에서, 입력된 점수를 기반으로 상기 사용자 데이터(1901)를 갱신할 수 있다. 예를 들어, 전자장치(101)는 제 1 감정 상태(예: 행복함)에 대응하여 연속적으로 속성의 적어도 일부가 변경되어 표시되는 그래픽 엘리먼트에 대한 응답으로 사용자로부터 입력된 점수(2103)를 기반으로, 사용자 데이터(1901) 중 제 1 감정 상태인 경우 표시되는 그래픽 엘리먼트의 속성에 대한 선호도를 갱신(예: 선호도를 증가 시킴, 선호도를 감소 시킴)할 수 있다. 이에 따라, 전자장치(101)는 갱신된 선호도를 포함하는 사용자 데이터(1901)를 기반으로, 적어도 하나의 그래픽 엘리먼트(601, 602, 603, 604)의 적어도 하나의 속성(805)의 적어도 일부를 연속적으로 변경함으로써, 사용자 데이터(1901)가 축적됨에 따라 사용자의 감정 상태에 더 적합한 프로그램의 실행 화면이 제공될 수 있다.
이하에서는 도 22 내지 도 23을 참조하여 다양한 실시예들에 따른 전자장치의 동작의 또 다른 예를 설명한다. 한편 이하에서, 상술한 전자장치의 동작과 관련된 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자장치는 획득된 복수 개의 감정 정보들을 축적하고, 축적된 복수 개의 감정 정보들을 지정된 정보 형태로 표시할 수 있다.
도 22는 다양한 실시예들에 따른 전자장치의 축적된 복수 개의 감정 정보들을 지정된 정보 형태로 표시하는 동작의 일 예를 설명하기 위한 흐름도(2200)이다. 다양한 실시예들에 따르면, 전자장치(101)의 동작은 도 22에 도시되는 전자장치(101)의 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 22에 도시되는 전자장치(101)의 동작 보다 더 많은 동작들이 수행되거나, 또는 도 22에 도시되는 전자장치(101)의 동작들 보다 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 23을 참조하여 도 22에 대해서 설명한다.
도 23은 다양한 실시예들에 따른 축적된 복수 개의 감정 정보들을 지정된 정보 형태로 표시하는 동작의 일 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자장치는 2201 동작에서, 복수의 감정 정보를 저장할 수 있다. 전자장치는 복수 회의 프로그램의 실행에 대한 응답으로, 복수 회의 프로그램의 실행의 각각에서 복수 개의 사용자의 감정 정보를 확인할 수 있다. 전자장치는, 확인된 복수 개의 사용자의 감정 정보를 계속하여 메모리에 저장하고 관리할 수 있다. 예를 들어, 전자장치는 제 1 시점에 획득된 제 1 감정 정보, 제 2 시점에 획득된 제 2 감정 정보, ... , 제 N 시점에 획득된 제 N 감정 정보를 계속하여 메모리에 저장하고, 관리할 수 있다.
다양한 실시예들에 따르면, 전자장치는 2202 동작에서, 복수의 감정 정보에 대응하는 복수의 패턴 정보를 확인할 수 있다. 예를 들어, 전자장치는 축적된 복수의 감정 정보에 각각 대응하는 복수의 패턴 정보의 각각을 확인할 수 있다.
다양한 실시예들에 따르면, 전자장치는 2203 동작에서, 확인된 복수의 패턴 정보의 각각을 기반으로 적어도 하나의 제 1 그래픽 엘리먼트를 표시할 수 있다. 예를 들어, 전자장치는 도 23에 도시된 바와 같이 각각의 시점 별로 확인된 감정 정보가 표시되도록, 패턴 정보가 적용된 적어도 하나의 그래픽 엘리먼트를 구성하여 표시할 수 있다. 그래픽 엘리먼트가 표시되는 디스플레이의 상의 각각의 영역은 시점(예: 달(month), 일(day), 또는 시간(time) 등)을 나타낼 수 있다. 예를 들어, 횡 방향(2301)으로 배열되는 각각의 영역은 달(month) 또는 일(day)을 나타내고, 종 방향(2302)으로 배열되는 각각의 영역은 시간(time)을 나타낼 수 있다. 일 예로, 각각의 영역은 종방향으로 제 1 위치(예: 최상단(2303))에서부터 제 2 위치(예: 최하단(2304))까지, 00:00부터 24:00까지 순차적으로 나타낼 수 있다. 또 일 예로, 각각의 영역은 횡방향으로 제 1 위치(예: 최좌측단(2305))에서 제 2 위치(예: 최우측단(2306))까지 가장 최근의 달, 또는 일을 순차적으로 나타낼 수 있다. 전자장치는 제 1 시점에서 획득된 제 1 감정 정보에 대응하는 제 1 패턴 정보를 적용하여 제 1 그래픽 엘리먼트를 디스플레이의 제 1 시점에 대응하는 제 1 영역에 표시하고, 제 2 시점에서 획득된 제 2 감정 정보에 대응하는 제 2 패턴 정보를 적용하여 제 2 그래픽 엘리먼트를 디스플레이의 제 2 시점에 대응하는 제 2 영역에 표시할 수 있다. 달리 말해, 전자장치는 각각의 시점 별로 지정된 디스플레이의 영역에, 각각의 시점에서 확인된 감정 정보를 기반으로 그래픽 엘리먼트를 표시하는 동작을 수행하여, 전자장치의 사용자로 하여금 시간에 따른 사용자의 감정 정보를 확인 가능하도록 할 수 있다.
이하에서는 도 24 내지 도 25를 참조하여 다양한 실시예들에 따른 전자장치의 동작의 또 다른 예를 설명한다. 한편 이하에서, 상술한 전자장치의 동작과 관련된 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자장치(101)는 확인된 사용자 감정 정보를 기반으로, 상술한 그래픽 엘리먼트 이외에도 사용자에게 제공 가능한 다양한 컨텐트의 속성을 연속적으로 변경할 수 있다.
다양한 실시예들에 따르면 사용자에게 제공 가능한 다양한 컨텐트는 시각적 컨텐트, 청각적 컨텐트, 촉각적 컨텐트 등 사용자의 오감을 자극하는 다양한 종류의 컨텐트를 포함할 수 있다. 상기 시각적 컨텐트는 상술한 그래픽 엘리먼트 등을 포함하는 시각적 그래픽 요소를 포함할 수 있다. 상기 청각적 컨텐트는 오디오를 포함할 수 있다. 상기 촉각적 컨텐트는 진동감을 포함할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)는 프로그램의 실행에 응답하여, 실행된 프로그램을 다양한 컨텐트로 제공하도록 전자 장치의 각 구성을 제어할 수 있다. 예를 들어, 전자장치(101)는 프로그램의 실행에 응답하여, 실행된 프로그램의 실행 화면을 구성하는 그래픽 엘리먼트를 표시하도록 디스플레이를 제어할 수 있다. 전자장치(101)의 그래픽 엘리먼트의 표시 동작에 관해서 중복되는 설명은 생략한다.
또, 전자장치(101)는 프로그램의 실행에 응답하여, 실행된 프로그램과 관련된 오디오를 출력하도록 오디오 장치(170)를 제어할 수 있다. 예를 들어, 전자장치(101)는 프로그램의 실행 중에 프로그램과 관련된 사용자 입력(예: 터치 입력, 음성 입력 등)을 수신하는 경우, 수신된 사용자 입력에 대한 응답으로 수신된 사용자 입력에 대응하는 오디오를 출력하도록 오디오 장치(170)를 제어할 수 있다.
또, 전자장치(101)는 프로그램의 실행에 응답하여, 실행된 프로그램과 관련된 진동감을 제공하도록 진동 모듈을 제어할 수 있다. 예를 들어, 전자장치(101)는 프로그램의 실행 중에 프로그램과 관련된 사용자 입력(예: 터치 입력, 음성 입력 등)을 수신하는 경우, 수신된 사용자 입력에 대한 응답으로 수신된 사용자 입력에 대응하여 진동하도록 진동 모듈을 제어할 수 있다.
이하에서는, 전자장치(101)의 사용자의 감정 정보를 기반으로 다양한 컨텐트를 제공하는 동작의 일 예로서 오디오를 출력하도록 오디오 장치(170)를 제어하는 동작을 설명한다.
도 24는 다양한 실시예들에 따른 전자장치(101)의 사용자의 감정 정보를 기반으로 다양한 컨텐트를 제공하는 동작의 일 예를 설명하기 위한 흐름도(2400)이다. 다양한 실시예들에 따르면, 전자장치(101)(101)의 동작은 도 24에 도시되는 전자장치(101)(101)의 동작의 순서에 국한되지 않고, 도시되는 순서와 다른 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 24에 도시되는 전자장치(101)(101)의 동작 보다 더 많은 동작들이 수행되거나, 또는 도 24에 도시되는 전자장치(101)(101)의 동작들 보다 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 25를 참조하여 도 24에 대해서 설명한다.
도 25는 다양한 실시예들에 따른 전자장치(101)의 사용자의 감정 정보를 기반으로 다양한 컨텐트를 제공하는 동작의 다른 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자장치(101)는 2401 동작에서, 도 25에 도시된 바와 같이 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 카메라를 제어할 수 있다. 예를 들어, 전자장치(101)는 프로그램의 실행에 응답하여 사용자의 얼굴을 촬영하도록 카메라를 제어할 수 있다. 2401 동작은 상술한 402 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자장치(101)는 2402 동작에서, 도 25에 도시된 바와 같이 적어도 하나의 이미지를 기반으로 사용자의 감정 정보를 확인할 수 있다. 2402 동작은 상술한 403 동작과 같이 적어도 하나의 이미지를 분석하는 동작에 기반하여 수행될 수 있으므로, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자장치(101)는 2403 동작에서, 확인된 사용자의 감정 정보에 대응하는 패턴 정보를 확인할 수 있다.
다양한 실시예들에 따르면 패턴 정보는 사용자의 감정 정보에 대응하여 전자장치(101)로부터 다양하게 오디오(2501)가 출력되도록 하는 정보일 수 있다.
예를 들어, 패턴 정보는 사용자의 감정 정보에 대응하여 전자장치(101)로부터 출력되는 오디오(2501)의 적어도 하나의 속성(예: 오디오의 전체 볼륨, 오디오의 뎁스(depth), 주파수 별 오디오의 볼륨)을 결정하기 위한 정보일 수 있다. 일 예로, 패턴 정보는 사용자의 감정 종류 별로 오디오(2501)의 적어도 하나의 속성에 대한 정보를 포함할 수 있다. 패턴 정보는 제 1 감정 정보(예: 행복함)에 대응하는 제 1 속성에 대한 파라미터, ... , 제N 속성에 대한 파라미터들을 나타내는 정보를 포함하고, 제 2 감정 정보(예: 슬픔)에 대응하는 제 1 속성에 대한 파라미터, ... , 제N 속성에 대한 파라미터들을 나타내는 정보를 포함할 수 있다. 이때, 패턴 정보는 전자장치(101)로부터 출력되는 오디오(2501)의 적어도 하나의 속성을 연속적으로 변경되도록 하는 정보를 포함할 수 있다. 오디오(2501)의 적어도 하나의 속성을 연속적으로 변경되도록 하는 정보는 상술한 패턴 파라미터와 같이 적어도 하나의 속성의 변경속도가 시변되는 정보이므로, 중복되는 설명은 생략한다.
또 패턴 정보는 확인된 사용자의 감정 정보에 대응하는 오디오(2501)의 종류를 결정하기 위한 정보일 수 있다. 일 예로, 패턴 정보는 사용자의 감정 종류 별로 대응하는 오디오(2501)의 종류를 포함할 수 있다. 패턴 정보는 제 1 감정 상태(예: 행복함)를 나타내는 제 1 감정 정보에 대응하는 제 1 오디오(예: 신나는 분위기의 오디오)를 포함하고, 제 2 감정 상태(예: 슬픔)를 나타내는 제 2 감정 정보에 대응하는 제 2 오디오(예: 슬픈 분위기의 오디오)를 포함할 수 있다.
다양한 실시예들에 따르면, 전자장치(101)는 2404 동작에서, 확인된 패턴 정보를 기반으로 오디오(2501)의 적어도 하나의 속성의 적어도 일부를 연속적으로 변경하여 출력하도록 오디오 장치(170)를 제어할 수 있다. 전자장치(101)는 도 25에 도시된 바와 같이, 프로그램이 실행되는 동안 프로그램과 관련된 오디오(2501)를 출력하는 경우, 확인된 패턴 정보를 기반으로 오디오(2501)의 적어도 하나의 속성의 적어도 일부를 연속적으로 변경하여 출력하도록 오디오 장치(170)를 제어할 수 있다.
예를 들어, 전자장치(101)는 확인된 감정 정보에 대응하는 패턴 정보를 확인하고, 확인된 패턴 정보에 포함된 오디오(2501)의 적어도 하나의 속성에 대한 값을 기반으로 오디오(2501)를 출력하도록 오디오 장치(170)를 제어할 수 있다. 이때, 전자장치(101)는 확인된 감정 정보에 대응하는 패턴 정보를 기반으로, 오디오(2501)의 적어도 하나의 속성 중 제 1 속성(예: 오디오의 전체 볼륨)을 연속적으로 변경하여 출력할 수 있다. 적어도 하나의 속성의 적어도 일부가 연속적으로 변경되는 경우, 변경 속도는 확인된 사용자의 감정 정보 별로 상이할 수 있다. 예를 들어 전자 장치(101)는 제 1 감정 상태에 대응하는 제 1 파라미터를 기반으로 초반에는 빠른 속도로 제 1 속성(예: 오디오의 전체 볼륨)의 크기를 증가시키다가 점차 느린 속도로 엘리먼트의 크기를 증가시킬 수 있다. 예를 들어, 제 2 감정 상태가 검출된 경우, 전자 장치(101)는 제 2 감정 상태에 대응하는 제 2 패턴 파라미터를 기반으로 초반에는 느린 속도로 제 1 속성(예: 오디오의 전체 볼륨)의 크기를 증가시키다가 점차 빠른 속도로 엘리먼트의 크기를 증가시킬 수 있다.
또 다양한 실시예들에 따르면, 전자장치(101)는, 확인된 패턴 정보를 기반으로 사용자의 감정 정보에 대응하는 오디오(2501)를 출력하도록 오디오 장치(170)를 제어할 수도 있다. 예를 들어, 전자장치(101)는 제 1 감정 정보에 대응하는 제 1 패턴 정보를 확인하는 경우 제 1 패턴 정보를 기반으로 제 1 감정 정보(예: 행복함)에 대응하는 제 1 오디오(예: 신나는 분위기의 오디오)를 포함하고, 제 2 감정 정보에 대응하는 제 2 패턴 정보를 확인하는 경우 제 2 패턴 정보를 기반으로 제 2 감정 정보(예: 슬픔)에 대응하는 제 2 오디오(예: 슬픈 분위기의 오디오)를 포함할 수 있다.
한편 다양한 실시예들에 따른 상술한 전자장치(101)의 복수 개의 감정 정보를 기반으로 그래픽 엘리먼트를 표시하는 동작과 같이, 전자장치(101)는 복수 개의 감정 정보를 기반으로 오디오(2501)를 출력하도록 오디오 장치(170)를 제어할 수 있다. 이에 대해서 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자장치(101)는 사용자의 감정 정보에 대응하여 진동하도록 진동 모듈을 제어할 수 있다. 예를 들어, 전자장치(101)는 사용자의 감정 정보를 확인하고, 확인된 감정 정보에 대응하는 패턴 정보를 기반으로 진동의 적어도 하나의 속성이 연속적으로 변경되도록 진동 모듈을 제어할 수 있다. 또는, 예를 들어 전자장치(101)는 사용자의 감정 정보를 확인하고, 확인된 감정 정보에 대응하는 패턴 정보를 기반으로 사용자의 감정 정보에 대응하여 진동하도록 진동 모듈을 제어할 수 있다. 전자장치(101)의 진동 동작은 상술한 그래픽 엘리먼트를 표시하는 동작 및 사용자 감정 정보에 대응하여 오디오를 출력하는 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자장치에 있어서, 카메라, 디스플레이, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 적어도 하나의 그래픽 엘리먼트(graphic element)를 포함하는 적어도 하나의 프로그램의 실행 화면을 표시하도록 상기 디스플레이를 제어하고, 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하고, 상기 적어도 하나의 이미지를 기반으로, 상기 사용자의 감정 정보를 확인하고, 상기 확인된 감정 정보에 대응하는 패턴 정보를 확인하고, 상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 확인된 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 적어도 일부를 연속적으로(continuously) 변경하여 표시하도록 상기 디스플레이를 제어하도록 설정된, 전자장치가 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 상기 적어도 일부를 연속적으로(continuously) 변경하여 표시하는 동작의 적어도 일부로, 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 크기를 점진적으로 변경하도록 설정될 수 있다.
다양한 실시예들에 따르면, 적어도 하나의 프로세서는 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 크기를 점진적으로 변경하는 동작의 적어도 일부로, 제 1 감정 상태를 나타내는 상기 감정 정보에 대응하는 제 1 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 크기의 변경 속도를 제 1 변경 속도로 하여 상기 크기를 점진적으로 변경하고, 제 2 감정 상태를 나타내는 상기 감정 정보에 대응하는 제 2 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 크기의 변경 속도를 제 2 변경 속도로 하여 상기 크기를 점진적으로 변경하도록 설정 될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 상기 적어도 일부를 연속적으로(continuously) 변경하여 표시하도록 상기 디스플레이를 제어하는 동작의 적어도 일부로, 적어도 하나의 그래픽 엘리먼트의 색상의 변경 속도, 명도의 변경 속도, 채도의 변경 속도, 선명도의 변경 속도, 크기의 변경 속도, 투명도의 변경 속도, 선명도의 변경 속도, 회전 변화 속도, 또는 위치 이동 변화 속도 중 적어도 하나를 시간 구간 별로 연속적으로 변경하도록 설정될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하는 동작의 적어도 일부로, 상기 적어도 하나의 프로그램의 실행에 응답하여, 지정된 기간 동안 상기 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하도록 설정 될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하는 동작의 적어도 일부로, 상기 적어도 하나의 프로그램의 실행 이후, 순차적으로 상기 사용자의 얼굴을 촬영한 복수 개의 이미지를 획득하도록 상기 카메라를 제어하고, 상기 감정 정보를 확인하는 동작의 적어도 일부로, 상기 순차적으로 획득된 상기 사용자의 얼굴을 촬영한 복수 개의 이미지를 기반으로 복수의 감정 정보를 확인하고, 상기 확인된 감정 정보에 대응하는 패턴 정보를 확인하는 동작의 적어도 일부로, 상기 확인된 복수의 감정 정보에 대응하는 복수의 패턴 정보를 확인하고, 상기 확인된 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성을 연속적으로 변경하여 표시하도록 상기 디스플레이를 제어하는 동작의 적어도 일부로, 상기 확인된 복수의 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하도록 설정 될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 이미지를 기반으로, 상기 감정 정보를 확인하는 동작의 적어도 일부로 상기 적어도 하나의 이미지를 기반으로, 상기 사용자와 관련된 적어도 하나의 감정과 관련된 정보를 확인하고, 상기 확인된 적어도 하나의 감정과 관련된 정보의 각각과 관련된 적어도 하나의 값을 확인하고, 상기 적어도 하나의 값이 가장 큰 상기 확인된 적어도 하나의 감정 정보 중 제 1 감정 정보를 상기 감정 정보로 확인하도록 설정 될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 이미지를 기반으로, 상기 감정 정보를 확인하는 동작의 적어도 일부로 상기 적어도 하나의 이미지를 기반으로, 상기 사용자와 관련된 적어도 하나의 감정과 관련된 정보를 확인하고, 상기 확인된 감정 정보를 기반으로 패턴 정보를 확인하는 동작의 적어도 일부로, 상기 사용자와 관련된 적어도 하나의 감정과 관련된 정보의 일부를 기반으로 제 1 패턴 정보를 확인하고, 상기 사용자와 관련된 적어도 하나의 감정과 관련된 정보의 다른 일부를 기반으로 제 2 패턴 정보를 확인하고, 상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 확인된 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하는 동작의 적어도 일부로, 상기 제 1 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 일부를 표시하고, 상기 제 2 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 다른 일부를 표시하도록 상기 디스플레이를 제어하도록 설정 될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 이미지를 기반으로, 상기 감정 정보를 확인하는 동작의 적어도 일부로, 상기 적어도 하나의 이미지를 기반으로, 상기 사용자와 관련된 적어도 하나의 감정과 관련된 정보를 확인하고, 상기 확인된 감정 정보를 기반으로 패턴 정보를 확인하는 동작의 적어도 일부로, 상기 사용자와 관련된 적어도 하나의 감정과 관련된 정보의 일부를 기반으로 제 1 패턴 정보를 확인하고, 상기 사용자와 관련된 적어도 하나의 감정과 관련된 정보의 다른 일부를 기반으로 제 2 패턴 정보를 확인하고, 상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 확인된 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하는 동작의 적어도 일부로, 지정된 제 1 기간 동안 상기 제 1 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하고, 지정된 제 2 기간 동안 상기 제 2 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하도록 설정 될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는 상기 확인된 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하는 동작의 적어도 일부로, 상기 적어도 하나의 프로그램의 실행 화면에 포함된 상기 적어도 하나의 그래픽 엘리먼트와 관련된 정보를 기반으로, 제어 가능한 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 확인하도록 설정 될 수 있다.
다양한 실시예들에 따르면, 상기 전자장치는 상기 패턴 정보를 미리 저장하는 메모리를 더 포함하고, 상기 패턴 정보는 상기 적어도 하나의 그래픽 엘리먼트의 적어도 하나 이상의 표시 속성에 관한 파라미터를 포함하고, 상기 적어도 하나 이상의 표시 속성에 관한 파라미터는 상기 확인된 적어도 하나의 값에 대응하고, 상기 적어도 하나의 프로세서는 상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 확인된 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하는 동작의 적어도 일부로, 상기 적어도 하나 이상의 속성에 관한 파라미터에 기반하여 상기 적어도 하나의 그래픽 엘리먼트를 표시하도록 상기 디스플레이를 제어하도록 설정 될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는 상기 확인된 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하는 동작의 이후로 적어도 하나의 제 1 프로그램을 실행하고, 상기 적어도 하나의 제 1 프로그램의 실행에 응답하여 적어도 하나의 제 1 그래픽 엘리먼트(graphic element)를 포함하는 상기 실행된 적어도 하나의 제 1 프로그램의 실행 화면을 표시하도록 상기 디스플레이를 제어하고, 상기 적어도 하나의 제 1 프로그램의 실행에 응답하여 사용자의 얼굴을 촬영한 제 1 이미지를 획득하도록 상기 카메라를 제어하고, 상기 획득된 사용자의 얼굴을 촬영한 제 1 이미지를 기반으로, 상기 사용자의 제 1 감정 정보를 확인하고, 상기 확인된 사용자의 제 1 감정 정보에 대응하는 제 1 패턴 정보를 확인하고, 상기 적어도 하나의 제 1 프로그램의 실행 화면 상에서 상기 확인된 제 1 패턴 정보를 기반으로 상기 적어도 하나의 제 1 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하도록 설정 될 수 있다.
다양한 실시예들에 따르면, 상기 전자장치는 복수 개의 프로그램들 및 상기 패턴 정보를 포함하는 복수의 패턴 정보를 저장하는 메모리를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 확인된 사용자의 제 1 감정 정보에 대응하는 제 1 패턴 정보를 확인하는 동작의 적어도 일부로, 상기 복수의 패턴 정보 중 상기 확인된 사용자의 제 1 감정 정보에 대응하는 상기 패턴 정보를 확인하도록 설정 될 수 있다.
다양한 실시예들에 따르면, 상기 전자장치는 복수의 패턴 정보 및 사용자 데이터를 저장하는 메모리를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 사용자 데이터를 기반으로 상기 복수의 패턴 정보의 각각에 포함된 적어도 하나 이상의 표시 속성에 관한 파라미터를 조절하고, 상기 패턴 정보를 확인하는 동작의 적어도 일부로, 상기 복수의 패턴 정보 중에서 상기 확인된 감정 정보에 대응하는 상기 조절된 상기 적어도 하나 이상의 표시 속성에 관한 파라미터를 포함하는 상기 패턴 정보를 확인하도록 설정 될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는 상기 확인된 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하는 동작의 이후로 상기 확인된 패턴 정보를 기반으로 표시되는 적어도 하나의 그래픽 엘리먼트의 적어도 일부와 관련된 점수를 입력하기 위한 사용자 입력을 수신하고, 상기 입력된 점수를 기반으로 상기 사용자 데이터를 갱신하도록 설정 될 수 있다.
다양한 실시예들에 따르면, 상기 전자장치는 상기 적어도 하나의 감정 정보를 포함하는 복수의 감정 정보를 저장하는 메모리를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 복수의 감정 정보에 대응하는 복수의 패턴 정보를 확인하고, 확인된 복수의 패턴 정보의 각각을 기반으로 적어도 하나의 제 1 그래픽 엘리먼트를 표시하도록 상기 디스플레이를 제어하도록 설정 될 수 있다.
다양한 실시예들에 따르면 상기 전자장치는 오디오 장치를 더 포함하고, 상기 적어도 하나의 프로세서는 사용자의 감정 정보에 대응하는 제 1 패턴 정보를 확인하고, 확인된 제 1 패턴 정보를 기반으로, 상기 사용자의 감정 정보에 대응하는 오디오를 출력하도록 상기 오디오 장치를 제어하도록 설정될 수 있다.
다양한 실시예들에 따르면, 적어도 하나의 그래픽 엘리먼트(graphic element)를 포함하는 적어도 하나의 프로그램의 실행 화면을 표시하도록 상기 디스플레이를 제어하는 동작, 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 카메라를 제어하는 동작, 상기 적어도 하나의 이미지를 기반으로, 상기 사용자의 감정 정보를 확인하는 동작, 상기 확인된 감정 정보에 대응하는 패턴 정보를 확인하는 동작 및 상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 확인된 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 적어도 일부를 연속적으로 변경하여 표시하도록 디스플레이를 제어하는 동작을 포함하는, 전자장치의 제어 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하는 동작의 적어도 일부로, 상기 적어도 하나의 프로그램의 실행 이후 지정된 기간 동안, 상기 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하는 동작을 포함하는 전자장치의 제어 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 이미지를 기반으로, 상기 감정 정보를 확인하는 동작의 적어도 일부로 상기 적어도 하나의 이미지를 기반으로, 상기 사용자와 관련된 적어도 하나의 감정과 관련된 정보를 확인하는 동작, 상기 확인된 적어도 하나의 감정과 관련된 정보의 각각과 관련된 적어도 하나의 값을 확인하는 동작 및 상기 적어도 하나의 값이 가장 큰 상기 확인된 적어도 하나의 감정 정보 중 제 1 감정 정보를 상기 감정 정보로 확인하는 동작을 포함하는 전자장치의 제어 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 확인된 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하는 동작의 적어도 일부로, 상기 적어도 하나의 프로그램의 실행 화면에 포함된 상기 적어도 하나의 그래픽 엘리먼트와 관련된 정보를 기반으로, 제어 가능한 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 확인하는 동작을 포함하는 전자장치의 제어 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 전자장치에 있어서, 카메라, 디스플레이, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 적어도 하나의 그래픽 엘리먼트(graphic element)를 포함하는 적어도 하나의 프로그램의 실행 화면을 표시하도록 상기 디스플레이를 제어하고, 사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하고, 상기 적어도 하나의 이미지를 기반으로 상기 사용자의 제 1 감정 정보를 확인하고, 상기 확인된 제 1 감정 정보를 기반으로 상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하고, 상기 적어도 하나의 이미지를 기반으로 상기 사용자의 제 2 감정 정보를 확인하고, 상기 확인된 제 2 감정 정보를 기반으로 상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하도록 설정된, 전자장치가 제공될 수 있다.
이상에서 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자장치 또는 외부 전자장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자장치 또는 전자장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스, 게임 콘솔, 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자장치 또는 외부 전자장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자장치 또는 외부 전자장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자장치 또는 적어도 하나 이상의 외부 전자장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자장치 또는 적어도 하나 이상의 외부 전자장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자장치 또는 적어도 하나 이상의 외부 전자장치를 사용하는 사람 또는 전자장치 또는 적어도 하나 이상의 외부 전자장치를 사용하는 장치(예: 인공지능 전자장치)를 지칭할 수 있다.

Claims (15)

  1. 전자장치에 있어서,
    카메라;
    디스플레이; 및
    적어도 하나의 프로세서;를 포함하고,
    상기 적어도 하나의 프로세서는:
    적어도 하나의 그래픽 엘리먼트(graphic element)를 포함하는 적어도 하나의 프로그램의 실행 화면을 표시하도록 상기 디스플레이를 제어하고,
    사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하고,
    상기 적어도 하나의 이미지를 기반으로, 상기 사용자의 감정 정보를 확인하고,
    상기 확인된 감정 정보에 대응하는 패턴 정보를 확인하고,
    상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 확인된 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 적어도 일부를 연속적으로(continuously) 변경하여 표시하도록 상기 디스플레이를 제어하도록 설정된, 전자장치.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는:
    적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 상기 적어도 일부를 연속적으로(continuously) 변경하여 표시하도록 상기 디스플레이를 제어하는 동작의 적어도 일부로,
    적어도 하나의 그래픽 엘리먼트의 적어도 일부의 크기를 점진적으로 변경하도록 설정된, 전자장치.
  3. 제 2 항에 있어서,
    적어도 하나의 프로세서는:
    적어도 하나의 그래픽 엘리먼트의 적어도 일부의 크기를 점진적으로 변경하는 동작의 적어도 일부로,
    제 1 감정 상태를 나타내는 상기 감정 정보에 대응하는 제 1 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 크기의 변경 속도를 제 1 변경 속도로 하여 상기 크기를 점진적으로 변경하고,
    제 2 감정 상태를 나타내는 상기 감정 정보에 대응하는 제 2 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 크기의 변경 속도를 제 2 변경 속도로 하여 상기 크기를 점진적으로 변경하도록 설정된, 전자장치.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는:
    적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 상기 적어도 일부를 연속적으로(continuously) 변경하여 표시하도록 상기 디스플레이를 제어하는 동작의 적어도 일부로,
    적어도 하나의 그래픽 엘리먼트의 색상의 변경 속도, 명도의 변경 속도, 채도의 변경 속도, 선명도의 변경 속도, 크기의 변경 속도, 투명도의 변경 속도, 선명도의 변경 속도, 회전 변화 속도, 또는 위치 이동 변화 속도 중 적어도 하나를 시간 구간 별로 연속적으로 변경하도록 설정된, 전자장치.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는:
    사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하는 동작의 적어도 일부로, 상기 적어도 하나의 프로그램의 실행에 응답하여, 지정된 기간 동안 상기 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하도록 설정된, 전자장치.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는:
    사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하도록 상기 카메라를 제어하는 동작의 적어도 일부로, 상기 적어도 하나의 프로그램의 실행 이후, 순차적으로 상기 사용자의 얼굴을 촬영한 복수 개의 이미지를 획득하도록 상기 카메라를 제어하고,
    상기 감정 정보를 확인하는 동작의 적어도 일부로, 상기 순차적으로 획득된 상기 사용자의 얼굴을 촬영한 복수 개의 이미지를 기반으로 복수의 감정 정보를 확인하고,
    상기 확인된 감정 정보에 대응하는 패턴 정보를 확인하는 동작의 적어도 일부로, 상기 확인된 복수의 감정 정보에 대응하는 복수의 패턴 정보를 확인하고,
    상기 확인된 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성을 연속적으로 변경하여 표시하도록 상기 디스플레이를 제어하는 동작의 적어도 일부로, 상기 확인된 복수의 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하도록 설정된, 전자장치.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 적어도 하나의 이미지를 기반으로, 상기 감정 정보를 확인하는 동작의 적어도 일부로:
    상기 적어도 하나의 이미지를 기반으로, 상기 사용자와 관련된 적어도 하나의 감정과 관련된 정보를 확인하고,
    상기 확인된 적어도 하나의 감정과 관련된 정보의 각각과 관련된 적어도 하나의 값을 확인하고,
    상기 적어도 하나의 값이 가장 큰 상기 확인된 적어도 하나의 감정 정보 중 제 1 감정 정보를 상기 감정 정보로 확인하도록 설정된, 전자장치.
  8. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 적어도 하나의 이미지를 기반으로, 상기 감정 정보를 확인하는 동작의 적어도 일부로:
    상기 적어도 하나의 이미지를 기반으로, 상기 사용자와 관련된 적어도 하나의 감정과 관련된 정보를 확인하고,
    상기 확인된 감정 정보를 기반으로 패턴 정보를 확인하는 동작의 적어도 일부로, 상기 사용자와 관련된 적어도 하나의 감정과 관련된 정보의 일부를 기반으로 제 1 패턴 정보를 확인하고, 상기 사용자와 관련된 적어도 하나의 감정과 관련된 정보의 다른 일부를 기반으로 제 2 패턴 정보를 확인하고,
    상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 확인된 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하는 동작의 적어도 일부로, 상기 제 1 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 일부를 표시하고, 상기 제 2 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 다른 일부를 표시하도록 상기 디스플레이를 제어하도록 설정된, 전자장치.
  9. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 확인된 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하는 동작의 적어도 일부로,
    상기 적어도 하나의 프로그램의 실행 화면에 포함된 상기 적어도 하나의 그래픽 엘리먼트와 관련된 정보를 기반으로, 제어 가능한 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 확인하도록 설정된, 전자장치.
  10. 제 1 항에 있어서,
    상기 패턴 정보를 미리 저장하는 메모리;를 더 포함하고,
    상기 패턴 정보는 상기 적어도 하나의 그래픽 엘리먼트의 적어도 하나 이상의 표시 속성에 관한 파라미터를 포함하고,
    상기 적어도 하나 이상의 표시 속성에 관한 파라미터는 상기 확인된 적어도 하나의 값에 대응하고,
    상기 적어도 하나의 프로세서는:
    상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 확인된 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하는 동작의 적어도 일부로,
    상기 적어도 하나 이상의 속성에 관한 파라미터에 기반하여 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 적어도 일부를 연속적으로 변경하여 표시하도록 상기 디스플레이를 제어하도록 설정된, 전자장치.
  11. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 확인된 패턴 정보를 기반으로 상기 적어도 하나의 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하는 동작의 이후로:
    적어도 하나의 제 1 프로그램을 실행하고,
    상기 적어도 하나의 제 1 프로그램의 실행에 응답하여 적어도 하나의 제 1 그래픽 엘리먼트(graphic element)를 포함하는 상기 실행된 적어도 하나의 제 1 프로그램의 실행 화면을 표시하도록 상기 디스플레이를 제어하고,
    상기 적어도 하나의 제 1 프로그램의 실행에 응답하여 사용자의 얼굴을 촬영한 제 1 이미지를 획득하도록 상기 카메라를 제어하고,
    상기 획득된 사용자의 얼굴을 촬영한 제 1 이미지를 기반으로, 상기 사용자의 제 1 감정 정보를 확인하고,
    상기 확인된 사용자의 제 1 감정 정보에 대응하는 제 1 패턴 정보를 확인하고,
    상기 적어도 하나의 제 1 프로그램의 실행 화면 상에서 상기 확인된 제 1 패턴 정보를 기반으로 상기 적어도 하나의 제 1 그래픽 엘리먼트의 적어도 일부를 표시하도록 상기 디스플레이를 제어하도록 설정된, 전자장치.
  12. 제 11 항에 있어서,
    복수 개의 프로그램들 및 상기 패턴 정보를 포함하는 복수의 패턴 정보를 저장하는 메모리;를 더 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 확인된 사용자의 제 1 감정 정보에 대응하는 제 1 패턴 정보를 확인하는 동작의 적어도 일부로, 상기 복수의 패턴 정보 중 상기 확인된 사용자의 제 1 감정 정보에 대응하는 상기 패턴 정보를 확인하도록 설정된, 전자장치.
  13. 제 1 항에 있어서,
    상기 적어도 하나의 감정 정보를 포함하는 복수의 감정 정보를 저장하는 메모리;를 더 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 복수의 감정 정보에 대응하는 복수의 패턴 정보를 확인하고,
    확인된 복수의 패턴 정보의 각각을 기반으로 적어도 하나의 제 1 그래픽 엘리먼트를 표시하도록 상기 디스플레이를 제어하도록 설정된, 전자장치.
  14. 제 1 항에 있어서,
    오디오 장치;를 더 포함하고,
    상기 적어도 하나의 프로세서는:
    사용자의 감정 정보에 대응하는 제 1 패턴 정보를 확인하고,
    확인된 제 1 패턴 정보를 기반으로, 상기 사용자의 감정 정보에 대응하는 오디오를 출력하도록 상기 오디오 장치를 제어하도록 설정된, 전자장치.
  15. 전자장치의 제어 방법에 있어서,
    적어도 하나의 그래픽 엘리먼트(graphic element)를 포함하는 적어도 하나의 프로그램의 실행 화면을 표시하는 동작;
    사용자의 얼굴을 촬영한 적어도 하나의 이미지를 획득하는 동작;
    상기 적어도 하나의 이미지를 기반으로, 상기 사용자의 감정 정보를 확인하는 동작;
    상기 확인된 감정 정보에 대응하는 패턴 정보를 확인하는 동작; 및
    상기 실행된 적어도 하나의 프로그램의 실행 화면 상에서 상기 확인된 패턴 정보를 기반으로 적어도 하나의 그래픽 엘리먼트의 적어도 일부의 적어도 하나의 속성의 적어도 일부를 연속적으로 변경하여 표시하는 동작;을 포함하는, 전자장치의 제어 방법.
PCT/KR2020/001536 2019-02-01 2020-01-31 적어도 하나의 그래픽 엘리먼트를 표시하는 전자장치 및 그 제어 방법 WO2020159318A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190013528A KR20200095762A (ko) 2019-02-01 2019-02-01 적어도 하나의 그래픽 엘리먼트를 표시하는 전자장치 및 그 제어 방법
KR10-2019-0013528 2019-02-01

Publications (1)

Publication Number Publication Date
WO2020159318A1 true WO2020159318A1 (ko) 2020-08-06

Family

ID=71841177

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/001536 WO2020159318A1 (ko) 2019-02-01 2020-01-31 적어도 하나의 그래픽 엘리먼트를 표시하는 전자장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20200095762A (ko)
WO (1) WO2020159318A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023027297A1 (ko) * 2021-08-26 2023-03-02 삼성전자주식회사 감정 결합 컨텐츠의 생성 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257112A (ja) * 2011-06-09 2012-12-27 Casio Comput Co Ltd 撮像装置およびプログラム
KR20150040127A (ko) * 2013-10-04 2015-04-14 삼성전자주식회사 전력 절감을 위하여 이미지를 처리하는 방법 및 디바이스
KR20180097912A (ko) * 2017-02-24 2018-09-03 트라이큐빅스 인크. 사용자 단말을 이용하여 사용자의 감정을 분석하는 감정 분석 방법 및 시스템
US20190015033A1 (en) * 2013-10-09 2019-01-17 Nedim T. SAHIN Systems, environment and methods for emotional recognition and social interaction coaching
US10191920B1 (en) * 2015-08-24 2019-01-29 Google Llc Graphical image retrieval based on emotional state of a user of a computing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257112A (ja) * 2011-06-09 2012-12-27 Casio Comput Co Ltd 撮像装置およびプログラム
KR20150040127A (ko) * 2013-10-04 2015-04-14 삼성전자주식회사 전력 절감을 위하여 이미지를 처리하는 방법 및 디바이스
US20190015033A1 (en) * 2013-10-09 2019-01-17 Nedim T. SAHIN Systems, environment and methods for emotional recognition and social interaction coaching
US10191920B1 (en) * 2015-08-24 2019-01-29 Google Llc Graphical image retrieval based on emotional state of a user of a computing device
KR20180097912A (ko) * 2017-02-24 2018-09-03 트라이큐빅스 인크. 사용자 단말을 이용하여 사용자의 감정을 분석하는 감정 분석 방법 및 시스템

Also Published As

Publication number Publication date
KR20200095762A (ko) 2020-08-11

Similar Documents

Publication Publication Date Title
WO2020159147A1 (ko) 전자 장치 및 전자 장치의 그래픽 객체 제어 방법
WO2020032555A1 (en) Electronic device and method for providing notification related to image displayed through display and image stored in memory based on image analysis
WO2018117428A1 (en) Method and apparatus for filtering video
WO2017039321A1 (en) Foldable electronic device including hidden display and information display method thereof
WO2019039771A1 (en) ELECTRONIC DEVICE FOR STORING DEPTH INFORMATION IN RELATION TO AN IMAGE BASED ON DEPTH INFORMATION PROPERTIES OBTAINED USING AN IMAGE, AND ITS CONTROL METHOD
WO2021025350A1 (en) Electronic device managing plurality of intelligent agents and operation method thereof
WO2017164567A1 (en) Intelligent electronic device and method of operating the same
WO2020130691A1 (en) Electronic device and method for providing information thereof
WO2019004659A1 (en) DISPLAY CONTROL METHOD AND ELECTRONIC DEVICE SUPPORTING SAID METHOD
WO2020180034A1 (ko) 사용자 선택 기반의 정보를 제공하는 방법 및 장치
WO2015170832A1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
WO2020167006A1 (en) Method of providing speech recognition service and electronic device for same
WO2019164290A1 (en) Method of biometric authenticating using plurality of camera with different field of view and electronic apparatus thereof
WO2019059642A1 (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
WO2021054784A1 (en) Electronic device and method for changing user interface according to user input
WO2020171584A1 (en) Electronic device for displaying execution screen of application and method of controlling the same
WO2020130301A1 (en) Electronic device for tracking user activity and method of operating the same
WO2018182375A1 (en) Electronic device and method for providing colorable content
EP3545685A1 (en) Method and apparatus for filtering video
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2020159318A1 (ko) 적어도 하나의 그래픽 엘리먼트를 표시하는 전자장치 및 그 제어 방법
WO2021230485A1 (ko) 영상을 제공하는 방법 및 장치
WO2019240434A1 (en) Electronic device and method of controlling thereof
WO2019221562A1 (en) Electronic device and method of controlling electronic device
WO2019059524A1 (ko) 픽셀의 열화를 방지하기 위한 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20748128

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20748128

Country of ref document: EP

Kind code of ref document: A1