WO2022149748A1 - 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법 - Google Patents

콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2022149748A1
WO2022149748A1 PCT/KR2021/019040 KR2021019040W WO2022149748A1 WO 2022149748 A1 WO2022149748 A1 WO 2022149748A1 KR 2021019040 W KR2021019040 W KR 2021019040W WO 2022149748 A1 WO2022149748 A1 WO 2022149748A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
display
processor
eye fatigue
fatigue level
Prior art date
Application number
PCT/KR2021/019040
Other languages
English (en)
French (fr)
Inventor
이진철
엄준훤
하헌준
김승년
김현수
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP21917910.8A priority Critical patent/EP4262200A4/en
Priority to CN202180089266.6A priority patent/CN116724548A/zh
Priority to US17/555,667 priority patent/US20220217325A1/en
Publication of WO2022149748A1 publication Critical patent/WO2022149748A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • Embodiments disclosed in this document relate to an electronic device for displaying content and an operating method thereof.
  • BACKGROUND Virtual reality is a technology for creating and displaying a virtual environment similar to a real environment in which a user can interact with a virtual object.
  • Augmented reality is a technology for synthesizing and displaying a virtual object in a real environment.
  • An electronic device including a head mounted display may display virtual reality content or augmented reality content in front of the user's eyes so that the user feels as if he or she exists in the virtual reality environment or the augmented reality environment. It is possible to provide augmented reality content reflecting the external environment that the user sees.
  • the electronic device including the head mounted display may be implemented as, for example, a pair of glasses.
  • a conventional VR device or AR device implements a 3D stereoscopic effect to provide high realism and immersion, but may cause problems for users.
  • a user of a VR device or an AR device may feel eye fatigue and headache while watching content or after watching the content, and in severe cases, may feel visual fatigue enough to cause pain.
  • Visual fatigue symptoms are the most frequent symptoms when using VR or AR devices, and a solution is urgently needed.
  • Factors causing visual fatigue may include, for example, the display, visual content, viewer characteristics, or viewing environment. For example, as the resolution or luminance of the display increases, eye fatigue may increase, and eye fatigue may be reduced by lowering the resolution or luminance of the display.
  • a conventional VR device or AR device may increase the user's eye fatigue by uniformly displaying the content without considering the user's eye fatigue.
  • An electronic device includes: a camera module; a display for displaying augmented reality or virtual reality content including at least one object; at least one processor operatively coupled to the camera module and the display; and a memory operatively connected to the at least one processor and configured to store the augmented reality or virtual reality content, wherein the memory, when executed, causes the at least one processor to use the camera module
  • an operating method of an electronic device for displaying content may include: acquiring eye tracking data using a camera module; determining an eye fatigue level based on the eye tracking data; and selecting one of a first mode for changing a setting of the display and a second mode for changing both a setting of the display and an output setting of the content according to the eye fatigue level.
  • an electronic device for reducing user's eye fatigue by changing at least one of a display setting or a content output setting based on the user's eye fatigue level can
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to an embodiment.
  • FIG. 2 is a diagram illustrating components of an electronic device according to an exemplary embodiment.
  • FIG. 3 is a block diagram of an electronic device according to an exemplary embodiment.
  • FIG. 4 is a block diagram of an electronic device according to an embodiment.
  • FIG. 5 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • FIG. 8 is a diagram illustrating an example of changing a display setting of an electronic device according to an exemplary embodiment.
  • FIG. 9 is a diagram illustrating an example of changing an output setting of content of an electronic device according to an embodiment.
  • FIG. 10 is a diagram for describing an operation of changing a viewing angle of an electronic device according to an exemplary embodiment.
  • FIG. 11 is a diagram illustrating a screen displayed on a display as an electronic device changes a viewing angle according to an exemplary embodiment.
  • FIG. 12 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to an embodiment.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with at least one of the electronic device 104 and the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199
  • the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 .
  • at least one of these components eg, the connection terminal 178
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in , process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be stored in , process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 is the main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a
  • the secondary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or when the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 180 or the communication module 190 ). have.
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176 ) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 , or an external electronic device (eg, a sound output module 155 ) connected directly or wirelessly with the electronic device 101 .
  • the electronic device 102) eg, a speaker or headphones
  • the electronic device 102 may output a sound.
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more specified protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a local area network (LAN) communication module, or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : It may include a local area network (LAN) communication module, or a power line communication module.
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a telecommunication network
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 uses various techniques for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 192 may support various requirements defined in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: Downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) can be supported.
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or a part of operations executed in the electronic device 101 may be executed in one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • the server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the electronic device 201 may be worn on the user's head.
  • the electronic device 201 may be a pair of glasses, but is not limited thereto.
  • the electronic device 201 as glasses includes a frame 203 formed along the edge of the display disposed to face the user's eyes when the user wears the electronic device 201 and the user's ear. may include a temple (eg, a first temple member 205 and a second temple member 207) that spans and is connected to the frame 203 to place the frame 203 in front of the user's eyes. have.
  • the temples may include hinges (eg, first hinges 261 and second hinges 263 ) connecting the temples and the frame 203 .
  • the frame 203 may include a first portion surrounding the first display 211 and a second portion surrounding the second display 213 .
  • the frame 203 may include a bridge 209 connecting the first part and the second part.
  • there may be a plurality of temples, for example, two temples may be connected to each of the first part and the second part.
  • the first portion may be connected to the first temple member 205 by a first hinge 261
  • the second portion may be connected to the second temple member 207 by a second hinge 263 .
  • the first temple member 205 and the second temple member 207 may be folded to overlap the frame 203 by the first hinge 261 and the second hinge 263 .
  • an electronic device 201 includes a display (eg, a first display 211 and a second display 213 ) (eg, the display module 160 of FIG. 1 ) and a transparent member.
  • a display eg, a first display 211 and a second display 213
  • a transparent member for example, the first transparent member 215 and the second transparent member 217), an optical waveguide (for example, the first optical waveguide 225 and the second optical waveguide 227), an input optical member (for example) : the first input optical member 221 and the second input optical member 223), a camera module (eg, the first camera 231, the second camera 233, the third camera 235, the fourth camera ( 237), and a fifth camera 239) (eg, the camera module 180 of FIG.
  • a light source eg, a first light emitting diode (LED) 241 and a second LED 243
  • PCB printed circuit board
  • hinge eg, first hinge 261 and second hinge 263
  • a microphone eg, the first microphone 271 , the second microphone 273 , and the third microphone 275
  • speaker eg, the first speaker 281
  • a second speaker 283 eg, the sound output module 155 of FIG. 1
  • a battery eg, the first battery 291 and the second battery 293 ) (eg, the battery 189 of FIG. 1 ).
  • a display may include a first display 211 and a second display 213 .
  • the display includes a liquid crystal display (LCD), a digital mirror device (DMD), a liquid crystal on silicon (LCoS), an organic light emitting diode (OLED). , OLED), or a micro LED (micro light emitting diode, micro LED).
  • LCD liquid crystal display
  • DMD digital mirror device
  • LCD liquid crystal on silicon
  • OLED organic light emitting diode
  • OLED organic light emitting diode
  • micro LED micro light emitting diode, micro LED
  • the electronic device 201 may include a backlight for irradiating light to the screen display area of the display. have.
  • the pixels of the display can generate light by themselves, so that the electronic device 201 provides a user with a quality above a certain level even if it does not include a separate backlight. can provide a virtual image of According to an embodiment, when the display is formed of an organic light emitting diode or a micro LED, a separate backlight is not required, so the electronic device 201 can be reduced in weight.
  • the transparent member may include a first transparent member 215 and a second transparent member 217 .
  • the transparent member may be formed of, for example, a glass plate, a plastic plate, or a polymer.
  • the transparent member may be manufactured to be transparent or translucent.
  • the first transparent member 215 may be disposed to face the user's right eye
  • the second transparent member 217 may be disposed to face the user's left eye. have.
  • the electronic device 201 may be disposed at a position facing the user's right and left eyes, may include a transparent display, and may configure a screen display area on the display.
  • the optical waveguide may include a first optical waveguide 225 and a second optical waveguide 227 .
  • the optical waveguide may transmit light generated by a display (eg, the first display 211 and/or the second display 213 ) to the user's eyes.
  • the first optical waveguide 225 transmits the light generated by the first display 211 to the user's right eye
  • the second optical waveguide 227 transmits the light generated by the second display 213 to the user.
  • the optical waveguide may be made of glass, plastic, or polymer, and may include a nanopattern (eg, a polygonal or curved grating structure) formed on one surface inside or outside the optical waveguide.
  • the light incident to one end of the waveguide may be propagated inside the optical waveguide by the nanopattern and provided to the user.
  • an optical waveguide formed of a free-form prism may provide incident light to a user through a reflection mirror.
  • the optical waveguide may include at least one of at least one diffractive element (eg, a diffractive optical element (DOE) or a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror).
  • the optical waveguide may guide the display light emitted from the light source to the user's eye using at least one diffractive element or a reflective element.
  • the diffractive element may include an input optical member (eg, the first input optical member 221 and the second input optical member 223 ) and an output optical member (not shown).
  • the first input optical member 221 and the second input optical member 223 may be referred to as an input grating area, and an output optical member (not shown) may be referred to as an output grating area.
  • the input grating region diffracts light output from a light source (eg, Micro LED) to a transparent member (eg, the first transparent member 215 and/or the second transparent member 217) of the screen display unit. Or it can be reflected.
  • the output grating region may diffract or reflect light transmitted to the transparent member (eg, the first transparent member 215 and/or the second transparent member 217) of the optical waveguide in the direction of the user's eyes.
  • the reflective element may include a total reflection optical element or a total reflection waveguide for total internal reflection (TIR).
  • Total reflection may be referred to as one way of guiding light, the light entering through the input grating region ( For example, it may mean that an incident angle is made so that 100% of the image is reflected from one surface (eg, a specific surface) of the optical waveguide, and 100% is transmitted to the output grating area.
  • a light path may be guided to the optical waveguide through the input optical member (eg, the first input optical member 221 and the second input optical member 223 ), and the light moving inside the optical waveguide may cause the output optical member to pass through the optical waveguide.
  • the screen display area may be determined according to the light emitted in the direction of the user's eyes.
  • the first optical waveguide 225 and the second The second optical waveguide 227 may be referred to differently as a screen display area, according to an embodiment, the first optical waveguide 225 may be at least a partial area of the first display 211, and the second optical waveguide ( 227 may be at least a partial area of the second display 213.
  • the first optical waveguide 225 and the second optical waveguide 227 are implemented in a rectangular shape is taken as an example.
  • the present invention is not limited thereto.
  • the electronic device 201 may include a first camera module (eg, a first camera 231 and a second camera 233 ).
  • the electronic device 201 performs head tracking, hand detection and tracking, and gestures of three degrees of freedom (3DoF) or six degrees of freedom (6DoF) using the first camera module. recognition, and spatial recognition.
  • the first camera 231 and the second camera 233 may have the same specification and performance (eg, the same or similar angle of view, shutter speed, resolution, and/or number of color bits, etc.) as a global shutter (GS). It could be a camera.
  • the electronic device 201 supports a simultaneous localization and mapping (SLAM) technology by performing spatial recognition (eg, 6-DOF spatial recognition) and/or depth information acquisition using stereo cameras disposed on the left and right sides.
  • SLAM simultaneous localization and mapping
  • the SLAM technology may refer to a technology in which a mobile robot moves around an unknown environment, measures its own location, and at the same time creates a map of the surrounding environment.
  • the electronic device 201 may recognize a user's gesture using stereo cameras disposed on the left/right side.
  • the electronic device 201 may detect faster hand gestures and fine movements by using a GS camera with relatively less distortion than a rolling shutter (RS) camera.
  • RS rolling shutter
  • the electronic device 201 may include a second camera module (eg, a third camera 235 and a fourth camera 237 ).
  • the electronic device 201 may detect and track the pupil (or pupil) using the second camera module.
  • the electronic device 201 may set the center of the virtual image displayed on the display to correspond to the gaze direction of the eyes of the user wearing the electronic device 201 using the pupil information obtained by the second camera module. can be positioned.
  • the second camera module may include a right-eye tracking camera (eg, a third camera 235) and a left-eye tracking camera (eg, a fourth camera 237).
  • the third camera 235 and the fourth camera 237 may be global shutter (GS) cameras having the same standard and performance (eg, angle of view, shutter speed, resolution, and/or number of color bits, etc.).
  • the electronic device 201 may track the rapid movement of the pupil without a screen drag phenomenon by using the GS camera.
  • the electronic device 201 may include a third camera module (eg, a fifth camera 239 ).
  • the third camera module may be referred to as a high resolution camera or a photo/video camera.
  • the third camera module may be a high-resolution camera.
  • the third camera module is a color camera equipped with a plurality of functions for obtaining a high-quality image including an auto focus (AF) function and/or an optical image stabilizer (OIS) function. camera) may be
  • the third camera module may be a global shutter camera or a rolling shutter camera.
  • the light elements may include a first light emitting diode (LED) 241 and a second LED 243 .
  • the electronic device 201 includes, for example, a first camera module (eg, a first camera 231 and a second camera 233 ), a second camera module using the first LED 241 and the second LED 243 , Second camera module (eg, the third camera 235 and the fourth camera 237), and/or may provide auxiliary lighting for the third camera (eg, the fifth camera 239).
  • a first camera module eg, a first camera 231 and a second camera 233
  • Second camera module eg, the third camera 235 and the fourth camera 237
  • auxiliary lighting for the third camera eg, the fifth camera 239
  • the first LED 241 and the second LED 243 are ) can be used as an auxiliary light to easily detect the user's gaze.
  • the first LED 241 and the second LED 243 may include infrared (IR) LEDs having an infrared wavelength.
  • the electronic device 201 uses the first LED 241 and the second LED 243 as auxiliary lighting to easily detect a subject using the camera module even in a dark environment or an environment in which a plurality of light sources are mixed or reflected. can
  • the PCB may include a first PCB 251 and a second PCB 253 .
  • the PCB may be disposed on the temples.
  • the first PCB 251 may be disposed on the first temple member 205
  • the second PCB 253 may be disposed on the second temple member 207 .
  • the PCB may include a flexible PCB (FPCB).
  • the first PCB 251 and the second PCB 253 are connected to other components (eg, a camera module (eg, the first camera 231 to the fifth camera 239 ) through a flexible PCB (FPCB).
  • a communication circuit eg, the communication module 190 of FIG. 1
  • a processor eg, the processor 120 of FIG. 1
  • a memory eg, the memory 130 of FIG. 1
  • at least one sensor eg, the sensor module 176 of FIG. 1
  • each of the first PCB 251 and the second PCB 253 may be composed of a plurality of PCBs spaced apart by an interposer.
  • the microphone may include a first microphone 271 , a second microphone 273 , and/or a third microphone 275 .
  • the microphone may be disposed on the frame 203 or the bridge 209 . 2
  • the first microphone 271 and the second microphone 273 may be disposed on the frame 203
  • the third microphone 275 may be disposed on the bridge 209 .
  • the first microphone 271 , the second microphone 273 , and the third microphone 275 may receive a voice input of a user wearing the electronic device 201 .
  • the speaker may include a first speaker 281 and/or a second speaker 283 .
  • the speaker may be disposed on the temple of the temple. 2
  • the first speaker 281 may be disposed on the first temple member 205
  • the second speaker 283 may be disposed on the second temple member 207 .
  • the first speaker 281 and the second speaker 283 may provide a sound signal to a user wearing the electronic device 201 .
  • the sensor module may include at least one of a proximity sensor, an illumination sensor, an acceleration sensor, a gyro sensor, a touch sensor, and a biosensor.
  • the sensor module may include a physical state (eg, posture or position) of the electronic device 201 , an external environmental state (eg, brightness of an object adjacent to or around the electronic device 201 ), or a user wearing the electronic device 201 .
  • a state eg, a user's electrocardiogram or EEG
  • EEG electrocardiogram
  • the biosensor may include an electrode and an analog front end (AFE).
  • AFE analog front end
  • electrodes may be provided on the first temple member 205 and the second temple member 207, respectively, and the biometric sensor may be connected to the first temple member 205 and the second temple member through the electrodes.
  • 207 may acquire the user's biosignal from the part in contact with the user's skin.
  • the biosignal may include, for example, an electrocardiogram (ECG) or an electro-encepharography (EEG).
  • ECG electrocardiogram
  • EEG electro-encepharography
  • the AFE includes an instrumentation amplifier (IA), a base pass filter (BPF), a variable gain amplifier (VGA), and a successive approximation register (SAR).
  • the AFE may convert an analog signal obtained through an electrode into a digital signal and transmit it to the processor of the electronic device 201 (eg, the processor 120 of FIG. 1 ).
  • the processor of the electronic device 201 may evaluate the activity of the sympathetic nervous system and the parasympathetic nervous system through R-R interval or spectrum analysis of the electrocardiogram, and as the activity of the sympathetic nervous system increases, eye fatigue increases. can judge
  • the processor of the electronic device 201 may extract a power value for each frequency band through spectrum analysis of brain waves, and may evaluate eye fatigue using the extracted power value.
  • the battery may include a first battery 291 and a second battery 293 .
  • the battery may be disposed on the temple. 2
  • the first battery 291 may be disposed on the first temple member 205
  • the second battery 293 may be disposed on the second temple member 207 .
  • the first battery 291 and the second battery 293 may supply power to the electronic device 201 .
  • the first battery 291 and the second battery 293 may be charged by an external power source.
  • FIG. 3 is a block diagram 300 of an electronic device 301 according to an embodiment.
  • the electronic device 301 may be the electronic device 101 of FIG. 1 or the electronic device 201 of FIG. 2 .
  • an electronic device 301 includes a processor 120 (eg, the processor 120 of FIG. 1 ) and a communication module 190 (eg, the communication module 190 of FIG. 1 ).
  • power management module 188 eg, power management module 188 of FIG. 1
  • sensor module 176 eg, sensor module 176 of FIG. 1
  • camera module 180 eg, of FIG. 1
  • the memory 130 eg, the memory 130 of FIG. 1
  • the display module 160 Example: the display module 160 of FIG. 1 , or the first display 211 and the second display 213 of FIG. 2
  • the electronic device 201 may be connected to the second power management module 331 through the connection terminal 330 (eg, USB TYPE-C).
  • the electronic device 301 may be a wearable device that can be worn on a part of the user's body.
  • the electronic device 301 may be worn on the user's head.
  • the display module 160 of the electronic device may include a head mounted display (HMD).
  • HMD head mounted display
  • the electronic device 301 which will be described later, is a wearable electronic device that is worn on the user's head and has a head mounted display positioned in front of the user's eyes when worn.
  • a direction the user looks in may be referred to as a first direction
  • a direction opposite to the first direction may be referred to as a second direction.
  • the processor 120 executes a program (eg, the program 140 of FIG. 1 ) stored in the memory 130 to control at least one other component (eg, a hardware or software component). and can perform various data processing or operations.
  • the processor 120 is a microprocessor or one or more general-purpose processors (eg, an ARM-based processor), a digital signal processor (DSP), a programmable logic device (PLD), an application-specific integrated circuit (ASIC), a field-programmable gate array (FPGA). ), a graphical processing unit (GPU), or any suitable type of processing circuitry, such as a video card controller.
  • the processor 120 may provide a virtual reality service or an augmented reality service to the user.
  • the processor 120 may output a virtual space including at least one object through the display module 160 .
  • the virtual space displayed through the display module 160 and content including at least one object may be referred to as virtual reality content.
  • the processor 120 outputs, through the display module 160 , at least one virtual object such that at least one virtual object is additionally displayed in a real space corresponding to the viewing angle of the user wearing the electronic device 301 . can do.
  • content including a real space and at least one virtual object displayed through the display module 160 may be referred to as augmented reality content.
  • the display module 160 may be generated by the electronic device 301 or another electronic device (eg, the electronic device 102 or 104 of FIG. 1 ) or the server 108 of FIG. 1 through the communication module 190 . ))) can display the received content.
  • the processor 120 may store virtual reality content or augmented reality content in the memory 130 .
  • the display module 160 of the electronic device 301 includes at least one display panel (eg, a first display panel (eg, the first display 211 of FIG. 2 ) and/or the second display panel ( For example, it may include the second display 213 of Fig. 2.
  • the display panel may be formed of a transparent element so that a user can perceive an actual space through the display module 160.
  • the display module 160 may display at least one virtual object on at least a part of the display panel so that the user wearing the electronic device 301 can see that the virtual object is added to the real space.
  • the user's viewing angle may include an angle or range at which the user can recognize an object.
  • the sensor module 176 of the electronic device 301 may include a proximity sensor 321 , an illuminance sensor 322 , a gyro sensor 323 , and/or a biometric sensor 324 .
  • the proximity sensor 321 may detect an object adjacent to the electronic device 301 .
  • the illuminance sensor 322 may measure the degree of brightness around the electronic device 301 .
  • the gyro sensor 323 may detect a posture and a position of the electronic device 301 by the electronic device 301 . For example, the gyro sensor 323 may detect whether the electronic device 301 is properly worn on the user's head.
  • the gyro sensor 323 may detect the electronic device 301 or a movement of a user wearing the electronic device 301 .
  • the biometric sensor 324 may measure an electrocardiogram and an EEG of a user wearing the electronic device 301 .
  • the electronic device 301 may perform wireless communication with another electronic device (eg, the electronic devices 102 and 104 of FIG. 1 ) through the communication module 190 (eg, a wireless communication circuit).
  • the electronic device 301 may perform wireless communication with a portable electronic device (eg, a smart phone), and the electronic device 301 may perform at least an external electronic device (eg, a portable electronic device). It can be partially controlled.
  • the electronic device 301 may perform at least one function under the control of another external electronic device.
  • the camera module 180 of the electronic device 301 includes a gesture camera 311 (eg, the first camera 231 and the second camera 233 of FIG. 2 ) and eye tracking.
  • a camera (eye tracking camera) 313 eg, the third camera 235 and the fourth camera 237 of FIG. 2
  • a depth camera 315 eg, the first camera of FIG. 2 ) 231
  • a second camera 233 e.g., the second camera 317
  • an RGB camera 317 eg, the fifth camera 239 of FIG. 2 .
  • the gesture camera 311 may detect a user's movement.
  • at least one gesture camera 311 may be disposed in the electronic device 301 , and may detect a user's hand movement within a preset distance.
  • the gesture camera 311 may include a simultaneous localization and mapping camera (SLAM) for recognizing information (eg, location and/or direction) related to the surrounding space of the electronic device 301 .
  • the gesture recognition area of the gesture camera 311 may be set based on a photographing range of the gesture camera 311 .
  • the eye tracking camera 313 may detect and track the size, position, and movement of the user's pupil.
  • the eye tracking camera 313 may include a plurality of cameras (eg, the third camera 235 and the fourth camera 237 of FIG. 2 ) respectively corresponding to the left and right eyes of the user.
  • the processor 120 may use the eye tracking camera 313 to determine a user's eye condition (eg, fatigue) or a gaze direction.
  • the processor 120 may determine the degree of eye fatigue based on at least one of the blinking frequency of the eyes, the pupil adjustment speed, the dryness of the eyes, the degree of eye redness, and the degree of tremor of the pupil.
  • the distance measuring camera 315 may measure a distance to an object located in front of the electronic device 301 .
  • the distance measurement camera 315 may include a time of flight (TOF) camera and/or a depth camera.
  • the electronic device 301 uses the eye tracking camera 313 to recognize one of the objects located in the gaze direction the user is looking at, and determines the distance to the object and the depth through the depth camera.
  • the distance to the corresponding object may be measured through the TOF camera.
  • the red green blue (RGB) camera 317 may detect color-related information of an object and distance information from the object.
  • each of the gesture camera 311 , the eye tracking camera 313 , the distance measurement camera 315 , and/or the RGB camera 317 included in the camera module 180 is connected to the electronic device 301 . Included or part of it may be implemented as an integrated camera. For example, the distance measuring camera 315 and the RGB camera 317 may be implemented as one integrated camera.
  • the gesture camera 311 , the distance measurement camera 315 , and the RGB camera 317 may be arranged to photograph the direction in which the user's eyes gaze, and the eye tracking camera 313 is the user's eye. may be arranged to photograph.
  • the number of at least one camera (eg, a gesture camera 311 , an eye tracking camera 313 , a distance measurement camera 315 and/or an RGB camera 317 ) included in the electronic device 301 illustrated in FIG. 3 . and the location may not be limited. For example, the number and position of the at least one camera may vary based on a characteristic (eg, shape or size) of the electronic device 301 .
  • the power management modules 188 and 331 may manage power supplied to the electronic device 301 .
  • the power management modules 188 and 331 are directly connected to the processor 120 to supply power through the first power management module 188 and the connection terminal 330 (eg, TYPE-C). It may include a second power management module 331 to supply.
  • the second power management module 331 may be functionally connected to the battery 333 to manage a greater amount of power.
  • the electronic device 301 may drive at least one camera included in the camera module 180 using the power supplied from the power management modules 188 and 331 .
  • the electronic device 201 may manage power consumption by adjusting the display information provided through the display module 160 based on the information acquired using the at least one camera.
  • the electronic device 301 may be the electronic device 101 of FIG. 1 , the electronic device 201 of FIG. 2 , or the electronic device 301 of FIG. 3 . It is assumed that the electronic device 401 described below is a device that can be worn on a user's head, and may be, for example, glasses as shown in FIG. 2 .
  • the electronic device 401 includes an eye tracking module 410 , a display 420 (eg, the display module 160 of FIGS. 1 and 3 , or the first display of FIG. 2 ). 211 and second display 213), processor 430 (eg, processor 120 in FIGS. 1 and 3) and memory 440 (eg, memory 130 in FIGS. 1 and 3). may include
  • the eye tracking module 410 includes the camera module 411 (eg, the camera module 180 of FIGS. 1 and 3 , or the first camera 231 to the fifth camera 239 of FIG. 2 ). ) may be included. A detailed description of the camera module 411 will be simplified or omitted because it overlaps with the description described above with reference to FIGS. 1 to 3 .
  • the camera module 411 may photograph the eye or pupil of the user wearing the electronic device 401 .
  • the processor 430 to be described later may acquire eye tracking data indicating the state of the user's eyes based on the image captured by the camera module 411 .
  • the processor 430 may acquire eye tracking data every specified period.
  • the display 420 may display content.
  • the content may include, for example, virtual reality content or augmented reality content.
  • the content may include at least one object.
  • the object may include a virtual object.
  • an object may include text or an image, where the image may include a static image and a dynamic image.
  • the object may include various types of information visually recognized by the user. Since the detailed description of the display 420 overlaps with the description described above with reference to FIGS. 1 to 3 , it will be simplified or omitted.
  • the user may watch content output through the display 420 , and may feel eye fatigue due to viewing the content.
  • the processor 430 may be operatively or functionally connected to the camera module 411 and the display 420 . According to an embodiment, the processor 430 may determine the eye fatigue level based on the user's eye tracking data obtained using the camera module 411 . According to an embodiment, the processor 430 may control a setting of the display 420 or an output setting of content to be output to the display 420 according to the determined eye fatigue level.
  • the processor 430 may determine the eye fatigue level based on the eye tracking data.
  • the eye tracking data may include, for example, measurement values for a plurality of parameters.
  • the plurality of parameters are related to the degree of eye fatigue and may include information indicating the state or movement of the eyes or pupils.
  • the plurality of parameters may include, for example, at least one of eye blink frequency, pupil adjustment speed, eye dryness, eye redness, or pupil tremor.
  • the processor 430 may classify the degree of eye fatigue into a plurality of levels (eg, level 1 to level n (where n is a natural number equal to or greater than 2)). According to an embodiment, as the eye fatigue level increases, the eye fatigue level may increase. According to an embodiment, the processor 430 may determine the eye fatigue level according to a condition consisting of at least one parameter among a plurality of parameters or a combination of at least one parameter. According to an embodiment, the condition may include at least one parameter or a combination of at least two parameters among a plurality of parameters, and may include a threshold range or a threshold value for each parameter. A method for the processor 430 to determine the eye fatigue level will be described later in detail with reference to FIG. 5 .
  • the processor 430 may determine the eye fatigue level by applying a weight for each parameter. According to an embodiment, the processor 430 may identify a weight for each parameter of the plurality of parameters. According to an embodiment, the weight for each parameter may be different for each user, and the processor 430 may identify the weight for each parameter based on the user identification information. According to an embodiment, the processor 430 may apply a weight for each parameter to at least one parameter.
  • the electronic device 401 may further include a sensor module 413 (eg, the sensor module 176 of FIGS. 1 and 3 ).
  • the sensor module 413 may include a biometric sensor capable of measuring a biosignal of a user wearing the electronic device 401 .
  • the processor 430 may acquire a biosignal using the sensor module 413 .
  • the biosignal may include at least one of an electrocardiogram or an EEG.
  • the processor 430 may determine the user's eye fatigue level further based on the biosignal measured by the sensor module 413 .
  • the processor 430 may analyze the electrocardiogram or EEG and use the analysis result to determine the user's eye fatigue level.
  • an electrocardiogram or an EEG may be used as another parameter for determining the eye fatigue level.
  • the processor 430 may determine the eye fatigue level further based on usage history information of the electronic device 401 .
  • the usage history information of the electronic device 401 may include at least one of a usage time of the electronic device 401 , a setting (eg, illuminance) of the display 420 , or a type of a running application. have.
  • a usage time of the electronic device 401 increases, the user's eye fatigue may increase.
  • the illuminance of the display 420 increases, the user's eye fatigue may increase.
  • the user's eye fatigue may increase as the screen changes frequently or as an application (eg, a game application) has many moving objects on the screen.
  • the processor 430 may determine the eye fatigue level based on usage history information of the electronic device 401, and The eye fatigue level may be more accurately determined by additionally considering the use history information of the electronic device 401 to the eye tracking data or the biosignal.
  • the processor 430 may control a setting of the display 420 or an output setting of content to be output to the display 420 according to the determined eye fatigue level.
  • the item related to the setting of the display 420 may include at least one of a refresh rate (unit: hz) and brightness, but is not limited thereto.
  • the processor 430 may change the setting of the display 420 by changing at least one of a refresh rate and brightness.
  • the item related to the output setting of the content to be output to the display 420 may include at least one of the number, size, position, color, and three-dimensional effect level of objects output to the display 420 .
  • the processor 430 may change the output setting of the content to be output to the display 420 by changing at least one of the number, size, position, color, or three-dimensional effect of the objects output to the display 420 . .
  • the processor 430 may adjust the eye fatigue level based on the content to be output among the content to be output to the display 420 .
  • the content scheduled to be output may include at least a portion of content that is scheduled to be output but has not yet been output among the content output to the display 420 .
  • the content scheduled to be output may include, for example, content for which information to be displayed on the display 420 is determined in the future, such as execution of a game displaying a predetermined screen or playback of a video.
  • the processor 430 may predict a change in the eye fatigue level based on the content for which the output is scheduled.
  • the processor 430 may reduce the increase in the actual eye fatigue level by adjusting the eye fatigue level in consideration of the predicted change in the eye fatigue level.
  • the processor 430 sets the eye fatigue level determined to be 3
  • the fatigue level may be changed to 5, and accordingly, the setting of the display 420 may be changed to correspond to the level 5.
  • the eye fatigue level determined by the processor 430 after all content for which output is scheduled is output may not be the predicted level 7 but may be 6.
  • the memory 440 stores various data used by at least one component (eg, the processor 430 , the camera module 411 , or the sensor module 413 ) of the electronic device 401 . can be saved
  • the data may include, for example, input data or output data for software (eg, a program) and instructions related thereto.
  • the memory 440 may store one or more instructions executed by the processor 430 .
  • FIG. 5 is a flowchart 500 illustrating a method of operating an electronic device according to an exemplary embodiment. Operations of the electronic device described below may be performed by an electronic device (eg, the electronic device 401 of FIG. 4 ) or a processor of the electronic device (eg, the processor 430 of FIG. 4 ) according to an embodiment. .
  • an electronic device eg, the electronic device 401 of FIG. 4
  • a processor of the electronic device eg, the processor 430 of FIG. 4
  • the electronic device may identify an initial value of the eye tracking data.
  • the eye tracking data may be obtained using a camera module of the electronic device (eg, the camera module 411 of FIG. 4 ), and may include measurement values for a plurality of parameters related to the user's eye fatigue.
  • the plurality of parameters may include at least one of eye blink frequency, pupil accommodation speed, eye dryness, eye redness, or pupil tremor.
  • the initial value of the eye tracking data may include measurement values initially measured by the electronic device for a plurality of parameters after the user wears the electronic device.
  • the initial value of the eye tracking data may include an average value for a specified time period from the point in time when the user wears the electronic device.
  • the initial value of the eye tracking data is a preset value input by a user through an input module (eg, the input module 150 of FIG. 1 ) (eg, a touch screen display) of the electronic device. may include
  • the initial value of the eye tracking data may include an average value determined based on the user's history information.
  • the user's history information may include, for example, information in which the electronic device identifies the user and stores an average value during a specified time period in which the electronic device is worn for each user.
  • the electronic device may identify the user as the user wears the electronic device, and may set an average value of the identified user based on the user's history information as an initial value. For example, the electronic device may identify the user through biometric authentication.
  • the electronic device may further include a communication module (eg, the communication module 190 of FIGS. 1 and 3 ), and the user's external electronic device (eg, the electronic device of FIG. 1 ) through the communication module.
  • Setting information and use of an external electronic device eg, the electronic device 102 of FIG. 1 , or the electronic device 104 of FIG. 1 ) from the electronic device 104 of FIG. 1 , or the server 108 ) 102 , or the server 108 of FIG. 1 ) History information can be received.
  • the electronic device and the external electronic device may include an electronic device in which the same user information is registered.
  • the electronic device may set an initial value of the eye tracking data based on setting information and usage history information of the external electronic device.
  • the setting information of the external electronic device may include an initial value of eye tracking data set in the external electronic device.
  • the electronic device uses the initial value information set in the other electronic device to set the eye tracking data in the electronic device.
  • An initial value of the eye tracking data may be determined.
  • the use history information of the external electronic device may include at least one of a usage time of the external electronic device, a display setting of the external electronic device, or a list of applications recently executed in the external electronic device.
  • the electronic device may set an initial value of eye tracking data in the electronic device based on use history information of the external electronic device.
  • the electronic device may calculate a change amount compared to an initial value of the obtained eye tracking data.
  • the electronic device may acquire eye tracking data every specified period.
  • the electronic device may acquire measurement values for a plurality of parameters at designated intervals.
  • the measured values for the plurality of parameters may increase or decrease as the user's eye fatigue increases.
  • the electronic device may calculate the amount of change compared to the initial value of the measurement values of the plurality of parameters acquired for each specified period, and may calculate the amount of change compared to the initial value of the eye tracking data.
  • the electronic device may determine the eye fatigue level according to the change amount.
  • the eye fatigue level may include a plurality of levels (eg, level 1 to level n (n is a natural number equal to or greater than 2)).
  • the electronic device may determine the eye fatigue level according to whether the variation is equal to or greater than a threshold value specified according to the eye fatigue level or whether a threshold range specified according to the eye fatigue level is satisfied.
  • the electronic device may determine the eye fatigue level as a higher level as the amount of change in the eye tracking data increases.
  • the change amount of the eye tracking data may be referred to as a change amount compared to an initial value of a measurement value for a specific parameter (eg, eye blink frequency or pupil control speed) to be described later.
  • the change amount of the eye tracking data may be, for example, a decrease value or an increase value of a measured value for a parameter.
  • a threshold value or a threshold range corresponding to the corresponding level may include a larger value.
  • the electronic device may determine the eye fatigue level according to a condition consisting of at least one parameter among a plurality of parameters or a combination of at least two parameters.
  • the condition may include at least one parameter or a combination of at least one parameter, and may include a threshold value or a threshold range for each parameter.
  • the condition in which the eye fatigue level is determined to be level k may include a first parameter (eg, eye blink frequency) and a second parameter (eg, speed of pupil accommodation). and may include a threshold value (or threshold range) of the first parameter corresponding to level k and a threshold value (or threshold range) of the second parameter.
  • the electronic device sets the user's eye fatigue level to the corresponding level as the amount of change from the initial value of the measurement value for each parameter is equal to or greater than the threshold value corresponding to each level or satisfies the threshold range corresponding to each level.
  • the amount of change from the initial value of the measured value of the first parameter is equal to or greater than the threshold value of the first parameter corresponding to level k, or satisfies a value that satisfies the threshold range of the first parameter corresponding to level k and, as the amount of change from the initial value of the measurement value for the second parameter is equal to or greater than the threshold value of the second parameter corresponding to level k or satisfies the threshold range of the second parameter corresponding to level k, the eye fatigue level is set to level k.
  • the condition for determining the eye fatigue level consists of a combination of two parameters is exemplified, but the present invention is not limited thereto.
  • the electronic device may determine the eye fatigue level by applying a weight for each parameter. For example, the electronic device may apply a weight for each parameter by reducing a threshold value corresponding to the eye fatigue level of at least one parameter, but is not limited thereto. According to an embodiment, as a weight for an arbitrary parameter increases, the electronic device may determine the eye fatigue level as a higher level for the same amount of change. According to an embodiment, as the weight increases, even if the amount of change is small, it may have a large influence on the determination of the eye fatigue level. . According to an embodiment, among the plurality of parameters, the eye blink frequency and the pupil adjustment speed may have a relatively high weight compared to other parameters.
  • the electronic device may determine the eye fatigue level further based on a biosignal obtained using a biometric sensor (eg, the sensor module 413 of FIG. 4 ).
  • the biosignal may include an electrocardiogram or an EEG.
  • the electronic device may use an electrocardiogram or an EEG as one of parameters for determining the eye fatigue level.
  • the electronic device may apply a weight for each parameter to an electrocardiogram or an EEG. For example, a weight of an electrocardiogram or an EEG may be lower than a weight of a parameter included in the eye tracking data.
  • the electronic device may determine the eye fatigue level further based on usage history information of the electronic device.
  • the usage history information of the electronic device may include at least one of a usage time of the electronic device, a setting of a display (eg, the display 420 of FIG. 4 ), or a type of an application being executed. For example, even if the amount of change in the user's eye tracking data or the amount of change in the user's bio-signal is not large, the electronic device may be operated for a long period of time, if the display illuminance is high, or if there is a large amount of screen change or movement within the screen. It may be necessary to determine the user's eye fatigue level to be high.
  • the electronic device may use usage history information of the electronic device as one of parameters for determining the eye fatigue level. According to an embodiment, the electronic device may apply a relatively low weight to the use history information of the electronic device compared to the user's eye tracking data or biosignal.
  • the electronic device may control at least one of a display setting and a content output setting according to the determined eye fatigue level.
  • the item related to setting of the display may include at least one of refresh rate and brightness
  • the item related to setting of output of content may include the number, size, location, color, or degree of three-dimensionality of objects output to the display.
  • the electronic device may change at least one of a refresh rate and a brightness of the display according to the eye fatigue level.
  • the electronic device may change at least one of the number, size, position, color, and degree of three-dimensional effect of objects output to the display according to the level of eye fatigue.
  • the higher the brightness of the display or the higher the refresh rate of the display the higher the user's eye fatigue level may be.
  • the electronic device may lower the brightness of the display or lower the refresh rate of the display.
  • the user's eye fatigue level may increase. As the eye fatigue level is determined to be higher than a certain level, the electronic device may reduce the number of objects output to the display or increase the size of the objects. As another example, if the position of the object has a position or arrangement that interferes with the user experience, such as the position of the main object is located at the edge of the screen and the position of the sub-object is located in the center of the screen, the user's eye fatigue level will increase. can As the eye fatigue level is determined to be higher than a certain level, the electronic device may change the position or arrangement of the object output on the display in consideration of the user experience.
  • the user's eye fatigue level may be higher than when the color of the object is black and white.
  • the electronic device may change the color of the object output on the display to black and white or gray.
  • the higher the degree of three-dimensional effect of the object the higher the user's eye fatigue level may be.
  • the electronic device may lower the degree of the three-dimensional effect of the object output to the display.
  • the electronic device may change only the display setting or both the display setting and the content output setting.
  • the electronic device may have a plurality of modes according to whether the display setting is changed or the content output setting is changed. For example, a mode in which the electronic device changes only display settings may be referred to as a first mode, and a mode in which the electronic device changes both display settings and content output settings may be referred to as a second mode.
  • the electronic device may have various modes according to an item for changing a setting or the number of items for changing a setting.
  • FIG. 6 is a flowchart 600 illustrating a method of operating an electronic device according to an exemplary embodiment. Operations of the electronic device described below may be performed by an electronic device (eg, the electronic device 401 of FIG. 4 ) or a processor of the electronic device (eg, the processor 430 of FIG. 4 ) according to an embodiment. .
  • an electronic device eg, the electronic device 401 of FIG. 4
  • a processor of the electronic device eg, the processor 430 of FIG. 4
  • the electronic device may identify an eye fatigue level.
  • the electronic device may determine the eye fatigue level according to the process illustrated in FIG. 5 .
  • the electronic device may receive an eye fatigue level from a user through a user input.
  • the electronic device may identify the determined eye fatigue level or the input eye fatigue level.
  • the electronic device may determine whether the identified eye fatigue level is equal to or greater than a first threshold value. For example, assuming that the eye fatigue level is from level 1 to level 10, the first threshold value may be any one of 1 to 10. According to an embodiment, when it is determined that the eye fatigue level is equal to or greater than the first threshold value (“Yes”), the electronic device may perform operation 605, and when it is determined that the eye fatigue level is less than the first threshold value (“Yes”) “No”), operation 601 may be performed. According to an embodiment, the electronic device may perform operation 601 every specified period. For example, when it is determined in operation 603 that the eye fatigue level is less than the first threshold value (“No”), the electronic device may perform operation 601 after a specified time has elapsed.
  • the electronic device may determine whether the eye fatigue level is equal to or greater than a second threshold value.
  • the first threshold value may be any one of 1 to 10.
  • the second threshold value may be greater than the first threshold value.
  • the electronic device may perform operation 609, and when it is determined that the eye fatigue level is less than the second threshold value (“Yes”) “No”), operation 607 may be performed.
  • the eye fatigue level when it is determined in operation 605 that the eye fatigue level is less than the second threshold value (“No”), the eye fatigue level may be greater than or equal to the first threshold value and less than the second threshold value.
  • the electronic device may select the first mode when the eye fatigue level is greater than or equal to the first threshold value and less than the second threshold value (operation 607), and selects the second mode when the eye fatigue level is greater than or equal to the second threshold value (operation 607) can be selected (operation 609).
  • the electronic device may select the first mode.
  • the first mode may be a mode in which only the display settings are changed among display settings and content output settings.
  • the electronic device may lower the brightness of the display or lower the refresh rate of the display according to the selection of the first mode.
  • the electronic device may select the second mode.
  • the second mode may be a mode in which both display settings and content output settings are changed.
  • the electronic device may decrease the brightness or refresh rate of the display, and may reduce the number of objects or increase the size of objects, but is not limited thereto.
  • the electronic device may change an item related to the setting of the display when the eye fatigue level is determined to be equal to or greater than the first threshold value, and set the display setting when the eye fatigue level is determined to be equal to or greater than the second threshold value.
  • the electronic device may control display settings or content output settings in stages according to the level of eye fatigue.
  • the electronic device may reduce the speed at which the user's eye fatigue accumulates by changing the display setting or the content output setting according to the eye fatigue level.
  • FIG. 7 is a flowchart 700 illustrating a method of operating an electronic device according to an exemplary embodiment. Operations of the electronic device described below may be performed by an electronic device (eg, the electronic device 401 of FIG. 4 ) or a processor of the electronic device (eg, the processor 430 of FIG. 4 ) according to an embodiment. .
  • an electronic device eg, the electronic device 401 of FIG. 4
  • a processor of the electronic device eg, the processor 430 of FIG. 4
  • the electronic device may identify an eye fatigue level. Since operation 701 is the same operation as operation 601 of FIG. 6 , a duplicate description will be omitted.
  • the electronic device may determine whether the identified eye fatigue level is equal to or greater than a threshold value. Operation 703 may correspond to operations 603 to 605 of FIG. 6 . According to an embodiment, the electronic device may perform operation 701 again if the eye fatigue level is less than the first threshold value, and may perform operation 705 if the eye fatigue level is greater than or equal to the first threshold value. According to an embodiment, when the first threshold value is greater than or equal to the second threshold value, the electronic device may select the first mode for changing only the settings of the display (eg, the display 420 of FIG. 4 ), and the second threshold value or greater In this case, the second mode for changing both the display setting and the content output setting may be selected.
  • the first threshold value is greater than or equal to the second threshold value
  • the electronic device may select the first mode for changing only the settings of the display (eg, the display 420 of FIG. 4 ), and the second threshold value or greater In this case, the second mode for changing both the display setting and the content output setting may be selected.
  • the electronic device may determine whether to automatically set a specified setting value for each selected mode.
  • the electronic device may provide the user with a user interface for selecting whether to set automatically. The user can select whether to set automatically through the provided user interface.
  • the electronic device may perform operations 707 to 711, and upon receiving the user's selection input for not automatically setting (manual setting) In response (“No”), operations 713 to 717 may be performed.
  • the case where the electronic device receives a user input and determines whether or not to set automatically is an example, but the present invention is not limited thereto. have.
  • the electronic device may identify the display setting state and the content output setting state. According to an embodiment, the electronic device may identify the display setting state and the content output setting state at the time when operation 701 is performed. For example, the electronic device may identify the brightness of the display and the refresh rate of the display when operation 701 is performed. For example, the electronic device may identify the number, size, position, color, and degree of three-dimensional effect output to the display at the point in time when operation 701 is performed.
  • the electronic device may change at least one of a display setting and a content output setting according to the eye fatigue level.
  • the electronic device may select any one mode (eg, the first mode or the second mode) from among the plurality of modes.
  • the electronic device may change at least one of a display setting and a content output setting according to the selected mode.
  • the electronic device may change the setting of the display according to the selection of the first mode.
  • the electronic device may change at least one of the brightness of the display and the refresh rate of the display to an automatically set value in the first mode.
  • the electronic device may change the output setting of content output to the display according to the selection of the second mode.
  • the electronic device may change at least one of the number, size, position, color, and stereoscopic value of objects output on the display to an automatically set value.
  • the automatic setting value may include setting values of items related to display setting or content output setting determined according to the eye fatigue level.
  • the automatic setting value may be stored in a memory (eg, the memory 440 of FIG. 4 ) of the electronic device.
  • the electronic device may determine an automatic setting value based on history information including a change in the user's eye fatigue level according to a change in the setting item.
  • the electronic device may render content based on a display setting and an output setting of the content, and output an image generated by the rendering.
  • the electronic device may render the content output to the display based on the display setting changed to the automatic setting value and the content output setting in operation 709 .
  • the electronic device may generate the final image output to the display by rendering the content.
  • the electronic device may output the generated final image to the display.
  • the electronic device may perform operations 713 to 717.
  • the electronic device may display a user interface (UI) indicating a setting state of a display and an output state of content.
  • UI user interface
  • the electronic device may display a user interface including information on a setting state of a display and an output state of content at the time of performing operation 701 on the display.
  • the user interface may include a current setting value for items related to a display setting and an output setting of a content, and at least one component capable of changing a setting value for each item.
  • the electronic device allows a user to directly change a display setting or a content output setting through the user interface.
  • the electronic device may provide a user interface including only items related to settings of the display, and when the second mode is selected, items and contents related to settings of the display are output. It is possible to provide a user interface that includes all items related to settings.
  • the electronic device may receive a setting input from the user and change at least one of a display setting and a content output setting.
  • the electronic device may receive a user's setting input for changing at least one setting value among items related to display setting and content output setting through the user interface.
  • the electronic device may change at least one of a display setting and a content output setting based on the received user's setting input.
  • the electronic device may change at least one of a display setting and a content output setting by changing the current setting value for each item output through the user interface to the setting value input by the user.
  • the content may be rendered based on the display setting and the content output setting, and an image generated by the rendering may be output.
  • the electronic device may render content output to the display based on the display setting changed to the setting value input by the user in operation 715 and the content output setting.
  • the electronic device may generate a final image output to the display by rendering the content, and may output the generated final image to the display.
  • FIG. 8 is a diagram 800 illustrating an example of changing a display setting of an electronic device according to an embodiment. Operations of the electronic device described below may be performed by an electronic device (eg, the electronic device 401 of FIG. 4 ) or a processor of the electronic device (eg, the processor 430 of FIG. 4 ) according to an embodiment. .
  • an electronic device eg, the electronic device 401 of FIG. 4
  • a processor of the electronic device eg, the processor 430 of FIG. 4
  • the scan rate of the display may mean the number of times the display outputs a screen per second or the number of screens that the display outputs per second,
  • the unit is hertz (Hz).
  • the refresh rate may be referred to as a screen refresh rate.
  • the display may flicker.
  • the motion blur may mean a graphic effect in which an afterimage remains when an object on the screen moves.
  • a motion blur effect may occur when the user moves while wearing the electronic device or changes his/her gaze.
  • the motion blur effect when the motion blur effect is strongly generated over a certain level, the user may perceive a flicker of the screen and may feel eye fatigue.
  • the refresh rate of the display is 90 Hz or higher, the user may not perceive flickering.
  • the electronic device may reduce the motion blur effect by increasing the refresh rate of the display and may reduce the user's eye fatigue.
  • the electronic device may increase the refresh rate of the display to reduce the speed at which the user's eye fatigue accumulates. For example, the electronic device may set the refresh rate of the display to 90 Hz or higher so that the user may feel less eye strain.
  • the electronic device may determine the refresh rate of the display in consideration of the battery consumption and the user's eye fatigue level.
  • FIG. 9 is a diagram 900 illustrating an example of changing an output setting of content of an electronic device according to an embodiment.
  • Operations of the electronic device described below may be performed by an electronic device (eg, the electronic device 401 of FIG. 4 ) or a processor of the electronic device (eg, the processor 430 of FIG. 4 ) according to an embodiment. .
  • the first screen 901 and the second screen 902 of FIG. 9 represent screens displayed on the display of the electronic device (eg, the display 420 of FIG. 4 ), and represent the same content (eg, navigation content). .
  • the electronic device displays a first object 911a, a second object 912a, a third object 913a, a fourth object 914a and A fifth object 915a may be displayed.
  • the first object 911a is an object including current time information
  • the second object 912a is an object including instantaneous fuel efficiency information
  • the third object 913a is an object including average speed information
  • the fourth object 914a may be an object including remaining distance information
  • the fifth object 915a may be an object including arrival time information.
  • the electronic device may display the sixth object 921a, the seventh object 922a, and the eighth object 923a on the second area 920a of the display.
  • the sixth object 921a, the seventh object 922a, and the eighth object 923a are objects including next path information, and the sixth object 921a includes path information immediately following the current path. and the seventh object 922a includes path information following the path included in the sixth object 921a, and the eighth object 923a includes path information following the path included in the seventh object 922a.
  • the electronic device may change the number or size of objects output to the display according to the eye fatigue level.
  • the eye fatigue level identified by the electronic device is higher in the second screen 902 than in the first screen 901 .
  • the electronic device may reduce the number of objects output on the display and increase the size of the objects output on the display.
  • the electronic device may display the first object 911b and the fifth object 915b in the first area 910b.
  • the electronic device may reduce the number of objects displayed on the first area 910b from five to two.
  • the electronic device may determine the number of objects to be output on the display, and may determine the number of objects to be output by considering the priority among the plurality of objects. For example, the electronic device selects the first object 911b and the fifth object 915b, which are two objects having the highest priority among the plurality of objects displayed in the first area 910b, and selects the first area ( 910b). In the same way, the electronic device may display only the sixth object 921b on the second area 920b.
  • the electronic device may reduce the number of objects displayed on the second area 920b from three to one.
  • the electronic device may select a sixth object 921b that is one object having the highest priority among a plurality of objects displayed in the second area 920b and display it in the second area 920b.
  • the electronic device may increase the size of an object displayed in the first area 910b or the second area 920b. According to an embodiment, the electronic device may reduce the amount of information provided and provide improved visibility by reducing the number of objects output to the display and increasing the size of the output objects. The electronic device may reduce the amount of information provided on one screen and increase the visibility of information, thereby slowing the accumulation rate of user's eye fatigue.
  • FIG. 10 is a diagram 1000 for explaining an operation of changing a viewing angle of an electronic device according to an exemplary embodiment.
  • the electronic device 1001 according to the embodiment shown in FIG. 10 may be the electronic device 401 of FIG. 4 . Operations of the electronic device 1001 described below may be performed by the processor 430 of the electronic device 401 .
  • the camera module of the electronic device 1001 selects a certain range based on the user's gaze direction 1011 when the user wears the electronic device 1001 .
  • the range may be referred to as a field of view (FOV).
  • the electronic device 1001 uses a camera that detects and tracks the position or movement of the user's eye or pupil (eg, the eye tracking camera 313 of FIG. 3 ) to the user's gaze direction 1011 ). can be decided
  • the electronic device 1001 may determine the user's gaze direction 1011 based on the reference point 1010 .
  • the reference point 1010 may be at least a part of the electronic device 1001 corresponding to the center of both eyes of the user.
  • the reference point 1010 is a frame surrounding the display corresponding to the right eye (eg, the first display 211 ). (eg, the frame 203 of FIG. 2 ) and the second part of the frame (eg, the frame 203 of FIG. 2 ) surrounding the display corresponding to the left eye (eg, the second display 213 ). It may include a center of a connecting bridge (eg, the bridge 209 of FIG. 2 ).
  • the viewing angle recognized by the camera module of the electronic device 1001 may include a range extended by an arbitrary angle ⁇ to the left and right with respect to the gaze direction 1011 (0 ⁇ t ) ).
  • ⁇ t may mean a maximum angle corresponding to a maximum viewing angle recognizable by the camera module.
  • the electronic device may recognize an object within a viewing angle recognized by the camera module.
  • the object within the viewing angle recognized by the camera module may include an actual object.
  • the electronic device may provide information related to the real object by superimposing the virtual object on the real object located within the viewing angle and displaying it on the display. According to an embodiment, even if a virtual object mapped to a real object located outside the viewing angle exists, the electronic device may omit the display of the virtual object or display an alternative object.
  • the electronic device may decrease the viewing angle recognized by the camera module as the eye fatigue level increases. According to an embodiment, as the viewing angle decreases, the number of objects positioned within the viewing angle may decrease. According to an embodiment, since the electronic device overlaps and displays a virtual object only for an object located within the viewing angle, the amount of information displayed through the display may decrease as the viewing angle decreases. The electronic device may reduce the amount of information provided to the user by reducing the viewing angle as the eye fatigue level increases, and may reduce the speed at which the user's eye fatigue accumulates.
  • the electronic device may display information (eg, a virtual object) for a specified viewing angle among viewing angles recognized by the camera module.
  • the electronic device may decrease the range of the specified viewing angle for displaying the information as the eye fatigue level increases.
  • 11 is a diagram 1100 illustrating a screen displayed on a display as an electronic device changes a viewing angle according to an exemplary embodiment. Operations of the electronic device described below are performed by the electronic device 1001 of FIG. 10 (eg, the electronic device 401 of FIG. 4 ) or the processor of the electronic device 1001 (eg, the processor 430 of FIG. 4 ). can be performed. 11 illustrates screens displayed on a display (eg, the display 420 of FIG. 4 ) of the electronic device.
  • the electronic device may identify the eye fatigue level and set the first viewing angle according to the identified eye fatigue level.
  • the first viewing angle may include, for example, a range that is widened by ⁇ 1 left and right with respect to the user's gaze direction 1111 .
  • the electronic device may recognize the first objects 1115a, 1115b, 1115c, 1115d, 1115e, and 1115f located within the first viewing angle.
  • the first objects 1115a, 1115b, 1115c, 1115d, 1115e, and 1115f may include real objects existing outside the electronic device.
  • the electronic device identifies the first objects 1115a, 1115b, 1115c, 1115d, 1115e, and 1115f, and a second object 1110a mapped to the first object 1115a, 1115b, 1115c, 1115d, 1115e, and 1115f; 1110b, 1110c, 1110d, 1110e, and 1110f may be displayed to overlap with the first objects 1115a, 1115b, 1115c, 1115d, 1115e, and 1115f.
  • the second objects 1110a, 1110b, 1110c, 1110d, 1110e, and 1110f are virtual objects, respectively, and information related to the first objects 1115a, 1115b, 1115c, 1115d, 1115e, and 1115f. may include For example, if the first objects 1115a, 1115b, 1115c, 1115d, 1115e, and 1115f are sales products, the second objects 1110a, 1110b, 1110c, 1110d, 1110e, and 1110f may include price information.
  • the electronic device may identify an eye fatigue level and set a second viewing angle according to the identified eye fatigue level.
  • the second viewing angle may include, for example, a range spread by ⁇ 2 left and right with respect to the user's gaze direction 1111 .
  • ⁇ 2 since the electronic device may decrease the viewing angle as the eye fatigue level increases, ⁇ 2 may be smaller than ⁇ 1 .
  • the electronic device may recognize the first objects 1115a , 1115b , and 1115c located within the second viewing angle.
  • the electronic device identifies the first objects 1115a, 1115b, and 1115c, and converts the second objects 1110a, 1110b, and 1110c mapped to the first objects 1115a, 1115b, and 1115c to the first object 1115a, 1115b, and 1115c) may be displayed overlapping each other.
  • the electronic device identifies the third objects 1115d, 1115e, and 1115f located outside the second viewing angle, and outputs the fourth object (eg, 1110d) mapped to the third objects 1115d, 1115e, and 1115f.
  • the mapped fifth objects 1120d, 1120e, and 1120f may be displayed to overlap the first objects 1115a, 1115b, and 1115c.
  • the fourth object is a virtual object and may include information related to the third objects 1115d, 1115e, and 1115f.
  • the fifth object does not directly display information (eg, fourth object), but may include a virtual object indicating that information (eg, fourth object) can be displayed through user interaction.
  • an operation of outputting a fourth object may be mapped to the fifth objects 1120d, 1120e, and 1120f, and the electronic device receives an input for selecting the fifth object 1120d. Upon reception, the fourth object 1110d may be output.
  • the electronic device uses a camera module (eg, the camera module 411 of FIG. 4 ) to determine the pointing object 1121 for pointing to an object output on the screen and the direction in which the pointing object 1121 points. can recognize The electronic device may select at least one object based on the direction indicated by the pointing object 1121 . For example, the electronic device may select the fifth object (eg, 1120d) based on the direction indicated by the pointing object 1121 . The electronic device may receive a user input for selecting a fifth object (eg, 1120d).
  • the user input for selecting the fifth object may include, for example, a gesture input such as a gesture pointing to the fifth object using the pointing object 1121 .
  • the electronic device may output the fourth object 1110d in response to receiving a user input for selecting the fifth object (eg, 1120d). According to an embodiment, the electronic device may selectively display information through additional user interaction without displaying information related to the third objects 1115d, 1115e, and 1115f located outside the second viewing angle.
  • FIG. 12 is a flowchart 1200 illustrating a method of operating an electronic device according to an exemplary embodiment. Operations of the electronic device described below may be performed by an electronic device (eg, the electronic device 401 of FIG. 4 ) or a processor of the electronic device (eg, the processor 430 of FIG. 4 ) according to an embodiment. .
  • an electronic device eg, the electronic device 401 of FIG. 4
  • a processor of the electronic device eg, the processor 430 of FIG. 4
  • the electronic device may identify a setting item that is changed in each mode.
  • the electronic device may have a plurality of modes for changing at least one of a display setting and a content output setting according to an eye fatigue level.
  • the setting item related to the setting of the display may include, for example, at least one of brightness of the display or a refresh rate of the display.
  • the setting item related to the content output setting may include, for example, at least one of the number, size, position, color, and three-dimensional effect level of objects output to the display.
  • the setting items changed by the electronic device may be different for each mode.
  • the electronic device may identify what setting items are changed in each mode and how settings are changed for each item (eg, a change amount of a setting value for each item). For example, the electronic device may store a history of decreasing the brightness of the display from 8 to 5 in the first mode in a memory (eg, the memory 440 of FIG. 4 ).
  • the electronic device may calculate a change amount of the eye fatigue level according to the change of the setting item.
  • the electronic device may calculate an amount of change in the eye fatigue level according to the change of the setting item by comparing the eye fatigue level identified before changing the setting item and the eye fatigue level identified after changing the setting item.
  • the eye fatigue level may increase in proportion to the usage time of the electronic device or the amount of content viewed by the user.
  • the electronic device may reduce the rate at which the eye fatigue level increases compared to the usage time of the electronic device by changing the setting item.
  • the eye fatigue level may increase by 3 after a certain period of time has elapsed, but as the electronic device changes the setting state, the eye fatigue level after the same time elapses This can be increased by 1.
  • changing the setting item may be effective in reducing the user's eye fatigue.
  • the electronic device may store the change amount of the eye fatigue level corresponding to the change information together with the change information including the changed setting item and the change amount of the setting value in the memory.
  • the electronic device may identify and store a setting item corresponding to the smallest amount of change in the eye fatigue level.
  • the electronic device may identify change information corresponding to the smallest amount of change in the eye fatigue level among the stored information on the amount of change in the eye fatigue level.
  • the electronic device may separately store the identified change information (eg, a changed setting item and a change amount of a setting value) in a user database of the electronic device.
  • the user database may store a method for reducing eye fatigue optimized for a user identified by the electronic device.
  • the electronic device may apply a method for reducing eye fatigue optimized to a user by changing a setting item that is changed according to an eye fatigue level and a setting value of the setting item based on data stored in the user database.
  • an electronic device may include a camera module (eg, the camera module 180 of FIG. 1 or the camera module 411 of FIG. 4 ); a display for displaying augmented reality or virtual reality content including at least one object (eg, the display module 160 of FIG. 1 or the display 420 of FIG. 4 ); at least one processor (eg, the processor 120 of FIG. 1 , the processor 430 of FIG.
  • the at least one processor acquires eye tracking data using the camera module, determines an eye fatigue level based on the eye tracking data, and according to the eye fatigue level, One or more instructions for selecting any one of a first mode for changing a setting and a second mode for changing both a setting of the display and an output setting of the augmented reality or virtual reality content may be stored. .
  • the eye tracking data includes measurement values for each of a plurality of parameters, wherein the plurality of parameters include eye blink frequency, pupil adjustment speed, eye dryness, degree of eye redness, or pupil. It may include at least one of the degree of tremor.
  • the instructions may cause the processor to acquire the eye tracking data at a specified period.
  • the instructions allow the processor to identify an initial value of the eye tracking data, calculate a change amount compared to the initial value of the obtained eye tracking data, and according to the change amount, It can be used to determine the level of fatigue.
  • the initial value may include an average value for a specified time period, an average value determined based on history information of a user of the electronic device, or a preset setting value.
  • the electronic device further includes a communication module (eg, the communication module 190 of FIG. 1 ), and the instructions enable the processor to identify a user of the electronic device, and The user may receive setting information and usage history information of the user's external electronic device through a communication module, and determine the initial value based on the setting information and the usage history information.
  • a communication module eg, the communication module 190 of FIG. 1
  • the instructions enable the processor to identify a user of the electronic device, and The user may receive setting information and usage history information of the user's external electronic device through a communication module, and determine the initial value based on the setting information and the usage history information.
  • the processor identifies a weight for each of the plurality of parameters, applies the weight to at least one parameter among the plurality of parameters, and the measured value determines the degree of eye fatigue. It is determined whether a condition for determining the level is satisfied, and the condition may include the at least one parameter or a combination of at least two parameters.
  • the electronic device further includes a sensor module (eg, the sensor module 176 of FIG. 1 or the sensor module 413 of FIG. 4 ), and the instructions include: A bio-signal may be obtained using the sensor module, and the eye fatigue level may be determined further based on the bio-signal, and the bio-signal may include at least one of an electrocardiogram or an EEG.
  • a sensor module eg, the sensor module 176 of FIG. 1 or the sensor module 413 of FIG. 4
  • the instructions include: A bio-signal may be obtained using the sensor module, and the eye fatigue level may be determined further based on the bio-signal, and the bio-signal may include at least one of an electrocardiogram or an EEG.
  • the instructions cause the processor to determine the eye fatigue level further based on usage history information of the electronic device, and the usage history information includes: a usage time of the electronic device; It may include at least one of a setting of the display or a type of an application being executed.
  • the instructions cause the processor to select the first mode according to the eye fatigue level being greater than or equal to a first threshold value and less than a second threshold value, wherein the eye fatigue level is the It is possible to select the second mode according to the second threshold value or more.
  • the first item related to the setting of the display may include at least one of a refresh rate and brightness.
  • the second item related to the output setting of the augmented reality or virtual reality content includes at least one of the number, size, position, color, and three-dimensional effect of objects output to the display. can do.
  • the instructions may cause the processor to decrease a field of view (FOV) recognized by the camera module as the eye fatigue level increases.
  • FOV field of view
  • the instructions cause the processor to output a second virtual object mapped to a first real object located within the viewing angle, and a fourth virtual object mapped to a third real object located outside the viewing angle.
  • the operation of outputting the object may cause the mapped fifth virtual object to be output.
  • the instructions may cause the processor to output the fourth virtual object in response to receiving a user input for selecting the fifth virtual object.
  • the instructions may cause the processor to adjust the eye fatigue level based on the augmented reality or virtual reality content to be output to the display.
  • an operating method of an electronic device for displaying content includes: acquiring eye tracking data using a camera module; determining an eye fatigue level based on the eye tracking data; and selecting one of a first mode for changing a setting of the display and a second mode for changing both a setting of the display and an output setting of the content according to the eye fatigue level.
  • the operation of selecting the mode includes selecting the first mode according to the eye fatigue level being equal to or greater than a first threshold value and less than a second threshold value, and the eye fatigue level being and selecting the second mode according to the second threshold or higher.
  • the first item related to the setting of the display may include at least one of a refresh rate and brightness.
  • the second item related to the output setting of the content may include at least one of the number, size, position, color, and degree of three-dimensional effect of the object output to the display.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first, second, or first or second may simply be used to distinguish an element from other elements in question, and may refer elements to other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101).
  • a storage medium eg, internal memory 136 or external memory 138
  • the processor eg, the processor 120
  • the device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided as included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg: smartphones).
  • a part of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. , or one or more other operations may be added.
  • Some of the above-described embodiments may be implemented in hardware or firmware, CD ROM, digital versatile disc (DVD), magnetic tape, RAM, floppy disk, hard disk, or It may be implemented by execution of software or computer code that may be stored in a recording medium such as a magneto-optical disk. Alternatively, some of the above-described embodiments may be implemented by execution of computer code that is originally stored in a remote recording medium or a non-transitory machine-readable medium, and is downloaded over a network and stored in a local recording medium. The method described in this document may be rendered through software stored on a recording medium using a general-purpose computer or special processor, or in programmable or dedicated hardware such as an ASIC or FPGA.
  • a computer, processor, microprocessor controller, or programmable hardware stores or stores software or computer code that, when accessed or executed by the computer, processor, or hardware, implements the processing methods described herein. It may include a memory component capable of receiving (eg, RAM, ROPM, or Flash).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

카메라 모듈, 적어도 하나의 오브젝트를 포함하는 증강 현실 또는 가상 현실 콘텐츠를 표시하는 디스플레이, 상기 카메라 모듈 및 상기 디스플레이와 작동적으로 연결된 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서와 작동적으로 연결되며, 상기 증강 현실 또는 가상 현실 콘텐츠를 저장하는 메모리를 포함하는 전자 장치가 개시된다. 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 카메라 모듈을 이용하여 눈 추적 데이터를 획득하고, 상기 눈 추적 데이터를 기반으로 눈 피로도 레벨을 결정하고, 상기 눈 피로도 레벨에 따라, 상기 디스플레이의 설정을 변경하는 제1 모드 및 상기 디스플레이의 설정 및 상기 콘텐츠의 출력 설정을 모두 변경하는 제2 모드 중 어느 하나의 모드를 선택하도록 하는 하나 이상의 인스트럭션들(instructions)을 저장할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법
본 문서에서 개시되는 실시 예들은, 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법에 관한 것이다.
가상 현실(virtual reality, VR)은 사용자가 가상의 객체와 상호작용할 수 있는 실제 환경과 유사한 가상의 환경을 생성하고 표시하는 기술이다.
증강 현실(augmented reality, AR)은 실제 환경에 가상의 객체를 합성하여 표시하는 기술이다.
헤드 마운티드 디스플레이(head mounted display, HMD)를 포함하는 전자 장치는 사용자의 눈 앞에 가상 현실 콘텐츠 또는 증강 현실 콘텐츠를 표시함으로써 사용자가 가상 현실 환경 또는 증강 현실 환경 내에 존재하는 것처럼 느끼도록 할 수 있다. 가 보는 외부 환경을 인식하여 이를 반영한 증강 현실 콘텐츠를 제공할 수 있다. 헤드 마운티드 디스플레이를 포함하는 전자 장치는, 예를 들어, 안경(a pair of glasses)으로 구현될 수 있다.
종래의 VR 기기 또는 AR 기기는 3D 입체감을 구현하여 높은 현실감과 몰입도를 제공하는 반면, 사용자에게 문제를 일으킬 수 있다.
예를 들어, VR 기기 또는 AR 기기의 사용자는 콘텐츠를 시청하는 동안이나 콘텐츠를 시청한 이후에 눈의 피로감과 두통을 느낄 수 있으며, 심한 경우에는 통증을 유발할 정도의 시각적 피로를 느낄 수 있다. 시각 피로 증상은 VR 기기 또는 AR 기기 사용 시 가장 빈번하게 나타나는 증상으로서, 해결이 시급하다.
시각 피로를 유발하는 요인은, 예를 들어, 디스플레이, 시각적 콘텐츠, 시청자 특성 또는 시청 환경을 포함할 수 있다. 예를 들어, 디스플레이의 해상도 또는 휘도가 높을수록 눈의 피로도가 높아질 수 있으며, 디스플레이의 해상도 또는 휘도를 낮추어 줌으로써 눈의 피로도를 경감시킬 수 있다.
종래의 VR 기기 또는 AR 기기는 사용자의 눈의 피로도를 고려하지 않고 콘텐츠를 일률적으로 표시함으로써 사용자의 눈의 피로도를 가중시킬 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라 모듈; 적어도 하나의 오브젝트를 포함하는 증강 현실 또는 가상 현실 콘텐츠를 표시하는 디스플레이; 상기 카메라 모듈 및 상기 디스플레이와 작동적으로 연결된 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 작동적으로 연결되며, 상기 증강 현실 또는 가상 현실 콘텐츠를 저장하는 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 카메라 모듈을 이용하여 눈 추적 데이터를 획득하고, 상기 눈 추적 데이터를 기반으로 눈 피로도 레벨을 결정하고, 상기 눈 피로도 레벨에 따라, 상기 디스플레이의 설정을 변경하는 제1 모드 및 상기 디스플레이의 설정 및 상기 증강 현실 또는 가상 현실 콘텐츠의 출력 설정을 모두 변경하는 제2 모드 중 어느 하나의 모드를 선택하도록 하는 하나 이상의 인스트럭션들(instructions)을 저장할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 콘텐츠를 표시하기 위한 전자 장치의 동작 방법은, 카메라 모듈을 이용하여 눈 추적 데이터를 획득하는 동작; 상기 눈 추적 데이터를 기반으로 눈 피로도 레벨을 결정하는 동작; 및 상기 눈 피로도 레벨에 따라, 디스플레이의 설정을 변경하는 제1 모드 및 상기 디스플레이의 설정 및 상기 콘텐츠의 출력 설정을 모두 변경하는 제2 모드 중 어느 하나의 모드를 선택하는 동작을 포함할 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 사용자의 눈의 피로도에 기반하여 디스플레이의 설정 또는 콘텐츠의 출력 설정 중 적어도 하나를 변경함으로써 사용자의 눈의 피로도를 경감시키는 전자 장치 및 그의 동작 방법을 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
추가적인 양태는 다음의 설명에서 부분적으로 설명될 것이고, 부분적으로는 설명으로부터 명백하거나 제시된 실시예의 실행에 의해 학습될 수 있다.
본 개시의 실시예들의 상기 및 기타 양태, 특징 및 이점은 첨부 도면과 관련한 다음의 설명으로부터 더욱 명백해질 것이다.
도 1은 일 실시 예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 일 실시 예에 따른 전자 장치의 구성요소를 나타낸 도면이다.
도 3은 일 실시 예에 따른 전자 장치의 블록도이다.
도 4는 일 실시 예에 따른 전자 장치의 블록도이다.
도 5는 일 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 6은 일 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 7은 일 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 8은 일 실시 예에 따른 전자 장치의 디스플레이의 설정을 변경하는 예시를 나타낸 도면이다.
도 9는 일 실시 예에 따른 전자 장치의 콘텐츠의 출력 설정을 변경하는 예시를 나타낸 도면이다.
도 10은 일 실시 예에 따른 전자 장치의 시야각을 변경하는 동작을 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 전자 장치가 시야각을 변경함에 따라 디스플레이에 표시되는 화면을 나타낸 도면이다.
도 12는 일 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은, 일 실시예에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
이하, 도 2를 참조하여 일 실시 예에 따른 전자 장치의 구조 및 구성요소에 대하여 설명한다.
도 2는 일 실시 예에 따른 전자 장치(201)의 구성요소를 나타낸 도면(200)이다. 일 실시 예에 따르면, 전자 장치(201)는 사용자의 머리에 착용될 수 있다. 예를 들어, 전자 장치(201)는 안경(a pair of glasses)일 수 있으나, 이에 한정되는 것은 아니다. 일 실시 예에 따르면, 안경으로서의 전자 장치(201)는 사용자가 전자 장치(201)를 착용하였을 때 사용자의 눈에 대면하도록 배치되는 디스플레이의 테두리를 따라 형성된 프레임(frame)(203) 및 사용자의 귀에 걸쳐지며 프레임(203)과 연결되어 프레임(203)을 사용자의 눈 앞에 배치시키는 안경 다리(temple)(예: 제1 안경 다리 부재(205) 및 제2 안경 다리 부재(207))를 포함할 수 있다. 일 실시 예에 따라, 안경 다리는 안경 다리와 프레임(203)을 연결하는 힌지(hinge)(예: 제1 힌지(261) 및 제2 힌지(263))를 포함할 수 있다. 일 실시 예에 따라, 프레임(203)은 제1 디스플레이(211)를 둘러싸는 제1 부분과 제2 디스플레이(213)를 둘러싸는 제2 부분을 포함할 수 있다. 일 실시 예에 따라, 프레임(203)은 제1 부분과 제2 부분을 연결하는 브릿지(bridge)(209)를 포함할 수 있다. 일 실시 예에 따라, 안경 다리(temple)는 복수일 수 있으며, 예를 들어 2개의 안경 다리가 제1 부분 및 제2 부분 각각에 연결될 수 있다. 예를 들어, 제1 부분은 제1 힌지(261)에 의해 제1 안경 다리 부재(205)와 연결되고, 제2 부분은 제2 힌지(263)에 의해 제2 안경 다리 부재(207)와 연결될 수 있다. 제1 힌지(261) 및 제2 힌지(263)에 의해 제1 안경 다리 부재(205) 및 제2 안경 다리 부재(207)는 프레임(203)과 겹쳐지도록 접힐 수 있다.
도 2를 참조하면, 일 실시 예에 따른 전자 장치(201)는 디스플레이(예: 제1 디스플레이(211) 및 제2 디스플레이(213))(예: 도 1의 디스플레이 모듈(160)), 투명 부재(예: 제1 투명 부재(215) 및 제2 투명 부재(217)), 광도파로(waveguide)(예: 제1 광도파로(225) 및 제2 광도파로(227)), 입력 광학 부재(예: 제1 입력 광학 부재(221) 및 제2 입력 광학 부재(223)), 카메라 모듈(예: 제1 카메라(231), 제2 카메라(233), 제3 카메라(235), 제4 카메라(237), 및 제5 카메라(239))(예: 도 1의 카메라 모듈(180)), 광원(illumination)(예: 제1 LED(light emitting diode)(241) 및 제2 LED(243)), 인쇄 회로 기판(printed circuit board, PCB)(예: 제1 PCB(251) 및 제2 PCB(253)), 힌지(hinge)(예: 제1 힌지(261) 및 제2 힌지(263)), 마이크(예: 제1 마이크(271), 제2 마이크(273) 및 제3 마이크(275))(예: 도 1의 입력 모듈(150))), 스피커(예: 제1 스피커(281) 및 제2 스피커(283))(예: 도 1의 음향 출력 모듈(155)), 및 배터리(예: 제1 배터리(291) 및 제2 배터리(293))(예: 도 1의 배터리(189))를 포함할 수 있다.
일 실시 예에 따른 디스플레이는 제1 디스플레이(211) 및 제2 디스플레이(213)를 포함할 수 있다. 예를 들어, 디스플레이는 액정 표시 장치(liquid crystal display, LCD), 디지털 미러 표시 장치(digital mirror device, DMD), 실리콘 액정 표시 장치(liquid crystal on silicon, LCoS), 유기 발광 다이오드(organic light emitting diode, OLED), 또는 마이크로 엘이디(micro light emitting diode, micro LED)를 포함할 수 있다.
일 실시 예에 따라 디스플레이가 액정 표시 장치, 디지털 미러 표시 장치 또는 실리콘 액정 표시 장치 중 하나로 구성되는 경우, 전자 장치(201)는 디스플레이의 화면 표시 영역으로 빛을 조사하는 백라이트(backlight)를 포함할 수 있다.
일 실시 예에 따라 디스플레이가 유기 발광 다이오드 또는 마이크로 엘이디로 구성되는 경우, 디스플레이의 픽셀들은 자체적으로 빛을 발생시킬 수 있으므로, 전자 장치(201)는 별도의 백라이트를 포함하지 않더라도 사용자에게 일정 수준 이상의 품질의 가상 영상을 제공할 수 있다. 일 실시 예에 따라 디스플레이가 유기 발광 다이오드 또는 마이크로 엘이디로 구성되는 경우, 별도의 백라이트가 불필요하므로, 전자 장치(201)는 경량화될 수 있다.
일 실시 예에 따르면, 투명 부재는 제1 투명 부재(215) 및 제2 투명 부재(217)를 포함할 수 있다. 투명 부재는, 예를 들어, 글래스 플레이트(glass plate), 플라스틱 플레이트(plastic plate) 또는 폴리머(polymer)로 형성될 수 있다. 일 실시 예에 따르면, 투명 부재는 투명 또는 반투명하게 제작될 수 있다. 일 실시 예에 따르면, 제1 투명 부재(215)는 사용자의 우안(right eye)과 대면하도록 배치될 수 있고, 제2 투명 부재(217)는 사용자의 좌안(left eye)과 대면하도록 배치될 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 사용자의 양안(right eye and left eye)에 대면하는 위치에 배치되며 투명한 디스플레이를 포함할 수 있으며, 디스플레이에 화면 표시 영역을 구성할 수 있다.
일 실시 예에 따르면, 광도파로(waveguide)는 제1 광도파로(225) 및 제2 광도파로(227)를 포함할 수 있다. 일 실시 예에 따르면, 광도파로는 디스플레이(예: 제1 디스플레이(211) 및/또는 제2 디스플레이(213))에서 생성된 광을 사용자의 눈으로 전달할 수 있다. 예를 들어, 제1 광도파로(225)는 제1 디스플레이(211)에서 생성된 광을 사용자의 우안으로 전달하고, 제2 광도파로(227)는 제2 디스플레이(213)에서 생성된 광을 사용자의 좌안으로 전달할 수 있다. 예를 들면, 광도파로는 글래스, 플라스틱 또는 폴리머로 제작될 수 있으며, 그 내부 또는 외부의 일 표면에 형성된 나노 패턴(예: 다각형 또는 곡면 형상의 격자 구조(grating structure))을 포함할 수 있다. 일 실시 예에 따르면, 도파관의 일단으로 입사된 광은 나노 패턴에 의해 광도파로 내부에서 전파되어 사용자에게 제공될 수 있다. 예를 들어, 프리-폼(free-form)의 프리즘으로 구성된 광도파로는 입사된 광을 반사 미러를 통해 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 광도파로는 적어도 하나의 회절 요소(예: DOE(diffractive optical element) 또는 HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 광도파로는 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 광원으로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다. 예를 들어, 회절 요소는 입력 광학 부재(예: 제1 입력 광학 부재(221) 및 제2 입력 광학 부재(223)) 및 출력 광학 부재(미도시)를 포함할 수 있다. 제1 입력 광학 부재(221) 및 제2 입력 광학 부재(223)는 입력 그레이팅 영역(input grating area)으로 참조될 수 있으며, 출력 광학 부재(미도시)는 출력 그레이팅 영역(output grating area)을 참조될 수 있다. 입력 그레이팅 영역은 광원(예: Micro LED)으로부터 출력되는 빛을 화면 표시부의 투명 부재(예: 제1 투명 부재(215) 및/또는 제2 투명 부재217))로 빛을 전달하기 위해 빛을 회절 또는 반사시킬 수 있다. 출력 그레이팅 영역은 광도파로의 투명 부재(예: 제1 투명 부재(215) 및/또는 제2 투명 부재(217)에 전달된 빛을 사용자의 눈의 방향으로 회절 또는 반사시킬 수 있다. 예를 들어, 반사 요소는 전반사(total internal reflection, TIR)를 위한 전반사 광학 소자 또는 전반사 도파관을 포함할 수 있다. 전반사는 광을 유도하는 하나의 방식으로 참조될 수 있으며, 입력 그레이팅 영역을 통하여 입력되는 빛(예: 이미지)이 광도파로의 일면(예: 특정 면)에서 100% 반사되도록 입사각을 만들어, 출력 그레이팅 영역까지 100% 전달되도록 하는 것을 의미할 수 있다. 일 실시 예에 따라, 디스플레이로부터 방출되는 광은 입력 광학 부재(예: 제1 입력 광학 부재(221) 및 제2 입력 광학 부재(223))를 통해 광도파로로 광 경로가 유도될 수 있으며, 광도파로 내부를 이동하는 광은 출력 광학 부재를 통해 사용자의 눈 방향으로 유도될 수 있다. 일 실시 예에 따르면, 사용자의 눈 방향으로 방출되는 광에 따라 화면 표시 영역이 결정될 수 있다. 일 실시 예에 따르면, 제1 광도파로(225) 및 제2 광도파로(227)는 화면 표시 영역으로 달리 지칭될 수 있다. 일 실시 예에 따르면, 제1 광도파로(225)는 제1 디스플레이(211)의 적어도 일부 영역일 수 있으며, 제2 광도파로(227)는 제2 디스플레이(213)의 적어도 일부 영역일 수 있다. 도 2에 도시된 실시 예에서, 제1 광도파로(225) 및 제2 광도파로(227)는 사각형으로 구현된 경우를 예로 들었으나, 이에 한정되는 것은 아니다.
일 실시 예에 따르면, 전자 장치(201)는 제1 카메라 모듈(예: 제1 카메라(231) 및 제2 카메라(233))을 포함할 수 있다. 전자 장치(201)는 제1 카메라 모듈을 이용하여 자유도 3(three degrees of freedom, 3DoF) 또는 자유도 6(six degrees of freedom, 6DoF)의 머리 추적(head tracking), 손 감지 및 추적, 제스처 인식, 및 공간 인식을 수행할 수 있다. 예를 들어, 제1 카메라(231) 및 제2 카메라(233)는 동일한 규격 및 성능(예: 동일 또는 유사한 화각, 셔터 스피드, 해상도, 및/또는 컬러 비트 수 등)을 갖는 GS(global shutter) 카메라일 수 있다. 전자 장치(201)는 좌/우에 배치된 스테레오 카메라를 이용하여 공간 인식(예: 6 자유도 공간 인식) 및/또는 뎁스(depth) 정보 획득을 수행함으로써, SLAM(simultaneous localization and mapping) 기술을 지원할 수 있다. 일 실시 예에 따르면, SLAM 기술은 이동 가능한 로봇이 미지의 환경을 돌아다니면서 자신의 위치를 계측하고, 동시에 주변 환경의 지도를 작성하는 기술을 의미할 수 있다. 또한, 전자 장치(201)는 좌/우에 배치된 스테레오 카메라를 사용자의 제스처를 인식할 수 있다. 전자 장치(201)는 RS(rolling shutter) 카메라에 비하여 상대적으로 왜곡이 적은 GS 카메라를 이용함으로써, 보다 빠른 손동작 및 미세 움직임을 검출할 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 제2 카메라 모듈(예: 제3 카메라(235) 및 제4 카메라(237))을 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(201)는 제2 카메라 모듈을 이용하여 눈동자(또는, 동공)를 감지하고 추적할 수 있다. 예를 들어, 전자 장치(201)는 제2 카메라 모듈에 의해 획득된 눈동자 정보를 이용하여 디스플레이에 표시하는 가상 영상의 중심이 전자 장치(201)를 착용한 사용자의 눈동자가 응시하는 방향에 대응되도록 위치시킬 수 있다. 일 실시 예에 따르면, 제2 카메라 모듈은 우안 추적용 카메라(예: 제3 카메라(235)) 및 좌안 추적용 카메라(예: 제4 카메라(237))를 포함할 수 있다. 제3 카메라(235) 및 제4 카메라(237)는 동일한 규격 및 성능(예: 화각, 셔터 스피드, 해상도, 및/또는 컬러 비트 수 등)을 갖는 GS(global shutter) 카메라일 수 있다. 일 실시 예에 따르면, 전자 장치(201)는 GS 카메라를 이용함으로써 눈동자의 빠른 움직임을 화면 끌림 현상 없이 추적할 수 있다.
일 실시 예에 따르면, 전자 장치(201)는 제3 카메라 모듈(예: 제5 카메라(239))을 포함할 수 있다. 일 실시 예에 따르면, 제3 카메라 모듈은 고해상도(high resolution) 카메라 또는 사진/비디오(photo/video) 카메라로 참조될 수 있다. 일 실시 예에 따라, 제3 카메라 모듈은 고해상도의 카메라일 수 있다. 예를 들어, 제3 카메라 모듈은 자동 초점(auto focus, AF) 기능 및/또는 떨림 보정(optical image stabilizer, OIS) 기능을 포함하는 고화질의 영상을 얻기 위한 복수의 기능이 구비된 컬러 카메라(color camera)일 수 있다. 일 실시 예에 따르면, 제3 카메라 모듈은 글로벌 셔터 카메라 또는 롤링 셔터 카메라일 수 있다.
일 실시 예에 따르면, 광원(light elements)은 제1 LED(light emitting diode)(241) 및 제2 LED(243)를 포함할 수 있다. 전자 장치(201)는, 예를 들어, 제1 LED(241) 및 제2 LED(243)를 이용하여 제1 카메라 모듈(예: 제1 카메라(231) 및 제2 카메라(233)), 제2 카메라 모듈(예: 제3 카메라(235) 및 제4 카메라(237)), 및/또는 제3 카메라(예: 제5 카메라(239))에 대한 보조 조명을 제공할 수 있다. 예를 들어, 전자 장치(201)는 제2 카메라 모듈(예: 제3 카메라(235) 및 제4 카메라(237))로 사용자의 동공을 촬영할 때 제1 LED(241) 및 제2 LED(243)를 보조 조명으로 이용하여 사용자의 시선을 용이하게 감지할 수 있다. 예를 들어, 제1 LED (241) 및 제2 LED(243)는 적외선 파장의 적외선(infrared, IR) LED를 포함할 수 있다. 전자 장치(201)는 제1 LED(241) 및 제2 LED(243)를 보조 조명으로 사용함으로써, 어두운 환경 또는 복수의 광원이 혼입되거나 반사되는 환경에서도 카메라 모듈을 이용하여 피사체를 용이하게 감지할 수 있다.
일 실시 예에 따르면, PCB는 제1 PCB(251) 및 제2 PCB(253)를 포함할 수 있다. 일 실시 예에 따르면, PCB는 안경 다리에 배치될 수 있다. 예를 들어, 제1 PCB(251)는 제1 안경 다리 부재(205)에 배치되고, 제2 PCB(253)는 제2 안경 다리 부재(207)에 배치될 수 있다. 일 실시 예에 따르면, PCB는 FPCB(flexible PCB)를 포함할 수 있다. 일 실시 예에 따르면, 제1 PCB(251) 및 제2 PCB(253)는 FPCB(flexible PCB)를 통해 다른 구성요소(예: 카메라 모듈(예: 제1 카메라(231) 내지 제5 카메라(239)), 디스플레이(예: 제1 디스플레이(211) 및 제2 디스플레이(213)), 오디오 모듈(예: 제1 스피커(281) 및 제2 스피커(283)), 및/또는 센서 모듈(미도시)) 및 다른 PCB에 전기 신호를 전달할 수 있다. 일 실시 예에 따르면, 전자 장치(201)의 통신 회로(예: 도 1의 통신 모듈(190)), 프로세서(예: 도 1의 프로세서(120)), 메모리(예: 도 1의 메모리(130)), 및/또는 적어도 하나의 센서(예: 도 1의 센서 모듈(176))는 제1 PCB(251) 및 제2 PCB(253)에 배치될 수 있다. 예를 들어, 제1 PCB(251) 및 제2 PCB(253) 각각은 인터포저(interposer)에 의하여 이격된 복수의 PCB들로 구성될 수 있다.
일 실시 예에 따르면, 마이크는 제1 마이크(271), 제2 마이크(273) 및/또는 제3 마이크(275)를 포함할 수 있다. 일 실시 예에 따르면, 마이크는 프레임(203) 또는 브릿지(209)에 배치될 수 있다. 도 2의 실시 예에서, 제1 마이크(271) 및 제2 마이크(273)는 프레임(203)에 배치되고, 제3 마이크(275)는 브릿지(209)에 배치될 수 있다. 일 실시 예에 따라, 제1 마이크(271), 제2 마이크(273) 및 제3 마이크(275)는 전자 장치(201)를 착용한 사용자의 음성 입력을 수신할 수 있다.
일 실시 예에 따르면, 스피커는 제1 스피커(281) 및/또는 제2 스피커(283)를 포함할 수 있다. 일 실시 예에 따르면, 스피커는 안경 다리에 배치될 수 있다. 도 2의 실시 예에서, 제1 스피커(281)는 제1 안경 다리 부재(205)에 배치되고, 제2 스피커(283)는 제2 안경 다리 부재(207)에 배치될 수 있다. 일 실시 예에 따라, 제1 스피커(281) 및 제2 스피커(283)는 전자 장치(201)를 착용한 사용자에게 음향 신호를 제공할 수 있다.
일 실시 예에 따르면, 센서 모듈(미도시)은 근접 센서, 조도 센서, 가속도 센서, 자이로 센서, 터치 센서, 또는 생체 센서 중 적어도 하나를 포함할 수 있다. 센서 모듈은 전자 장치(201)의 물리적 상태(예: 자세 또는 위치), 외부의 환경 상태(예: 전자 장치(201)에 인접한 오브젝트 또는 주변의 밝기), 또는 전자 장치(201)를 착용한 사용자의 상태(예: 사용자의 심전도 또는 뇌파)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다.
일 실시 예에 따르면, 생체 센서는 전극(electrode) 및 아날로그 프론트 엔드(analog front end, AFE)를 포함할 수 있다. 예를 들어, 전극은 제1 안경 다리 부재(205) 및 제2 안경 다리 부재(207)에 각각 구비될 수 있으며, 생체 센서는 전극을 통해 제1 안경 다리 부재(205) 및 제2 안경 다리 부재(207)가 사용자의 피부에 접촉되는 부위로부터 사용자의 생체 신호를 획득할 수 있다. 생체 신호는, 예를 들어, 심전도(electrocardiogram, ECG) 또는 뇌파(electro-encepharography, EEG)를 포함할 수 있다. 일 실시 예에 따르면, AFE는 계측 증폭기(instrumentation amplifier, IA), 대역 통과 필터(base pass filter, BPF), 가변 이득 증폭기(variable gain amplifier, VGA), 및 축차 비교 레지스터(successive approximation register, SAR) 타입의 A/D 변환기(analog-to-digital converter)를 포함하는 회로일 수 있다. AFE는 전극을 통해 획득되는 아날로그 신호를 디지털 신호로 변환하여 전자 장치(201)의 프로세서(예: 도 1의 프로세서(120))에 전달할 수 있다. 예를 들어, 전자 장치(201)의 프로세서는 심전도의 R-R 간격 또는 스펙트럼(spectrum) 분석을 통해 교감 신경계 및 부교감 신경계의 활성도를 평가할 수 있으며, 교감 신경계의 활성도가 증가할수록 눈의 피로도가 증가하는 것으로 판단할 수 있다. 다른 예로, 전자 장치(201)의 프로세서는 뇌파의 스펙트럼(spectrum) 분석을 통해 각 주파수 대역 별 파워 값을 추출할 수 있으며, 추출된 파워 값을 이용하여 눈의 피로도를 평가할 수 있다.
일 실시 예에 따르면, 배터리는 제1 배터리(291) 및 제2 배터리(293)를 포함할 수 있다. 일 실시 예에 따르면, 배터리는 안경 다리에 배치될 수 있다. 도 2의 실시 예에서, 제1 배터리(291)는 제1 안경 다리 부재(205)에 배치되고, 제2 배터리(293)는 제2 안경 다리 부재(207)에 배치될 수 있다. 일 실시 예에 따라, 제1 배터리(291) 및 제2 배터리(293)는 전자 장치(201)에 전력을 공급할 수 있다. 일 실시 예에 따라, 제1 배터리(291) 및 제2 배터리(293)는 외부 전원에 의해 충전될 수도 있다.
이하, 도 3을 참조하여 일 실시 예에 따른 전자 장치의 구성요소에 대하여 설명한다.
도 3은 일 실시 예에 따른 전자 장치(301)의 블록도(300)이다. 일 실시 예에 따르면, 전자 장치(301)는 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201)일 수 있다.
도 3을 참조하면, 일 실시 예에 따른 전자 장치(301)는 프로세서(120)(예: 도 1의 프로세서(120)), 통신 모듈(190)(예: 도 1의 통신 모듈(190)), 전력 관리 모듈(188)(예: 도 1의 전력 관리 모듈(188)), 센서 모듈(176)(예: 도 1의 센서 모듈(176)), 카메라 모듈(180)(예: 도 1의 카메라 모듈(180), 또는 도 2의 제1 카메라(231) 내지 제5 카메라(239)), 메모리(130)(예: 도 1의 메모리(130)), 및/또는 디스플레이 모듈(160)(예: 도 1의 디스플레이 모듈(160), 또는 도 2의 제1 디스플레이(211) 및 제2 디스플레이(213))을 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(201)는 연결 단자(330)(예: USB TYPE-C)를 통해, 제2 전력 관리 모듈(331)에 연결될 수 있다.
일 실시 예에 따르면, 전자 장치(301)는 사용자의 신체의 일부에 착용 가능한 웨어러블 장치일 수 있다. 예를 들어, 전자 장치(301)는 사용자의 머리에 착용 가능할 수 있다. 이때, 전자 장치의 디스플레이 모듈(160)은 헤드 마운티드 디스플레이(head mounted display, HMD)를 포함할 수 있다. 이하, 후술하는 전자 장치(301)는 사용자가 머리에 착용하며 착용 시에 사용자의 눈 앞에 헤드 마운티드 디스플레이가 위치하는 웨어러블 전자 장치인 것으로 가정할 수 있다. 사용자가 전자 장치(301)를 착용하였을 때 사용자가 바라보는 방향을 제1 방향이라 하고, 제1 방향의 반대 방향으로, 사용자를 향하는 방향을 제2 방향이라 할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 메모리(130)에 저장된 프로그램(예: 도 1의 프로그램(140))을 실행하여, 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(120)는 마이크로프로세서 또는 하나 이상의 범용 프로세서(예: ARM 기반 프로세서), DSP(digital signal processor), PLD(programmable logic device), ASIC(application-specific integrated circuit), FPGA(field-programmable gate array), GPU(graphical processing unit), 또는 비디오 카드 컨트롤러와 같은 임의의 적합한 유형의 처리 회로를 포함할 수 있다. 또한, 범용 컴퓨터가 본 문서에 개시된 처리를 구현하기 위한 코드에 액세스할 때, 코드의 실행이 범용 컴퓨터를 본 문서에 개시된 처리를 실행하기 위한 특수 목적 컴퓨터로 변환한다는 것이 인식될 것이다. 도면에 제공된 기능들 및 단계들은 하드웨어, 소프트웨어 또는 이 둘의 조합으로 구현될 수 있으며, 컴퓨터의 프로그래밍된 명령 내에서 전체적으로 또는 부분적으로 수행될 수 있다. 본 문서의 어떠한 청구항 구성 요소도 “~을 위한 수단”이라는 문구를 사용하여 명시적으로 언급되지 않는 한, 기능식 청구항을 구성하는 요소로 해석되어서는 안된다. 또한, 통상의 기술자는 청구된 개시 내용에서 “프로세서” 또는 “마이크로프로세서”가 하드웨어일 수 있음을 이해하고 인식한다. 가장 광범위하고 합리적인 해석에 따라, 첨부된 청구항들은 특허법으로 정한 특허의 대상이 될 수 있는 주제이다.
일 실시 예에 따르면, 프로세서(120)는 사용자에게 가상 현실 서비스 또는 증강 현실 서비스를 제공할 수 있다. 예를 들어, 프로세서(120)는 디스플레이 모듈(160)을 통해, 적어도 하나의 오브젝트를 포함하는 가상 공간을 출력할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(160)을 통해 표시되는 가상 공간 및 적어도 하나의 오브젝트를 포함하는 콘텐츠를 가상 현실 콘텐츠라 지칭할 수 있다. 다른 예로, 프로세서(120)는 디스플레이 모듈(160)을 통해, 전자 장치(301)를 착용한 사용자의 시야각에 대응하는 실제 공간에, 적어도 하나의 가상 오브젝트가 덧붙여 보여지도록 적어도 하나의 가상 객체를 출력할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(160)을 통해 표시되는 실제 공간 및 적어도 하나의 가상 오브젝트를 포함하는 콘텐츠를 증강 현실 콘텐츠라 지칭할 수 있다. 예를 들면, 디스플레이 모듈(160)은 전자 장치(301)가 생성하거나, 통신 모듈(190)을 통해 다른 전자 장치(예: 도 1의 전자 장치(102 또는 104), 또는 도 1의 서버(108))로부터 수신한 콘텐츠를 표시할 수 있다. 일 실시 예에 따라, 프로세서(120)는 가상 현실 콘텐츠 또는 증강 현실 콘텐츠를 메모리(130)에 저장할 수 있다.
일 실시 예에 따르면, 전자 장치(301)의 디스플레이 모듈(160)은 적어도 하나의 디스플레이 패널(예: 제1 디스플레이 패널(예: 도 2의 제1 디스플레이(211) 및/또는 제2 디스플레이 패널(예: 도 2의 제2 디스플레이(213))을 포함할 수 있다. 예를 들어, 디스플레이 패널은 사용자가 디스플레이 모듈(160)을 통해 실제 공간을 인지할 수 있도록 투명 소자로 구성될 수 있다. 일 실시 예에 따라, 디스플레이 모듈(160)은 전자 장치(301)를 착용한 사용자가 실제 공간에 가상 객체가 덧붙여진 것으로 보여지도록 디스플레이 패널의 적어도 일부에 적어도 하나의 가상 객체를 표시할 수 있다. 예를 들어, 사용자의 시야각은 사용자가 사물을 인식할 수 있는 각도 또는 범위를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(301)의 센서 모듈(176)은 근접 센서(321), 조도 센서(322), 자이로 센서(323), 및/또는 생체 센서(324)를 포함할 수 있다. 일 실시 예에 따르면, 근접 센서(321)는 전자 장치(301)에 인접하는 오브젝트를 감지할 수 있다. 조도 센서(322)는 전자 장치(301) 주변의 밝기 정도를 측정할 수 있다. 일 실시 예에 따르면, 자이로 센서(323)는 전자 장치(301)는 전자 장치(301)의 자세 및 위치를 감지할 수 있다. 예를 들어, 자이로 센서(323)는 전자 장치(301)가 사용자의 머리에 올바르게 착용되었는지 여부를 감지할 수 있다. 다른 예를 들어, 자이로 센서(323)는 전자 장치(301) 또는 전자 장치(301)를 착용한 사용자의 움직임을 감지할 수 있다. 일 실시 예에 따르면, 생체 센서(324)는 전자 장치(301)를 착용한 사용자의 심전도 및 뇌파를 측정할 수 있다.
일 실시 예에 따르면, 전자 장치(301)는 통신 모듈(190)(예: 무선 통신 회로)을 통해, 다른 전자 장치(예: 도 1의 전자 장치(102, 104))와 무선 통신을 수행할 수 있다. 예를 들어, 전자 장치(301)는 휴대 전자 장치(예: 스마트 폰)와 무선 통신을 수행할 수 있고, 전자 장치(301)는 외부의 다른 전자 장치(예: 휴대 전자 장치)에 의해, 적어도 부분적으로 제어될 수 있다. 예를 들어, 전자 장치(301)는 외부의 다른 전자 장치의 제어 하에, 적어도 하나의 기능이 수행될 수 있다.
일 실시 예에 따르면, 전자 장치(301)의 카메라 모듈(180)은 제스처 카메라(gesture camera)(311)(예: 도 2의 제1 카메라(231) 및 제2 카메라(233)), 눈 추적 카메라(eye tracking camera)(313)(예: 도 2의 제3 카메라(235) 및 제4 카메라(237)), 거리 측정 카메라(depth camera)(315)(예: 도 2의 제1 카메라(231) 및 제2 카메라(233)), 및/또는 RGB 카메라(317)(예: 도 2의 제5 카메라(239))를 포함할 수 있다.
일 실시 예에 따르면, 제스처 카메라(311)는 사용자의 움직임을 감지할 수 있다. 예를 들어, 제스처 카메라(311)는 전자 장치(301)에 적어도 하나 이상 배치될 수 있고, 기 설정된 거리 내에서 사용자의 손 움직임을 감지할 수 있다. 제스처 카메라(311)는 전자 장치(301)의 주변 공간과 관련된 정보(예: 위치 및/또는 방향)를 인식하기 위한 SLAM 카메라(simultaneous localization and mapping camera)를 포함할 수 있다. 제스처 카메라(311)의 제스처 인식 영역은 제스처 카메라(311)의 촬영 가능 범위에 기반하여 설정될 수 있다.
일 실시 예에 따르면, 눈 추적 카메라(313)는 사용자의 동공의 크기, 위치 및 움직임을 감지하고 추적할 수 있다. 일 실시 예에 따라, 눈 추적 카메라(313)는 사용자의 좌안 및 우안 각각에 대응되는 복수의 카메라(예: 도 2의 제3 카메라(235) 및 제4 카메라(237))를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 눈 추적 카메라(313)를 사용하여, 사용자의 눈의 상태(예: 피로도) 또는 시선 방향을 결정할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 눈의 깜박임 빈도, 동공 조절 속도, 눈 건조도, 눈 충혈 정도, 또는 동공의 떨림 정도 중 적어도 하나를 기반으로 눈의 피로도를 결정할 수 있다.
일 실시 예에 따르면, 거리 측정 카메라(315)는 전자 장치(301)의 전면에 위치한 오브젝트와의 거리를 측정할 수 있다. 거리 측정 카메라(315)는 TOF(time of flight) 카메라 및/또는 depth 카메라를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(301)는 눈 추적 카메라(313)를 사용하여 사용자가 바라보고 있는 시선 방향에 위치하는 오브젝트 중 하나를 인지하고, 해당 오브젝트와의 거리를 depth 카메라를 통해 depth를 계산하거나, 또는 해당 오브젝트와의 거리를 TOF 카메라를 통해 거리를 측정할 수 있다. 일 실시 예에 따르면, RGB(red green blue) 카메라(317)는 오브젝트의 색상 관련 정보 및 오브젝트와의 거리 정보를 감지할 수 있다.
일 실시 예에 따르면, 카메라 모듈(180)에 포함된 제스처 카메라(311), 눈 추적 카메라(313), 거리 측정 카메라(315), 및/또는 RGB 카메라(317)는 각각 전자 장치(301)에 포함되거나 또는 일부는 통합된 형태의 카메라로 구현될 수도 있다. 예를 들어, 거리 측정 카메라(315)와 RGB 카메라(317)는 하나의 통합된 카메라로 구현될 수 있다.
일 실시 예에 따르면, 제스처 카메라(311), 거리 측정 카메라(315) 및 RGB 카메라(317)는 사용자의 눈이 응시하는 방향을 촬영하도록 배치될 수 있고, 눈 추적 카메라(313)는 사용자의 눈을 촬영하도록 배치될 수 있다.
도 3에 도시된 전자 장치(301)에 포함되는 적어도 하나의 카메라(예: 제스처 카메라(311), 눈 추적 카메라(313), 거리 측정 카메라(315) 및/또는 RGB 카메라(317))의 개수 및 위치는 한정되지 않을 수 있다. 예를 들어, 전자 장치(301)의 특징(예: 모양 또는 크기)에 기반하여 적어도 하나의 카메라의 개수 및 위치는 다양할 수 있다.
일 실시 예에 따르면, 전력 관리 모듈(188, 331)은 전자 장치(301)에 공급되는 전력을 관리할 수 있다. 전력 관리 모듈(188, 331)은 프로세서(120)에 직접적으로(directly) 연결되어 전력을 공급하는 제 1 전력 관리 모듈(188) 및 연결 단자(330)(예: TYPE-C)를 통해 전력을 공급하는 제 2 전력 관리 모듈(331)을 포함할 수 있다. 제 2 전력 관리 모듈(331)은 배터리(333)와 기능적으로 연결되어 보다 많은 전력량을 관리할 수 있다. 일 실시 예에 따르면, 전자 장치(301)는 전력 관리 모듈(188, 331)로부터 공급된 전력을 사용하여 카메라 모듈(180)에 포함된 적어도 하나의 카메라를 구동할 수 있다. 전자 장치(201)는 상기 적어도 하나의 카메라를 사용하여 획득한 정보를 기반으로, 디스플레이 모듈(160)을 통해 제공되는 표시 정보를 조정함으로써, 소모되는 전력을 관리할 수 있다.
이하, 도 4를 참조하여 일 실시 예에 따른 전자 장치의 구성요소 및 동작에 대하여 설명한다.
도 4는 일 실시 예에 따른 전자 장치(401)의 블록도(400)이다. 일 실시 예에 따르면, 전자 장치(301)는 도 1의 전자 장치(101), 도 2의 전자 장치(201), 또는 도 3의 전자 장치(301)일 수 있다. 이하에서 설명하는 전자 장치(401)는 사용자의 머리에 착용 가능한 장치인 경우로 가정하며, 예를 들어, 도 2에 도시된 바와 같이 안경일 수 있다.
도 4를 참조하면, 일 실시 예에 따른 전자 장치(401)는 눈 추적 모듈(410), 디스플레이(420)(예: 도 1 및 도 3의 디스플레이 모듈(160), 또는 도 2의 제1 디스플레이(211) 및 제2 디스플레이(213)), 프로세서(430)(예: 도 1 및 도 3의 프로세서(120)) 및 메모리(440)(예: 도 1 및 도 3의 메모리(130))를 포함할 수 있다.
일 실시 예에 따르면, 눈 추적 모듈(410)은 카메라 모듈(411)(예: 도 1 및 도 3의 카메라 모듈(180), 또는 도 2의 제1 카메라(231) 내지 제5 카메라(239))을 포함할 수 있다. 카메라 모듈(411)에 대한 자세한 설명은 도 1 내지 도 3을 참조하여 상술한 설명과 중복되므로 간단히 하거나 생략한다. 일 실시 예에 따르면, 카메라 모듈(411)은 전자 장치(401)를 착용한 사용자의 눈 또는 동공을 촬영할 수 있다. 일 실시 예에 따르면, 후술하는 프로세서(430)는 카메라 모듈(411)에 의해 촬영된 영상을 기반으로 사용자의 눈의 상태를 나타내는 눈 추적 데이터를 획득할 수 있다. 일 실시 예에 따르면, 프로세서(430)는 지정된 주기마다 눈 추적 데이터를 획득할 수 있다.
일 실시 예에 따르면, 디스플레이(420)는 콘텐츠를 표시할 수 있다. 콘텐츠는, 예를 들어, 가상 현실 콘텐츠 또는 증강 현실 콘텐츠를 포함할 수 있다. 일 실시 예에 따르면, 콘텐츠는 적어도 하나의 오브젝트를 포함할 수 있다. 일 실시 예에 따르면, 오브젝트는 가상의 오브젝트를 포함할 수 있다. 예를 들어, 오브젝트는 텍스트 또는 이미지를 포함할 수 있으며, 여기서 이미지는 정적인 이미지 및 동적인 이미지를 포함할 수 있다. 일 실시 예에 따르면, 오브젝트는 사용자에 의해 시각적으로 인지되는 다양한 형식의 정보를 포함할 수 있다. 디스플레이(420)에 대한 자세한 설명은 도 1 내지 도 3을 참조하여 상술한 설명과 중복되므로 간단히 하거나 생략한다.
일 실시 예에 따르면, 사용자는 디스플레이(420)를 통해 출력되는 콘텐츠를 시청할 수 있으며, 콘텐츠의 시청으로 인하여 눈의 피로감을 느낄 수 있다.
일 실시 예에 따르면, 프로세서(430)는 카메라 모듈(411) 및 디스플레이(420)와 작동적으로 또는 기능적으로 연결될 수 있다. 일 실시 예에 따르면, 프로세서(430)는 카메라 모듈(411)을 이용하여 획득한 사용자의 눈 추적 데이터를 기반으로 눈 피로도 레벨을 결정할 수 있다. 일 실시 예에 따르면, 프로세서(430)는 결정된 눈 피로도 레벨에 따라 디스플레이(420)의 설정 또는 디스플레이(420)에 출력할 콘텐츠의 출력 설정을 제어할 수 있다.
일 실시 예에 따르면, 프로세서(430)는 눈 추적 데이터를 기반으로 눈 피로도 레벨을 결정할 수 있다. 눈 추적 데이터는, 예를 들어, 복수의 파라미터에 대한 측정 값을 포함할 수 있다. 일 실시 예에 따르면, 복수의 파라미터는 눈의 피로도와 관련되며, 눈 또는 동공의 상태 또는 움직임을 나타내는 정보를 포함할 수 있다. 복수의 파라미터는, 예를 들어, 눈 깜박임 빈도, 동공 조절 속도, 눈 건조도, 눈 충혈 정도, 또는 동공 떨림 정도 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(430)는 눈 피로도를 복수의 레벨(예: 레벨 1 내지 레벨 n(n은 2 이상의 자연수))로 구분할 수 있다. 일 실시 예에 따르면, 눈 피로도가 증가할수록 눈 피로도 레벨이 증가할 수 있다. 일 실시 예에 따르면, 프로세서(430)는 복수의 파라미터 중 적어도 하나의 파라미터 또는 적어도 하나의 파라미터의 조합으로 이루어진 조건에 따라 눈 피로도 레벨을 결정할 수 있다. 일 실시 예에 따르면, 상기 조건은 적어도 하나의 파라미터 또는 복수의 파라미터 중 적어도 두 개의 파라미터의 조합을 포함할 수 있으며, 파라미터 별 임계 범위 또는 임계 값을 포함할 수 있다. 프로세서(430)가 눈 피로도 레벨을 결정하는 방법에 대하여는 도 5를 참조하여 자세히 후술한다.
일 실시 예에 따르면, 프로세서(430)는 파라미터 별 가중치를 적용하여 눈 피로도 레벨을 결정할 수 있다. 일 실시 예에 따라, 프로세서(430)는 복수의 파라미터의 파라미터 별 가중치를 식별할 수 있다. 일 실시 예에 따르면, 파라미터 별 가중치는 사용자에 따라 상이할 수 있으며, 프로세서(430)는 사용자 식별 정보에 기반하여 파라미터 별 가중치를 식별할 수 있다. 일 실시 예에 따라, 프로세서(430)는 적어도 하나의 파라미터에 파라미터 별 가중치를 적용할 수 있다.
일 실시 예에 따르면, 전자 장치(401)는 센서 모듈(413)(예: 도 1 및 도 3의 센서 모듈(176))을 더 포함할 수 있다. 일 실시 예에 따르면, 센서 모듈(413)은 전자 장치(401)를 착용한 사용자의 생체 신호를 측정할 수 있는 생체 센서를 포함할 수 있다. 센서 모듈(413) 또는 생체 센서에 대한 자세한 설명은 도 1 내지 도 3을 참조하여 상술한 설명과 중복되므로 간단히 하거나 생략한다. 일 실시 예에 따르면, 프로세서(430)는 센서 모듈(413)을 이용하여 생체 신호를 획득할 수 있다. 예를 들면, 생체 신호는 심전도 또는 뇌파 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(430)는 센서 모듈(413)에 의해 측정된 생체 신호에 더 기반하여 사용자의 눈 피로도 레벨을 결정할 수 있다. 예를 들어, 프로세서(430)는 심전도 또는 뇌파를 분석하고 분석한 결과를 사용자의 눈 피로도 레벨을 결정하는 데 이용할 수 있다. 일 실시 예에 따르면, 심전도 또는 뇌파는 눈 피로도 레벨을 결정하기 위한 또 다른 파라미터로 사용될 수 있다.
일 실시 예에 따르면, 프로세서(430)는 전자 장치(401)의 사용 히스토리(history) 정보에 더 기반하여 눈 피로도 레벨을 결정할 수 있다. 일 실시 예에 따르면, 전자 장치(401)의 사용 히스토리 정보는 전자 장치(401)의 사용 시간, 디스플레이(420)의 설정(예: 조도), 또는 실행 중인 어플리케이션의 종류 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자 장치(401)의 사용 시간이 길수록 전자 장치(401)를 사용하는 사용자의 눈의 피로감이 증가할 수 있다. 예를 들어, 디스플레이(420)의 조도가 높을수록 사용자의 눈의 피로감이 증가할 수 있다. 예를 들어, 화면 전환이 잦거나 화면 내 움직이는 오브젝트가 많은 어플리케이션(예: 게임 어플리케이션)일수록 사용자의 눈의 피로감이 증가할 수 있다. 일 실시 예에 따르면, 프로세서(430)는 사용자의 눈 추적 데이터 또는 생체 신호를 획득할 수 없는 경우 전자 장치(401)의 사용 히스토리(history) 정보에 기반하여 눈 피로도 레벨을 결정할 수 있고, 사용자의 눈 추적 데이터 또는 생체 신호에 전자 장치(401)의 사용 히스토리 정보를 추가로 고려하여 눈 피로도 레벨을 보다 정확하게 결정할 수 있다.
일 실시 예에 따르면, 프로세서(430)는 결정된 눈 피로도 레벨에 따라 디스플레이(420)의 설정 또는 디스플레이(420)에 출력할 콘텐츠의 출력 설정을 제어할 수 있다. 일 실시 예에 따르면, 디스플레이(420)의 설정과 관련된 항목은 주사율(단위: hz) 또는 밝기 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(430)는 주사율 또는 밝기 중 적어도 하나를 변경함으로써 디스플레이(420)의 설정을 변경할 수 있다. 일 실시 예에 따르면, 디스플레이(420)에 출력할 콘텐츠의 출력 설정과 관련된 항목은 디스플레이(420)에 출력되는 오브젝트의 수, 크기, 위치, 색상, 또는 입체감 정도 중 적어도 하나를 포함할 수 있다. 예를 들어, 프로세서(430)는 디스플레이(420)에 출력되는 오브젝트의 수, 크기, 위치, 색상, 또는 입체감 정도 중 적어도 하나를 변경함으로써 디스플레이(420)에 출력할 콘텐츠의 출력 설정을 변경할 수 있다.
일 실시 예에 따르면, 프로세서(430)는 디스플레이(420)에 출력하는 콘텐츠 중 출력이 예정된 콘텐츠에 기반하여 눈 피로도 레벨을 조절할 수 있다. 일 실시 예에 따르면, 상기 출력이 예정된 콘텐츠는 디스플레이(420)에 출력하는 콘텐츠 중 출력이 예정되어 있으나 아직 출력되지 않은 콘텐츠의 적어도 일부를 포함할 수 있다. 상기 출력이 예정된 콘텐츠는, 예를 들어, 정해진 화면을 표시하는 게임의 실행 또는 동영상 재생과 같이 향후 디스플레이(420)에 표시할 정보가 결정된 콘텐츠를 포함할 수 있다. 프로세서(430)는 출력이 예정된 콘텐츠에 기반하여 눈 피로도 레벨의 변화를 예측할 수 있다. 프로세서(430)는 예측되는 눈 피로도 레벨의 변화를 고려하여 눈 피로도 레벨을 조절함으로써, 실제 눈 피로도 레벨의 증가폭을 줄일 수 있다. 일 실시 예에 따라, 현재 프로세서(430)에 의해 결정된 눈 피로도 레벨이 3이고, 출력이 예정된 콘텐츠가 모두 출력된 이후의 눈 피로도 레벨이 7로 예측됨에 따라, 프로세서(430)는 3으로 결정된 눈 피로도 레벨을 5로 변경할 수 있고, 이에 따라, 디스플레이(420)의 설정을 레벨 5에 대응되도록 변경할 수 있다. 예를 들어, 출력이 예정된 콘텐츠가 모두 출력된 이후 프로세서(430)에 의해 결정된 눈 피로도 레벨은 예측된 레벨 7이 아니라, 6일 수 있다.
일 실시 예에 따르면, 메모리(440)는 전자 장치(401)의 적어도 하나의 구성요소(예: 프로세서(430), 카메라 모듈(411), 또는 센서 모듈(413))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 일 실시 예에 따르면, 메모리(440)는 프로세서(430)에 의해 실행되는 하나 이상의 인스트럭션들(instructions)을 저장할 수 있다.
이하, 도 5를 참조하여 일 실시 예에 따른 전자 장치가 눈 피로도 레벨을 결정하는 방법에 대하여 설명한다.
도 5는 일 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도(500)이다. 이하에서 설명하는 전자 장치의 동작들은 일 실시 예에 따른 전자 장치(예: 도 4의 전자 장치(401)) 또는 전자 장치의 프로세서(예: 도 4의 프로세서(430))에 의해 수행될 수 있다.
동작 501에서, 전자 장치는 눈 추적 데이터의 초기 값을 식별할 수 있다. 일 실시 예에 따르면, 눈 추적 데이터는 전자 장치의 카메라 모듈(예: 도 4의 카메라 모듈(411)을 이용하여 획득될 수 있으며, 사용자의 눈 피로도와 관련된 복수의 파라미터에 대한 측정 값을 포함할 수 있다. 예를 들면, 복수의 파라미터는 눈 깜박임 빈도, 동공 조절 속도, 눈 건조도, 눈 충혈 정도, 또는 동공 떨림 정도 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 눈 추적 데이터의 초기 값은, 사용자가 전자 장치를 착용한 이후에 전자 장치가 복수의 파라미터에 대하여 최초로 측정한 측정 값을 포함할 수 있다. 예를 들어, 눈 추적 데이터의 초기 값은, 사용자가 전자 장치를 착용한 시점으로부터 지정된 시간 구간 동안의 평균 값을 포함할 수 있다. 다른 실시 예에 따르면, 눈 추적 데이터의 초기 값은, 사용자가 전자 장치의 입력 모듈(예: 도 1의 입력 모듈(150))(예: 터치 스크린 디스플레이)을 통해 입력한 값으로 기 설정된 설정 값을 포함할 수 있다.
일 실시 예에 따르면, 눈 추적 데이터의 초기 값은, 사용자의 히스토리 정보에 기반하여 결정된 평균 값을 포함할 수 있다. 사용자의 히스토리 정보는, 예를 들어, 전자 장치가 사용자를 식별하고, 사용자 별로 전자 장치가 착용되고 있는 지정된 시간 구간 동안의 평균 값을 저장해둔 정보를 포함할 수 있다. 일 실시 예에 따라, 전자 장치는 사용자가 전자 장치를 착용한 것을 식별함에 따라 사용자를 식별할 수 있고, 사용자의 히스토리 정보에 기반하여 식별된 사용자의 평균 값을 초기 값으로 설정할 수 있다. 예를 들면, 전자 장치는 생체 인증을 통해 사용자를 식별할 수 있다.
일 실시 예에 따르면, 전자 장치는 통신 모듈(예: 도 1 및 도 3의 통신 모듈(190))을 더 포함할 수 있으며, 통신 모듈을 통해 사용자의 외부 전자 장치(예: 도 1의 전자 장치(102), 도 1의 전자 장치(104), 또는 서버(108))로부터 외부 전자 장치(예: 도 1의 전자 장치(102), 또는 도 1의 전자 장치(104))의 설정 정보 및 사용 히스토리 정보를 수신할 수 있다. 일 실시 예에 따르면, 전자 장치 및 외부 전자 장치는 동일한 사용자 정보가 등록된 전자 장치를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치는 외부 전자 장치의 설정 정보 및 사용 히스토리 정보를 기반으로 눈 추적 데이터의 초기 값을 설정할 수 있다.
일 실시 예에 따르면, 외부 전자 장치의 설정 정보는 외부 전자 장치에 설정된 눈 추적 데이터의 초기 값을 포함할 수 있다. 예를 들어, 동일한 사용자에 대하여 다른 전자 장치에 사용자의 눈 추적 데이터의 초기 값이 이미 설정되어 있는 경우, 전자 장치는 상기 다른 전자 장치에 설정된 초기 값 정보를 이용하여 전자 장치에서의 눈 추적 데이터의 눈 추적 데이터의 초기 값을 결정할 수 있다.
일 실시 예에 따르면, 외부 전자 장치의 사용 히스토리 정보는 외부 전자 장치의 사용 시간, 외부 전자 장치의 디스플레이의 설정, 또는 외부 전자 장치에서 최근에 실행된 어플리케이션의 목록 중 적어도 하나를 포함할 수 있다. 예를 들어, 사용자가 전자 장치의 사용 전에 외부 전자 장치를 사용한 이력이 있는 경우, 전자 장치는 외부 전자 장치의 사용 히스토리 정보에 기반하여 전자 장치에서의 눈 추적 데이터의 초기 값을 설정할 수도 있다.
동작 503에서, 전자 장치는 획득된 눈 추적 데이터의 초기 값 대비 변화량을 계산할 수 있다. 일 실시 예에 따르면, 전자 장치는 지정된 주기마다 눈 추적 데이터를 획득할 수 있다. 전자 장치는 지정된 주기마다 복수의 파라미터에 대한 측정 값을 획득할 수 있다. 복수의 파라미터에 대한 측정 값은 사용자의 눈 피로도가 증가함에 따라 증가하거나 감소할 수 있다. 일 실시 예에 따르면, 전자 장치는 지정된 주기마다 획득된 복수의 파라미터에 대한 측정 값의 초기 값 대비 변화량을 계산하여, 눈 추적 데이터의 초기 값 대비 변화량을 계산할 수 있다.
동작 505에서, 전자 장치는 변화량에 따라 눈 피로도 레벨을 결정할 수 있다. 예를 들면, 눈 피로도 레벨은 복수의 레벨(예: 레벨 1 내지 레벨 n(n은 2 이상의 자연수))을 포함할 수 있다. 일 실시 예에 따르면, 전자 장치는 변화량이 눈 피로도 레벨에 따라 지정된 임계 값 이상인지 여부 또는 눈 피로도 레벨에 따라 지정된 임계 범위를 만족하는지 여부에 따라 눈 피로도 레벨을 결정할 수 있다. 예를 들면, 전자 장치는 눈 추적 데이터의 변화량이 클수록 눈 피로도 레벨을 더 높은 레벨로 결정할 수 있다. 눈 추적 데이터의 변화량은 후술하는 특정 파라미터(예: 눈 깜빡임 빈도 또는 동공 조절 속도)에 대한 측정 값의 초기 값 대비 변화량으로 참조될 수 있다. 눈 추적 데이터의 변화량은, 예를 들어, 파라미터에 대한 측정 값의 감소치 또는 증가치일 수 있다. 일 실시 예에 따르면, 눈 피로도 레벨이 높을수록 해당 레벨에 대응되는 임계 값 또는 임계 범위는 더 큰 값을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 복수의 파라미터 중 적어도 하나의 파라미터 또는 적어도 두 개의 파라미터의 조합으로 이루어진 조건에 따라 눈 피로도 레벨을 결정할 수 있다. 일 실시 예에 따르면, 상기 조건은 적어도 하나의 파라미터 또는 적어도 하나의 파라미터의 조합을 포함할 수 있으며, 파라미터 별 임계 값 또는 임계 범위를 포함할 수 있다. 예를 들어, 눈 피로도 레벨이 레벨 k(k는 1 이상 n 이하의 자연수)라고 결정되는 조건은 제1 파라미터(예: 눈 깜박임 빈도) 및 제2 파라미터(예: 동공 조절 속도)를 포함할 수 있으며, 레벨 k에 대응되는 제1 파라미터의 임계 값(또는, 임계 범위) 및 제2 파라미터의 임계 값(또는, 임계 범위)을 포함할 수 있다. 일 실시 예에 따르면, 전자 장치는 각 파라미터에 대한 측정 값의 초기 값 대비 변화량이 각 레벨에 대응되는 임계 값 이상이거나 각 레벨에 대응되는 임계 범위를 만족함에 따라 사용자의 눈 피로도 레벨을 해당 레벨로 결정할 수 있다. 예를 들어, 전자 장치는 제1 파라미터에 대한 측정 값의 초기 값 대비 변화량이 레벨 k에 대응되는 제1 파라미터의 임계 값 이상이거나 레벨 k에 대응되는 제1 파라미터의 임계 범위를 만족하는 값을 만족하고, 제2 파라미터에 대한 측정 값의 초기 값 대비 변화량이 레벨 k에 대응되는 제2 파라미터의 임계 값 이상이거나 레벨 k에 대응되는 제2 파라미터의 임계 범위를 만족함에 따라 눈 피로도 레벨을 레벨 k로 결정할 수 있다. 상술한 실시 예에서, 눈 피로도 레벨을 결정하기 위한 조건이 2개의 파라미터의 조합으로 이루어진 경우를 예로 들었으나, 이에 한정되는 것은 아니다.
일 실시 예에 따르면, 전자 장치는 파라미터 별 가중치를 적용하여 눈 피로도 레벨을 결정할 수 있다. 예를 들면, 전자 장치는 적어도 하나의 파라미터의 눈 피로도 레벨에 대응되는 임계 값을 감소시킴으로써 파라미터 별 가중치를 적용할 수 있으나, 이에 한정되는 것은 아니다. 일 실시 예에 따르면, 전자 장치는 임의의 파라미터에 대한 가중치가 증가함에 따라, 동일한 변화량에 대하여 눈 피로도 레벨을 더 높은 레벨로 결정할 수 있다. 일 실시 예에 따르면, 가중치가 높을수록 변화량이 작더라도 눈 피로도 레벨의 결정에 큰 영향을 끼칠 수 있으며, 반대로 가중치가 낮을수록 변화량이 크더라도 눈 피로도 레벨의 결정에 큰 영향을 끼치지 않을 수 있다. 일 실시 예에 따르면, 복수의 파라미터 중 눈 깜박임 빈도 및 동공 조절 속도는 다른 파라미터에 비해 상대적으로 높은 가중치를 가질 수 있다.
동작 505에서, 전자 장치는 생체 센서(예: 도 4의 센서 모듈(413))를 이용하여 획득되는 생체 신호에 더 기반하여 눈 피로도 레벨을 결정할 수 있다. 일 실시 예에 따르면, 생체 신호는 심전도 또는 뇌파를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치는 심전도 또는 뇌파를 눈 피로도 레벨을 결정하기 위한 파라미터 중 하나로 이용할 수 있다. 일 실시 예에 따르면, 전자 장치는 심전도 또는 뇌파에 대하여도 파라미터 별 가중치를 적용할 수 있다. 예를 들어, 심전도 또는 뇌파의 가중치는 눈 추적 데이터에 포함되는 파라미터의 가중치보다 낮을 수 있다.
동작 505에서, 전자 장치는 전자 장치의 사용 히스토리 정보에 더 기반하여 눈 피로도 레벨을 결정할 수도 있다. 일 실시 예에 따르면, 전자 장치의 사용 히스토리 정보는 전자 장치의 사용 시간, 디스플레이(예: 도 4의 디스플레이(420))의 설정, 또는 실행 중인 어플리케이션의 종류 중 적어도 하나를 포함할 수 있다. 예를 들면, 사용자의 눈 추적 데이터의 변화량 또는 사용자의 생체 신호의 변화량이 크지 않더라도, 전자 장치의 사용 시간이 길거나, 디스플레이의 조도가 높거나, 화면의 전환 또는 화면 내 움직임이 많은 경우 전자 장치는 사용자의 눈 피로도 레벨을 높게 결정해야할 수 있다. 일 실시 예에 따르면, 전자 장치는 전자 장치의 사용 히스토리 정보를 눈 피로도 레벨을 결정하기 위한 파라미터 중 하나로 이용할 수 있다. 일 실시 예에 따르면, 전자 장치는 전자 장치의 사용 히스토리 정보에 사용자의 눈 추적 데이터 또는 생체 신호에 비하여 상대적으로 낮은 가중치를 적용할 수 있다.
동작 507에서, 전자 장치는 결정된 눈 피로도 레벨에 따라 디스플레이의 설정 또는 콘텐츠의 출력 설정 중 적어도 하나를 제어할 수 있다. 일 실시 예에 따르면, 디스플레이의 설정과 관련된 항목은 주사율 또는 밝기 중 적어도 하나를 포함할 수 있으며, 콘텐츠의 출력 설정과 관련된 항목은 디스플레이에 출력되는 오브젝트의 수, 크기, 위치, 색상, 또는 입체감 정도 중 적어도 하나를 포함할 수 있다. 예를 들면, 전자 장치는 눈 피로도 레벨에 따라 디스플레이의 주사율 또는 밝기 중 적어도 하나를 변경할 수 있다. 다른 예로, 전자 장치는 눈 피로도 레벨에 따라 디스플레이에 출력되는 오브젝트의 수, 크기, 위치, 색상, 또는 입체감 정도 중 적어도 하나를 변경할 수 있다.
예를 들어, 디스플레이의 밝기가 밝을수록, 또는 디스플레이의 주사율이 높을수록, 사용자의 눈 피로도 레벨은 높아질 수 있다. 전자 장치는 눈 피로도 레벨이 일정 수준 이상 높게 결정됨에 따라 디스플레이의 밝기를 낮추거나, 디스플레이의 주사율을 낮출 수 있다.
다른 예로, 디스플레이에 출력되는 오브젝트의 수가 많을수록, 또는 오브젝트의 크기가 작을수록, 사용자의 눈 피로도 레벨은 높아질 수 있다. 전자 장치는 눈 피로도 레벨이 일정 수준 이상 높게 결정됨에 따라 디스플레이에 출력되는 오브젝트의 수를 줄이거나, 오브젝트의 크기를 크게 할 수 있다. 다른 예로, 메인 오브젝트의 위치가 화면의 가장자리에 위치하고, 서브 오브젝트의 위치가 화면의 중앙에 위치하는 것과 같이 오브젝트의 위치가 사용자 경험에 저해되는 위치 또는 배치를 갖는 경우, 사용자의 눈 피로도 레벨이 높아질 수 있다. 전자 장치는 눈 피로도 레벨이 일정 수준 이상 높게 결정됨에 따라 사용자 경험을 고려하여 디스플레이에 출력되는 오브젝트의 위치 또는 배치를 변경할 수 있다. 또 다른 예로, 오브젝트의 색상이 흑백이 아닌 경우 흑백인 경우보다 사용자의 눈 피로도 레벨이 높아질 수 있다. 전자 장치는 눈 피로도 레벨이 일정 수준 이상 높게 결정됨에 따라 디스플레이에 출력되는 오브젝트의 색상을 흑백 또는 회색으로 변경할 수 있다. 또 다른 예로, 오브젝트의 입체감의 정도가 높을수록 사용자의 눈 피로도 레벨이 높아질 수 있다. 전자 장치는 눈 피로도 레벨이 일정 수준 이상 높게 결정됨에 따라 디스플레이에 출력되는 오브젝트의 입체감의 정도를 낮출 수 있다.
일 실시 예에 따르면, 전자 장치는 디스플레이의 설정만 변경하거나, 디스플레이의 설정 및 콘텐츠의 출력 설정을 모두 변경할 수 있다. 일 실시 예에 따르면, 전자 장치는 디스플레이의 설정을 변경하는지 또는 콘텐츠의 출력 설정을 변경하는지에 따라 복수의 모드를 가질 수 있다. 예를 들어, 전자 장치가 디스플레이의 설정만 변경하는 모드를 제1 모드라 지칭할 수 있고, 전자 장치가 디스플레이의 설정 및 콘텐츠의 출력 설정을 모두 변경하는 모드를 제2 모드라 지칭할 수 있다.
일 실시 예에 따르면, 전자 장치는 설정을 변경하는 항목이 무엇인지 또는 설정을 변경하는 항목의 수에 따라서 다양한 모드를 가질 수 있다.
이하, 도 6을 참조하여 일 실시 예에 따른 전자 장치가 눈 피로도 레벨에 따라 복수의 모드 중 어느 하나의 모드를 선택하는 방법에 대하여 설명한다.
도 6은 일 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도(600)이다. 이하에서 설명하는 전자 장치의 동작들은 일 실시 예에 따른 전자 장치(예: 도 4의 전자 장치(401)) 또는 전자 장치의 프로세서(예: 도 4의 프로세서(430))에 의해 수행될 수 있다.
동작 601에서, 전자 장치는 눈 피로도 레벨을 식별할 수 있다. 일 실시 예에 따르면, 전자 장치는 도 5에 도시된 프로세스에 따라 눈 피로도 레벨을 결정할 수 있다. 또는, 전자 장치는 사용자로부터 사용자 입력을 통해 눈 피로도 레벨을 입력 받을 수 있다. 전자 장치는 상기 결정된 눈 피로도 레벨 또는 상기 입력된 눈 피로도 레벨을 식별할 수 있다.
동작 603에서, 전자 장치는 식별된 눈 피로도 레벨이 제1 임계 값 이상인지 여부를 결정할 수 있다. 예를 들어, 눈 피로도 레벨이 레벨 1부터 레벨 10까지 있는 것으로 가정하면, 제1 임계 값은 1 내지 10 중 어느 하나일 수 있다. 일 실시 예에 따르면, 전자 장치는 눈 피로도 레벨이 제1 임계 값 이상이라고 결정되는 경우(“Yes”), 동작 605를 수행할 수 있고, 눈 피로도 레벨이 제1 임계 값 미만이라고 결정되는 경우(“No”), 동작 601을 수행할 수 있다. 일 실시 예에 따르면, 전자 장치는 동작 601을 지정된 주기마다 수행할 수 있다. 예를 들어, 전자 장치는 동작 603에서 눈 피로도 레벨이 제1 임계 값 미만이라고 결정되는 경우(“No”), 지정된 시간이 경과된 이후에 동작 601을 수행할 수 있다.
동작 605에서, 전자 장치는 눈 피로도 레벨이 제2 임계 값 이상인지 여부를 결정할 수 있다. 예를 들어, 눈 피로도 레벨이 레벨 1부터 레벨 10까지 있는 것으로 가정하면, 제1 임계 값은 1 내지 10 중 어느 하나일 수 있다. 일 실시 예에 따르면, 제2 임계 값은 제1 임계 값보다 큰 값일 수 있다. 일 실시 예에 따르면, 전자 장치는 눈 피로도 레벨이 제2 임계 값 이상이라고 결정되는 경우(“Yes”), 동작 609를 수행할 수 있고, 눈 피로도 레벨이 제2 임계 값 미만이라고 결정되는 경우(“No”), 동작 607을 수행할 수 있다. 일 실시 예에 따르면, 동작 605에서 눈 피로도 레벨이 제2 임계 값 미만이라고 결정되는 경우(“No”), 눈 피로도 레벨은 제1 임계 값 이상 제2 임계 값 미만일 수 있다.
일 실시 예에 따르면, 전자 장치는 눈 피로도 레벨이 제1 임계 값 이상 제2 임계 값 미만인 경우 제1 모드를 선택할 수 있고(동작 607), 눈 피로도 레벨이 제2 임계 값 이상인 경우 제2 모드를 선택할 수 있다(동작 609).
동작 607에서, 전자 장치는 제1 모드를 선택할 수 있다. 일 실시 예에 따르면, 제1 모드는 디스플레이의 설정 및 콘텐츠의 출력 설정 중 디스플레이의 설정만 변경하는 모드일 수 있다. 예를 들어, 전자 장치는 제1 모드를 선택함에 따라 디스플레이의 밝기를 낮추거나, 디스플레이의 주사율을 낮출 수 있다.
동작 609에서, 전자 장치는 제2 모드를 선택할 수 있다. 일 실시 예에 따르면, 제2 모드는 디스플레이의 설정 및 콘텐츠의 출력 설정을 모두 변경하는 모드일 수 있다. 예를 들어, 전자 장치는 제2 모드를 선택함에 따라 디스플레이의 밝기 또는 주사율을 낮출 수 있으며, 오브젝트의 수를 줄이거나 오브젝트의 크기를 크게 할 수 있으나, 이에 한정되는 것은 아니다.
상술한 실시 예에 따르면, 전자 장치는 눈 피로도 레벨이 제1 임계 값 이상으로 결정됨에 따라 디스플레이의 설정과 관련된 항목을 변경할 수 있고, 눈 피로도 레벨이 제2 임계 값 이상으로 결정됨에 따라 디스플레이의 설정과 관련된 항목을 변경할 뿐만 아니라, 콘텐츠의 출력 설정과 관련된 항목까지 변경할 수 있다. 전자 장치는 눈 피로도 레벨에 따라 단계적으로 디스플레이의 설정 또는 콘텐츠의 출력 설정을 제어할 수 있다. 전자 장치는 눈 피로도 레벨에 따라 디스플레이의 설정 또는 콘텐츠의 출력 설정을 변경함으로써 사용자의 눈의 피로가 누적되는 속도를 완화할 수 있다.
이하, 도 7을 참조하여 일 실시 예에 따른 전자 장치가 디스플레이의 설정 또는 콘텐츠의 출력 설정을 변경하는 방법에 대하여 설명한다.
도 7은 일 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도(700)이다. 이하에서 설명하는 전자 장치의 동작들은 일 실시 예에 따른 전자 장치(예: 도 4의 전자 장치(401)) 또는 전자 장치의 프로세서(예: 도 4의 프로세서(430))에 의해 수행될 수 있다.
동작 701에서, 전자 장치는 눈 피로도 레벨을 식별할 수 있다. 동작 701은 도 6의 동작 601과 동일한 동작이므로 중복된 설명은 생략한다.
동작 703에서, 전자 장치는 식별된 눈 피로도 레벨이 임계 값 이상인지 여부를 결정할 수 있다. 동작 703은 도 6의 동작 603 내지 동작 605에 대응될 수 있다. 일 실시 예에 따르면, 전자 장치는 눈 피로도 레벨이 제1 임계 값 미만인 경우 동작 701을 재 수행할 수 있고, 눈 피로도 레벨이 제1 임계 값 이상인 경우 동작 705를 수행할 수 있다. 일 실시 예에 따르면, 전자 장치는 제1 임계 값 이상 제2 임계 값 미만인 경우 디스플레이(예: 도 4의 디스플레이(420))의 설정만 변경하는 제1 모드를 선택할 수 있고, 제2 임계 값 이상인 경우 디스플레이의 설정 및 콘텐츠의 출력 설정을 모두 변경하는 제2 모드를 선택할 수 있다.
동작 705에서, 전자 장치는 선택된 모드 별로 지정된 설정 값을 자동으로 설정할지 여부를 확인할 수 있다. 일 실시 예에 따르면, 전자 장치는 자동 설정 여부를 선택하도록 하는 사용자 인터페이스를 사용자에게 제공할 수 있다. 사용자는 제공된 사용자 인터페이스를 통해 자동 설정 여부를 선택할 수 있다. 전자 장치는 자동 설정하도록 하는 사용자의 선택 입력을 수신함에 따라(“Yes”), 동작 707 내지 동작 711을 수행할 수 있고, 자동 설정하지 않도록 하는(수동 설정하도록 하는) 사용자의 선택 입력을 수신함에 따라(“No”), 동작 713 내지 동작 717을 수행할 수 있다. 상술한 실시 예에서 전자 장치가 자동 설정 여부에 대하여 사용자 입력을 수신하여 결정하는 경우를 예로 들었으나, 이에 한정되는 것은 아니며, 자동 설정 여부에 대하여 기 설정된 설정 값을 식별함으로써 자동 설정 여부를 결정할 수도 있다.
동작 707에서, 전자 장치는 디스플레이의 설정 상태 및 콘텐츠의 출력 설정 상태를 식별할 수 있다. 일 실시 예에 따르면, 전자 장치는 동작 701을 수행한 시점에서의 디스플레이의 설정 상태 및 콘텐츠의 출력 설정 상태를 식별할 수 있다. 예를 들어, 전자 장치는 동작 701을 수행한 시점에서의 디스플레이의 밝기 및 디스플레이의 주사율을 식별할 수 있다. 예를 들어, 전자 장치는 동작 701을 수행한 시점에서의 디스플레이에 출력되는 오브젝트의 수, 크기, 위치, 색상, 및 입체감 정도를 식별할 수 있다.
동작 709에서, 전자 장치는 눈 피로도 레벨에 따라 디스플레이의 설정 또는 콘텐츠의 출력 설정 중 적어도 하나를 변경할 수 있다. 전자 장치는 동작 701에서 식별된 눈 피로도 레벨에 기반하여 동작 703을 수행함에 따라 복수의 모드 중 어느 하나의 모드(예: 제1 모드 또는 제2 모드)를 선택할 수 있다. 전자 장치는 선택한 모드에 따라 디스플레이의 설정 또는 콘텐츠의 출력 설정 중 적어도 하나를 변경할 수 있다. 일 실시 예에 따르면, 전자 장치는 제1 모드를 선택함에 따라 디스플레이의 설정을 변경할 수 있다. 예를 들어, 전자 장치는 제1 모드에서 디스플레이의 밝기 또는 디스플레이의 주사율 중 적어도 하나를 자동 설정 값으로 변경할 수 있다. 일 실시 예에 따르면, 전자 장치는 제2 모드를 선택함에 따라 디스플레이에 출력되는 콘텐츠의 출력 설정을 변경할 수 있다. 예를 들어, 전자 장치는 제2 모드에서 디스플레이에 출력되는 오브젝트의 수, 크기, 위치, 색상, 또는 입체가 정도 중 적어도 하나를 자동 설정 값으로 변경할 수 있다.
일 실시 예에 따르면, 자동 설정 값은, 눈 피로도 레벨에 따라 결정된, 디스플레이의 설정 또는 콘텐츠의 출력 설정과 관련된 항목들의 설정 값을 포함할 수 있다. 자동 설정 값은 전자 장치의 메모리(예: 도 4의 메모리(440))에 저장되어 있을 수 있다. 일 실시 예에 따르면, 전자 장치는 설정 항목의 변경에 따른 사용자의 눈 피로도 레벨의 변화를 포함하는 히스토리 정보를 기반으로 자동 설정 값을 결정할 수 있다.
동작 711에서, 전자 장치는 디스플레이의 설정 및 콘텐츠의 출력 설정에 기반하여 콘텐츠를 렌더링하고, 렌더링에 의해 생성된 이미지를 출력할 수 있다. 일 실시 예에 따르면, 전자 장치는 동작 709에서 자동 설정 값으로 변경된 디스플레이의 설정 및 콘텐츠의 출력 설정에 기반하여 디스플레이에 출력되는 콘텐츠를 렌더링할 수 있다. 전자 장치는 콘텐츠를 렌더링함으로써 디스플레이에 출력되는 최종 이미지를 생성할 수 있다. 전자 장치는 생성된 최종 이미지를 디스플레이에 출력할 수 있다.
일 실시 예에 따르면, 전자 장치는 자동 설정을 하지 않는 경우 동작 713 내지 동작 717을 수행할 수 있다.
동작 713에서, 전자 장치는 디스플레이의 설정 상태 및 콘텐츠의 출력 상태를 나타내는 사용자 인터페이스(user interface, UI)를 디스플레이할 수 있다. 예를 들어, 전자 장치는 동작 701 수행 시점에서의 디스플레이의 설정 상태 및 콘텐츠의 출력 상태에 대한 정보를 포함하는 사용자 인터페이스를 디스플레이에 표시할 수 있다. 예를 들면, 상기 사용자 인터페이스는, 디스플레이의 설정 및 콘텐츠의 출력 설정과 관련된 항목들에 대하여 현재 설정 값, 및 항목 별로 설정 값을 변경할 수 있는 적어도 하나의 컴포넌트(component)를 포함할 수 있다. 전자 장치는 상기 사용자 인터페이스를 통해 사용자로 하여금 디스플레이의 설정 또는 콘텐츠의 출력 설정을 직접 변경할 수 있도록 한다. 일 실시 예에 따르면, 전자 장치는 제1 모드를 선택함에 따라 디스플레이의 설정과 관련된 항목만을 포함하는 사용자 인터페이스를 제공할 수 있고, 제2 모드를 선택함에 따라 디스플레이의 설정과 관련된 항목 및 콘텐츠의 출력 설정과 관련된 항목을 모두 포함하는 사용자 인터페이스를 제공할 수 있다.
동작 715에서, 전자 장치는 사용자의 설정 입력을 수신하고, 디스플레이의 설정 또는 콘텐츠의 출력 설정 중 적어도 하나를 변경할 수 있다. 예를 들면, 전자 장치는 상기 사용자 인터페이스를 통해 디스플레이의 설정 및 콘텐츠의 출력 설정과 관련된 항목들 중 적어도 하나의 설정 값을 변경하는 사용자의 설정 입력을 수신할 수 있다. 전자 장치는 수신된 사용자의 설정 입력에 기반하여 디스플레이의 설정 또는 콘텐츠의 출력 설정 중 적어도 하나를 변경할 수 있다. 예를 들어, 전자 장치는 사용자 인터페이스를 통해 출력된 항목 별 현재 설정 값을 사용자가 입력한 설정 값으로 변경함으로써, 디스플레이의 설정 또는 콘텐츠의 출력 설정 중 적어도 하나를 변경할 수 있다.
동작 717에서, 디스플레이의 설정 및 콘텐츠의 출력 설정에 기반하여 콘텐츠를 렌더링하고, 렌더링에 의해 생성된 이미지를 출력할 수 있다. 일 실시 예에 따르면, 전자 장치는 동작 715에서 사용자가 입력한 설정 값으로 변경된 디스플레이의 설정 및 콘텐츠의 출력 설정에 기반하여 디스플레이에 출력되는 콘텐츠를 렌더링할 수 있다. 전자 장치는 콘텐츠를 렌더링함으로써 디스플레이에 출력되는 최종 이미지를 생성하고, 생성된 최종 이미지를 디스플레이에 출력할 수 있다.
이하, 도 8을 참조하여 디스플레이의 주사율과 눈 피로도의 관계 및 일 실시 예에 따른 전자 장치가 눈 피로도 레벨에 따라 디스플레이의 주사율을 변경하는 방법에 대하여 설명한다.
도 8은 일 실시 예에 따른 전자 장치의 디스플레이의 설정을 변경하는 예시를 나타낸 도면(800)이다. 이하에서 설명하는 전자 장치의 동작들은 일 실시 예에 따른 전자 장치(예: 도 4의 전자 장치(401)) 또는 전자 장치의 프로세서(예: 도 4의 프로세서(430))에 의해 수행될 수 있다.
일 실시 예에 따르면, 디스플레이(예: 도 4의 디스플레이(420))의 주사율(scan rate)은 디스플레이가 1초당 화면을 출력하는 횟수 또는 디스플레이가 1초당 출력하는 화면의 수를 의미할 수 있으며, 단위는 헤르츠(Hz)이다. 일 실시 예에 따르면, 주사율은 화면 재생 빈도(refresh rate)로 지칭될 수 있다. 일 실시 예에 따르면, 화면이 새로 고침 됨에 따라 디스플레이는 깜박일 수 있다.
도 8을 참조하면, 디스플레이의 주사율이 낮을수록 모션 블러(motion blur) 효과가 강하게 나타날 수 있다. 예를 들어, 주사율이 120 Hz, 90 Hz, 60 Hz로 감소함에 따라, 모션 블러 효과가 점점 강하게 나타날 수 있다. 일 실시 예에 따르면, 모션 블러는 화면 상의 객체가 이동할 때 잔상이 남는 그래픽 효과를 의미할 수 있다. 예를 들어, 사용자가 전자 장치를 착용한 상태로 움직이거나, 시선을 변경할 때 모션 블러 효과가 일어날 수 있다. 일 실시 예에 따르면, 모션 블러 효과가 일정 수준 이상 강하게 일어나는 경우 사용자는 화면의 깜박임(flicker)을 인지하게 되어 눈의 피로감을 느낄 수 있다. 예를 들어, 사용자는 디스플레이의 주사율이 90 Hz 이상인 경우 깜박임을 인지하지 못할 수 있다.
일 실시 예에 따르면, 전자 장치는 디스플레이의 주사율을 높임으로써 모션 블러 효과를 감소시킬 수 있고, 사용자의 눈의 피로도를 경감시킬 수 있다. 일 실시 예에 따르면, 전자 장치는 사용자의 눈 피로도 레벨이 일정 수준 이상이라고 판단됨에 따라 디스플레이의 주사율을 높임으로써 사용자의 눈의 피로가 누적되는 속도를 완화시킬 수 있다. 예를 들어, 전자 장치는 디스플레이의 주사율을 90 Hz 이상으로 설정하여 사용자가 눈의 피로감을 덜 느끼도록 할 수 있다.
일 실시 예에 따르면, 디스플레이의 주사율이 높을수록 배터리 소모량이 증가할 수 있다. 예를 들면, 전자 장치는 배터리의 소모량과 사용자의 눈 피로도 레벨을 고려하여 디스플레이의 주사율을 결정할 수 있다.
이하, 도 9를 참조하여 오브젝트의 수 또는 크기와 눈 피로도의 관계 및 일 실시 예에 따른 전자 장치가 눈 피로도 레벨에 따라 디스플레이에 출력되는 오브젝트의 수 또는 크기를 변경하는 방법에 대하여 설명한다.
도 9는 일 실시 예에 따른 전자 장치의 콘텐츠의 출력 설정을 변경하는 예시를 나타낸 도면(900)이다. 이하에서 설명하는 전자 장치의 동작들은 일 실시 예에 따른 전자 장치(예: 도 4의 전자 장치(401)) 또는 전자 장치의 프로세서(예: 도 4의 프로세서(430))에 의해 수행될 수 있다.
도 9의 제1 화면(901) 및 제2 화면(902)은 전자 장치의 디스플레이(예: 도 4의 디스플레이(420))에 표시되는 화면을 나타낸 것이며, 동일한 콘텐츠(예: 내비게이션 콘텐츠)를 나타낸다.
제1 화면(901)을 참조하면, 전자 장치는 디스플레이의 제1 영역(910a)에 제1 오브젝트(911a), 제2 오브젝트(912a), 제3 오브젝트(913a), 제4 오브젝트(914a) 및 제5 오브젝트(915a)를 표시할 수 있다. 예를 들면, 제1 오브젝트(911a)는 현재 시간 정보를 포함하는 오브젝트이고, 제2 오브젝트(912a)는 순간 연비 정보를 포함하는 오브젝트이고, 제3 오브젝트(913a)는 평균 속도 정보를 포함하는 오브젝트이고, 제4 오브젝트(914a)는 남은 거리 정보를 포함하는 오브젝트이고, 제5 오브젝트(915a)는 도착 시간 정보를 포함하는 오브젝트일 수 있다. 전자 장치는 디스플레이의 제2 영역(920a)에 제6 오브젝트(921a), 제7 오브젝트(922a), 및 제8 오브젝트(923a)를 표시할 수 있다. 예를 들면, 제6 오브젝트(921a), 제7 오브젝트(922a), 및 제8 오브젝트(923a)는 다음 경로 정보를 포함하는 오브젝트이며, 제6 오브젝트(921a)는 현재 경로 바로 다음 경로 정보를 포함하고, 제7 오브젝트(922a)는 제6 오브젝트(921a)가 포함하는 경로 다음 경로 정보를 포함하고, 및 제8 오브젝트(923a)는 제7 오브젝트(922a)가 포함하는 경로 다음 경로 정보를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 눈 피로도 레벨에 따라 디스플레이에 출력되는 오브젝트의 수 또는 크기를 변경할 수 있다. 이하, 전자 장치가 식별한 눈 피로도 레벨은 제1 화면(901)에서보다 제2 화면(902)에서 높은 것으로 가정한다. 일 실시 예에 따르면, 전자 장치는 눈 피로도 레벨이 감소함에 따라, 디스플레이에 출력되는 오브젝트의 수를 감소시킬 수 있고, 디스플레이에 출력되는 오브젝트의 크기를 크게 할 수 있다.
제2 화면(902)을 참조하면, 전자 장치는 제1 영역(910b)에 제1 오브젝트(911b) 및 제5 오브젝트(915b)를 표시할 수 있다. 일 실시 예에 따르면, 전자 장치는 제1 영역(910b)에 표시되는 오브젝트의 수를 5개에서 2개로 감소시킬 수 있다. 일 실시 예에 따르면, 전자 장치는 디스플레이의 출력되는 오브젝트의 수를 결정하고, 복수의 오브젝트 간의 우선 순위를 고려하여 결정된 수만큼 출력할 오브젝트를 결정할 수 있다. 예를 들어, 전자 장치는 제1 영역(910b)에 표시되는 복수의 오브젝트들 중 우선 순위가 가장 높은 2개의 오브젝트인 제1 오브젝트(911b) 및 제5 오브젝트(915b)를 선택하여 제1 영역(910b)에 표시할 수 있다. 같은 방법으로, 전자 장치는 제2 영역(920b)에 제6 오브젝트(921b)만을 표시할 수 있다. 일 실시 예에 따르면, 전자 장치는 제2 영역(920b)에 표시되는 오브젝트의 수를 3개에서 1개로 감소시킬 수 있다. 전자 장치는 제2 영역(920b)에 표시되는 복수의 오브젝트들 중 우선 순위가 가장 높은 1개의 오브젝트인 제6 오브젝트(921b)를 선택하여 제2 영역(920b)에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치는 제1 영역(910b) 또는 제2 영역(920b)에 표시하는 오브젝트의 크기를 증가시킬 수 있다. 일 실시 예에 따르면, 전자 장치는 디스플레이에 출력되는 오브젝트의 수를 감소시키고 출력되는 오브젝트의 크기를 증가시킴으로써 제공하는 정보량을 줄이고, 향상된 가시성을 제공할 수 있다. 전자 장치는 한 화면에 제공하는 정보량을 줄이고, 정보의 가시성을 높임으로써, 사용자의 눈의 피로가 누적되는 속도를 늦출 수 있다.
이하, 도 10을 참조하여 일 실시 예에 따른 전자 장치가 사용자의 눈 피로도 레벨에 따라 활성화되는 시야각을 변경하는 방법에 대하여 설명한다.
도 10은 일 실시 예에 따른 전자 장치의 시야각을 변경하는 동작을 설명하기 위한 도면(1000)이다. 도 10에 도시된 일 실시 예에 따른 전자 장치(1001)는 도 4의 전자 장치(401)일 수 있다. 이하에서 설명하는 전자 장치(1001)의 동작들은 전자 장치(401)의 프로세서(430)에 의해 수행될 수 있다.
일 실시 예에 따르면, 전자 장치(1001)의 카메라 모듈(예: 도 4의 카메라 모듈(411))은 사용자가 전자 장치(1001)를 착용 시 사용자의 시선 방향(1011)을 기준으로 일정 범위를 인식할 수 있으며, 상기 범위를 시야각(field of view, FOV)이라 할 수 있다. 일 실시 예에 따르면, 전자 장치(1001)는 사용자의 눈 또는 동공의 위치 또는 움직임을 감지하고 추적하는 카메라(예: 도 3의 눈 추적 카메라(313))를 이용하여 사용자의 시선 방향(1011)을 결정할 수 있다. 일 실시 예에 따르면, 전자 장치(1001)는 기준 점(1010)을 기준으로 사용자의 시선 방향(1011)을 결정할 수 있다. 일 실시 예에 따르면, 기준 점(1010)은 사용자의 양안의 중앙에 대응되는 전자 장치(1001)의 적어도 일부일 수 있다. 예를 들어, 전자 장치(1001)(예: 도 2의 전자 장치(201))가 안경인 경우, 기준 점(1010)은 우안에 대응되는 디스플레이(예: 제1 디스플레이(211))를 감싸는 프레임(예: 도 2의 프레임(203))의 제1 부분과 좌안(예: 제2 디스플레이(213))에 대응되는 디스플레이를 감싸는 프레임(예: 도 2의 프레임(203))의 제2 부분을 연결하는 브릿지(예: 도 2의 브릿지(209))의 중앙을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(1001)의 카메라 모듈이 인식하는 시야각은 시선 방향(1011)을 기준으로 좌우로 임의의 각도(θ)만큼 벌어진 범위를 포함할 수 있다(0≤θ≤θt). 예를 들어, θt는 카메라 모듈이 인식 가능한 최대 시야각에 대응되는 최대 각도를 의미할 수 있다.
일 실시 예에 따르면, 전자 장치는 카메라 모듈이 인식하는 시야각 내의 오브젝트를 인식할 수 있다. 일 실시 예에 따르면, 카메라 모듈이 인식하는 시야각 내의 오브젝트는 실제 객체를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치는 시야각 내에 위치한 실제 객체에 가상의 오브젝트를 겹쳐서 디스플레이에 표시함으로써 실제 객체와 관련된 정보를 제공할 수 있다. 일 실시 예에 따르면, 전자 장치는 시야각 외에 위치한 실제 객체에 매핑된 가상의 오브젝트가 존재하더라도 상기 가상의 오브젝트의 표시를 생략하거나, 대체 오브젝트를 표시할 수 있다.
일 실시 예에 따르면, 전자 장치는 눈 피로도 레벨이 증가함에 따라 카메라 모듈이 인식하는 시야각을 감소시킬 수 있다. 일 실시 예에 따르면, 시야각이 감소함에 따라 시야각 내에 위치한 오브젝트의 수는 감소할 수 있다. 일 실시 예에 따르면, 전자 장치는 시야각 내에 위치한 오브젝트에 대하여만 가상의 오브젝트를 중첩하여 표시하므로, 시야각이 감소할수록 디스플레이를 통해 표시하는 정보량이 감소할 수 있다. 전자 장치는 눈 피로도 레벨이 증가함에 따라 시야각을 감소시킴으로써 사용자에게 제공되는 정보량을 감소시킬 수 있고, 사용자의 눈의 피로가 누적되는 속도를 줄일 수 있다.
상술한 실시예에서는 전자 장치가 눈 피로도 레벨이 증가함에 따라 카메라 모듈이 인식하는 시야각을 감소시키는 경우를 예로 들었으나, 이에 한정되는 것은 아니다. 일 실시예에 따르면, 전자 장치는 카메라 모듈이 인식하는 시야각 중에서 지정된 시야각에 대하여 정보(예: 가상의 오브젝트)를 표시할 수 있다. 전자 장치는 눈 피로도 레벨이 증가함에 따라 상기 정보를 표시하는 지정된 시야각의 범위를 감소시킬 수 있다.
이하, 도 11을 참조하여 일 실시 예에 따른 전자 장치가 사용자의 눈 피로도 레벨에 따라 화면을 구성하는 방법 및 사용자 인터랙션(interaction)에 따라 구성된 화면을 변경하는 방법에 대하여 설명한다.
도 11은 일 실시 예에 따른 전자 장치가 시야각을 변경함에 따라 디스플레이에 표시되는 화면을 나타낸 도면(1100)이다. 이하에서 설명하는 전자 장치의 동작들은 도 10의 전자 장치(1001)(예: 도 4의 전자 장치(401)) 또는 전자 장치(1001)의 프로세서(예: 도 4의 프로세서(430))에 의해 수행될 수 있다. 도 11은 전자 장치의 디스플레이(예: 도 4의 디스플레이(420))에 표시되는 화면들을 도시하고 있다.
제1 상태(1101)에서 전자 장치는 눈 피로도 레벨을 식별하고, 식별된 눈 피로도 레벨에 따라 제1 시야각을 설정할 수 있다. 제1 시야각은, 예를 들어, 사용자의 시선 방향(1111)을 기준으로 좌우로 θ1만큼 벌어진 범위를 포함할 수 있다. 전자 장치는 제1 시야각 내에 위치한 제1 오브젝트(1115a, 1115b, 1115c, 1115d, 1115e, 및 1115f)를 인식할 수 있다. 예를 들면, 상기 제1 오브젝트(1115a, 1115b, 1115c, 1115d, 1115e, 및 1115f)는, 전자 장치의 외부에 존재하는 실제 객체를 포함할 수 있다. 전자 장치는 제1 오브젝트(1115a, 1115b, 1115c, 1115d, 1115e, 및 1115f)를 식별하고, 제1 오브젝트(1115a, 1115b, 1115c, 1115d, 1115e, 및 1115f)에 매핑된 제2 오브젝트(1110a, 1110b, 1110c, 1110d, 1110e, 및 1110f)를 제1 오브젝트(1115a, 1115b, 1115c, 1115d, 1115e, 및 1115f)와 중첩하여 표시할 수 있다. 일 실시 예에 따르면, 제2 오브젝트(1110a, 1110b, 1110c, 1110d, 1110e, 및 1110f)는 각각 가상의 오브젝트이며, 제1 오브젝트(1115a, 1115b, 1115c, 1115d, 1115e, 및 1115f)와 관련된 정보를 포함할 수 있다. 예를 들어, 제1 오브젝트(1115a, 1115b, 1115c, 1115d, 1115e, 및 1115f)가 판매 상품인 경우, 제2 오브젝트(1110a, 1110b, 1110c, 1110d, 1110e, 및 1110f)는 가격 정보를 포함할 수 있다.
제2 상태(1102)에서 전자 장치는 눈 피로도 레벨을 식별하고, 식별된 눈 피로도 레벨에 따라 제2 시야각을 설정할 수 있다. 이하, 제2 상태(1102)에서 식별된 눈 피로도 레벨은 제1 상태(1101)에서 식별된 눈 피로도 레벨보다 높은 레벨인 것으로 가정한다. 제2 시야각은, 예를 들어, 사용자의 시선 방향(1111)을 기준으로 좌우로 θ2만큼 벌어진 범위를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치는 눈 피로도 레벨이 증가함에 따라 시야각을 감소시킬 수 있으므로, θ2는 θ1보다 작을 수 있다. 전자 장치는 제2 시야각 내에 위치한 제1 오브젝트(1115a, 1115b, 및 1115c)를 인식할 수 있다. 전자 장치는 제1 오브젝트(1115a, 1115b, 및 1115c)를 식별하고, 제1 오브젝트(1115a, 1115b, 및 1115c)에 매핑된 제2 오브젝트(1110a, 1110b, 및 1110c)를 제1 오브젝트(1115a, 1115b, 및 1115c)와 중첩하여 표시할 수 있다. 전자 장치는 제2 시야각 외에 위치한 제3 오브젝트(1115d, 1115e, 및 1115f)를 식별하고, 제3 오브젝트(1115d, 1115e, 및 1115f)에 매핑된 제4 오브젝트(예: 1110d)를 출력하는 동작이 매핑된 제5 오브젝트(1120d, 1120e, 및 1120f)를 제1 오브젝트(1115a, 1115b, 및 1115c)와 중첩하여 표시할 수 있다. 일 실시 예에 따르면, 제4 오브젝트는 가상의 오브젝트이며, 제3 오브젝트(1115d, 1115e, 및 1115f)와 관련된 정보를 포함할 수 있다. 일 실시 예에 따르면, 제5 오브젝트는 정보(예: 제4 오브젝트)를 직접적으로 표시하지 않고, 사용자 인터랙션에 의해 정보(예: 제4 오브젝트)를 표시할 수 있음을 나타내는 가상의 오브젝트를 포함할 수 있다. 일 실시 예에 따르면, 제5 오브젝트(1120d, 1120e, 및 1120f)에는 제4 오브젝트(예: 1110d)를 출력하는 동작이 매핑될 수 있으며, 전자 장치는 제5 오브젝트(1120d)를 선택하는 입력을 수신함에 따라 제4 오브젝트(1110d)를 출력할 수 있다.
일 실시 예에 따르면, 전자 장치는 카메라 모듈(예: 도 4의 카메라 모듈(411))을 이용하여 화면에 출력되는 오브젝트를 가리키기 위한 지시 객체(1121) 및 지시 객체(1121)가 가리키는 방향을 인식할 수 있다. 전자 장치는 지시 객체(1121)가 가리키는 방향에 기반하여 적어도 하나의 오브젝트를 선택할 수 있다. 예를 들어, 전자 장치는 지시 객체(1121)가 가리키는 방향에 기반하여 제5 오브젝트(예: 1120d)를 선택할 수 있다. 전자 장치는 제5 오브젝트(예: 1120d)를 선택하는 사용자 입력을 수신할 수 있다. 상기 제5 오브젝트를 선택하는 사용자 입력은, 예를 들어, 지시 객체(1121)를 이용하여 제5 오브젝트를 가리키는 제스처와 같은 제스처 입력을 포함할 수 있다.
제3 상태(1103)에서 전자 장치는 제5 오브젝트(예: 1120d)를 선택하는 사용자 입력을 수신함에 따라 제4 오브젝트(1110d)를 출력할 수 있다. 일 실시 예에 따르면, 전자 장치는 제2 시야각 외에 위치한 제3 오브젝트(1115d, 1115e, 및 1115f)와 관련된 정보는 일단 표시하지 않고, 추가적인 사용자 인터랙션에 의해 선택적으로 정보를 표시할 수 있다.
이하, 도 12를 참조하여 일 실시 예에 따른 전자 장치가 눈 피로도와 관련된 데이터를 관리하는 방법에 대하여 설명한다.
도 12는 일 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도(1200)이다. 이하에서 설명하는 전자 장치의 동작들은 일 실시 예에 따른 전자 장치(예: 도 4의 전자 장치(401)) 또는 전자 장치의 프로세서(예: 도 4의 프로세서(430))에 의해 수행될 수 있다.
동작 1201에서, 전자 장치는 각 모드에서 변경되는 설정 항목을 식별할 수 있다. 일 실시 예에 따르면, 전자 장치는 눈 피로도 레벨에 따라 디스플레이의 설정 또는 콘텐츠의 출력 설정 중 적어도 하나를 변경하는 복수의 모드를 가질 수 있다. 디스플레이의 설정과 관련된 설정 항목은, 예를 들어, 디스플레이의 밝기 또는 디스플레이의 주사율 중 적어도 하나를 포함할 수 있다. 콘텐츠의 출력 설정과 관련된 설정 항목은, 예를 들어, 디스플레이에 출력되는 오브젝트의 수, 크기, 위치, 색상, 또는 입체감 정도 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치가 변경하는 설정 항목은 모드 별로 서로 상이할 수 있다. 일 실시 예에 따르면, 전자 장치는 각 모드에서 변경되는 설정 항목이 무엇인지와, 항목 별로 설정이 어떻게 변경되는지(예: 항목 별 설정 값의 변화량)를 식별할 수 있다. 예를 들어, 전자 장치는 제1 모드에서 디스플레이의 밝기를 8에서 5로 감소시킨 히스토리를 메모리(예: 도 4의 메모리(440))에 저장할 수 있다.
동작 1203에서, 전자 장치는 설정 항목의 변경에 따른 눈 피로도 레벨의 변화량을 계산할 수 있다. 전자 장치는 설정 항목을 변경하기 전에 식별한 눈 피로도 레벨 및 설정 항목을 변경한 후에 식별한 눈 피로도 레벨을 비교하여 설정 항목의 변경에 따른 눈 피로도 레벨의 변화량을 계산할 수 있다.
일 실시 예에 따르면, 눈 피로도 레벨은 전자 장치의 사용 시간 또는 사용자가 시청한 콘텐츠의 양에 비례하여 증가할 수 있다. 예를 들면, 전자 장치는 설정 항목의 변경을 통해 전자 장치의 사용 시간 대비 눈 피로도 레벨이 증가하는 속도를 감소시킬 수 있다. 예를 들면, 전자 장치가 기존의 설정 상태를 유지하는 경우, 일정 시간이 경과한 이후에 눈 피로도 레벨이 3 증가할 수 있으나, 전자 장치가 설정 상태를 변경함에 따라 동일한 시간이 경과한 눈 피로도 레벨이 1 증가할 수 있다. 일 실시 예에 따르면, 눈 피로도 레벨의 변화량이 작을수록, 설정 항목의 변경이 사용자의 눈의 피로도를 경감시키는 데 효과적이라 할 수 있다.
일 실시 예에 따르면, 전자 장치는 변경된 설정 항목 및 설정 값의 변화량을 포함하는 변경 정보와 함께 변경 정보에 대응되는 눈 피로도 레벨의 변화량을 메모리에 저장할 수 있다.
동작 1205에서, 전자 장치는 가장 작은 눈 피로도 레벨의 변화량에 대응되는 설정 항목을 식별하고, 저장할 수 있다. 일 실시 예에 따르면, 전자 장치는 저장된 눈 피로도 레벨의 변화량 정보 중 가장 작은 눈 피로도 레벨의 변화량에 대응되는 변경 정보를 식별할 수 있다. 전자 장치는 식별된 변경 정보(예: 변경된 설정 항목 및 설정 값의 변화량)를 전자 장치의 사용자 데이터베이스에 별도로 저장할 수 있다.
일 실시 예에 따르면, 사용자 데이터베이스는 전자 장치가 식별한 사용자에게 최적화된 눈 피로도 경감 방법을 저장할 수 있다. 일 실시 예에 따르면, 전자 장치는 사용자 데이터베이스에 저장된 데이터를 기반으로 눈 피로도 레벨에 따라 변경하는 설정 항목 및 설정 항목의 설정 값을 변경함으로써 사용자에게 최적화된 눈 피로도 경감 방법을 적용할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201), 도 3의 전자 장치(301), 도 4의 전자 장치(401), 또는 도 10의 전자 장치(1001))는, 카메라 모듈(예: 도 1의 카메라 모듈(180), 또는 도 4의 카메라 모듈(411)); 적어도 하나의 오브젝트를 포함하는 증강 현실 또는 가상 현실 콘텐츠를 표시하는 디스플레이(예: 도 1의 디스플레이 모듈(160), 또는 도 4의 디스플레이(420)); 상기 카메라 모듈 및 상기 디스플레이와 작동적으로 연결된 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 4의 프로세서(430)); 및 상기 적어도 하나의 프로세서와 작동적으로 연결되며, 상기 증강 현실 또는 가상 현실 콘텐츠를 저장하는 메모리(예: 도 1의 메모리(130), 또는 도 4의 메모리(440))를 포함하고, 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 카메라 모듈을 이용하여 눈 추적 데이터를 획득하고, 상기 눈 추적 데이터를 기반으로 눈 피로도 레벨을 결정하고, 상기 눈 피로도 레벨에 따라, 상기 디스플레이의 설정을 변경하는 제1 모드 및 상기 디스플레이의 설정 및 상기 증강 현실 또는 가상 현실 콘텐츠의 출력 설정을 모두 변경하는 제2 모드 중 어느 하나의 모드를 선택하도록 하는 하나 이상의 인스트럭션들(instructions)을 저장할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 눈 추적 데이터는 복수의 파라미터 각각에 대한 측정 값을 포함하고, 상기 복수의 파라미터는 눈 깜박임 빈도, 동공 조절 속도, 눈 건조도, 눈 충혈 정도, 또는 동공 떨림 정도 중 적어도 하나를 포함할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 지정된 주기마다 상기 눈 추적 데이터를 획득하도록 할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 눈 추적 데이터의 초기 값을 식별하고, 상기 획득된 눈 추적 데이터의 상기 초기 값 대비 변화량을 계산하고, 상기 변화량에 따라 상기 눈 피로도 레벨을 결정하도록 할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 초기 값은, 지정된 시간 구간 동안의 평균 값, 상기 전자 장치의 사용자의 히스토리 정보에 기반하여 결정된 평균 값, 또는 기 설정된 설정 값을 포함할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 전자 장치는 통신 모듈(예: 도 1의 통신 모듈(190))을 더 포함하고, 상기 인스트럭션들은 상기 프로세서가, 상기 전자 장치의 사용자를 식별하고, 상기 통신 모듈을 통해 상기 사용자의 외부 전자 장치의 설정 정보 및 사용 히스토리 정보를 수신하고, 상기 설정 정보 및 상기 사용 히스토리 정보를 기반으로 상기 초기 값을 결정하도록 할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 복수의 파라미터 별 가중치를 식별하고, 상기 가중치를 상기 복수의 파라미터 중 적어도 하나의 파라미터에 적용하고, 상기 측정 값이 상기 눈 피로도 레벨을 결정하기 위한 조건을 만족하는지 여부를 결정하고, 상기 조건은, 상기 적어도 하나의 파라미터 또는 적어도 두 개의 파라미터의 조합을 포함할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 전자 장치는 센서 모듈(예: 도 1의 센서 모듈(176), 또는 도 4의 센서 모듈(413))을 더 포함하고, 상기 인스트럭션들은 상기 프로세서가, 상기 센서 모듈을 이용하여 생체 신호를 획득하고, 상기 생체 신호에 더 기반하여 상기 눈 피로도 레벨을 결정하도록 하고, 상기 생체 신호는, 심전도 또는 뇌파 중 적어도 하나를 포함할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 전자 장치의 사용 히스토리 정보에 더 기반하여 상기 눈 피로도 레벨을 결정하도록 하고, 상기 사용 히스토리 정보는, 상기 전자 장치의 사용 시간, 상기 디스플레이의 설정, 또는 실행 중인 어플리케이션의 종류 중 적어도 하나를 포함할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 눈 피로도 레벨이 제1 임계 값 이상이고 제2 임계 값 미만임에 따라 상기 제1 모드를 선택하고, 상기 눈 피로도 레벨이 상기 제2 임계 값 이상임에 따라 상기 제2 모드를 선택하도록 할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 디스플레이의 설정과 관련된 제1 항목은, 주사율 또는 밝기 중 적어도 하나를 포함할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 증강 현실 또는 가상 현실 콘텐츠의 출력 설정과 관련된 제2 항목은, 상기 디스플레이에 출력되는 오브젝트의 수, 크기, 위치, 색상, 또는 입체감 정도 중 적어도 하나를 포함할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 눈 피로도 레벨이 증가함에 따라 상기 카메라 모듈이 인식하는 시야각(field of view, FOV)을 감소시키도록 할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 시야각 내에 위치한 제1 실제 오브젝트에 매핑된 제2 가상 오브젝트를 출력하고, 상기 시야각 외에 위치한 제3 실제 오브젝트에 매핑된 제4 가상 오브젝트를 출력하는 동작이 매핑된 제5 가상 오브젝트를 출력하도록 할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 제5 가상 오브젝트를 선택하는 사용자 입력을 수신함에 따라 상기 제4 가상 오브젝트를 출력하도록 할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서가, 상기 디스플레이에 출력될 상기 증강 현실 또는 가상 현실 콘텐츠에 기반하여 상기 눈 피로도 레벨을 조절하도록 할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 콘텐츠를 표시하기 위한 전자 장치의 동작 방법은, 카메라 모듈을 이용하여 눈 추적 데이터를 획득하는 동작; 상기 눈 추적 데이터를 기반으로 눈 피로도 레벨을 결정하는 동작; 및 상기 눈 피로도 레벨에 따라, 디스플레이의 설정을 변경하는 제1 모드 및 상기 디스플레이의 설정 및 상기 콘텐츠의 출력 설정을 모두 변경하는 제2 모드 중 어느 하나의 모드를 선택하는 동작을 포함할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 모드를 선택하는 동작은, 상기 눈 피로도 레벨이 제1 임계 값 이상이고 제2 임계 값 미만임에 따라 상기 제1 모드를 선택하고, 상기 눈 피로도 레벨이 상기 제2 임계 값 이상임에 따라 상기 제2 모드를 선택하는 동작을 포함할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 디스플레이의 설정과 관련된 제1 항목은, 주사율, 또는 밝기 중 적어도 하나를 포함할 수 있다.
본 문서에 개시된 일 실시예에 따르면, 상기 콘텐츠의 출력 설정과 관련된 제2 항목은, 상기 디스플레이에 출력되는 오브젝트의 수, 크기, 위치, 색상, 또는 입체감 정도 중 적어도 하나를 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
상술한 실시예들 중 일부는, 하드웨어 또는 펌웨어로 구현되거나, CD ROM, DVD(digital versatile disc), 자기 테이프(magnetic tape), RAM, 플로피 디스크(floppy disk), 하드 디스크(hard disk), 또는 광자기 디스크(magneto-optical disk)와 같은 기록 매체에 저장될 수 있는 소프트웨어 또는 컴퓨터 코드의 실행에 의해 구현될 수 있다. 또는, 상술한 실시예들 중 일부는, 원래 원격 기록 매체 또는 비일시적 기계 판독 가능 매체에 저장되고, 네트워크를 통해 다운로드되어 로컬 기록 매체에 저장되는 컴퓨터 코드의 실행에 의해 구현될 수 있다. 본 문서에서 설명된 방법은, 범용 컴퓨터 또는 특수 프로세서를 이용하여 기록 매체에 저장된 소프트웨어를 통해, 또는 ASIC 또는 FPGA와 같은 프로그래밍 가능 또는 전용 하드웨어에서 렌더링될 수 있다. 당해 기술 분야에서 이해되는 바와 같이, 컴퓨터, 프로세서, 마이크로프로세서 컨트롤러 또는 프로그래밍 가능한 하드웨어는 컴퓨터, 프로세서, 또는 하드웨어에 의해 액세스되거나 실행될 때 본 문서에 설명된 처리 방법을 구현하는 소프트웨어 또는 컴퓨터 코드를 저장하거나 수신할 수 있는 메모리 구성요소(예: RAM, ROPM, 또는 플래시)를 포함할 수 있다.
본 문서에 다양한 실시예들이 도시되고 설명되었지만, 당해 기술 분야의 통상의 기술자는 첨부된 청구항들 및 그 균등물에 의해 정의되는 본 개시 내용을 벗어나지 않으면서 형태 및 세부 사항의 다양한 변경이 이루어질 수 있음을 이해할 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    카메라 모듈;
    적어도 하나의 오브젝트를 포함하는 증강 현실 또는 가상 현실 콘텐츠를 표시하는 디스플레이;
    상기 카메라 모듈 및 상기 디스플레이와 작동적으로 연결된 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 작동적으로 연결되며, 상기 증강 현실 또는 가상 현실 콘텐츠를 저장하는 메모리를 포함하고,
    상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가,
    상기 카메라 모듈을 이용하여 눈 추적 데이터를 획득하고,
    상기 눈 추적 데이터를 기반으로 눈 피로도 레벨을 결정하고,
    상기 눈 피로도 레벨에 따라, 상기 디스플레이의 설정을 변경하는 제1 모드 및 상기 디스플레이의 설정 및 상기 콘텐츠의 출력 설정을 모두 변경하는 제2 모드 중 어느 하나의 모드를 선택하도록 하는 하나 이상의 인스트럭션들(instructions)을 저장하는, 전자 장치.
  2. 청구항 1에 있어서,
    상기 눈 추적 데이터는 복수의 파라미터 각각에 대한 측정 값을 포함하고,
    상기 복수의 파라미터는 눈 깜박임 빈도, 동공 조절 속도, 눈 건조도, 눈 충혈 정도, 및/또는 동공 떨림 정도를 포함하는, 전자 장치.
  3. 청구항 1에 있어서,
    상기 하나 이상의 인스트럭션들은 상기 프로세서가,
    지정된 주기마다 상기 눈 추적 데이터를 획득하도록 하는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 하나 이상의 인스트럭션들은 상기 프로세서가,
    상기 눈 추적 데이터의 초기 값을 식별하고,
    상기 획득된 눈 추적 데이터의 상기 초기 값 대비 변화량을 계산하고,
    상기 변화량에 따라 상기 눈 피로도 레벨을 결정하도록 하고,
    상기 초기 값은, 지정된 시간 구간 동안의 평균 값, 상기 전자 장치의 사용자의 히스토리 정보에 기반하여 결정된 평균 값, 또는 기 설정된 설정 값을 포함하는, 전자 장치.
  5. 청구항 4에 있어서,
    상기 전자 장치는 통신 모듈을 더 포함하고,
    상기 하나 이상의 인스트럭션들은 상기 프로세서가,
    상기 전자 장치의 사용자를 식별하고,
    상기 통신 모듈을 통해 상기 사용자의 외부 전자 장치의 설정 정보 및 사용 히스토리 정보를 수신하고,
    상기 설정 정보 및 상기 사용 히스토리 정보를 기반으로 상기 초기 값을 결정하도록 하는, 전자 장치.
  6. 청구항 2에 있어서,
    상기 하나 이상의 인스트럭션들은 상기 프로세서가,
    상기 복수의 파라미터 별 가중치를 식별하고,
    상기 가중치를 상기 복수의 파라미터 중 적어도 하나의 파라미터에 적용하고,
    상기 측정 값이 상기 눈 피로도 레벨을 결정하기 위한 조건을 만족하는지 여부를 결정하고,
    상기 조건은, 상기 적어도 하나의 파라미터 또는 적어도 두 개의 파라미터의 조합을 포함하는, 전자 장치.
  7. 청구항 1에 있어서,
    상기 전자 장치는 센서 모듈을 더 포함하고,
    상기 하나 이상의 인스트럭션들은 상기 프로세서가,
    상기 센서 모듈을 이용하여 생체 신호를 획득하고,
    상기 생체 신호에 더 기반하여 상기 눈 피로도 레벨을 결정하도록 하고,
    상기 생체 신호는, 심전도 및/또는 뇌파를 포함하는, 전자 장치.
  8. 청구항 1에 있어서,
    상기 하나 이상의 인스트럭션들은 상기 프로세서가,
    상기 전자 장치의 사용 히스토리 정보에 더 기반하여 상기 눈 피로도 레벨을 결정하도록 하고,
    상기 사용 히스토리 정보는, 상기 전자 장치의 사용 시간, 상기 디스플레이의 설정, 및/또는 실행 중인 어플리케이션의 종류를 포함하는, 전자 장치.
  9. 청구항 1에 있어서,
    상기 하나 이상의 인스트럭션들은 상기 프로세서가,
    상기 눈 피로도 레벨이 제1 임계 값 이상이고 제2 임계 값 미만임에 따라 상기 제1 모드를 선택하고, 상기 눈 피로도 레벨이 상기 제2 임계 값 이상임에 따라 상기 제2 모드를 선택하도록 하는, 전자 장치.
  10. 청구항 1에 있어서,
    상기 디스플레이의 설정과 관련된 제1 항목은, 주사율 및/또는 밝기를 포함하고,
    상기 증강 현실 또는 가상 현실 콘텐츠의 출력 설정과 관련된 제2 항목은, 상기 디스플레이에 출력되는 오브젝트의 수, 크기, 위치, 색상, 및/또는 입체감 정도를 포함하는, 전자 장치.
  11. 청구항 1에 있어서,
    상기 하나 이상의 인스트럭션들은 상기 프로세서가,
    상기 눈 피로도 레벨이 증가함에 따라 상기 카메라 모듈이 인식하는 시야각(field of view, FOV)을 감소시키도록 하는, 전자 장치.
  12. 청구항 11에 있어서,
    상기 하나 이상의 인스트럭션들은 상기 프로세서가,
    상기 시야각 내에 위치한 제1 실제 오브젝트에 매핑된 제2 가상 오브젝트를 출력하고, 상기 시야각 외에 위치한 제3 실제 오브젝트에 매핑된 제4 가상 오브젝트를 출력하는 동작이 매핑된 제5 가상 오브젝트를 출력하고,
    상기 제5 가상 오브젝트를 선택하는 사용자 입력을 수신함에 따라 상기 제4 가상 오브젝트를 출력하도록 하는, 전자 장치.
  13. 청구항 1에 있어서,
    상기 하나 이상의 인스트럭션들은 상기 프로세서가,
    상기 디스플레이에 출력될 상기 증강 현실 또는 가상 현실 콘텐츠에 기반하여 상기 눈 피로도 레벨을 조절하도록 하는, 전자 장치.
  14. 콘텐츠를 표시하기 위한 전자 장치의 동작 방법에 있어서,
    카메라 모듈을 이용하여 눈 추적 데이터를 획득하는 동작;
    상기 눈 추적 데이터를 기반으로 눈 피로도 레벨을 결정하는 동작; 및
    상기 눈 피로도 레벨에 따라, 디스플레이의 설정을 변경하는 제1 모드 및 상기 디스플레이의 설정 및 상기 콘텐츠의 출력 설정을 모두 변경하는 제2 모드 중 어느 하나의 모드를 선택하는 동작을 포함하는, 콘텐츠를 표시하기 위한 전자 장치의 동작 방법.
  15. 청구항 14에 있어서,
    상기 모드를 선택하는 동작은,
    상기 눈 피로도 레벨이 제1 임계 값 이상이고 제2 임계 값 미만임에 따라 상기 제1 모드를 선택하고, 상기 눈 피로도 레벨이 상기 제2 임계 값 이상임에 따라 상기 제2 모드를 선택하는 동작을 포함하는, 콘텐츠를 표시하기 위한 전자 장치의 동작 방법.
PCT/KR2021/019040 2021-01-05 2021-12-15 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법 WO2022149748A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21917910.8A EP4262200A4 (en) 2021-01-05 2021-12-15 ELECTRONIC DEVICE FOR DISPLAYING CONTENTS AND ITS OPERATING METHOD
CN202180089266.6A CN116724548A (zh) 2021-01-05 2021-12-15 用于显示内容的电子装置及其操作方法
US17/555,667 US20220217325A1 (en) 2021-01-05 2021-12-20 Electronic device for displaying content and method of operation thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210001015A KR20220099011A (ko) 2021-01-05 2021-01-05 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법
KR10-2021-0001015 2021-01-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/555,667 Continuation US20220217325A1 (en) 2021-01-05 2021-12-20 Electronic device for displaying content and method of operation thereof

Publications (1)

Publication Number Publication Date
WO2022149748A1 true WO2022149748A1 (ko) 2022-07-14

Family

ID=82357230

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/019040 WO2022149748A1 (ko) 2021-01-05 2021-12-15 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법

Country Status (2)

Country Link
KR (1) KR20220099011A (ko)
WO (1) WO2022149748A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115886816A (zh) * 2022-11-15 2023-04-04 立讯精密科技(南京)有限公司 基于vr/ar设备的疲劳检测方法及vr/ar设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014053743A (ja) * 2012-09-06 2014-03-20 Sharp Corp 画像表示装置及びテレビジョン受信機
KR20160116576A (ko) * 2015-03-30 2016-10-10 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20160130015A (ko) * 2015-04-30 2016-11-10 삼성전자주식회사 휴대 장치 및 휴대 장치의 콘텐트 화면 변경방법
KR20180122726A (ko) * 2016-03-25 2018-11-13 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
KR20190090998A (ko) * 2018-01-26 2019-08-05 경북대학교 산학협력단 얼굴 인식 알고리즘을 이용한 눈의 피로 감소방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014053743A (ja) * 2012-09-06 2014-03-20 Sharp Corp 画像表示装置及びテレビジョン受信機
KR20160116576A (ko) * 2015-03-30 2016-10-10 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20160130015A (ko) * 2015-04-30 2016-11-10 삼성전자주식회사 휴대 장치 및 휴대 장치의 콘텐트 화면 변경방법
KR20180122726A (ko) * 2016-03-25 2018-11-13 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
KR20190090998A (ko) * 2018-01-26 2019-08-05 경북대학교 산학협력단 얼굴 인식 알고리즘을 이용한 눈의 피로 감소방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4262200A1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115886816A (zh) * 2022-11-15 2023-04-04 立讯精密科技(南京)有限公司 基于vr/ar设备的疲劳检测方法及vr/ar设备
CN115886816B (zh) * 2022-11-15 2024-05-10 立讯精密科技(南京)有限公司 基于vr/ar设备的疲劳检测方法及vr/ar设备

Also Published As

Publication number Publication date
KR20220099011A (ko) 2022-07-12

Similar Documents

Publication Publication Date Title
WO2022059968A1 (ko) 증강 현실 콘텐츠를 제공하는 전자 장치 및 그의 동작 방법
WO2022149748A1 (ko) 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법
WO2022102954A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2022169255A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2023017986A1 (ko) 영상 데이터 및 오디오 데이터 출력 방법 및 전자 시스템
WO2022139424A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2022215895A1 (ko) 복수의 카메라를 포함하는 웨어러블 전자 장치
WO2022050638A1 (ko) 디스플레이의 설정 변경 방법 및 전자 장치
WO2023048466A1 (ko) 전자 장치 및 컨텐츠 표시 방법
WO2023080419A1 (ko) 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법
WO2024025126A1 (ko) 웨어러블 전자 장치 및 그 동작 방법
WO2022231160A1 (ko) 손 제스처에 기반하여 기능을 실행하는 전자 장치 및 그 작동 방법
WO2024063253A1 (ko) 카메라로부터 획득한 이미지 내에 포함된 복수의 영역들 각각의 해상도들을 제어하기 위한 전자 장치 및 그 방법
WO2024029858A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024049178A1 (ko) 하나 이상의 외부 객체들 중 적어도 하나의 외부 객체의 표시를 제어하기 위한 전자 장치 및 방법
WO2024112017A1 (ko) 두부 착용형 전자 장치 및 이의 동작 방법
WO2024080583A1 (ko) 이미지를 활용한 ar 정보 제공 방법 및 전자 장치
WO2024096460A1 (ko) 거리 정보를 획득하는 전자 장치 및 이의 동작 방법
WO2024025076A1 (ko) 외부 객체로부터 출력된 소리 신호를 이용하여 볼륨을 조절하기 위한 전자 장치 및 그 방법
WO2022050605A1 (ko) 전자 장치 및 사용자의 시선 정보 획득 방법
WO2022181996A1 (ko) 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
WO2024076007A1 (ko) 렌즈의 투명도에 기반하여 디스플레이의 휘도를 조절하기 위한 웨어러블 장치 및 방법
WO2022255682A1 (ko) 웨어러블 전자 장치 및 그의 파워 패스 제어 방법
WO2022191497A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917910

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180089266.6

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2021917910

Country of ref document: EP

Effective date: 20230712

NENP Non-entry into the national phase

Ref country code: DE