WO2024025126A1 - 웨어러블 전자 장치 및 그 동작 방법 - Google Patents

웨어러블 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2024025126A1
WO2024025126A1 PCT/KR2023/007682 KR2023007682W WO2024025126A1 WO 2024025126 A1 WO2024025126 A1 WO 2024025126A1 KR 2023007682 W KR2023007682 W KR 2023007682W WO 2024025126 A1 WO2024025126 A1 WO 2024025126A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
wearable electronic
electronic device
processor
Prior art date
Application number
PCT/KR2023/007682
Other languages
English (en)
French (fr)
Inventor
박경태
김나리
유찬형
정호영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220114327A external-priority patent/KR20240015541A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024025126A1 publication Critical patent/WO2024025126A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Definitions

  • Various embodiments of the present disclosure relate to wearable electronic devices and methods of operating the same.
  • Augmented reality is a field of virtual reality (VR), and is a computer graphics technique that synthesizes virtual objects or information into an actually existing environment to make them appear as if they existed in the original environment.
  • Augmented reality is a display technology that displays virtual objects over the real world viewed by the user, and can be applied to products such as wearable electronic devices to provide users with a variety of user experiences.
  • a wearable electronic device that supports augmented reality may be a head mounted display (HMD) device or AR glass.
  • HMD head mounted display
  • a wearable electronic device that supports augmented reality includes a display panel, which is a light source that outputs an image, a projection lens that inputs the image output from the display panel into a light waveguide, and propagates the input image to the user's It may contain a light waveguide that allows it to reach the eye.
  • a wearable electronic device supporting augmented reality may provide a see-through display, that is, an augmented reality function, by disposing an optical waveguide on at least a portion of at least one lens.
  • the visibility of an image displayed through at least one lens may be affected by external illumination. If the external environment of the wearable electronic device is bright outdoors, the visibility of the image may be low.
  • Wearable electronic devices can increase the luminance of images output from a light source to increase visibility when external illumination is bright, but the operation of such wearable electronic devices can increase power consumption and generate heat.
  • Various embodiments of the present disclosure dynamically adjust the luminance of each area displayed through the display panel, which is a light source, the shape of the displayed image, and/or the saturation of the displayed image according to the magnitude of the illuminance of the ambient light.
  • a wearable electronic device and a method of operating the same can be provided that can reduce power consumption and heat generation and increase image visibility in a high-illuminance ambient light environment.
  • a wearable electronic device includes at least one lens, a battery, a display, a waveguide that receives an image from the display, and outputs the input image through the at least one lens, the wearable electronic device an illuminance sensor that detects external illuminance, and a processor, wherein the processor activates a visibility enhancement mode in response to a designated event, and in response to activation of the visibility enhancement mode, uses the illuminance sensor to activate the wearable.
  • the ambient illuminance of the electronic device may be detected, and based on the sensed illuminance, the luminance of the image output through the display and the display form of at least one object included in the image may be dynamically adjusted.
  • the wearable electronic device includes at least one lens, a battery, a display, receiving an image from the display, and outputting the input image through the at least one lens. It includes a waveguide and an illuminance sensor that detects external illuminance of the wearable electronic device, the method comprising: activating a visibility enhancement mode in response to a specified event; in response to the visibility enhancement mode being activated; , an operation of detecting the surrounding illuminance of the wearable electronic device using the illuminance sensor, and based on the detected illuminance, the luminance of the image output through the display, displaying at least one object included in the image It may include actions that dynamically adjust the shape.
  • a wearable electronic device and a method of operating the same include the luminance of each area displayed through the display panel, which is a light source, according to the size of the illuminance of ambient light, the shape of the displayed image, and/or By dynamically adjusting the saturation of the displayed image, power consumption and heat generation can be reduced and image visibility can be improved in a high-illuminance ambient light environment.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • FIG. 2 is a conceptual diagram illustrating a state in which a wearable electronic device is worn by a user, according to an embodiment.
  • Figure 3 is a block diagram of a wearable electronic device according to an embodiment.
  • FIG. 4 illustrates an optical path along which light moves in a wearable electronic device according to an embodiment.
  • Figure 5 is a flowchart explaining the operation of a wearable electronic device according to an embodiment.
  • FIG. 6A is an example of an image output from a display of a wearable electronic device and a see-through screen displayed through a lens when the external illumination of the wearable electronic device is in the first range, according to an embodiment.
  • FIG. 6B is an example of an image output from a display of a wearable electronic device and a see-through screen displayed through a lens when the external illumination of the wearable electronic device is in the second range according to an embodiment.
  • FIG. 6C is an example of an image output from a display of a wearable electronic device and a see-through screen displayed through a lens when the external illumination level of the wearable electronic device is in the third range, according to an embodiment.
  • FIG. 7A is an enlarged view of a portion of the see-through screen according to an embodiment shown in FIG. 6A.
  • FIG. 7B is an enlarged view of a portion of the see-through screen according to an embodiment shown in FIG. 6B.
  • FIG. 7C is an enlarged view of a portion of the see-through screen according to an embodiment shown in FIG. 6C.
  • FIG. 8 is an example of a see-through screen according to an image output from the display of the wearable electronic device when the wearable electronic device is in an outdoor mixed illumination environment according to an embodiment.
  • Figure 9 is a schematic configuration diagram of a wearable electronic device according to an embodiment.
  • Figure 10 is a block diagram showing components that generate an image in a wearable electronic device according to an embodiment.
  • FIG. 11 is a block diagram showing components for generating a brightness map in a wearable electronic device according to an embodiment.
  • FIG. 12 is a block diagram showing components that generate an image based on external illumination in a wearable electronic device according to an embodiment.
  • Figure 13 is a block diagram showing components that increase pixel brightness by adjusting the resolution of an image in a wearable electronic device according to an embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a long-distance wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes the main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g., a central processing unit or an application processor
  • an auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 may be a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a first side e.g., bottom side
  • a designated high frequency band e.g., mmWave band
  • a plurality of antennas e.g., array antennas
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of the present disclosure are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of the present disclosure may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may include one or more instructions stored in a storage medium (e.g., internal memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • methods according to various embodiments disclosed in the present disclosure may be included and provided in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.
  • FIG. 2 is a conceptual diagram illustrating a state in which a wearable electronic device is worn by a user, according to an embodiment.
  • the wearable electronic device shown in FIG. 2 may be at least partially similar to or substantially the same as the electronic device 101 shown in FIG. 1 .
  • the wearable electronic device 200 is a device that can be worn by the user 202, for example, augmented reality (AR) glasses, near-eye display (NED), etc. , or one of electronic devices including a head mounted display (HMD).
  • AR augmented reality
  • NED near-eye display
  • HMD head mounted display
  • a near-eye display can be understood as a type of display in which the display panel is located very close to the eyes of the user 202 so that the user 202 can wear it like glasses.
  • the wearable electronic device 200 includes a see-through display 204 corresponding to a near-eye display (e.g., a first see-through display 204-1, a second see-through display 204-2). ) may include. At least some of the lenses of the wearable electronic device 200 may include a see-through display 204.
  • the wearable electronic device 200 may include a left eye lens or a right eye lens, at least some of which may include a light waveguide (e.g., waveguide 430 in FIG. 4). . At least a portion of the lens of the wearable electronic device where the optical waveguide 430 is disposed may function as a see-through display 204.
  • the left eye lens of the wearable electronic device 200 corresponding to the left eye of the user 202 includes the first see-through display 204-1
  • the wearable electronic device 200 corresponding to the right eye of the user 202 includes the first see-through display 204-1.
  • the right eye lens may include a second see-through display 204-2.
  • the see-through display 204 may be located close to the eyes of the user 202, and the user 202 may wear the wearable electronic device 200 including the see-through display 204 like glasses. .
  • the wearable electronic device 200 may display an augmented reality image through the see-through display 204.
  • the see-through display 204 may transmit light from the real environment (or real objects).
  • the user 202 can view the real environment by recognizing the light of the real environment transmitted through the see-through display 204.
  • the see-through display 204 may refer to a transparent display capable of transmitting light from a real object and simultaneously displaying an image of a virtual object.
  • the wearable electronic device 200 may display an image of a virtual object through the see-through display 204.
  • the user 202 can recognize a real object through the see-through display 204 of the wearable electronic device 200 and can recognize a virtual object superimposed on it.
  • a wearable electronic device 200 in the form of glasses may not be limited thereto.
  • Various embodiments of the present disclosure may be applied to various electronic devices including near-eye displays.
  • various embodiments of the present disclosure may be applied to a HMD device or a wearable electronic device in the form of goggles.
  • FIG. 3 is a block diagram of a wearable electronic device 200 according to an embodiment.
  • the wearable electronic device 200 shown in FIG. 3 may be at least partially similar to or substantially the same as the electronic device 101 shown in FIG. 1.
  • the wearable electronic device 200 includes a processor 300 (e.g., processor 120 of FIG. 1) and a display module 310 (e.g., display module 160 of FIG. 1). ), sensor module 320 (e.g., sensor module 176 in FIG. 1), glass (e.g., left eye lens and/or right eye lens) 330, battery (or power supply) 340 (e.g., FIG. It may include a battery 189 of 1), a camera 350 (e.g., the camera module 180 of FIG. 1), and a communication interface 360 (e.g., the communication module 190 of FIG. 1).
  • a processor 300 e.g., processor 120 of FIG. 1
  • a display module 310 e.g., display module 160 of FIG. 1).
  • sensor module 320 e.g., sensor module 176 in FIG. 1
  • glass e.g., left eye lens and/or right eye lens
  • battery (or power supply) 340 e.g., FIG. It may include a
  • a module included in the wearable electronic device 200 may be understood as a hardware module (eg, a circuit) included in the wearable electronic device 200.
  • Components included in the wearable electronic device 200 are those shown in the block diagram of FIG. 3 (e.g., display module 310, sensor module 320, glass 330, battery 340, camera It may not be limited to 350, or communication interface 360).
  • the components of the wearable electronic device 200 shown in FIG. 3 are replaced with other components or additional components described with reference to other drawings (e.g., FIGS. 9 to 13) are used to replace the wearable electronic device 200. Can be added to device 200.
  • the processor 300 executes instructions stored in the memory to control the components of the wearable electronic device 200 (e.g., display module 310, sensor module 320, battery 340, camera ( 350), and the operation of the communication interface 360) can be controlled.
  • the processor 300 may be electrically and/or operationally connected to the display module 310, sensor module 320, battery 340, camera 350, and communication interface 360.
  • the processor 300 executes software to connect at least one other component (e.g., display module 310, sensor module 320, battery 340, camera 350, and communication interface) connected to the processor 300. (360)) can be controlled.
  • the processor 300 can obtain commands from components included in the wearable electronic device 200, interpret the obtained commands, and process and/or calculate various data according to the interpreted commands. .
  • the wearable electronic device 200 transmits data processed through the processor 120 built into an external device (e.g., the electronic devices 102 and 104 of FIG. 1, a smartphone, or a tablet PC) to an external device. Can be received from the device.
  • the wearable electronic device 200 may capture an object (e.g., a real object or the eyes of the user 202) through the camera 350, and transmit the captured image to an external device through the communication interface 360. You can transmit and receive data based on images transmitted from an external device.
  • the external device may generate image data related to augmented reality based on information (e.g., shape, color, or location) of the photographed object received from the wearable electronic device 200 and transmit it to the wearable electronic device 200. .
  • the wearable electronic device 200 may request additional information from an external device based on an image captured of an object (e.g., a real object or the eyes of the user 202) through the camera 350, and may request additional information from an external device. Additional information can be received from the device.
  • an object e.g., a real object or the eyes of the user 202
  • Additional information can be received from the device.
  • the display module 310 may include a display panel (eg, the display panel 410 of FIG. 4).
  • display may mean “display panel” and may mean a light source unit that generates display light input to a waveguide.
  • the display panel 410 may emit display light to display an augmented reality image based on control of the processor 300.
  • the display panel 410 may be understood as a self-luminous display that emits light from the display itself or a display that reflects and emits light emitted from a separate light source.
  • the wearable electronic device 200 eg, processor 300
  • the wearable electronic device 200 may emit display light to display an augmented reality image in the display area of the see-through display 204 through the display panel 410.
  • the wearable electronic device 200 uses the display panel 410 to display an augmented reality image in the display area of the see-through display 204 in response to an input from the user 202.
  • the type of input of the user 202 may include, but is not limited to, button input, touch input, voice input, and/or gesture input, and may control the operation of the display panel 410. A variety of input methods may be included.
  • the wearable electronic device 200 further includes a light source unit (not shown) that emits additional light different from the display light emitted by the display panel 410 to enhance brightness around the eyes of the user 202. It can be included.
  • the light source unit may include a white LED or an infrared LED.
  • the glass 330 may include a waveguide (e.g., the waveguide 430 of FIG. 4), and the waveguide 430 is at least a display waveguide (not shown) or an eye tracking waveguide (not shown). It can contain one.
  • a waveguide e.g., the waveguide 430 of FIG. 4
  • the waveguide 430 is at least a display waveguide (not shown) or an eye tracking waveguide (not shown). It can contain one.
  • the display waveguide may form a light path by guiding the display light emitted from the display panel 410 to be emitted into the display area of the see-through display 204.
  • the see-through display 204 may correspond to at least one area of the display waveguide.
  • the area of the see-through display 204 may correspond to an area of the display waveguide where light propagating inside the display waveguide is emitted and at the same time external light is transmitted.
  • the see-through display 204 may be placed at one end of the display waveguide included in the glass 330.
  • the display waveguide may include at least one of at least one diffractive element or a reflective element (eg, a reflective mirror).
  • the display waveguide may guide display light emitted from the display panel 410 to the eyes of the user 202 using at least one diffractive element or reflective element included in the display waveguide.
  • the diffractive element may include an input/output (IN/OUT) grating
  • the reflective element may include a total internal reflection (TIR).
  • an optical material eg, glass
  • the refractive index of the display waveguide may vary from about 1.5 to about 1.9.
  • the display waveguide may include a display area where light moving inside the waveguide 430 is emitted to the outside through total reflection.
  • the display area may be disposed on a portion of the display waveguide.
  • At least one region of the display waveguide may include a see-through display (eg, see-through display 204 of FIG. 2).
  • the display waveguide may include a material (eg, glass or plastic) that can fully reflect display light to guide the display light to the eyes of the user 202.
  • the material may not be limited to the examples described above.
  • the display waveguide may split the display light emitted from the display panel 410 according to the wavelength (eg, blue, green, or red) and allow each light to travel to a separate path within the display waveguide.
  • the wavelength eg, blue, green, or red
  • the display waveguide may be placed in the glass 330.
  • the glass 330 For example, based on a virtual axis where the center point of the glass 330 coincides with the center point of the eye of the user 202 and a virtual line perpendicular to the virtual axis and the center point of the glass 330, the glass 330 The top and bottom can be distinguished, and the display waveguide can be placed at the top of the glass 330.
  • the display waveguide may be disposed over an area from an imaginary line between the top and bottom of the glass 330 to one-third of the point toward the bottom.
  • the area where the display waveguide is placed may not be limited to the above-described area of the glass 330, and the area where the display waveguide is placed is the glass 330 such that the amount of light reflected to the eyes of the user 202 is greater than the reference value. ) may include any of the areas.
  • the sensor module 320 may include at least one sensor (eg, an eye tracking sensor and/or an illumination sensor).
  • the at least one sensor may not be limited to the examples described above.
  • at least one sensor may further include a proximity sensor or a contact sensor capable of detecting whether the user 202 is wearing the wearable electronic device 200.
  • the wearable electronic device 200 may detect whether the user 202 is wearing the wearable electronic device 200 through a proximity sensor or a contact sensor. When the user 202 detects that the wearable electronic device 200 is worn, the wearable electronic device 200 can manually and/or automatically pair with another electronic device (e.g., a smart phone). there is.
  • another electronic device e.g., a smart phone
  • a gaze tracking sensor may detect reflected light reflected from the eyes of the user 202 based on the control of the processor 300.
  • the wearable electronic device 200 can convert reflected light detected through an eye tracking sensor into an electrical signal.
  • the wearable electronic device 200 may acquire an eye image of the user 202 through the converted electrical signal.
  • the wearable electronic device 200 may track the gaze of the user 202 using the acquired eye image of the user 202.
  • the illuminance sensor measures the illuminance (or brightness) around the wearable electronic device 200 and the display emitted from the display panel based on the control of the processor 300.
  • the amount of light, the brightness around the eyes of the user 202, or the amount of reflected light reflected in the eyes of the user 202 can be detected.
  • the wearable electronic device 200 may detect the illuminance (or brightness) around the user 202 through the illuminance sensor 1010. The wearable electronic device 200 may adjust the amount of light (or brightness) of the display (eg, display panel 410) based on the detected illuminance (or brightness).
  • the glass 330 may include at least one of a display waveguide or an eye tracking waveguide.
  • the eye tracking waveguide may form a light path by guiding the light reflected from the eyes of the user 202 to be emitted to the sensor module 320.
  • Eye tracking waveguides can be used to deliver reflected light to the eye tracking sensor.
  • the eye tracking waveguide may be formed of the same elements or different elements as the display waveguide.
  • the eye tracking waveguide may be placed in the glass 330.
  • the glass 330 For example, based on a virtual axis where the center point of the glass 330 coincides with the center point of the eye of the user 202 and a virtual line perpendicular to the virtual axis and the center point of the glass 330, the glass 330 The top and bottom can be distinguished, and the eye tracking waveguide can be placed at the bottom of the glass 330.
  • the eye tracking waveguide may be placed below the display waveguide.
  • the eye tracking waveguide and the display waveguide may be arranged without overlapping the glass 330 .
  • the eye-tracking waveguide may be disposed over the bottom of the glass 330, excluding the area from the imaginary line to one-third of the point toward the bottom.
  • the area where the eye tracking waveguide is placed may not be limited to the above-mentioned area of the glass 330, and the area where the eye tracking waveguide is placed is such that the eye tracking sensor adjusts the amount of reflected light collected through the eye tracking waveguide to a set value or more. It may include any area of the glass 330 that is to be detected.
  • the display waveguide and the eye tracking waveguide of the wearable electronic device 200 may be disposed on the glass 330.
  • the glass 330 e.g., the first see-through display 204-1 and/or the second see-through display 204-2 in FIG. 2
  • the glass 330 may include a display waveguide and an eye-tracking waveguide.
  • the material (or material) of the glass 330 may include glass or plastic.
  • the material of the display waveguide and the eye tracking waveguide may be the same as or different from the material of the glass 330.
  • the battery 340 may supply power to at least one component of the wearable electronic device 200.
  • the battery 340 can be charged by being connected to an external power source wired or wirelessly.
  • the camera 350 may capture images around the wearable electronic device 200.
  • the camera 350 may capture an eye image of the user 202 or an image of a real object outside the wearable electronic device 200.
  • the communication interface 360 may include a wired interface or a wireless interface.
  • the communication interface 360 may support direct communication (e.g., wired communication) or indirect communication (e.g., wireless communication) between the wearable electronic device 200 and an external device (e.g., a smartphone or tablet PC).
  • direct communication e.g., wired communication
  • indirect communication e.g., wireless communication
  • FIG. 4 illustrates an optical path along which light moves in the wearable electronic device 200 according to an embodiment.
  • the wearable electronic device 200 may include a micro LED display panel as a display panel 410.
  • FIG. 4 shows that some of the light flux emitted from the display panel 410 is received through a projection lens 420.
  • the projection lens 420 may serve to input the received light flux into the waveguide 430.
  • the waveguide 430 can be designed to have a different period, depth, or refractive index of the grating when forming a grating with a diffraction function, such as DOE (diffraction optical elements) or HOE (holographic optical elements), in some areas of the plate. . Accordingly, when the optical signal input to the waveguide 430 is waveguided within the waveguide 430, part of the optical signal is transmitted inside the waveguide 430, and the other part of the optical signal is output to the outside of the waveguide 430. The optical signal can be distributed as much as possible.
  • DOE diffiffraction optical elements
  • HOE holographic optical elements
  • Figure 4 exemplarily shows that two plates are combined to form a waveguide 430.
  • the waveguide 430 is divided into one or two sheets or red. , green, and blue may contain three individual plates suitable for each wavelength.
  • a diffractive optical element is used as an example of the waveguide 430, but it can be replaced with a reflective optical element.
  • the display panel 410 may be configured to use individual LEDs as red pixels (not shown), green pixels (not shown), and blue pixels (not shown).
  • the array form of micro LEDs forming red pixels, green pixels, and blue pixels can be changed and designed in various ways.
  • FIG. 5 is a flowchart explaining the operation of the wearable electronic device 200 according to an embodiment.
  • FIG. 5 may be omitted. At least some operations mentioned with reference to other drawings in this disclosure may be additionally inserted before or after at least some of the operations shown in FIG. 5 .
  • the operations shown in FIG. 5 may be performed by the processor 120 (eg, the processor 120 of FIG. 1).
  • the memory of the electronic device e.g., memory 130 of FIG. 1
  • the wearable electronic device 200 may activate the visibility enhancement mode in response to a designated event.
  • the term “visibility enhancement mode” is only an example, and may be changed in various ways. For example, “visibility enhancement mode” may be replaced with terms such as “power saving mode.”
  • the processor 120 may identify the battery level as the remaining amount of the battery. Processor 120 may activate the enhanced visibility mode in response to a state in which the battery level is below a specified threshold.
  • the specified event may include a condition where the battery level is below a specified threshold.
  • the processor 120 may activate the visibility enhancement mode based on the user's 202 input through an external device.
  • the user 202 can control the visibility enhancement mode of the wearable electronic device 200 using an external device (e.g., a smartphone) paired with the wearable electronic device 200 through short-range communication (e.g., Bluetooth). You can.
  • the external device may output a control signal for activating the visibility enhancement mode or a control signal for deactivating the visibility enhancement mode to the wearable electronic device 200 through short-distance communication.
  • the wearable electronic device 200 can receive a control signal corresponding to the input of the user 202 from an external device through short-distance communication, and activate or deactivate the visibility enhancement mode based on the input control signal.
  • the designated event may include input from the user 202 through an external device.
  • operation 510 may be bypassed.
  • the processor 120 may always perform the visibility enhancement mode without performing operation 510.
  • the wearable electronic device 200 may detect the illuminance around the wearable electronic device 200 using an illuminance sensor (e.g., illuminance sensor 1010 of FIG. 10).
  • an illuminance sensor e.g., illuminance sensor 1010 of FIG. 10
  • the processor 120 may determine whether the sensed illuminance is within a specified first range.
  • the first range may be an illuminance range representing an outdoor environment in clear weather.
  • the wearable electronic device 200 may set the first range to about 10,000 lux or more, but may not be limited to the range.
  • the processor 120 may determine whether the sensed illuminance is within a specified second range that is smaller than the first range.
  • the second range may be an illuminance range representing an outdoor environment with cloudy weather or a shady environment.
  • the wearable electronic device 200 may set the second range to about 1,000 lux or more to about 10,000 lux or less, but may not be limited to the range.
  • the processor 120 may determine whether the sensed illuminance is within a designated third range that is less than the second range.
  • the third range may be an illuminance range representing the indoor environment.
  • the wearable electronic device 200 may set the third range to less than about 1,000 lux, but may not be limited to the range.
  • the processor 120 divides the illuminance corresponding to the external environment into three different ranges, but it can be understood that this is only an example and is not limited.
  • the processor 120 may set the illuminance corresponding to the external environment to be divided into two different ranges or more ranges.
  • the wearable electronic device 200 dynamically adjusts the luminance of the image output through the display and/or the display form of at least one object included in the image based on the detected illuminance. You can.
  • the processor 120 may set the entire luminance of the image to the first luminance level when the sensed illuminance is within the designated first range.
  • the processor 120 may identify the outline of at least one object included in the image.
  • the processor 120 may generate a first converted image including only the identified outline and control the display to display the first converted image based on the first luminance level. The operation of this wearable electronic device 200 will be described in detail later in connection with FIGS. 6A and 7A.
  • the processor 120 may set the overall luminance of the image to a second luminance level that is smaller than the first luminance level.
  • the processor 120 may identify the outline of at least one object included in the image. Based on the identified outline, the processor 120 may divide the image into a contour area corresponding to the outline and a non-contour area excluding the outline area.
  • the processor 120 may generate a second converted image by setting the luminance of the contour area to be higher than the luminance of the non-contour area, and control the display to display the second converted image based on the second luminance level. there is.
  • the processor 120 may set the color of the outline included in the first converted image to white or green. The operation of this wearable electronic device 200 will be described in detail later in connection with FIGS. 6B and 7B.
  • the processor 120 may set the overall luminance of the image to a third luminance level that is smaller than the second luminance level.
  • the processor 120 may control the display to display an image based on the third luminance level.
  • FIG. 6A shows an image output from the display of the wearable electronic device 200 and at least a portion of the glass (e.g., the see-through display of FIG. 2 (e.g., the see-through display of FIG. 2 ) when the external illumination intensity of the wearable electronic device 200 according to an embodiment is in the first range.
  • the see-through display of FIG. 2 e.g., the see-through display of FIG. 2
  • FIG. 7A is an enlarged view of a portion of the see-through screen according to an embodiment shown in FIG. 6A.
  • image 611 may represent an image output from the display of the wearable electronic device 200 when the external illumination intensity of the wearable electronic device 200 is in the first range.
  • image 612 is an example of a see-through screen shown to the user 202 through a lens as the display outputs image 611.
  • the wearable electronic device 200 may control the display to display only the image of Yoon Gwan-seon when the external illuminance is within a specified first range.
  • FIGS. 6A and 7A exemplarily illustrate that the wearable electronic device 200 controls the display to display only outline images in an environment where the external illumination is about 80,000 lux.
  • the wearable electronic device 200 adjusts the maximum power consumption that the display can use to improve visibility in an outdoor environment in clear weather where the external illuminance is in the first range, such as about 80000 lux, by adjusting the maximum power consumption to the outline of the display screen. It can be set to be used to display (613a).
  • the ratio of pixels corresponding to the outline portion 613a may correspond to about 7% of the entire screen.
  • the wearable electronic device 200 drives the pixels corresponding to the pixel area other than the outline portion 613a (e.g., the non-contour portion 613b) to be turned off, and consumes the maximum power that the display can use to the outline portion 613a. It can be used to turn on the pixels corresponding to . In this case, even without an increase in the overall driving power of the display, the luminance of the pixels corresponding to the outline portion 613a can be expected to increase by about 14 times, which is 100/7 in arithmetic terms.
  • the wearable electronic device 200 may set the color of the outline portion 613a to white or green, which has a high response in visual characteristics.
  • the processor 120 may set the entire luminance of the image to the first luminance level when the sensed illuminance is within the designated first range.
  • the processor 120 may identify the outline of at least one object 613 included in the image.
  • the processor 120 generates a first converted image including only the identified outline, and controls a display (e.g., display panel 410 in FIG. 4) to display the first converted image based on the first luminance level. You can.
  • the first converted image may mean an image including only the outline portion 613a.
  • the processor 120 may display the color of the outline included in the first converted image as white, but is not limited to this and may set it to green, which has a high response in visual characteristics.
  • the processor 120 may change the color of the outline included in the first converted image based on the color of the image displayed around the outline in addition to the white color or green color. For example, the processor 120 may determine the complementary color of the color of the image displayed around the outline and set the color of the outline to the determined complementary color.
  • the electronic device 101 can increase the visibility of the outline by setting the color of the outline to a complementary color to the color of the image displayed around the outline.
  • the processor 120 may increase the width (eg, length, thickness, or width) of the outline included in the first converted image in proportion to the size of the sensed illuminance. For example, the processor 120 may adjust the width of the outline according to the size of the external illuminance even when the external illuminance is in the first range.
  • the processor 120 divides a plurality of pixels of the display 410 into an on-pixel group corresponding to the outline portion 613a and an off-pixel group corresponding to the non-contour portion 613b. It can be divided into pixel groups. While displaying the first converted image through the display 410, the processor 120 may apply designated power and offset power to the on-pixel group to improve luminance of the on-pixel group.
  • the offset power may be the power used to turn on the off-pixel group.
  • the first converted image may refer to an image that displays only the outline portion 613a of at least one object 613 included in the image, as described above.
  • the outline portion 613a may mean an outline area including only the outline of at least one object 613 included in the image.
  • the non-contoured portion 613b may refer to a non-contoured area located inside the outline of at least one object 613 included in the image.
  • FIG. 6B shows an image and lens output from the display (e.g., the display panel 410 of FIG. 4) of the wearable electronic device 200 when the external illumination intensity of the wearable electronic device 200 according to an embodiment is in the second range.
  • This is an example of a see-through screen shown through .
  • FIG. 7B is an enlarged view of a portion of the see-through screen according to an embodiment shown in FIG. 6B.
  • image 621 may represent an image output from the display 410 of the wearable electronic device 200 when the external illumination intensity of the wearable electronic device 200 is in the second range.
  • image 622 is an example of a see-through screen shown to the user 202 through a lens as the display 410 outputs image 621.
  • the wearable electronic device 200 displays (e.g., the display panel 410 of FIG. 4) the luminance of the contour portion 623a and the non-contour portion 623b. You can control to display images with different luminance settings.
  • the wearable electronic device 200 displays the luminance of the contour portion 623a and the non-contour portion 623b in an outdoor environment in cloudy weather with an external illuminance of about 2500 lux or in a shaded environment. It shows an example of displaying an image with different luminance settings.
  • the user 202 can see the user 202 through the see-through display of the wearable electronic device 200 (e.g., the see-through display 204 of FIG. 2 ).
  • the visibility of the image shown to the user may be improved over the example environment of FIGS. 6A and 7A.
  • the outdoor environment in cloudy weather or the shaded environment is a brighter environment than the indoor environment, visibility may be reduced, and in order to drive the wearable electronic device 200 with high visibility, a very large display 410 driving power is required. This may be necessary.
  • the wearable electronic device 200 has the luminance of the contour portion 623a set to non-contour to improve visibility in an outdoor environment in cloudy weather or a shady environment where the external illuminance is in the second range, such as about 2500 lux. It can be set to be greater than the luminance of the section 623b. Accordingly, the wearable electronic device 200 can reduce power consumption while increasing visibility.
  • the processor 120 may set the overall luminance of the image to a second luminance level that is smaller than the first luminance level.
  • the processor 120 may identify the outline of at least one object 623 included in the image and, based on the identified outline, divide the image into a contour area corresponding to the outline and a non-contour area excluding the outline area. .
  • the processor 120 generates a second converted image by setting the luminance of the contour area to be higher than the luminance of the non-contour area, and causes the display 410 to display the second converted image based on the second luminance level. You can control it.
  • the saturation of the second converted image may be set lower than the saturation of the image before conversion.
  • the wearable electronic device 200 may display the non-contoured portion 623b of the object 623 included in the image in a cloudy outdoor environment or a shady environment where the external illuminance is in the second range, such as about 2500 lux. is set to display, but power consumption can be reduced by lowering the saturation of the non-contoured portion 623b.
  • the second converted image refers to an image in which the luminance of the outline portion 623a of at least one object 623 included in the image is set higher than the luminance of the non-contour portion 623b, as described above. can do.
  • FIG. 6C shows an image and lens output from the display of the wearable electronic device 200 (e.g., the display panel 410 of FIG. 4) when the external illumination intensity of the wearable electronic device 200 according to an embodiment is in the third range.
  • This is an example of a see-through screen shown through .
  • FIG. 7C is an enlarged view of a portion of the see-through screen according to an embodiment shown in FIG. 6C.
  • image 631 may represent an image output from the display of the wearable electronic device 200 (e.g., the display panel 410 of FIG. 4) when the external illumination intensity of the wearable electronic device 200 is in the third range. .
  • image 632 is an example of a see-through screen shown to the user 202 through a lens as the display 410 outputs image 631.
  • the wearable electronic device 200 may control the display 410 to display an image without separate luminance control when the external illuminance is in the designated third range. 6C and 7C, the display 410 of the wearable electronic device 200 displays an image without separate luminance control for the object 633 in an indoor environment where the external illumination is about 700 lux. It is showing.
  • the wearable electronic device 200 can display an image without separate luminance control for the object 633 in a dark indoor environment where the external illumination is about 700 lux.
  • the processor 120 may set the overall luminance of the image to a third luminance level that is smaller than the second luminance level.
  • the processor 120 may control the display 410 to display an image based on the third luminance level without separate luminance control.
  • the wearable electronic device 200 exemplarily divides the illuminance environment into three illuminance levels, but the luminance setting according to the illuminance level can be variably adjusted within the power consumption of the display 410. And, it may be possible to variably adjust the luminance ratio of the contour portion and the non-contour portion depending on the illuminance level.
  • the wearable electronic device 200 can be set to increase the difference in luminance ratio between the contour and non-contour areas as the brightness of the environment increases, and the luminance of the non-contour area decreases in proportion to the external illuminance, so that only the contour part is driven in the end. It can be.
  • the wearable electronic device 200 can be set so that the difference in luminance ratio between the contour and non-contour areas decreases in a low illumination environment, and eventually the luminance ratio of the contour and non-contour areas becomes the same so that the contour and non-contour areas are not distinguished. There may be a situation where it is not possible.
  • FIG. 8 is an example showing a see-through screen according to an image output from the display 410 of the wearable electronic device 200 when the wearable electronic device 200 according to an embodiment is in an outdoor mixed illumination environment.
  • Image 811 in FIG. 8 may represent an image output from the display 410 of the wearable electronic device 200 when the wearable electronic device 200 is in an outdoor mixed illumination environment.
  • image 812 is an example of a see-through screen shown to the user 202 through a lens as the display 410 outputs image 811.
  • the wearable electronic device 200 displays a contour portion (e.g., the outline portion 623a in FIG. 6B) and a non-contour portion (e.g., the outline portion 623a in FIG.
  • the luminance ratio of the non-contoured portion 623b of 6b can be set differently for each region.
  • the external environment viewed by the user 202 may have both sunny and shaded areas, and the illuminance of the sunny area is bright and the illuminance of the shaded area is relatively low.
  • the wearable electronic device 200 includes a positive area 821 corresponding to a sunny area from the user 202's gaze and a shaded area 821 corresponding to a shaded area from the user 202's gaze. Area 822 can be determined.
  • the wearable electronic device 200 sets the portion corresponding to the positive area 821 in the image to display only the outline portion (e.g., the outline portion 613a in FIG. 6A), and displays the portion corresponding to the shaded area 822 in the image.
  • Another part may control the display 410 to display an image in which the luminance ratio of the outline portion 623a and the non-contour portion 623b is adjusted.
  • the processor 120 may generate a brightness map (e.g., brightness map 1162 in FIG. 11) corresponding to the front environment of the wearable electronic device 200 using the illuminance sensor 1010. there is.
  • the brightness map 1162 may include brightness information mapped for each area of the environment in front of the wearable electronic device 200.
  • the processor 120 tracks the eyeballs of the user 202 using an eye tracking camera, and determines the gaze direction of the user 202 in the front environment of the wearable electronic device 200 by tracking the eyeballs of the user 202. You can decide.
  • the processor 120 may determine the brightness of each region of the viewing area corresponding to the gaze direction of the user 202, based on the brightness map 1162.
  • the processor 120 may divide the viewing area into a sunny area 821 and a shaded area 822 based on the brightness of each area of the viewing area.
  • area 821 in each of images 811 and 812 shown in FIG. 8 may be an area set as a positive area 821 by the processor 120 of the wearable electronic device 200.
  • Area 822 in each of images 811 and 812 shown in FIG. 8 may be an area set as a shaded area 822 by the processor 120 of the wearable electronic device 200.
  • the processor 120 may control the display 410 to display the first converted image through the positive area 821 and the second converted image through the shaded area 822. .
  • the processor 120 may generate a first converted image in which the wearable electronic device 200 displays only the outline part (e.g., the outline part 613a in FIG. 6A) in the image corresponding to the positive area 821. and the other part corresponding to the shaded area 822 in the image can be displayed in the form of a second converted image in which the luminance ratio of the outline portion 623a and the non-contour portion 623b is adjusted.
  • the wearable electronic device 200 displays at least one first object 831 in the sunny area 821, and, similarly to or similar to the example of FIG.
  • the outline of the first object 831 can only be displayed.
  • the wearable electronic device 200 displays at least one second object 832 in the shaded area 822, and, similarly to or similar to the example of FIG. 6B, the second object 832 has an outline portion 623a and The luminance ratio of the non-contoured portion 623b can be displayed in an adjusted form.
  • Figure 9 is a schematic configuration diagram of a wearable electronic device 900 according to an embodiment.
  • a wearable electronic device 900 (e.g., wearable electronic device 200 of FIG. 2) according to an embodiment includes an illuminance sensor 910 (e.g., sensor module 320 of FIG. 3), A first camera 921 (e.g., camera 350 in FIG. 3), a second camera 922 (e.g., camera 350 in FIG. 3), and a third camera 931 (e.g., camera in FIG. 3 ( 350)), and/or a fourth camera 932 (eg, camera 350 of FIG. 3).
  • an illuminance sensor 910 e.g., sensor module 320 of FIG. 3
  • a first camera 921 e.g., camera 350 in FIG. 3
  • a second camera 922 e.g., camera 350 in FIG. 3
  • a third camera 931 e.g., camera in FIG. 3 ( 350)
  • a fourth camera 932 eg, camera 350 of FIG. 3
  • the wearable electronic device 200 may have the shape of glasses including frame members 961 and 962 and temple members 951 and 952.
  • the frame members 961 and 962 include a first frame member 961 corresponding to the right eye of the user 202 and surrounding the first see-through display 204, and a second frame member 961 corresponding to the left eye of the user 202 and surrounding the first see-through display 204.
  • the temple members 951 and 952 include a first temple member 951 connected to one end of the first frame member 961, and a second temple member 952 connected to one end of the second frame member 962. ) may include.
  • the illuminance sensor 910 of the wearable electronic device 200 may be disposed on at least a portion of the bridge member 971, but may not be limited thereto. According to one embodiment, the wearable electronic device 200 may detect the illuminance around the wearable electronic device 200 using the illuminance sensor 910 .
  • the wearable electronic device 200 is at least one front camera configured to photograph the front of the wearable electronic device 200 and may include a first camera 921 and a second camera 922. .
  • the first camera 921 may be disposed on at least a portion of the first frame member 961.
  • the second camera 922 may be disposed on at least a portion of the second frame member 962.
  • the first camera 921 and the second camera 922 may be positioned symmetrically with respect to the bridge member 971.
  • the first camera 921 and the second camera 922 are a pair of cameras that can monitor the situation in front of the wearable electronic device 200, including the movement of the wearable electronic device 200 and the rotation of the user's head. It may be configured to detect, etc.
  • the wearable electronic device 200 generates an environment map around the wearable electronic device 200 using data or signals detected by the first camera 921 and the second camera 922, and maps the surrounding environment and the wearable electronic device. Mixing of images generated by the device 200 may be performed.
  • the wearable electronic device 200 is at least one eye tracking camera configured to track the eyes of the user 202 and may include a third camera 931 and a fourth camera 932.
  • the third camera 931 may be disposed on at least a portion of the first frame member 961.
  • the fourth camera 932 may be disposed on at least a portion of the second frame member 962.
  • the third camera 931 and the fourth camera 932 may be positioned symmetrically with respect to the bridge member 971.
  • the wearable electronic device 200 determines the gaze direction of the user 202 by tracking the eyeballs of the user 202 using the third camera 931 and the fourth camera 932, and determines the determined gaze direction of the user 202. Functions related to user 202 interaction can be performed based on the gaze direction.
  • Functions related to user 202 interaction include a function of displaying information corresponding to the gaze direction of the user 202 through the see-through display 204, and the brightness of each region in the gaze area corresponding to the gaze direction of the user 202. It may include a function that dynamically changes the form in which the object is displayed.
  • FIG. 10 is a block diagram showing components that generate an image in the wearable electronic device 200 according to an embodiment.
  • the wearable electronic device 200 includes an illuminance sensor 1010 (e.g., the illuminance sensor 910 of FIG. 9) and a first camera 1021 (e.g., the illuminance sensor 910 of FIG. 9).
  • It includes a fourth camera 1032 (e.g., the fourth camera 932 in FIG. 9), and data or signals obtained from each of them may be input to the image processing processor 1060 of the wearable electronic device 200. .
  • the image processing processor 1060 includes an illumination detection module 1061, a head tracking module 1063, an eye tracking module 1064, a brightness map module 1062, an edge detection module 1065, or It may include an image conversion module 1066.
  • the illuminance detection module 1061 may determine the overall illuminance level of the environment surrounding the wearable electronic device 200 based on a signal acquired through the illuminance sensor 1010.
  • the brightness map module 1062 uses the illuminance information around the wearable electronic device 200 obtained through the illuminance sensor 1010 and the illuminance information obtained through the first camera 1021 and the second camera 1022.
  • a brightness map (e.g., brightness map 1162 in FIG. 11) can be generated by combining image information.
  • the head tracking module 1063 uses image information acquired through the first camera 1021 and the second camera 1022 to track the movement of the wearable electronic device 200 and the head of the user 202. You can decide the direction.
  • the gaze tracking module 1064 tracks the gaze of the user 202 through the third camera 1031 and the fourth camera 1032, and data related to the gaze of the user 202 is collected through head tracking. Combined with data regarding the movement of the wearable electronic device 200 and the direction of the head of the user 202 determined by the module 1063, it is determined which direction the user 202 is facing among the surrounding environment of the wearable electronic device 200. It is possible to generate multi-dimensional complex information about presence of
  • the edge detection module 1065 may perform an operation of detecting an edge area (eg, a contour area) of at least one object from an image to be displayed by the display panel 410.
  • an edge area eg, a contour area
  • the image conversion module 1066 generates a first converted image including only the outline portion based on the detected edge area, or generates a second converted image in which the luminance of the outline portion and the luminance of the non-contour portion are different. can do.
  • the image conversion module 1066 may generate a first converted image or a second converted image by matching and combining the brightness map 1162 and the gaze direction of the user 202.
  • the first converted image or the second converted image generated by the image conversion module 1066 includes a display driving IC that drives the display panel 410 from the image processing processor 1060 so that it can be output through the display panel 410 DDI) (1080).
  • FIG. 11 is a block diagram showing components that generate a brightness map 1162 in the wearable electronic device 200 according to an embodiment.
  • the image processing processor 1100 (e.g., the image processing processor 1060 of FIG. 10) according to an embodiment includes a resolution change module 1101, a timing control module 1102, and an accumulation module 1103. , and/or a processing module 1104. According to one embodiment, the image processing processor 1100 may further include a location tracking module 1105 that tracks the location of the wearable electronic device 200.
  • the image processing processor 1100 disclosed in FIG. 11 is substantially the same as the image processing processor 1060 described with reference to FIG. 10, or is a processing module corresponding to at least a part of the image processing processor 1060 described with reference to FIG. 10. It can be.
  • the wearable electronic device 200 may include a depth camera 1120 configured to extract depth information.
  • the depth camera 1120 may be a camera that combines the first camera 1021 and the second camera 1022 shown in FIG. 10.
  • the depth camera 1120 may generate depth information using characteristics in which the parallax of an image acquired through the first camera 1021 is different from that of an image acquired through the second camera 1022.
  • Depth information generated from the depth camera 1120 may be input to the image signal processor 1100.
  • the wearable electronic device 200 may use the depth camera 1120 to acquire depth information and images corresponding to the surrounding environment (eg, surrounding environment information).
  • the resolution change module 1101 of the image signal processor 1100 may adjust the size of an image acquired using the depth camera 1120.
  • the resolution change module 1101 may perform an operation such as binning a portion of the input image to generate an image with a lower resolution than the original image.
  • the image signal processor 1100 can increase the speed of extracting the brightness map 1162 by lowering the resolution of the input image.
  • the image input by the depth camera 1120 may be input to the accumulation module 1103 without going through the resolution change module 1101.
  • Fi(x,y) and Gi(x,y) represent image information
  • i is an integer value representing the number of acquired images
  • (x, y) is the image within the brightness map 1162. Indicates coordinates.
  • the timing control module 1102 may control the timing of receiving image information from the depth camera 1120.
  • the timing control module 1102 may generate a control signal for controlling the exposure time of the imaging device inside the depth camera 1120.
  • the timing control module 1102 may control the timing at which the accumulation module 1103 performs operations.
  • the timing control module 1102 can vary the interval at which it outputs the control signal depending on the shooting situation. Accordingly, the timing control module 1102 can vary the frame/sec (FPS) of the image output from the image signal processor 1100 and adjust the duty ratio of the timing control signal in the same FPS situation. .
  • FPS frame/sec
  • the accumulation module 1103 may be an adder that accumulates image signals output from the resolution change module 1101.
  • the calculation result of the accumulation module 1103 is Gi(x,y), and Gi(x,y) is Gi-1(x,y), which is the previous information of Fi(x,y) and Gi(x,y). It becomes image information in an added form.
  • the first image output information of the resolution change module 1101 is F1(x,y)
  • “” may be input along with F1(x,y) to the accumulation module 1103. Accordingly, the first output information of the accumulation module 1103 becomes “”, and the second output information of the accumulation module 1103 becomes “”. In this way, the accumulation module 1103 can perform an operation to accumulate the output information of the resolution change module 1101.
  • the processing module 1104 may include a calculation unit that extracts the absolute light amount of image coordinates (x, y) through Gi(x,y), which is output information of the accumulation module 1103.
  • the processing module 1104 calculates the absolute amount of light reaching the imaging device using information such as lens F value, ISO (international standard organization), exposure, and shutter speed, which are parameters that control the brightness of the image in the camera. It can be measured. In general, when capturing a very bright light source, the shutter speed must be fast and the ISO must be as low as possible to prevent the pixel output of the imaging device from being saturated.
  • the processing module 1104 can control the timing control module 1102 to quickly adjust the shutter speed and extract an area with high illumination from the surrounding environment of the wearable electronic device 200.
  • the processing module 1104 controls the timing control module 1102 to adjust the number of images to be extracted. As the number of extracted images increases, the brightness of the image can be extracted more precisely. For example, as the value of i in Gi(x,y) shown in FIG. 11 increases, a more precise brightness map 1162 can be generated. According to one embodiment, the processing module 1104 may be set to limit the i value, which is the number of images for acquiring a brightness image, in an environment where the external illuminance is greater than a specified threshold.
  • the processing module 1104 may use the location information of the wearable electronic device 200 extracted through the location tracking module 1105, and accordingly, the processing module 1104 may use the location information of the wearable electronic device 200.
  • a brightness map 1162 corresponding to the entire surrounding environment can be generated.
  • FIG. 12 is a flowchart of an operation for generating an image based on external illumination in a wearable electronic device 200 according to an embodiment.
  • the operations shown in FIG. 12 may be performed by the processor 120 (eg, the processor 120 of FIG. 1).
  • the memory of the electronic device e.g., memory 130 of FIG. 1
  • Operation 1261 may represent an operation of acquiring the illuminance level of the surrounding environment of the wearable electronic device 200 using the illuminance sensor 1010 according to the embodiment described in FIG. 10 .
  • Operation 1262 may represent an operation of acquiring the brightness map 1162 according to the embodiment described in FIG. 11 .
  • Operation 1263 monitors the movement of the wearable electronic device 200, the direction of the head of the user 202, and the user 202 using the head tracking module 1063 and the eye tracking module 1064 according to the embodiment described in FIG. 10. ) may represent an operation of determining the position of the wearable electronic device 200 based on the gaze direction.
  • the screen of the image output from the display of the wearable electronic device 200 is divided into M This may be an operation of dividing into N illuminance unit areas.
  • the processor 120 may determine the luminance ratio of the outline portion (e.g., the outline portion 623a in FIG. 6B) and the non-contour portion (e.g., the non-contour portion 623b in FIG. 6B) for each divided unit area. .
  • the processor 120 may determine a driving method for the contour portion 623a and the non-contour portion 623b for each illuminance unit area.
  • the processor 120 may determine the brightness of each region of the viewing area corresponding to the gaze direction of the user 202, based on the brightness map 1162.
  • the processor 120 divides the viewing area into a positive area (e.g., the positive area 821 in FIG. 8) and a shaded area (e.g., the shaded area 822 in FIG. 8) based on the brightness of each area of the viewing area. You can.
  • the processor 120 displays a first converted image (e.g., image 611 in FIG. 6A) through the positive area 821 and displays a second converted image (e.g., image 621 in FIG. 6b) through the shaded area.
  • the display 410 can be controlled to do so.
  • the processor 120 may generate a first converted image in which the wearable electronic device 200 displays only the outline part (e.g., the outline part 613a in FIG. 6A) in the image corresponding to the positive area 821. It is displayed in the form of, and other parts corresponding to the shaded area 822 in the image include a contour portion (e.g., the outline portion 623a in FIG. 6B) and a non-contour portion (e.g., the non-contour portion 623b in FIG. 6B). It can be displayed in the form of a second converted image whose luminance ratio is adjusted.
  • the wearable electronic device 200 displays at least one first object 831 in the sunny area 821, and, similarly to or similar to the example of FIG.
  • the outline of the first object 831 can only be displayed.
  • the wearable electronic device 200 displays at least one second object 832 in the shaded area 822, and, similarly to or similar to the example of FIG. 6B, the second object 832 has an outline portion 623a and The luminance ratio of the non-contoured portion 623b can be displayed in an adjusted form.
  • Block 1270 shown in FIG. 12 may be an original image first generated to be displayed through a see-through display (eg, see-through display 204 of FIG. 2) of the wearable electronic device 200.
  • the original image may be generated by the processor 120 or the image signal processor 1060.
  • Operation 1265 may represent an operation of detecting an edge area (e.g., a contour area) of at least one object from an image to be displayed by the display panel 410 using the edge detection module 1065 according to an embodiment described in FIG. 10. there is. Edge information corresponding to the edge area created in operation 1265 may be input to operation block 1266.
  • an edge area e.g., a contour area
  • the processor 120 receives edge information and the original image, and operates the driving method for each region determined in operation 1271 (e.g., displaying only the outline portion, or the shape of the outline portion 623a and the non-contour portion 623b).
  • the final output image to be displayed by the wearable electronic device 200 may be generated according to the form in which the luminance ratio is adjusted.
  • the final output image generated in operation 1266 may be transmitted to a display driving IC (DDI) (e.g., DDI 1080 in FIG. 10) that drives the display panel 410, and in operation 1280, the display driving IC (DDI) 1080 may drive the display panel 410 to display the final output image.
  • DDI display driving IC
  • FIG. 13 is a flowchart of an operation for increasing the brightness of a pixel by adjusting the resolution of an image in the wearable electronic device 200 according to an embodiment.
  • the operations shown in FIG. 13 may be performed by the processor 120 (eg, the processor 120 of FIG. 1).
  • the memory of the electronic device e.g., memory 130 of FIG. 1
  • block 1370 may represent at least a portion of an image processing block performed inside the image signal processor 1060 according to an embodiment.
  • Operation 1371 may represent the processing result of operation 1266 according to the embodiment described in FIG. 12.
  • the image signal processor 1060 determines the driving method for each region (e.g., a form that displays only the outline part, or a form in which the luminance ratio of the outline part and the non-contour part is adjusted), so that the image of the wearable electronic device 200 is changed. You can create a final output image for display.
  • the image signal processor 1060 may determine a ratio to reduce the resolution of the final output image generated in operation 1371.
  • the image signal processor 1060 may determine a resolution reduction ratio based on specified conditions and output a control signal related to the determined reduction ratio.
  • the image signal processor 1060 may reduce the resolution of the final output image based on a control signal regarding the reduction ratio.
  • the image signal processor 1060 may generate a low-resolution image by lowering the resolution of the final output image.
  • the image signal processor 1060 may divide a plurality of pixels of a display (eg, the display panel 410 of FIG. 4) into an on-pixel group and an off-pixel group in relation to a low-resolution image. While displaying a low-resolution image through the display 410, the image signal processor 1060 may apply designated power and offset power to the on-pixel group to improve luminance of the on-pixel group.
  • the offset power may be the power used to turn on the off-pixel group.
  • the output image generated by the image signal processor 1060 and delivered to the display driving IC (DDI) has reduced resolution, but remains unchanged in terms of overall luminance.
  • the luminance of the on-pixel group can be enhanced to create an augmented reality image with further improved visibility.
  • the image signal processor 1060 may transmit the final output image whose resolution has been reduced in operation 1373 to a display driving IC (DDI) (e.g., DDI 1080 in FIG. 10).
  • the DDI 1080 receives the final output image with reduced resolution from the image signal processor 1060 and drives a display panel (e.g., the display panel 410 in FIG. 4) to output light corresponding to the input image. can do.
  • Light corresponding to the image output from the display panel 410 is provided to the user through a see-through display (e.g., see-through display 204 in FIG. 2) that is at least a portion of glass (e.g., glass 330 in FIG. 3). You can.
  • a wearable electronic device (e.g., wearable electronic device 200 of FIG. 2) includes at least one lens (e.g., glass 330 of FIG. 3) and a battery (e.g., battery 189 of FIG. 1). ), a display (e.g., the display module 310 in FIG. 3), a waveguide (e.g., a waveguide) that receives an image from the display 310 and outputs the input image through the at least one lens 330 : waveguide 430 in FIG. 4), an illuminance sensor that detects external illuminance of the wearable electronic device 200 (e.g., illuminance sensor 1010 in FIG. 10), and a processor (e.g., processor 120 in FIG.
  • a display e.g., the display module 310 in FIG. 3
  • a waveguide e.g., a waveguide
  • an illuminance sensor that detects external illuminance of the wearable electronic device 200
  • a processor e.g., processor 120
  • the wearable electronic device 200 uses the illuminance sensor 1010. ), and based on the detected illuminance, the luminance of the image output through the display 310 and the display form of at least one object included in the image can be dynamically adjusted. .
  • the processor 120 sets the total luminance of the image to a first luminance level, and sets the total luminance of the image to a first luminance level, and sets the total luminance of the image to a first luminance level and An outline may be identified, a first converted image including only the identified outline may be generated, and the display 310 may be controlled to display the first converted image based on the first luminance level.
  • the processor 120 sets the overall luminance of the image to a second luminance level that is smaller than the first luminance level when the detected illuminance is a specified second range that is smaller than the first luminance level. Identifying the outline of the at least one object included in the image, dividing the image into a contour area corresponding to the outline and a non-contour area excluding the outline area, based on the identified outline, By setting the luminance of the contour area to be higher than the luminance of the non-contour area, a second converted image is generated and the display 310 is controlled to display the second converted image based on the second luminance level. You can.
  • the processor 120 may set the color of the outline included in the first converted image to white or green.
  • the processor 120 sets the overall luminance of the image to a third luminance level that is smaller than the second luminance level when the detected illuminance is in a designated third range that is smaller than the second range.
  • the display 310 can be controlled to display the image based on the third luminance level.
  • the processor 120 may set the saturation of the second converted image to be lower than the saturation of the image.
  • the processor 120 may increase the width of the outline included in the first converted image in proportion to the size of the detected illuminance.
  • the wearable electronic device 200 further includes at least one front camera configured to photograph the front of the wearable electronic device 200, and at least one eye tracking camera configured to track the user's eyes, and the processor 120 , Generating a brightness map corresponding to the environment in front of the wearable electronic device 200 using the illuminance sensor 1010, wherein the brightness map is brightness information mapped for each area of the environment in front of the wearable electronic device 200. Includes, determining the user's gaze direction in the front environment of the wearable electronic device 200 by tracking the user's eyeballs, and based on the brightness map, a viewing area corresponding to the user's gaze direction.
  • the second converted image may be displayed.
  • the processor 120 when the visibility enhancement mode is activated, the processor 120 generates a low-resolution image by lowering the resolution of the image, and turns on a plurality of pixels of the display 310 in relation to the low-resolution image.
  • Dividing the pixel group into a pixel group and an off-pixel group, applying a specified power and an offset power to the on-pixel group so that the brightness of the on-pixel group is improved while displaying the low-resolution image through the display 310, and applying the offset power to the on-pixel group. may be the power used to turn on the off pixel group.
  • the processor 120 identifies the battery level as the remaining amount of the battery, and the designated event activating the visibility enhancement mode may include a state in which the battery level is less than a designated threshold.
  • the designated event activating the visibility enhancement mode may include a user input through an external device.
  • the wearable electronic device 200 receives at least one lens 330, a battery, a display 310, and an image from the display 310. , a waveguide 430 that outputs the input image through the at least one lens 330, and an illuminance sensor 1010 that detects external illuminance of the wearable electronic device 200,
  • the method includes activating a visibility enhancement mode in response to a designated event, and detecting the ambient illuminance of the wearable electronic device 200 using the illuminance sensor 1010 in response to the visibility enhancement mode being activated. It may include an operation of dynamically adjusting the luminance of the image output through the display 310 and the display form of at least one object included in the image based on the detected illuminance.
  • the sensed illuminance when the sensed illuminance is in a designated first range, setting the entire luminance of the image to a first luminance level, identifying an outline of the at least one object included in the image, It may include generating a first converted image including only the identified outline, and controlling the display 310 to display the first converted image based on the first luminance level.
  • the sensed illuminance is a specified second range that is smaller than the first range
  • setting the overall luminance of the image to a second luminance level that is smaller than the first luminance level, included in the image.
  • the operation of setting the color of the outline included in the first converted image to white color or green color may be included.
  • setting the overall luminance of the image to a third luminance level that is smaller than the second luminance level may include an operation of controlling to display the image based on the third brightness level.
  • the operation may include setting the saturation of the second converted image to be lower than the saturation of the image.
  • the operation may include increasing the width of the outline included in the first converted image in proportion to the size of the detected illuminance.
  • the wearable electronic device 200 further includes at least one front camera configured to photograph the front, and at least one eye tracking camera configured to track the user's eyeballs, and the method includes: A brightness map corresponding to the environment in front of the wearable electronic device 200 is generated using the illuminance sensor 1010, and the brightness map includes brightness information mapped for each area of the environment in front of the wearable electronic device 200.
  • An operation of determining the user's gaze direction in the front environment of the wearable electronic device 200 by tracking the user's eyeballs, based on the brightness map, a viewing area corresponding to the user's gaze direction An operation of determining the brightness of each region, an operation of dividing the viewing area into a positive area and a shadow area based on the brightness of each area of the viewing area, an operation of displaying the first converted image through the positive area, and An operation of displaying the second converted image through a shaded area may be included.
  • an operation of lowering the resolution of the image to generate a low-resolution image, dividing a plurality of pixels of the display 310 into an on-pixel group and an off-pixel group in relation to the low-resolution image an operation of dividing into and applying a designated power and an offset power to the on-pixel group to improve luminance of the on-pixel group while displaying the low-resolution image through the display 310. may be the power used to turn on the off pixel group.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시의 다양한 실시예들은 웨어러블 전자 장치 및 그 동작 방법에 관한 것으로, 적어도 하나의 렌즈, 배터리, 디스플레이, 상기 디스플레이로부터 이미지를 입력받고, 상기 입력된 이미지를 상기 적어도 하나의 렌즈를 통해 출력하는 도파관(waveguide), 상기 웨어러블 전자 장치의 외부 조도를 감지하는 조도 센서, 및 프로세서를 포함하고, 상기 프로세서는, 지정된 이벤트에 응답하여, 시인성 강화 모드를 활성화하고, 상기 시인성 강화 모드가 활성화된 것에 응답하여, 상기 조도 센서를 이용해 상기 웨어러블 전자 장치의 주변의 조도를 감지하고, 및 상기 감지된 조도에 기반하여, 상기 디스플레이를 통해 출력되는 상기 이미지의 휘도, 상기 이미지에 포함된 적어도 하나의 오브젝트의 표시 형태를 동적으로 조정할 수 있다.

Description

웨어러블 전자 장치 및 그 동작 방법
본 개시의 다양한 실시예들은 웨어러블 전자 장치 및 그 동작 방법에 관한 것이다.
증강 현실(augmented reality, AR)은 가상현실(virtual reality, VR)의 한 분야이며, 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다. 증강 현실은 사용자가 바라보는 현실 세계에 가상 물체를 겹쳐서 보여주는 디스플레이 기술이며, 이는 웨어러블 전자 장치 와 같은 제품에 적용되어 사용자에게 다양한 사용자 경험을 제공할 수 있다. 예를 들면, 증강 현실을 지원하는 웨어러블 전자 장치는 HMD(head mounted display) 장치 또는 AR 글라스(glass)일 수 있다.
증강 현실을 지원하는 웨어러블 전자 장치는 이미지를 출력하는 광원부인 디스플레이 패널, 디스플레이 패널로부터 출력된 이미지를 광 도파관(light waveguide)에 입력시키는 프로젝션 렌즈(projection lens), 및 입력된 이미지를 전파시켜 사용자의 눈에 도달하도록 하는 광 도파관(light waveguide)을 포함할 수 있다. 증강 현실을 지원하는 웨어러블 전자 장치는 적어도 하나의 렌즈의 적어도 일부분에 광 도파관이 배치됨에 따라 시스루(see-through) 디스플레이, 즉 증강 현실 기능을 제공할 수 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련하여 종래 기술(prior art)로서 적용될 수 있는지에 관해서는 어떠한 주장이나 결정이 제기되지 않는다.
웨어러블 전자 장치가 증강 현실 기능을 수행할 때, 적어도 하나의 렌즈(예: 시스루 디스플레이)를 통해 표시되는 이미지의 시인성은 외부 조도에 영향을 받을 수 있다. 웨어러블 전자 장치의 외부 환경이 밝은 야외인 경우, 이미지의 시인성은 낮아질 수 있다. 웨어러블 전자 장치는 외부 조도가 밝은 경우에 시인성을 높이기 위해 광원부로부터 출력되는 이미지의 휘도를 높일 수 있으나, 이러한 웨어러블 전자 장치의 동작은 소비 전력을 증가시키고 발열을 발생시킬 수 있다.
본 개시의 다양한 실시예들은 주변광(ambient light)의 조도의 크기에 따라 광원부인 디스플레이 패널을 통해 표시되는 영역별 휘도, 표시되는 이미지의 형태, 및/또는 표시되는 이미지의 채도를 동적으로 조정함으로써, 조도가 높은 주변광 환경에서 소비 전력 및 발열을 줄이고, 이미지의 시인성을 높일 수 있는 웨어러블 전자 장치 및 그 동작 방법을 제공할 수 있다.
본 개시에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
일 실시예에 따른 웨어러블 전자 장치는, 적어도 하나의 렌즈, 배터리, 디스플레이, 상기 디스플레이로부터 이미지를 입력받고, 상기 입력된 이미지를 상기 적어도 하나의 렌즈를 통해 출력하는 도파관(waveguide), 상기 웨어러블 전자 장치의 외부 조도를 감지하는 조도 센서, 및 프로세서를 포함하고, 상기 프로세서는, 지정된 이벤트에 응답하여, 시인성 강화 모드를 활성화하고, 상기 시인성 강화 모드가 활성화된 것에 응답하여, 상기 조도 센서를 이용해 상기 웨어러블 전자 장치의 주변의 조도를 감지하고, 및 상기 감지된 조도에 기반하여, 상기 디스플레이를 통해 출력되는 상기 이미지의 휘도, 상기 이미지에 포함된 적어도 하나의 오브젝트의 표시 형태를 동적으로 조정할 수 있다.
일 실시예에 따른 웨어러블 전자 장치의 방법에 있어서, 상기 웨어러블 전자 장치는, 적어도 하나의 렌즈, 배터리, 디스플레이, 상기 디스플레이로부터 이미지를 입력받고, 상기 입력된 이미지를 상기 적어도 하나의 렌즈를 통해 출력하는 도파관(waveguide), 및 상기 웨어러블 전자 장치의 외부 조도를 감지하는 조도 센서를 포함하고, 상기 방법은, 지정된 이벤트에 응답하여, 시인성 강화 모드를 활성화하는 동작, 상기 시인성 강화 모드가 활성화된 것에 응답하여, 상기 조도 센서를 이용해 상기 웨어러블 전자 장치의 주변의 조도를 감지하는 동작, 및 상기 감지된 조도에 기반하여, 상기 디스플레이를 통해 출력되는 상기 이미지의 휘도, 상기 이미지에 포함된 적어도 하나의 오브젝트의 표시 형태를 동적으로 조정하는 동작을 포함할 수 있다.
본 개시의 다양한 실시예들에 따른 웨어러블 전자 장치 및 그 동작 방법은 주변광(ambient light)의 조도의 크기에 따라 광원부인 디스플레이 패널을 통해 표시되는 영역별 휘도, 표시되는 이미지의 형태, 및/또는 표시되는 이미지의 채도를 동적으로 조정함으로써, 조도가 높은 주변광 환경에서 소비 전력 및 발열을 줄이고, 이미지의 시인성을 높일 수 있다.
이 외에, 본 개시를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 특정 실시예에 따른 다른 양태, 특징 및 이점은 관련하여 첨부된 도면 및 해당 설명으로부터 더욱 명백해질 것이다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 일 실시예에 따른 웨어러블 전자 장치가 사용자에게 착용된 상태를 도시한 개념도이다.
도 3은 일 실시예에 따른 웨어러블 전자 장치의 구성 블록도이다.
도 4는 일 실시예에 따른 웨어러블 전자 장치에서 광이 이동하는 광학 경로를 도시한다.
도 5는 일 실시예에 따른 웨어러블 전자 장치의 동작을 설명한 흐름도이다.
도 6a는 일 실시예에 따른 웨어러블 전자 장치의 외부 조도가 제 1 범위인 경우에 웨어러블 전자 장치의 디스플레이로부터 출력되는 이미지 및 렌즈를 통해 보여지는 시스루 화면을 나타낸 예시이다.
도 6b는 일 실시예에 따른 웨어러블 전자 장치의 외부 조도가 제 2 범위인 경우에 웨어러블 전자 장치의 디스플레이로부터 출력되는 이미지 및 렌즈를 통해 보여지는 시스루 화면을 나타낸 예시이다.
도 6c는 일 실시예에 따른 웨어러블 전자 장치의 외부 조도가 제 3 범위인 경우에 웨어러블 전자 장치의 디스플레이로부터 출력되는 이미지 및 렌즈를 통해 보여지는 시스루 화면을 나타낸 예시이다.
도 7a는 도 6a에 도시된 일 실시예에 따른 시스루 화면의 일부를 확대한 도면이다.
도 7b는 도 6b에 도시된 일 실시예에 따른 시스루 화면의 일부를 확대한 도면이다.
도 7c는 도 6c에 도시된 일 실시예에 따른 시스루 화면의 일부를 확대한 도면이다.
도 8은 일 실시예에 따른 웨어러블 전자 장치가 야외 복합 조도 환경인 경우, 웨어러블 전자 장치의 디스플레이로부터 출력되는 이미지에 따른 시스루 화면을 나타낸 예시이다.
도 9는 일 실시예에 따른 웨어러블 전자 장치의 개략적인 구성도이다.
도 10은 일 실시예에 따른 웨어러블 전자 장치에서 이미지를 생성하는 구성요소를 나타낸 블록도이다.
도 11은 일 실시예에 따른 웨어러블 전자 장치에서 밝기 맵을 생성하는 구성요소를 나타낸 블록도이다.
도 12는 일 실시예에 따른 웨어러블 전자 장치에서 외부 조도에 기반하여 이미지를 생성하는 구성요소를 나타낸 블록도이다.
도 13은 일 실시예에 따른 웨어러블 전자 장치에서 이미지의 해상도를 조정하여 픽셀의 휘도를 높이는 구성요소를 나타낸 블록도이다.
도면 전체에 걸쳐, 유사한 참조 번호는 유사한 부품, 구성요소 및 구조를 지칭하는 것으로 이해될 것이다.
첨부된 도면을 참조한 다음의 설명은 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 개시내용의 다양한 실시예의 포괄적인 이해를 돕기 위해 제공된다. 여기에는 이해를 돕기 위한 다양한 특정 세부 사항이 포함되어 있지만 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상의 지식을 가진 자는 본 개시의 범위 및 사상을 벗어나지 않고 본 명세서에 기술된 다양한 실시예의 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 명료함과 간결함을 위해 잘 알려진 기능 및 구성에 대한 설명은 생략할 수 있다.
하기 설명 및 청구범위에서 사용된 용어 및 단어는 서지적 의미에 한정되지 않으며, 본 발명의 명확하고 일관된 이해를 가능하게 하기 위해 발명자가 단지 사용한다. 따라서, 본 발명의 다양한 실시 예에 대한 다음의 설명은 첨부된 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 발명을 제한하기 위한 것이 아니라 단지 예시의 목적으로 제공된다는 것이 당업자에게 명백해야 한다.
단수 형태의 표현들은 문맥이 명백하게 달리 지시하지 않는 한 복수 지시 대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어 "구성요소 표면"에 대한 언급은 그러한 표면 중 하나 이상에 대한 언급을 포함할 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 개시에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 개시의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 개시의 다양한 실시예들 및 이에 사용된 용어들은 본 개시에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 개시에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 개시의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 개시에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 일 실시예에 따른 웨어러블 전자 장치가 사용자에게 착용된 상태를 도시한 개념도이다.
도 2에 도시된 웨어러블 전자 장치는 도 1에 도시된 전자 장치(101)와 적어도 일부가 유사하거나 또는 실질적으로 동일할 수 있다.
도 2를 참조하면, 웨어러블 전자 장치 (200)는 사용자(202)에 의해 착용될 수 있는 장치로서, 예를 들면, 증강 현실(augmented reality, AR) 글라스, 근안 디스플레이(near to eye display, NED), 또는 머리 착용 디스플레이(head mounted display, HMD)를 포함한 전자 장치들 중 하나일 수 있다. 근안 디스플레이는 디스플레이 패널이 사용자(202)의 눈에 매우 가깝게 위치하여 사용자(202)가 안경처럼 착용할 수 있는 형태의 디스플레이로 이해될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 근안 디스플레이에 해당하는 시스루(see-through) 디스플레이(204)(예: 제 1 시스루 디스플레이(204-1), 제 2 시스루 디스플레이(204-2))를 포함할 수 있다. 웨어러블 전자 장치(200)의 렌즈 중 적어도 일부는 시스루 디스플레이(204)를 포함할 수 있다. 예를 들어, 웨어러블 전자 장치(200)는 좌안 렌즈 또는 우안 렌즈를 포함할 수 있고, 이들 중 중 적어도 일부는 광 도파관(light waveguide)(예: 도 4의 도파관(430))을 포함할 수 있다. 웨어러블 전자 장치의 렌즈 중에서 광 도파관(430)이 배치된 적어도 일부분은 시스루 디스플레이(204)의 역할을 수행할 수 있다. 예를 들어, 사용자(202)의 좌안에 대응하는 웨어러블 전자 장치(200)의 좌안 렌즈는 제 1 시스루 디스플레이(204-1)를 포함하고, 사용자(202)의 우안에 대응하는 웨어러블 전자 장치(200)의 우안 렌즈는 제 2 시스루 디스플레이(204-2)를 포함할 수 있다.
일 실시예에 따르면, 시스루 디스플레이(204)는 사용자(202)의 눈에 가깝게 위치할 수 있으며, 사용자(202)는 시스루 디스플레이(204)를 포함한 웨어러블 전자 장치(200)를 안경처럼 착용할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 시스루 디스플레이(204)를 통해 증강 현실 이미지를 표시할 수 있다. 시스루 디스플레이(204)는 실제 환경(또는 현실 객체)의 광을 투과할 수 있다. 사용자(202)는 시스루 디스플레이(204)를 통해 투과된 실제 환경의 광을 인지하여, 실제 환경을 볼 수 있다. 시스루 디스플레이(204)는 현실 객체의 빛을 투과함과 동시에 가상 객체의 이미지를 표시할 수 있는 투명 디스플레이를 의미할 수 있다. 예를 들어, 웨어러블 전자 장치(200)는 시스루 디스플레이(204)를 통해서 가상 객체의 이미지를 표시할 수 있다. 사용자(202)는 웨어러블 전자 장치(200)의 시스루 디스플레이(204)를 통해서 현실 객체를 인지할 수 있고, 이에 중첩된 가상 객체를 인지할 수 있다.
본 개시의 다양한 실시예들은 안경 형태의 웨어러블 전자 장치(200)를 설명하고 있으나, 이에 제한되지 않을 수 있다. 본 개시의 다양한 실시예들은 근안 디스플레이를 포함하는 다양한 전자 장치들에 적용될 수 있다. 예를 들어, 본 개시의 다양한 실시예들은 HMD 장치 또는 고글(goggle) 형태의 웨어러블 전자 장치에 적용될 수도 있다.
도 3은 일 실시예에 따른 웨어러블 전자 장치(200)의 구성 블록도이다.
도 3에 도시된 웨어러블 전자 장치(200)(예: 도 2의 웨어러블 전자 장치(200))는 도 1에 도시된 전자 장치(101)와 적어도 일부가 유사하거나 또는 실질적으로 동일할 수 있다.
도 3을 참조하면, 일 실시예에 따른 웨어러블 전자 장치(200)는 프로세서(300)(예: 도 1의 프로세서(120)), 디스플레이 모듈(310)(예: 도 1의 디스플레이 모듈(160)), 센서 모듈(320)(예: 도 1의 센서 모듈(176)), 글라스(예: 좌안 렌즈 및/또는 우안 렌즈)(330), 배터리(또는 전원 공급 장치)(340)(예: 도 1의 배터리(189)), 카메라(350)(예: 도 1의 카메라 모듈(180)), 및 통신 인터페이스(360)(예: 도 1의 통신 모듈(190))를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)에 포함되는 모듈은 웨어러블 전자 장치(200)에 포함되는 하드웨어 모듈(예: 회로)로 이해될 수 있다. 웨어러블 전자 장치(200)에 포함되는 구성요소들은 도 3의 블록 구성도에 도시된 구성요소들(예: 디스플레이 모듈(310), 센서 모듈(320), 글라스(330), 배터리(340), 카메라(350), 또는 통신 인터페이스(360))에 제한되지 않을 수 있다.
일 실시예에 따르면, 도 3에 도시된 웨어러블 전자 장치(200)의 구성요소들은 다른 구성요소들로 대체되거나 다른 도면(예: 도 9 내지 도 13)을 참조하여 설명된 추가적인 구성요소들이 웨어러블 전자 장치(200)에 추가될 수 있다.
일 실시예에 따르면, 프로세서(300)는 메모리에 저장된 명령어들을 실행하여 웨어러블 전자 장치(200)의 구성요소들(예: 디스플레이 모듈(310), 센서 모듈(320), 배터리(340), 카메라(350), 및 통신 인터페이스(360))의 동작을 제어할 수 있다. 프로세서(300)는 디스플레이 모듈(310), 센서 모듈(320), 배터리(340), 카메라(350), 및 통신 인터페이스(360)와 전기적으로 및/또는 작동적으로 연결될 수 있다. 프로세서(300)는 소프트웨어를 실행하여 프로세서(300)에 연결된 적어도 하나의 다른 구성요소들(예: 디스플레이 모듈(310), 센서 모듈(320), 배터리(340), 카메라(350), 및 통신 인터페이스(360))을 제어할 수 있다. 프로세서(300)는 웨어러블 전자 장치(200)에 포함된 구성요소들로부터 명령을 획득할 수 있고, 획득된 명령을 해석할 수 있으며, 해석된 명령에 따라 다양한 데이터를 처리 및/또는 연산할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 외부 장치(예: 도 1의 전자 장치(102, 104), 스마트폰, 또는 태블릿 PC)에 내장된 프로세서(120)를 통해 처리된 데이터를 외부 장치로부터 수신할 수 있다. 예를 들어, 웨어러블 전자 장치(200)는 카메라(350)를 통해 객체(예: 현실 객체 또는 사용자(202)의 눈)를 촬영할 수 있고, 촬영한 영상을 통신 인터페이스(360)를 통해 외부 장치로 전송하고, 외부 장치로부터 전송한 영상에 기반한 데이터를 수신할 수 있다. 외부 장치는 웨어러블 전자 장치(200)로부터 수신된 촬영된 객체의 정보(예: 형태, 색상, 또는 위치)에 기반하여 증강 현실과 관련된 이미지 데이터를 생성하고, 웨어러블 전자 장치(200)로 전송할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(200)는 카메라(350)를 통해 객체(예: 현실 객체 또는 사용자(202)의 눈)를 촬영한 영상에 기반한 추가적인 정보를 외부 장치로 요청할 수 있고, 외부 장치로부터 추가적인 정보를 수신할 수 있다.
일 실시예에 따르면, 디스플레이 모듈(310)은 디스플레이 패널(예: 도 4의 디스플레이 패널(410))을 포함할 수 있다. 본 개시에서 "디스플레이"는 "디스플레이 패널"을 의미할 수 있고, 도파관에 입력되는 디스플레이 광을 생성하는 광원부를 의미할 수 있다.
일 실시예에 따르면, 디스플레이 패널(410)은 프로세서(300)의 제어에 기초하여 증강 현실 이미지를 디스플레이 하기 위한 디스플레이 광을 방출할 수 있다. 디스플레이 패널(410)은 디스플레이 자체로부터 광을 방출하는 자발광 디스플레이 또는 별도의 광원으로부터 방출된 광을 반사 및 방출하는 디스플레이로 이해될 수 있다. 예를 들어, 웨어러블 전자 장치(200)(예: 프로세서(300))는 디스플레이 패널(410)을 통해서 시스루 디스플레이(204)의 표시 영역에 증강 현실 이미지를 디스플레이 하기 위한 디스플레이 광을 방출할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(200)(예: 프로세서(300))는 사용자(202)의 입력에 응답하여 시스루 디스플레이(204)의 표시 영역에 증강 현실 이미지를 디스플레이하기 위해 디스플레이 패널(410)을 제어할 수 있다. 일 실시예에 따르면, 사용자(202)의 입력의 유형은 버튼 입력, 터치 입력, 음성 입력, 및/또는 제스처 입력을 포함할 수 있으며, 이에 제한되지 않고 디스플레이 패널(410)의 동작을 제어할 수 있는 다양한 입력 방법이 포함될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 사용자(202)의 눈 주위의 밝기를 보강하기 위해 디스플레이 패널(410)이 방출하는 디스플레이 광과 상이한 추가적인 광을 방출하는 광원부(미도시)를 더 포함할 수 있다. 광원부는, 백색 LED 또는 적외선 LED를 포함할 수 있다.
일 실시예에 따르면, 글라스(330)는 도파관(예: 도 4의 도파관(430))을 포함할 수 있고, 도파관(430)은 디스플레이 도파관(미도시) 또는 시선 추적 도파관(미도시) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 디스플레이 도파관은 디스플레이 패널(410)으로부터 방출된 디스플레이 광이 시스루 디스플레이(204)의 표시 영역으로 방출되도록 광을 유도함으로써 광의 경로를 형성할 수 있다. 시스루 디스플레이(204)는 디스플레이 도파관 중 적어도 일 영역에 대응될 수 있다. 예를 들어, 시스루 디스플레이(204)의 영역은 디스플레이 도파관 중 디스플레이 도파관 내부에서 전파되는 광이 방출되고, 동시에 외부 광이 투과되는 영역에 대응될 수 있다. 예를 들어, 시스루 디스플레이(204)는 글라스(330)에 포함된 디스플레이 도파관의 일 단에 배치될 수 있다.
일 실시예에 따르면, 디스플레이 도파관은 적어도 하나의 회절 요소 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 디스플레이 도파관은 디스플레이 도파관에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 디스플레이 패널(410)으로부터 방출된 디스플레이 광을 사용자(202)의 눈으로 유도할 수 있다. 예를 들어, 회절 요소는 IN/OUT(input/output) grating, 반사 요소는 전반사(TIR(total internal reflection))를 포함할 수 있다.
일 실시예에 따르면, 광학용 소재(예: glass)를 웨이퍼 형태로 가공하여 디스플레이 도파관으로 사용할 수 있으며, 디스플레이 도파관의 굴절률은 약 1.5 내지 약 1.9로 다양할 수 있다.
일 실시예에 따르면, 디스플레이 도파관은 전반사를 통해서 도파관(430) 내부를 이동하는 광이 외부로 방출되는 표시 영역을 포함할 수 있다. 표시 영역은 디스플레이 도파관의 일부분에 배치될 수 있다. 디스플레이 도파관의 적어도 일 영역은 시스루 디스플레이(예: 도 2의 시스루 디스플레이(204))를 포함할 수 있다.
일 실시예에 따르면, 디스플레이 도파관은 디스플레이 광이 사용자(202)의 눈으로 유도되기 위해, 디스플레이 광을 전 반사할 수 있는 소재(예: 유리 또는 플라스틱)를 포함할 수 있다. 소재는 상술한 예시에 제한되지 않을 수 있다.
일 실시예에 따르면, 디스플레이 도파관은 디스플레이 패널(410)으로부터 방출된 디스플레이 광을 파장(예: 파란색, 녹색, 또는 빨간색)에 따라 분광하여 각각 디스플레이 도파관 내의 별도의 경로로 이동하게 할 수 있다.
일 실시예에 따르면, 디스플레이 도파관은 글라스(330)에 배치될 수 있다. 예를 들어, 글라스(330)의 중심점과 사용자(202)의 눈의 중심점이 일치되는 가상의 축 및 가상의 축과 글라스(330)의 중심점에서 직교하는 가상의 선을 기준으로, 글라스(330)의 상단과 하단을 구분할 수 있고, 디스플레이 도파관은 글라스(330)의 상단에 배치될 수 있다. 다른 예를 들어, 디스플레이 도파관은 글라스(330)의 상단 및 하단 중 가상의 선부터 하단 방향으로 3분의 1 지점까지의 영역에 걸쳐 배치될 수 있다. 디스플레이 도파관이 배치되는 영역은 글라스(330)의 상술한 영역에 제한되지 않을 수 있으며, 디스플레이 도파관이 배치되는 영역은 사용자(202)의 눈에 반사된 광의 광량이 기준 값 이상이 되도록 하는 글라스(330)의 영역 중 임의의 영역을 포함할 수 있다.
일 실시예에 따르면, 센서 모듈(320)은 적어도 하나의 센서(예: 시선 추적 센서 및/또는 조도 센서)를 포함할 수 있다. 적어도 하나의 센서는 상술한 예시에 제한되지 않을 수 있다. 예를 들어, 적어도 하나의 센서는 사용자(202)가 웨어러블 전자 장치(200)를 착용했는지를 감지할 수 있는 근접 센서 또는 접촉 센서를 더 포함할 수 있다. 웨어러블 전자 장치(200)는 근접 센서 또는 접촉 센서를 통해서 사용자(202)가 웨어러블 전자 장치(200)를 착용한 상태인지 감지할 수 있다. 사용자(202)가 웨어러블 전자 장치(200)를 착용한 상태로 감지한 경우, 웨어러블 전자 장치(200)는 다른 전자 장치(예: 스마트 폰)과 수동적으로 및/또는 자동적으로 페어링(pairing)할 수 있다.
일 실시예에 따르면, 시선 추적 센서(예: 도 10의 시선 추적 모듈(1064))는 프로세서(300)의 제어에 기초하여 사용자(202)의 눈에 반사된 반사 광을 감지할 수 있다. 웨어러블 전자 장치(200)는 시선 추적 센서를 통해서 감지된 반사 광을 전기 신호로 변환할 수 있다. 웨어러블 전자 장치(200)는 변환된 전기 신호를 통해서 사용자(202)의 안구 이미지를 획득할 수 있다. 웨어러블 전자 장치(200)는 획득된 사용자(202)의 안구 이미지를 이용하여 사용자(202)의 시선을 추적할 수 있다.
일 실시예에 따르면, 조도 센서(예: 도 10의 조도 센서(1010))는 프로세서(300)의 제어에 기초하여 웨어러블 전자 장치(200) 주변의 조도(또는 밝기), 디스플레이 패널에서 방출된 디스플레이 광의 광량, 사용자(202)의 눈 주위의 밝기 또는 사용자(202)의 눈에 반사된 반사 광의 광량을 감지할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 조도 센서(1010)를 통해서 사용자(202) 주변의 조도(또는 밝기)를 감지할 수 있다. 웨어러블 전자 장치(200)는 감지된 조도(또는 밝기)에 기초하여, 디스플레이(예: 디스플레이 패널(410))의 광량(또는 밝기)을 조절할 수 있다.
일 실시예에 따르면, 글라스(330)는 디스플레이 도파관 또는 시선 추적 도파관 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 시선 추적 도파관은 사용자(202)의 눈에서 반사된 반사 광이 센서 모듈(320)로 방출되도록 광을 유도함으로써 광의 경로를 형성할 수 있다. 시선 추적 도파관은 반사 광을 시선 추적 센서로 전달하기 위해 이용될 수 있다.
일 실시예에 따르면, 시선 추적 도파관은 디스플레이 도파관과 동일한 요소 또는 상이한 요소로 형성될 수 있다.
일 실시예에 따르면, 시선 추적 도파관은 글라스(330)에 배치될 수 있다. 예를 들어, 글라스(330)의 중심점과 사용자(202)의 눈의 중심점이 일치되는 가상의 축 및 가상의 축과 글라스(330)의 중심점에서 직교하는 가상의 선을 기준으로, 글라스(330)의 상단과 하단을 구분할 수 있고, 시선 추적 도파관은 글라스(330)의 하단에 배치될 수 있다. 다른 예를 들어, 시선 추적 도파관은 디스플레이 도파관의 아래에 배치될 수 있다. 시선 추적 도파관과 디스플레이 도파관은 글라스(330)에 중첩되지 않고 배치될 수 있다. 또 다른 예를 들어, 시선 추적 도파관은 글라스(330)의 하단 중 가상의 선부터 하단 방향으로 3분의 1 지점까지의 영역을 제외한 영역에 걸쳐 배치될 수 있다. 시선 추적 도파관이 배치되는 영역은 글라스(330)의 상술한 영역에 제한되지 않을 수 있으며, 시선 추적 도파관이 배치되는 영역은 시선 추적 센서가 시선 추적 도파관을 통해서 집광된 반사 광의 광량을 설정 값 이상으로 감지하도록 하는 글라스(330)의 영역 중 임의의 영역을 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)의 디스플레이 도파관과 시선 추적 도파관은 글라스(330)에 배치될 수 있다. 예를 들어, 글라스(330)(예: 도 2의 제 1 시스루 디스플레이(204-1) 및/또는 제 2 시스루 디스플레이(204-2))는 디스플레이 도파관과 시선 추적 도파관을 포함할 수 있다. 글라스(330)의 재질(또는 소재)은 유리 또는 플라스틱을 포함할 수 있다. 디스플레이 도파관과 시선 추적 도파관의 재질은 글라스(330)의 재질과 동일하거나 상이할 수 있다.
일 실시예에 따르면, 배터리(340)는 웨어러블 전자 장치(200)의 적어도 하나의 구성요소들에 전력을 공급할 수 있다. 배터리(340)는 외부 전원과 유선 또는 무선으로 연결되어 충전될 수 있다.
일 실시예에 따르면, 카메라(350)는 웨어러블 전자 장치(200)의 주변의 영상을 촬영할 수 있다. 예를 들어, 카메라(350)는 사용자(202)의 눈 이미지를 촬영하거나 웨어러블 전자 장치(200) 외부의 현실 객체 이미지를 촬영할 수 있다.
일 실시예에 따르면, 통신 인터페이스(360)는 유선 인터페이스 또는 무선 인터페이스를 포함할 수 있다. 통신 인터페이스(360)는 웨어러블 전자 장치(200)와 외부 장치(예: 스마트폰, 또는 태블릿 PC)간의 직접 통신(예: 유선 통신) 또는 간접 통신(예: 무선 통신)의 수행을 지원할 수 있다.
도 4는 일 실시예에 따른 웨어러블 전자 장치(200)에서 광이 이동하는 광학 경로를 도시한다.
도 4를 참조하면, 일 실시예에 따른 웨어러블 전자 장치(200)는, 디스플레이 패널(410)로서, micro LED 디스플레이 패널을 포함할 수 있다. 도 4에서는 디스플레이 패널(410)에서 방출되는 광속 중 일부가 프로젝션 렌즈(projection lens)(420)를 통해 수광되는 것이 도시되어 있다. 일 실시예에 따르면, 프로젝션 렌즈(420)는 수광된 광속을 도파관(430)에 입력해주는 역할을 수행할 수 있다.
도파관(430)은 플레이트(plate)의 일부 영역에 DOE(diffraction optical elements)나 HOE(holographic optical elements) 등 회절 기능을 하는 grating을 형성함에 있어서, grating의 주기와 깊이 또는 굴절률을 다르게 설계할 수 있다. 이에 따라, 도파관(430)으로 입력된 광 신호가 도파관(430) 내에서 도파될 때, 광 신호의 일부를 도파관(430) 내부로 전달하고, 광 신호의 다른 일부는 도파관(430) 외부로 출력되도록 광 신호를 분배할 수 있다.
도 4에서는 2개의 플레이트가 결합되어 도파관(430)을 형성한 것을 예시적으로 나타내고 있다. 일 실시예에 따르면, 도파관(430) 출력부의 아이 박스(eye box)의 크기, 출력 영상 화각, 또는 플레이트 매질의 굴절률 등의 선택에 따라 도파관(430)은 1장 또는 2장 또는 레드(red), 그린(green), 블루(blue) 각 파장에 적합한 개별 플레이트 3장을 포함할 수 있다.
도 4에서는 도파관(430)의 예시로서 회절형 광학 소자를 사용하였으나, 반사형 광학 소자로 대체될 수 있다.
일 실시예에 따르면, 디스플레이 패널(410)은 개별 LED를 레드 픽셀(미도시), 그린 픽셀(미도시), 및 블루 픽셀(미도시)로 사용하도록 구성될 수 있다. 레드 픽셀, 그린 픽셀, 및 블루 픽셀을 형성하는 micro LED의 배열 형태는 다양하게 변경 및 설계될 수 있다.
도 5는 일 실시예에 따른 웨어러블 전자 장치(200)의 동작을 설명한 흐름도이다.
도 5에 도시된 동작들 중에서 적어도 일부는 생략될 수 있다. 도 5에 도시된 적어도 일부 동작들의 이전 또는 이후에는 본 개시에서 다른 도면을 참조하여 언급한 적어도 일부 동작들이 추가 삽입 될 수 있다.
도 5에 도시된 동작들은 프로세서(120)(예: 도 1의 프로세서(120))에 의해 수행될 수 있다. 예를 들면, 전자 장치의 메모리(예: 도 1의 메모리(130))는, 실행시에, 프로세서(120)가 도 5에 도시된 적어도 일부 동작들을 수행하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
동작 510에서, 일 실시예에 따른 웨어러블 전자 장치(200)는, 지정된 이벤트에 응답하여 시인성 강화 모드를 활성화할 수 있다. 본 개시에서 용어 “시인성 강화 모드”는 하나의 예시일 뿐, 다양하게 변경되어도 상관없다. 예를 들어, “시인성 강화 모드”는 “절전 모드” 등의 용어로 대체될 수 있다.
일 실시예에 따르면, 프로세서(120)는 배터리의 잔량으로서 배터리 레벨을 식별할 수 있다. 프로세서(120)는 배터리 레벨이 지정된 임계값 미만인 상태에 응답하여 시인성 강화 모드를 활성화 할 수 있다. 이 경우, 지정된 이벤트는 배터리 레벨이 지정된 임계값 미만인 상태를 포함할 수 있다.
일 실시예에 따르면, 프로세서(120)는 외부 장치를 통한 사용자(202)의 입력에 기반하여 시인성 강화 모드를 활성화할 수 있다. 예를 들면, 사용자(202)는 웨어러블 전자 장치(200)와 근거리 통신(예: 블루투스)을 통해 페어링된 외부 장치(예: 스마트폰)를 이용해 웨어러블 전자 장치(200)의 시인성 강화 모드를 제어할 수 있다. 외부 장치는 사용자(202)의 입력에 기반하여 시인성 강화 모드를 활성화하기 위한 제어 신호 또는 시인성 강화 모드를 비활성화하기 위한 제어 신호를 근거리 통신을 통해 웨어러블 전자 장치(200)에게 출력할 수 있다. 웨어러블 전자 장치(200)는 근거리 통신을 통해 외부 장치로부터 사용자(202)의 입력에 대응하는 제어 신호를 입력받고, 입력된 제어 신호에 기반하여 시인성 강화 모드를 활성화하거나 또는 시인성 강화 모드를 비활성화할 수 있다. 이 경우, 지정된 이벤트는 외부 장치를 통한 사용자(202)의 입력을 포함할 수 있다.
일 실시예에 따르면, 동작 510은 바이패스될 수 있다. 예를 들어, 프로세서(120)는 동작 510을 수행하지 않고, 상시적으로 시인성 강화 모드를 수행할 수 있다.
동작 520에서, 일 실시예에 따른 웨어러블 전자 장치(200)는, 조도 센서(예: 도 10의 조도 센서(1010))를 이용해 웨어러블 전자 장치(200) 주변의 조도를 감지할 수 있다.
일 실시예에 따르면, 프로세서(120)는, 감지된 조도가 지정된 제 1 범위인 지 결정할 수 있다. 제 1 범위는, 맑은 날씨의 야외 환경을 나타내는 조도 범위일 수 있다. 예를 들어, 웨어러블 전자 장치(200)는 제 1 범위를 약 10,000 lux 이상으로 설정할 수 있으나, 범위에 국한되지는 않을 수 있다.
일 실시예에 따르면, 프로세서(120)는, 감지된 조도가 제 1 범위보다 작은 지정된 제 2 범위인 지 결정할 수 있다. 제 2 범위는, 흐린 날씨의 야외 환경, 또는 그늘 환경을 나타내는 조도 범위일 수 있다. 예를 들어, 웨어러블 전자 장치(200)는 제 2 범위를 약 1,000 lux 이상 내지 약 10,000 lux 미만으로 설정할 수 있으나, 범위에 국한되지는 않을 수 있다.
일 실시예에 따르면, 프로세서(120)는, 감지된 조도가 제 2 범위보다 작은 지정된 제 3 범위인 지 결정할 수 있다. 제 3 범위는, 실내 환경을 나타내는 조도 범위일 수 있다. 예를 들어, 웨어러블 전자 장치(200)는 제 3 범위를 약 1,000 lux 미만으 로 설정할 수 있으나, 범위에 국한되지는 않을 수 있다.
예시에서는, 프로세서(120)가 외부 환경에 대응하는 조도를 서로 다른 3개의 범위들로 구분하였으나, 이는 하나의 예시일 뿐, 국한되지 않는 것으로 이해될 수 있다. 예를 들어, 프로세서(120)는 외부 환경에 대응하는 조도를 서로 다른 2개의 범위들 또는 그 이상의 범위들로 구분하도록 설정할 수 있다.
동작 530에서, 일 실시예에 따른 웨어러블 전자 장치(200)는, 감지된 조도에 기반하여 디스플레이를 통해 출력되는 이미지의 휘도, 및/또는 이미지에 포함된 적어도 하나의 오브젝트의 표시 형태를 동적으로 조정할 수 있다.
일 실시예에 따르면, 프로세서(120)는, 감지된 조도가 지정된 제 1 범위인 경우, 이미지의 전체 휘도를 제 1 휘도 레벨로 설정할 수 있다. 프로세서(120)는, 이미지에 포함된 적어도 하나의 오브젝트의 윤곽선을 식별할 수 있다. 프로세서(120)는, 식별된 윤곽선만을 포함하는 제 1 변환 이미지를 생성하고, 디스플레이가 제 1 휘도 레벨에 기반하여 제 1 변환 이미지를 표시하도록 제어할 수 있다. 이러한 웨어러블 전자 장치(200)의 동작은 도 6a 및 도 7a를 결부하여 구체적으로 후술하기로 한다.
일 실시예에 따르면, 프로세서(120)는, 감지된 조도가 제 1 범위보다 작은 지정된 제 2 범위인 경우, 이미지의 전체 휘도를 제 1 휘도 레벨보다 작은 제 2 휘도 레벨로 설정할 수 있다. 프로세서(120)는, 이미지에 포함된 적어도 하나의 오브젝트의 윤곽선을 식별할 수 있다. 프로세서(120)는 식별된 윤곽선에 기반하여, 이미지를 윤곽선에 대응하는 윤곽 영역 및 윤곽 영역을 제외한 비윤곽 영역으로 나눌 수 있다. 프로세서(120)는, 윤곽 영역의 휘도를 비윤곽 영역의 휘도보다 높게 설정하는 것에 의해, 제 2 변환 이미지를 생성하고, 디스플레이가 제 2 휘도 레벨에 기반하여 제 2 변환 이미지를 표시하도록 제어할 수 있다. 프로세서(120)는, 제 1 변환 이미지에 포함된 윤곽선의 컬러를 화이트 컬러 또는 그린 컬러로 설정할 수 있다. 이러한 웨어러블 전자 장치(200)의 동작은 도 6b 및 도 7b를 결부하여 구체적으로 후술하기로 한다.
일 실시예에 따르면, 프로세서(120)는, 감지된 조도가 제 2 범위보다 작은 지정된 제 3 범위인 경우, 이미지의 전체 휘도를 제 2 휘도 레벨보다 작은 제 3 휘도 레벨로 설정할 수 있다. 프로세서(120)는, 디스플레이가 제 3 휘도 레벨에 기반하여 이미지를 표시하도록 제어할 수 있다. 이러한 웨어러블 전자 장치(200)의 동작은 도 6c 및 도 7c를 결부하여 구체적으로 후술하기로 한다.
도 6a는 일 실시예에 따른 웨어러블 전자 장치(200)의 외부 조도가 제 1 범위인 경우에 웨어러블 전자 장치(200)의 디스플레이로부터 출력되는 이미지 및 글라스의 적어도 일부분(예: 도 2의 시스루 디스플레이(204))를 통해 보여지는 시스루 화면을 나타낸 예시이다. 도 7a는 도 6a에 도시된 일 실시예에 따른 시스루 화면의 일부를 확대한 도면이다.
도 6a에서 611 이미지는 웨어러블 전자 장치(200)의 외부 조도가 제 1 범위인 경우에 웨어러블 전자 장치(200)의 디스플레이로부터 출력되는 이미지를 나타낼 수 있다.
도 6a 및 도 7a에서, 612 이미지는 611 이미지를 디스플레이가 출력함에 따라 렌즈를 통해 사용자(202)에게 보여지는 시스루 화면을 나타낸 예시이다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 외부 조도가 지정된 제 1 범위인 경우 디스플레이가 윤관선 이미지만을 표시하도록 제어할 수 있다. 도 6a 및 도 7a에서는, 웨어러블 전자 장치(200)가 외부 조도가 약 80000 lux인 환경에서 디스플레이가 윤곽선 이미지만을 표시하도록 제어하는 것을 예시적으로 나타내고 있다.
외부 조도가 약 80000 lux와 같이 제 1 범위인 맑은 날씨의 야외 환경에서는, 웨어러블 전자 장치(200)의 시스루 디스플레이(204)를 통해 사용자(202)에게 보여지는 이미지의 시인성이 낮을 수 있다. 약 80000 lux로 예시된 밝은 날 야외 조도 환경에서 높은 시인성을 갖는 웨어러블 전자 장치(200)의 구동을 위해서는 매우 큰 디스플레이 구동 전력이 필요할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(200)는 외부 조도가 약 80000 lux와 같이 제 1 범위인 맑은 날씨의 야외 환경에서, 시인성 향상을 위해 디스플레이가 사용할 수 있는 최대 소모 전력을 디스플레이 화면의 윤곽부(613a)를 표시하는데 사용하도록 설정할 수 있다.
도 6a 및 도 7a의 예시에 따르면, 윤곽부(613a)에 해당하는 픽셀의 비율은 전체 화면의 약 7%에 해당할 수 있다. 웨어러블 전자 장치(200)는 윤곽부(613a) 이외의 픽셀 영역(예: 비윤곽부(613b))에 해당하는 픽셀들은 오프되도록 구동하고, 디스플레이가 사용할 수 있는 최대 소모 전력을 윤곽부(613a)에 해당된 픽셀들을 온시키는데 사용할 수 있다. 이 경우, 디스플레이의 전체적인 구동 전력의 증가 없이도 윤곽부(613a)에 해당된 픽셀들은, 산술적으로는 100/7인 약 14배 정도의 휘도 증가를 예상할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 윤곽부(613a)의 컬러를 화이트 또는 시감 특성의 반응이 높은 그린으로 설정할 수 있다.
일 실시예에 따르면, 프로세서(120)는, 감지된 조도가 지정된 제 1 범위인 경우, 이미지의 전체 휘도를 제 1 휘도 레벨로 설정할 수 있다. 프로세서(120)는, 이미지에 포함된 적어도 하나의 오브젝트(613)의 윤곽선을 식별할 수 있다. 프로세서(120)는, 식별된 윤곽선만을 포함하는 제 1 변환 이미지를 생성하고, 디스플레이(예: 도 4의 디스플레이 패널(410))가 제 1 휘도 레벨에 기반하여 제 1 변환 이미지를 표시하도록 제어할 수 있다. 여기서, 제 1 변환 이미지는 윤곽부(613a)만을 포함한 이미지를 의미할 수 있다. 프로세서(120)는, 제 1 변환 이미지에 포함된 윤곽선의 컬러를 화이트 컬러로 표시할 수 있으나, 이에 국한되지 않고 시감 특성의 반응이 높은 그린 컬러로 설정할 수 있다.
일 실시예에 따르면, 프로세서(120)는, 제 1 변환 이미지에 포함된 윤곽선의 컬러를 화이트 컬러 또는 그린 컬러 이외에도 상기 윤곽선 주변에서 표시되는 이미지의 컬러에 기반하여 윤곽선의 컬러를 변경할 수 있다. 예를 들어, 프로세서(120)는, 윤곽선 주변에서 표시되는 이미지의 컬러의 보색을 결정하고, 상기 윤곽선의 컬러를 상기 결정된 보색으로 설정할 수 있다. 전자 장치(101)는 윤곽선의 컬러를 윤곽선 주변에서 표시되는 이미지의 컬러의 보색으로 설정함으로써, 윤곽선에 대한 시인성을 높일 수 있다.
일 실시예에 따르면, 프로세서(120)는, 감지된 조도의 크기에 비례하여 제 1 변환 이미지에 포함된 윤곽선의 너비(예: 길이, 두께, 또는 폭)를 증가시킬 수 있다. 예를 들어, 프로세서(120)는 외부 조도가 제 1 범위인 상태에서도, 외부 조도의 크기에 따라 윤곽선의 너비를 조정할 수 있다.
일 실시예에 따르면, 프로세서(120)는, 시인성 강화 모드가 활성화되면, 디스플레이(410)의 복수의 픽셀들을 윤곽부(613a)에 해당되는 온 픽셀 그룹 및 비윤곽부(613b)에 해당되는 오프 픽셀 그룹으로 나눌 수 있다. 프로세서(120)는 디스플레이(410)를 통해 제 1 변환 이미지를 표시하는 동안, 온 픽셀 그룹의 휘도가 향상되도록 온 픽셀 그룹에게 지정된 전력 및 오프셋 전력을 인가할 수 있다. 여기서, 오프셋 전력은 오프 픽셀 그룹을 턴온하는데 사용되는 전력일 수 있다.
본 개시에서, 제 1 변환 이미지는, 전술한 바와 같이, 이미지에 포함된 적어도 하나의 오브젝트(613)의 윤곽부(613a)만을 표시하는 이미지를 의미할 수 있다.
본 개시에서, 윤곽부(613a)는 이미지에 포함된 적어도 하나의 오브젝트(613)의 윤곽선만을 포함한 윤곽 영역을 의미할 수 있다.
본 개시에서, 비윤곽부(613b)는 이미지에 포함된 적어도 하나의 오브젝트(613)의 윤곽선 안쪽에 위치한 비윤곽 영역을 의미할 수 있다.
도 6b는 일 실시예에 따른 웨어러블 전자 장치(200)의 외부 조도가 제 2 범위인 경우에 웨어러블 전자 장치(200)의 디스플레이(예: 도 4의 디스플레이 패널(410))로부터 출력되는 이미지 및 렌즈를 통해 보여지는 시스루 화면을 나타낸 예시이다. 도 7b는 도 6b에 도시된 일 실시예에 따른 시스루 화면의 일부를 확대한 도면이다.
도 6b에서 621 이미지는 웨어러블 전자 장치(200)의 외부 조도가 제 2 범위인 경우에 웨어러블 전자 장치(200)의 디스플레이(410)로부터 출력되는 이미지를 나타낼 수 있다.
도 6b 및 도 7b에서, 622 이미지는 621 이미지를 디스플레이(410)가 출력함에 따라 렌즈를 통해 사용자(202)에게 보여지는 시스루 화면을 나타낸 예시이다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 외부 조도가 지정된 제 2 범위인 경우 디스플레이(예: 도 4의 디스플레이 패널(410))가 윤곽부(623a)의 휘도와 비윤곽부(623b)의 휘도를 다르게 설정한 이미지를 표시하도록 제어할 수 있다. 도 6b 및 도 7b에서는, 웨어러블 전자 장치(200)가 외부 조도가 약 2500 lux인 흐린 날씨의 야외 환경, 또는 그늘 환경에서 디스플레이(410)가 윤곽부(623a)의 휘도와 비윤곽부(623b)의 휘도를 다르게 설정한 이미지를 표시하는 것을 예시적으로 나타내고 있다.
외부 조도가 약 2500 lux와 같이 제 2 범위인 흐린 날씨의 야외 환경, 또는 그늘 환경에서는, 웨어러블 전자 장치(200)의 시스루 디스플레이(예: 도 2의 시스루 디스플레이(204))를 통해 사용자(202)에게 보여지는 이미지의 시인성이 도 6a 및 도 7a의 예시된 환경보다는 향상될 수 있다. 그러나, 흐린 날씨의 야외 환경, 또는 그늘 환경도, 실내 환경보다는 밝은 환경이기 때문에 시인성 저하 현상이 발생할 수 있고, 높은 시인성을 갖는 웨어러블 전자 장치(200)의 구동을 위해서는 매우 큰 디스플레이(410) 구동 전력이 필요할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(200)는 외부 조도가 약 2500 lux와 같이 제 2 범위인 흐린 날씨의 야외 환경, 또는 그늘 환경에서, 시인성 향상을 위해 윤곽부(623a)의 휘도가 비윤곽부(623b)의 휘도보다 크도록 설정할 수 있다. 이에 따라, 웨어러블 전자 장치(200)는 시인성을 높이면서도 소비 전력을 줄일 수 있다.
일 실시예에 따르면, 프로세서(120)는, 감지된 조도가 제 1 범위보다 작은 지정된 제 2 범위인 경우, 이미지의 전체 휘도를 제 1 휘도 레벨보다 작은 제 2 휘도 레벨로 설정할 수 있다. 프로세서(120)는, 이미지에 포함된 적어도 하나의 오브젝트(623)의 윤곽선을 식별하고, 식별된 윤곽선에 기반하여, 이미지를 윤곽선에 대응하는 윤곽 영역 및 윤곽 영역을 제외한 비윤곽 영역으로 나눌 수 있다. 프로세서(120)는, 윤곽 영역의 휘도를 비윤곽 영역의 휘도보다 높게 설정하는 것에 의해, 제 2 변환 이미지를 생성하고, 디스플레이(410)가 제 2 휘도 레벨에 기반하여 제 2 변환 이미지를 표시하도록 제어할 수 있다.
일 실시예에 따르면, 제 2 변환 이미지의 채도를 변환 전 이미지의 채도보다 낮게 설정할 수 있다. 예를 들어, 웨어러블 전자 장치(200)는, 외부 조도가 약 2500 lux와 같이 제 2 범위인 흐린 날씨의 야외 환경, 또는 그늘 환경에서는, 이미지에 포함된 오브젝트(623)의 비윤곽부(623b)를 표시하도록 설정하되, 비윤곽부(623b)의 채도를 낮춤으로써 소비 전력을 줄일 수 있다.
본 개시에서, 제 2 변환 이미지는, 전술한 바와 같이, 이미지에 포함된 적어도 하나의 오브젝트(623)의 윤곽부(623a)의 휘도를 비윤곽부(623b)의 휘도보다 높게 설정한 이미지를 의미할 수 있다.
도 6c는 일 실시예에 따른 웨어러블 전자 장치(200)의 외부 조도가 제 3 범위인 경우에 웨어러블 전자 장치(200)의 디스플레이(예: 도 4의 디스플레이 패널(410))로부터 출력되는 이미지 및 렌즈를 통해 보여지는 시스루 화면을 나타낸 예시이다. 도 7c는 도 6c에 도시된 일 실시예에 따른 시스루 화면의 일부를 확대한 도면이다.
도 6c에서 631 이미지는 웨어러블 전자 장치(200)의 외부 조도가 제 3 범위인 경우에 웨어러블 전자 장치(200)의 디스플레이(예: 도 4의 디스플레이 패널(410))로부터 출력되는 이미지를 나타낼 수 있다.
도 6c 및 도 7c에서, 632 이미지는 631 이미지를 디스플레이(410)가 출력함에 따라 렌즈를 통해 사용자(202)에게 보여지는 시스루 화면을 나타낸 예시이다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 외부 조도가 지정된 제 3 범위인 경우 디스플레이(410)가, 별도의 휘도 제어 없이, 이미지를 표시하도록 제어할 수 있다. 도 6c 및 도 7c에서는, 웨어러블 전자 장치(200)가 외부 조도가 약 700 lux인 실내 환경에서 디스플레이(410)가, 오브젝트(633)에 대한 별도의 휘도 제어 없이, 이미지를 표시하는 것을 예시적으로 나타내고 있다.
외부 조도가 약 700 lux와 같이 어두운 실내 환경에서는, 웨어러블 전자 장치(200)의 시스루 디스플레이(예: 도 2의 시스루 디스플레이(204))를 통해 사용자(202)에게 보여지는 이미지의 시인성이 뛰어날 수 있다. 따라서, 웨어러블 전자 장치(200)는 외부 조도가 약 700 lux와 같이 어두운 실내 환경에서는, 오브젝트(633)에 대한 별도의 휘도 제어 없이, 이미지를 표시할 수 있다.
일 실시예에 따르면, 프로세서(120)는, 감지된 조도가 제 2 범위보다 작은 지정된 제 3 범위인 경우, 이미지의 전체 휘도를 제 2 휘도 레벨보다 작은 제 3 휘도 레벨로 설정할 수 있다. 프로세서(120)는, 디스플레이(410)가 제 3 휘도 레벨에 기반하여, 별도의 휘도 제어 없이, 이미지를 표시하도록 제어할 수 있다.
도 6a 내지 도 7c에서는, 웨어러블 전자 장치(200)가 예시적으로 3가지 조도 레벨로 조도 환경을 구분하였으나, 디스플레이(410)의 소비 전력 내에서 조도 레벨에 따른 휘도 설정은 가변적으로 조정하는 것이 가능하고, 조도 레벨에 따라 윤곽부와 비윤곽부의 휘도 비율을 가변적으로 조정하는 것이 가능할 수 있다. 예를 들어, 웨어러블 전자 장치(200)는 밝은 조도 환경일수록 윤곽부와 비윤곽부의 휘도 비율 차이는 증가하게 설정할 수 있고, 외부 조도에 비례하여 비윤곽부의 휘도는 낮아져서 결국에는 윤곽부만 구동되는 상태가 될 수 있다. 마찬가지로, 웨어러블 전자 장치(200)는 낮은 조도 환경일수록 윤곽부와 비윤곽부의 휘도 비율 차이가 감소하게 설정할 수 있고, 결국에는 윤곽부와 비윤곽부의 휘도 비율이 동일해져서 윤곽부 및 비윤곽부가 구분되지 않는 상태가 될 수도 있다.
도 8은 일 실시예에 따른 웨어러블 전자 장치(200)가 야외 복합 조도 환경인 경우, 웨어러블 전자 장치(200)의 디스플레이(410)로부터 출력되는 이미지에 따른 시스루 화면을 나타낸 예시이다.
도 8서 811 이미지는 웨어러블 전자 장치(200)가 야외 복합 조도 환경인 경우, 웨어러블 전자 장치(200)의 디스플레이(410)로부터 출력되는 이미지를 나타낼 수 있다.
도 8에서, 812 이미지는 811 이미지를 디스플레이(410)가 출력함에 따라 렌즈를 통해 사용자(202)에게 보여지는 시스루 화면을 나타낸 예시이다.
도 8을 참조하면, 일 실시예에 따른 웨어러블 전자 장치(200)는 외부 환경의 위치별 조도 차이에 연동하여 윤곽부(예: 도 6b의 윤곽부(623a))와 비윤곽부(예: 도 6b의 비윤곽부(623b))의 휘도비를 영역별로 서로 다르게 설정할 수 있다. 예를 들어, 야외 환경에서 사용자(202)가 바라보는 외부 환경은 양지와 음지가 공존하는 경우가 있을 수 있고, 양지의 조도는 밝고 음지의 조도는 상대적으로 낮다. 웨어러블 전자 장치(200)는, 표시 화면의 시인성을 높이고 소비 전력의 절감을 위해, 사용자(202)의 시선에서 양지에 해당되는 양지 영역(821) 및 사용자(202)의 시선에서 음지에 해당되는 음지 영역(822)을 결정할 수 있다. 웨어러블 전자 장치(200)는, 이미지에서 양지 영역(821)에 대응하는 일부분은 윤곽부(예: 도 6a의 윤곽부(613a))만을 표시하도록 설정하고, 이미지에서 음지 영역(822)에 대응하는 다른 일부분은 윤곽부(623a)와 비윤곽부(623b)의 휘도비가 조정된 이미지를 표시하도록 디스플레이(410)를 제어할 수 있다.
일 실시예에 따르면, 프로세서(120)는, 조도 센서(1010)를 이용하여 웨어러블 전자 장치(200)의 전방 환경에 대응하는 밝기 지도(예: 도 11의 밝기 지도(1162))를 생성할 수 있다. 밝기 지도(1162)는 웨어러블 전자 장치(200)의 전방 환경의 영역별로 매핑된 밝기 정보를 포함할 수 있다. 프로세서(120)는, 안구 추적 카메라를 이용해 사용자(202)의 안구를 추척하고, 사용자(202)의 안구를 추적하는 것에 의해 웨어러블 전자 장치(200)의 전방 환경 중에서 사용자(202)의 시선 방향을 결정할 수 있다. 프로세서(120)는, 밝기 지도(1162)에 기반하여, 사용자(202)의 시선 방향에 대응하는 시야 영역의 영역별 밝기를 결정할 수 있다. 프로세서(120)는, 시야 영역의 영역별 밝기에 기반하여, 시야 영역을 양지 영역(821) 및 음지 영역(822)으로 나눌 수 있다. 예를 들어, 도 8에 도시된 811 이미지 및 812 이미지 각각에서 821 영역은, 웨어러블 전자 장치(200)의 프로세서(120)에 의해 양지 영역(821)으로 설정된 영역일 수 있다. 도 8에 도시된 811 이미지 및 812 이미지 각각에서 822 영역은, 웨어러블 전자 장치(200)의 프로세서(120)에 의해 음지 영역(822)으로 설정된 영역일 수 있다.
일 실시예에 따르면, 프로세서(120)는, 양지 영역(821)을 통해 제 1 변환 이미지가 표시하고, 음지 영역(822)을 통해 제 2 변환 이미지를 표시하도록 디스플레이(410)를 제어할 수 있다. 예를 들어, 프로세서(120)는 웨어러블 전자 장치(200)는, 이미지에서 양지 영역(821)에 대응하는 일부분은 윤곽부(예: 도 6a의 윤곽부(613a))만을 표시하는 제 1 변환 이미지의 형태로 표시하고, 이미지에서 음지 영역(822)에 대응하는 다른 일부분은 윤곽부(623a)와 비윤곽부(623b)의 휘도비가 조정되는 제 2 변환 이미지의 형태로 표시할 수 있다. 예를 들어, 웨어러블 전자 장치(200)는 양지 영역(821)에서, 적어도 하나의 제 1 오브젝트(831)를 표시하되, 도 6a의 예시와 동일 또는 유사하게, 제 1 오브젝트(831)에 대한 윤곽선만을 표시할 수 있다. 웨어러블 전자 장치(200)는 음지 영역(822)에서, 적어도 하나의 제 2 오브젝트(832)를 표시하되, 도 6b의 예시와 동일 또는 유사하게, 제 2 오브젝트(832)는 윤곽부(623a)와 비윤곽부(623b)의 휘도비가 조정된 형태로 표시할 수 있다.
도 9는 일 실시예에 따른 웨어러블 전자 장치(900)의 개략적인 구성도이다.
도 9를 참조하면, 일 실시예에 따른 웨어러블 전자 장치(900)(예: 도 2의 웨어러블 전자 장치(200))는, 조도 센서(910)(예: 도 3의 센서 모듈(320)), 제 1 카메라(921)(예: 도 3의 카메라(350)), 제 2 카메라(922)(예: 도 3의 카메라(350)), 제 3 카메라(931)(예: 도 3의 카메라(350)), 및/또는 제 4 카메라(932)(예: 도 3의 카메라(350))를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 프레임 부재(961, 962) 및 안경 다리 부재(951, 952)를 포함하는 안경 형태를 가질 수 있다. 프레임 부재(961, 962)는 사용자(202)의 우안에 대응하고 제 1 시스루 디스플레이(204)를 둘러싸는 제 1 프레임 부재(961), 사용자(202)의 좌안에 대응하고 제 2 시스루 디스플레이(204)를 둘러싸는 제 2 프레임 부재(962), 및 제 1 프레임 부재(961) 및 제 2 프레임 부재(962) 사이에 위치하는 브릿지 부재(971)를 포함할 수 있다. 안경 다리 부재(951, 952)는 제 1 프레임 부재(961)의 일단과 연결되는 제 1 안경 다리 부재(951), 및 제 2 프레임 부재(962)의 일단과 연결되는 제 2 안경 다리 부재(952)를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)의 조도 센서(910)는 브릿지 부재(971)의 적어도 일부분에 배치될 수 있으나, 이에 국한되지 않을 수 있다. 웨어러블 전자 장치(200)는, 일 실시예에 따르면, 웨어러블 전자 장치(200)는 조도 센서(910)를 이용해 웨어러블 전자 장치(200) 주변의 조도를 감지할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 웨어러블 전자 장치(200)의 전방을 촬영하도록 구성된 적어도 하나의 전방 카메라로서, 제 1 카메라(921) 및 제 2 카메라(922)를 포함할 수 있다. 제 1 카메라(921)는 제 1 프레임 부재(961)의 적어도 일부분에 배치될 수 있다. 제 2 카메라(922)는 제 2 프레임 부재(962)의 적어도 일부분에 배치될 수 있다. 제 1 카메라(921)와 제 2 카메라(922)는 브릿지 부재(971)를 기준으로 대칭적으로 위치할 수 있다. 제 1 카메라(921)와 제 2 카메라(922)는 웨어러블 전자 장치(200)의 전방의 상황을 감시할 수 있는 카메라 쌍으로써, 웨어러블 전자 장치(200)의 움직임, 사용자(202)의 머리의 회전 등을 검출하도록 구성될 수 있다. 웨어러블 전자 장치(200)는, 제 1 카메라(921)와 제 2 카메라(922)에 의해 감지된 데이터 또는 신호를 이용하여 웨어러블 전자 장치(200) 주변의 환경 지도를 생성하고, 주변 환경과 웨어러블 전자 장치(200)에서 생성된 이미지의 혼합을 수행할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 사용자(202)의 안구를 추적하도록 구성된 적어도 하나의 안구 추적 카메라로서, 제 3 카메라(931) 및 제 4 카메라(932)를 포함할 수 있다. 제 3 카메라(931)는 제 1 프레임 부재(961)의 적어도 일부분에 배치될 수 있다. 제 4 카메라(932)는 제 2 프레임 부재(962)의 적어도 일부분에 배치될 수 있다. 제 3 카메라(931)와 제 4 카메라(932)는 브릿지 부재(971)를 기준으로 대칭적으로 위치할 수 있다. 웨어러블 전자 장치(200)는 제 3 카메라(931) 및 제 4 카메라(932)를 이용하여 사용자(202)의 안구를 추적함에 따라 사용자(202)의 시선 방향을 결정하고, 결정된 사용자(202)의 시선 방향에 기반하여 사용자(202) 인터렉션과 관련된 기능들을 수행할 수 있다. 사용자(202) 인터렉션과 관련된 기능들은, 사용자(202)의 시선 방향에 대응하는 정보를 시스루 디스플레이(204)를 통해 표시하는 기능, 사용자(202)의 시선 방향에 대응하는 시선 영역에서 영역별 밝기에 따라 오브젝트를 표시하는 형태를 동적으로 가변하는 기능 등을 포함할 수 있다.
도 10은 일 실시예에 따른 웨어러블 전자 장치(200)에서 이미지를 생성하는 구성요소를 나타낸 블록도이다.
도 10을 참조하면, 일 실시예에 따른 웨어러블 전자 장치(200)는, 조도 센서(1010)(예: 도 9의 조도 센서(910)), 제 1 카메라(1021)(예: 도 9의 제 1 카메라(921)), 제 2 카메라(1022)(예: 도 9의 제 2 카메라(922)), 제 3 카메라(1031)(예: 도 9의 제 3 카메라(931)), 및/또는 제 4 카메라(1032)(예: 도 9의 제 4 카메라(932))를 포함하고, 이들 각각으로부터 획득된 데이터 또는 신호는 웨어러블 전자 장치(200)의 이미지 처리 프로세서(1060)에 입력될 수 있다. 도 10에 도시된 이미지 처리 프로세서(1060)는 도 1에 도시된 프로세서(120) 또는 도 3에 도시된 프로세서(300)와 실질적으로 동일하거나, 그 내부에 포함된 구성요소일 수 있다. 일 실시예에 따르면, 이미지 처리 프로세서(1060)는, 조도 감지 모듈(1061), 헤드 추적 모듈(1063), 시선 추적 모듈(1064), 밝기 지도 모듈(1062), 에지 검출 모듈(1065), 또는 이미지 변환 모듈(1066)을 포함할 수 있다.
일 실시예에 따르면, 조도 감지 모듈(1061)은 조도 센서(1010)를 통해 획득한 신호에 기반하여 웨어러블 전자 장치(200) 주변 환경의 전반적인 조도 레벨을 결정할 수 있다.
일 실시예에 따르면, 밝기 지도 모듈(1062)은 조도 센서(1010)를 통해 획득한 웨어러블 전자 장치(200) 주변의 조도 정보와 제 1 카메라(1021) 및 제 2 카메라(1022)를 통해 획득한 이미지 정보들을 결합하여 밝기 지도(예: 도 11의 밝기 지도(1162))를 생성할 수 있다.
일 실시예에 따르면, 헤드 추적 모듈(1063)은 제 1 카메라(1021) 및 제 2 카메라(1022)를 통해 획득한 이미지 정보들을 이용해 웨어러블 전자 장치(200)의 움직임 및 사용자(202)의 머리의 방향을 결정할 수 있다.
일 실시예에 따르면, 시선 추적 모듈(1064)은 제 3 카메라(1031) 및 제 4 카메라(1032)를 통해 사용자(202)의 시선을 추적하고, 사용자(202)의 시선에 관련한 데이터는 헤드 추적 모듈(1063)에 의해 결정된 웨어러블 전자 장치(200)의 움직임 및 사용자(202)의 머리의 방향에 관한 데이터와 결합되어 사용자(202)가 웨어러블 전자 장치(200)의 주변 환경 중에서 어느 방향을 바라보고 있는지에 대한 다차원 복합 정보를 생성할 수 있다.
일 실시예에 따르면, 에지 검출 모듈(1065)은, 디스플레이 패널(410)이 표시할 이미지로부터 적어도 하나의 오브젝트의 에지 영역(예: 윤곽 영역)을 검출하는 동작을 수행할 수 있다.
일 실시예에 따르면, 이미지 변환 모듈(1066)은 검출된 에지 영역에 기반하여 윤곽부만을 포함하는 제 1 변환 이미지를 생성하거나, 또는 윤곽부의 휘도 및 비윤곽부의 휘도가 다른 제 2 변환 이미지를 생성할 수 있다. 일 실시예에 따르면, 이미지 변환 모듈(1066)은 밝기 지도(1162)와 사용자(202)의 시선 방향을 매칭 및 결합하여 제 1 변환 이미지 또는 제 2 변환 이미지를 생성할 수 있다. 이미지 변환 모듈(1066)에 의해 생성된 제 1 변환 이미지 또는 제 2 변환 이미지는 디스플레이 패널(410)을 통해 출력될 수 있도록 이미지 처리 프로세서(1060)로부터 디스플레이 패널(410)을 구동하는 display driving IC(DDI)(1080)에 전달될 수 있다.
도 11은 일 실시예에 따른 웨어러블 전자 장치(200)에서 밝기 지도(1162)를 생성하는 구성요소를 나타낸 블록도이다.
도 11을 참조하면, 일 실시예에 따른 이미지 처리 프로세서(1100)(예: 도 10의 이미지 처리 프로세서(1060))는 해상도 변경 모듈(1101), 타이밍 제어 모듈(1102), 누적 모듈(1103), 및/또는 처리 모듈(1104)을 포함할 수 있다. 일 실시예에 따르면, 이미지 처리 프로세서(1100)는 웨어러블 전자 장치(200)의 위치를 추적하는 위치 추적 모듈(1105)을 더 포함할 수 있다. 도 11에 개시된 이미지 처리 프로세서(1100)는 도 10을 참조하여 설명한 이미지 처리 프로세서(1060)와 실질적으로 동일하거나, 또는 도 10을 참조하여 설명한 이미지 처리 프로세서(1060)의 적어도 일부에 해당되는 처리 모듈일 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(200)는 깊이 정보를 추출하도록 구성된 깊이 카메라(1120)를 포함할 수 있다. 깊이 카메라(1120)는 도 10에 도시된 제 1 카메라(1021) 및 제 2 카메라(1022)를 결합한 카메라일 수 있다. 깊이 카메라(1120)는 제 1 카메라(1021)를 통해 획득한 이미지의 시차 및 제 2 카메라(1022)를 통해 획득한 이미지의 시차가 다른 특징을 이용하여 깊이 정보를 생성할 수 있다. 깊이 카메라(1120)로부터 생성된 깊이 정보는 이미지 시그널 프로세서(1100)에 입력될 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(200)는 깊이 카메라(1120)를 이용해 깊이 정보 및 주변 환경에 대응하는 이미지(예: 주변 환경 정보)를 획득할 수 있다.
일 실시예에 따르면, 이미지 시그널 프로세서(1100)의 해상도 변경 모듈(1101)은 깊이 카메라(1120)를 이용해 획득한 이미지의 크기를 조정할 수 있다. 해상도 변경 모듈(1101)은 입력된 이미지의 일부분을 비닝(binning)하는 동작 등을 수행하여, 원본 영상 대비 낮은 해상도의 이미지를 생성할 수 있다. 이러한 이미지 시그널 프로세서(1100)는 입력된 이미지의 해상도를 낮춤으로써 밝기 지도(1162)를 추출하는 속도를 높일 수 있다. 일 실시예에 따르면, 깊이 카메라(1120)에 의해 입력되는 이미지는 해상도 변경 모듈(1101)을 거치지 않고 누적 모듈(1103)로 입력될 수 있다.
도 11에서, 해상도 변경 모듈(1101)의 출력은 Fi(x,y)로 표시된다. 도 11에서, Fi(x,y)와 Gi(x,y)는 영상 정보를 나타내며, i는 취득된 영상의 개수를 나타내는 정수 값이고, (x, y)는 밝기 지도(1162) 내에서 영상 좌표를 나타낸다.
일 실시예에 따르면, 타이밍 제어 모듈(1102)은 깊이 카메라(1120)로부터 이미지 정보를 입력받는 타이밍을 제어할 수 있다. 타이밍 제어 모듈(1102)은 깊이 카메라(1120) 내부의 촬상 소자의 노출 시간을 제어하기 위한 제어 신호를 생성할 수 있다. 일 실시예에 따르면, 타이밍 제어 모듈(1102)은 누적 모듈(1103)이 연산을 수행하는 타이밍을 제어할 수 있다. 타이밍 제어 모듈(1102)은 제어 신호를 출력하는 간격을 촬영 상황에 따라 가변할 수 있다. 이에 따라 타이밍 제어 모듈(1102)은 이미지 시그널 프로세서(1100)로부터 출력되는 이미지의 frame/sec (FPS)를 가변시킬 수 있으며, 동일 FPS 상황에서 타이밍 제어 신호의 듀티비(duty ratio)를 조정할 수 있다.
일 실시예에 따르면, 누적 모듈(1103)은 해상도 변경 모듈(1101)로부터 출력되는 이미지 신호를 누적하는 가산부일 수 있다. 누적 모듈(1103)의 연산 결과는 Gi(x,y)이고, Gi(x,y)는 Fi(x,y)와 Gi(x,y)의 이전 정보인 Gi-1(x,y)가 더해진 형태의 이미지 정보가 된다. 예를 들어, 해상도 변경 모듈(1101)의 최초 영상 출력 정보가 F1(x,y)이라고 할 때, 누적 모듈(1103)에는 F1(x,y)과 함께 “”이 입력될 수 있다. 따라서, 누적 모듈(1103)의 최초 출력 정보는 “”이 되고, 누적 모듈(1103)의 2번째 출력 정보는 “”가 된다. 이와 같이, 누적 모듈(1103)은 해상도 변경 모듈(1101)의 출력 정보를 누적하는 연산을 할 수 있다.
일 실시예에 따르면, 처리 모듈(1104)은 누적 모듈(1103)의 출력 정보인 Gi(x,y)을 통해 영상 좌표 (x, y)의 절대적인 광량을 추출하는 연산부를 포함할 수 있다. 처리 모듈(1104)은 카메라에서 영상의 밝기를 조절하는 파라미터인 렌즈 F 값, ISO(international standard organization), 노출(exposure), 셔터 스피드 등의 정보를 이용하여 촬상 소자에 도달하는 광선의 절대 광량을 측정할 수 있다. 일반적으로 아주 밝은 광원을 촬상할 때, 촬상 소자의 픽셀 출력이 포화되는 것을 방지하기 위해서는 셔터 스피드가 빨라야 하고, ISO는 최대한 낮추어야 한다. 처리 모듈(1104)은 타이밍 제어 모듈(1102)을 제어하여, 셔터 스피드를 빠르게 조정하고, 웨어러블 전자 장치(200)의 주변 환경 중에서 큰 조도를 갖는 영역을 추출할 수 있다.
일 실시예에 따르면, 처리 모듈(1104)은 타이밍 제어 모듈(1102)을 제어하여, 추출하는 영상의 개수를 조정할 수 있다. 추출되는 영상의 개수가 증가할수록 영상의 밝기를 더 정밀하게 추출할 수 있다. 예를 들어, 도 11에 도시된 Gi(x,y)에서 i의 값이 커질수록 더욱 정밀한 밝기 지도(1162)의 생성이 가능하다. 일 실시예에 따르면, 처리 모듈(1104)은 외부 조도가 지정된 임계값보다 큰 환경인 경우에, 밝기 영상 취득을 위한 영상 개수인 i 값을 제한하도록 설정될 수 있다.
일 실시예에 따르면, 처리 모듈(1104)은 위치 추적 모듈(1105)을 통해 추출된 웨어러블 전자 장치(200)의 위치 정보를 이용할 수 있고, 이에 따라 처리 모듈(1104)은 웨어러블 전자 장치(200)의 주변 환경 전체에 대응하는 밝기 지도(1162)를 생성할 수 있다.
도 12는 일 실시예에 따른 웨어러블 전자 장치(200)에서 외부 조도에 기반하여 이미지를 생성하는 동작의 흐름도이다.
도 12에 도시된 동작들은 프로세서(120)(예: 도 1의 프로세서(120))에 의해 수행될 수 있다. 예를 들면, 전자 장치의 메모리(예: 도 1의 메모리(130))는, 실행시에, 프로세서(120)가 도 12에 도시된 적어도 일부 동작들을 수행하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
동작 1261은 도 10에서 설명한 일 실시예에 따른 조도 센서(1010)를 이용해 웨어러블 전자 장치(200)의 주변 환경의 조도 레벨을 획득하는 동작을 나타낼 수 있다.
동작 1262은 도 11에서 설명한 일 실시예에 따른 밝기 지도(1162)를 획득하는 동작을 나타낼 수 있다.
동작 1263은 도 10에서 설명한 일 실시예에 따른 헤드 추적 모듈(1063) 및 시선 추적 모듈(1064)을 이용하여 웨어러블 전자 장치(200)의 움직임, 사용자(202)의 머리의 방향, 및 사용자(202)의 시선 방향에 기반한 웨어러블 전자 장치(200)의 위치를 결정하는 동작을 나타낼 수 있다.
동작 1271은, 동작 1261, 동작 1262, 및 동작 1263에서 추출된 정보들에 기반하여 웨어러블 전자 장치(200)의 디스플레이(예: 도 4의 디스플레이 패널(410))로터 출력되는 이미지의 화면을 M x N 의 조도 단위 영역으로 나누는 동작일 수 있다. 프로세서(120)는, 나누어진 각 단위 영역별로 윤곽부(예: 도 6b의 윤곽부(623a))와 비윤곽부(예: 도 6b의 비윤곽부(623b))의 휘도 비율을 결정할 수 있다. 예를 들어, 프로세서(120)는 동작 1271에서, 각 조도 단위 영역별로 윤곽부(623a)와 비윤곽부(623b)의 구동 방식을 결정할 수 있다. 프로세서(120)는, 밝기 지도(1162)에 기반하여, 사용자(202)의 시선 방향에 대응하는 시야 영역의 영역별 밝기를 결정할 수 있다. 프로세서(120)는, 시야 영역의 영역별 밝기에 기반하여, 시야 영역을 양지 영역(예: 도 8의 양지 영역(821)) 및 음지 영역(예: 도 8의 음지 영역(822))으로 나눌 수 있다. 프로세서(120)는, 양지 영역(821)을 통해 제 1 변환 이미지(예: 도 6a의 611 이미지))를 표시하고, 음지 영역을 통해 제 2 변환 이미지(예: 도 6b의 621 이미지)를 표시하도록 디스플레이(410)를 제어할 수 있다. 예를 들어, 프로세서(120)는 웨어러블 전자 장치(200)는, 이미지에서 양지 영역(821)에 대응하는 일부분은 윤곽부(예: 도 6a의 윤곽부(613a))만을 표시하는 제 1 변환 이미지의 형태로 표시하고, 이미지에서 음지 영역(822)에 대응하는 다른 일부분은 윤곽부(예: 도 6b의 윤곽부(623a))와 비윤곽부(예: 도 6b의 비윤곽부(623b))의 휘도비가 조정되는 제 2 변환 이미지의 형태로 표시할 수 있다. 예를 들어, 웨어러블 전자 장치(200)는 양지 영역(821)에서, 적어도 하나의 제 1 오브젝트(831)를 표시하되, 도 6a의 예시와 동일 또는 유사하게, 제 1 오브젝트(831)에 대한 윤곽선만을 표시할 수 있다. 웨어러블 전자 장치(200)는 음지 영역(822)에서, 적어도 하나의 제 2 오브젝트(832)를 표시하되, 도 6b의 예시와 동일 또는 유사하게, 제 2 오브젝트(832)는 윤곽부(623a)와 비윤곽부(623b)의 휘도비가 조정된 형태로 표시할 수 있다.
도 12에 도시된 블록 1270은 웨어러블 전자 장치(200)의 시스루 디스플레이(예: 도 2의 시스루 디스플레이(204))를 통해 표시하도록 처음으로 생성된 원본 영상일 수 있다. 일 실시예에 따르면, 원본 영상은 프로세서(120) 또는 이미지 시그널 프로세서(1060)에 의해 생성될 수 있다.
동작 1265은 도 10에서 설명한 일 실시예에 따른 에지 검출 모듈(1065)을 이용해 디스플레이 패널(410)이 표시할 이미지로부터 적어도 하나의 오브젝트의 에지 영역(예: 윤곽 영역)을 검출하는 동작을 나타낼 수 있다. 동작 1265에서 생성된 에지 영역에 대응하는 에지 정보는 동작 블록 1266으로 입력될 수 있다.
동작 1266에서, 프로세서(120)는 에지 정보 및 원본 영상을 입력받고, 동작 1271에서 결정된 영역별 구동 방식(예: 윤곽부만 표시하는 형태, 또는 윤곽부(623a)와 비윤곽부(623b)의 휘도비가 조정되는 형태)에 따라 웨어러블 전자 장치(200)가 표시할 최종 출력 이미지를 생성할 수 있다. 동작 1266에서 생성된 최종 출력 이미지는 디스플레이 패널(410)을 구동하는 display driving IC(DDI)(예: 도 10의 DDI(1080))에 전달될 수 있고, 동작 1280에서, display driving IC(DDI)(1080)는 최종 출력 이미지를 표시하도록 디스플레이 패널(410)을 구동할 수 있다.
도 13은 일 실시예에 따른 웨어러블 전자 장치(200)에서 이미지의 해상도를 조정하여 픽셀의 휘도를 높이는 동작의 흐름도이다.
도 13에 도시된 동작들은 프로세서(120)(예: 도 1의 프로세서(120))에 의해 수행될 수 있다. 예를 들면, 전자 장치의 메모리(예: 도 1의 메모리(130))는, 실행시에, 프로세서(120)가 도 13에 도시된 적어도 일부 동작들을 수행하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
도 13에서 블록 1370은 일 실시예에 따른 이미지 시그널 프로세서(1060)의 내부에서 수행되는 이미지 처리 블록의 적어도 일부분을 나타낼 수 있다.
동작 1371은 도 12에서 설명한 일 실시예에 따른 동작 1266의 처리 결과를 나타낼 수 있다. 예를 들어, 이미지 시그널 프로세서(1060)는 영역별 구동 방식(예: 윤곽부만 표시하는 형태, 또는 윤곽부와 비윤곽부의 휘도비가 조정되는 형태)을 결정함에 따라 웨어러블 전자 장치(200) 이미지가 표시할 최종 출력 이미지를 생성할 수 있다.
동작 1372에서 이미지 시그널 프로세서(1060)는 동작 1371에서 생성된 최종 출력 이미지의 해상도를 축소하는 비율을 결정할 수 있다. 이미지 시그널 프로세서(1060)는 해상도를 축소하는 비율을 지정된 조건에 기반하여 결정하고, 결정된 축소 비율에 관련한 제어 신호를 출력할 수 있다.
동작 1373에서 이미지 시그널 프로세서(1060)는 축소 비율에 관한 제어 신호에 기반하여, 최종 출력 이미지의 해상도를 축소할 수 있다. 이미지 시그널 프로세서(1060)는 최종 출력 이미지의 해상도를 낮추어서 저해상도 이미지를 생성할 수 있다. 이미지 시그널 프로세서(1060)는 저해상도 이미지와 관련하여 디스플레이(예: 도 4의 디스플레이 패널(410))의 복수의 픽셀들을 온 픽셀 그룹 및 오프 픽셀 그룹으로 나눌 수 있다. 이미지 시그널 프로세서(1060)는 디스플레이(410)를 통해 저해상도 이미지를 표시하는 동안, 온 픽셀 그룹의 휘도가 향상되도록 온 픽셀 그룹에게 지정된 전력 및 오프셋 전력을 인가할 수 있다. 여기서, 오프셋 전력은 오프 픽셀 그룹을 턴온하는데 사용되는 전력일 수 있다. 결과적으로 이미지 시그널 프로세서(1060)에서 생성되어 display driving IC(DDI)(예: 도 10의 DDI(1080))에 전달되는 출력 이미지는 해상도는 줄어들었지만, 전체 휘도 측면에서는 변함이 없는 영상이 생성되고, 온 픽셀 그룹의 휘도는 증강되어 시인성이 더욱 상승된 증강 현실 이미지를 생성할 수 있다.
동작 1380에서, 이미지 시그널 프로세서(1060)는, 동작 1373에 의해 해상도가 축소된 최종 출력 이미지를 display driving IC(DDI)(예: 도 10의 DDI(1080))에 전달할 수 있다. DDI(1080)는 이미지 시그널 프로세서(1060)로부터 해상도가 축소된 최종 출력 이미지를 입력받고, 디스플레이 패널(예: 도 4의 디스플레이 패널(410))을 구동하여 입력된 이미지에 대응하는 빛을 출력하도록 할 수 있다. 디스플레이 패널(410)로부터 출력된 이미지에 대응하는 빛은 글라스(예: 도 3의 글라스(330))의 적어도 일부분인 시스루 디스플레이(예: 도 2의 시스루 디스플레이(204))를 통해 사용자에게 제공될 수 있다.
일 실시예에 따른 웨어러블 전자 장치(예: 도 2의 웨어러블 전자 장치(200))는, 적어도 하나의 렌즈(예: 도 3의 글라스(330)), 배터리(예: 도 1의 배터리(189)), 디스플레이(예: 도 3의 디스플레이 모듈(310)), 상기 디스플레이(310)로부터 이미지를 입력받고, 상기 입력된 이미지를 상기 적어도 하나의 렌즈(330)를 통해 출력하는 도파관(waveguide)(예: 도 4의 도파관(430)), 상기 웨어러블 전자 장치(200)의 외부 조도를 감지하는 조도 센서(예: 도 10의 조도 센서(1010)), 및 프로세서(예: 도 1의 프로세서(120))를 포함하고, 상기 프로세서(120)는, 지정된 이벤트에 응답하여, 시인성 강화 모드를 활성화하고, 상기 시인성 강화 모드가 활성화된 것에 응답하여, 상기 조도 센서(1010)를 이용해 상기 웨어러블 전자 장치(200)의 주변의 조도를 감지하고, 및 상기 감지된 조도에 기반하여, 상기 디스플레이(310)를 통해 출력되는 상기 이미지의 휘도, 상기 이미지에 포함된 적어도 하나의 오브젝트의 표시 형태를 동적으로 조정할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 감지된 조도가 지정된 제 1 범위인 경우, 상기 이미지의 전체 휘도를 제 1 휘도 레벨로 설정하고, 상기 이미지에 포함된 상기 적어도 하나의 오브젝트의 윤곽선을 식별하고, 상기 식별된 윤곽선만을 포함하는 제 1 변환 이미지를 생성하고, 상기 디스플레이(310)가 상기 제 1 휘도 레벨에 기반하여 상기 제 1 변환 이미지를 표시하도록 제어할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 감지된 조도가 상기 제 1 범위보다 작은 지정된 제 2 범위인 경우, 상기 이미지의 전체 휘도를 상기 제 1 휘도 레벨보다 작은 제 2 휘도 레벨로 설정하고, 상기 이미지에 포함된 상기 적어도 하나의 오브젝트의 상기 윤곽선을 식별하고, 상기 식별된 윤곽선에 기반하여, 상기 이미지를 상기 윤곽선에 대응하는 윤곽 영역 및 상기 윤곽 영역을 제외한 비윤곽 영역으로 나누고, 상기 윤곽 영역의 휘도를 상기 비윤곽 영역의 휘도보다 높게 설정하는 것에 의해, 제 2 변환 이미지를 생성하고, 상기 디스플레이(310)가 상기 제 2 휘도 레벨에 기반하여 상기 제 2 변환 이미지를 표시하도록 제어할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 제 1 변환 이미지에 포함된 상기 윤곽선의 컬러를 화이트 컬러 또는 그린 컬러로 설정할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 감지된 조도가 상기 제 2 범위보다 작은 지정된 제 3 범위인 경우, 상기 이미지의 전체 휘도를 상기 제 2 휘도 레벨보다 작은 제 3 휘도 레벨로 설정하고, 상기 디스플레이(310)가 상기 제 3 휘도 레벨에 기반하여 상기 이미지를 표시하도록 제어할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 제 2 변환 이미지의 채도를 상기 이미지의 채도보다 낮게 설정할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 감지된 조도의 크기에 비례하여 상기 제 1 변환 이미지에 포함된 윤곽선의 너비를 증가시킬 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치(200)의 전방을 촬영하도록 구성된 적어도 하나의 전방 카메라, 및 사용자의 안구를 추적하도록 구성된 적어도 하나의 안구 추적 카메라를 더 포함하고, 상기 프로세서(120)는, 상기 조도 센서(1010)를 이용하여 상기 웨어러블 전자 장치(200)의 전방 환경에 대응하는 밝기 맵을 생성하되, 상기 밝기 맵은 상기 웨어러블 전자 장치(200)의 전방 환경의 영역별로 매핑된 밝기 정보를 포함하고, 상기 사용자의 안구를 추척하는 것에 의해 상기 웨어러블 전자 장치(200)의 전방 환경 중에서 상기 사용자의 시선 방향을 결정하고, 상기 밝기 맵에 기반하여, 상기 사용자의 시선 방향에 대응하는 시야 영역의 영역별 밝기를 결정하고, 상기 시야 영역의 영역별 밝기에 기반하여, 상기 시야 영역을 양지 영역 및 음지 영역으로 나누고, 상기 양지 영역을 통해 상기 제 1 변환 이미지가 표시하고, 상기 음지 영역을 통해 상기 제 2 변환 이미지를 표시할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 시인성 강화 모드가 활성화되면, 상기 이미지의 해상도를 낮추어서 저해상도 이미지를 생성하고, 상기 저해상도 이미지와 관련하여 상기 디스플레이(310)의 복수의 픽셀들을 온 픽셀 그룹 및 오프 픽셀 그룹으로 나누고, 상기 디스플레이(310)를 통해 상기 저해상도 이미지를 표시하는 동안, 상기 온 픽셀 그룹의 휘도가 향상되도록 상기 온 픽셀 그룹에게 지정된 전력 및 오프셋 전력을 인가하고, 상기 오프셋 전력은 오프 픽셀 그룹을 턴온하는데 사용되는 전력일 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 배터리의 잔량으로서 배터리 레벨을 식별하고, 상기 시인성 강화 모드를 활성화하는 상기 지정된 이벤트는 상기 배터리 레벨이 지정된 임계값 미만인 상태를 포함할 수 있다.
일 실시예에 따르면, 상기 시인성 강화 모드를 활성화하는 상기 지정된 이벤트는 외부 장치를 통한 사용자 입력을 포함할 수 있다.
일 실시예에 따른 웨어러블 전자 장치(200)의 방법에 있어서, 상기 웨어러블 전자 장치(200)는, 적어도 하나의 렌즈(330), 배터리, 디스플레이(310), 상기 디스플레이(310)로부터 이미지를 입력받고, 상기 입력된 이미지를 상기 적어도 하나의 렌즈(330)를 통해 출력하는 도파관(430)(waveguide), 및 상기 웨어러블 전자 장치(200)의 외부 조도를 감지하는 조도 센서(1010)를 포함하고, 상기 방법은, 지정된 이벤트에 응답하여, 시인성 강화 모드를 활성화하는 동작, 상기 시인성 강화 모드가 활성화된 것에 응답하여, 상기 조도 센서(1010)를 이용해 상기 웨어러블 전자 장치(200)의 주변의 조도를 감지하는 동작, 및 상기 감지된 조도에 기반하여, 상기 디스플레이(310)를 통해 출력되는 상기 이미지의 휘도, 상기 이미지에 포함된 적어도 하나의 오브젝트의 표시 형태를 동적으로 조정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 감지된 조도가 지정된 제 1 범위인 경우, 상기 이미지의 전체 휘도를 제 1 휘도 레벨로 설정하는 동작, 상기 이미지에 포함된 상기 적어도 하나의 오브젝트의 윤곽선을 식별하는 동작, 상기 식별된 윤곽선만을 포함하는 제 1 변환 이미지를 생성하는 동작, 및 상기 디스플레이(310)가 상기 제 1 휘도 레벨에 기반하여 상기 제 1 변환 이미지를 표시하도록 제어하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 감지된 조도가 상기 제 1 범위보다 작은 지정된 제 2 범위인 경우, 상기 이미지의 전체 휘도를 상기 제 1 휘도 레벨보다 작은 제 2 휘도 레벨로 설정하는 동작, 상기 이미지에 포함된 상기 적어도 하나의 오브젝트의 상기 윤곽선을 식별하는 동작, 상기 식별된 윤곽선에 기반하여, 상기 이미지를 상기 윤곽선에 대응하는 윤곽 영역 및 상기 윤곽 영역을 제외한 비윤곽 영역으로 나누는 동작, 상기 윤곽 영역의 휘도를 상기 비윤곽 영역의 휘도보다 높게 설정하는 것에 의해, 제 2 변환 이미지를 생성하는 동작, 및 상기 디스플레이(310)가 상기 제 2 휘도 레벨에 기반하여 상기 제 2 변환 이미지를 표시하도록 제어하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 제 1 변환 이미지에 포함된 상기 윤곽선의 컬러를 화이트 컬러 또는 그린 컬러로 설정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 감지된 조도가 상기 제 2 범위보다 작은 지정된 제 3 범위인 경우, 상기 이미지의 전체 휘도를 상기 제 2 휘도 레벨보다 작은 제 3 휘도 레벨로 설정하는 동작, 및 상기 디스플레이(310)가 상기 제 3 휘도 레벨에 기반하여 상기 이미지를 표시하도록 제어하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 제 2 변환 이미지의 채도를 상기 이미지의 채도보다 낮게 설정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 감지된 조도의 크기에 비례하여 상기 제 1 변환 이미지에 포함된 윤곽선의 너비를 증가시키는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치(200)는, 전방을 촬영하도록 구성된 적어도 하나의 전방 카메라, 및 사용자의 안구를 추적하도록 구성된 적어도 하나의 안구 추적 카메라를 더 포함하고, 상기 방법은, 상기 조도 센서(1010)를 이용하여 상기 웨어러블 전자 장치(200)의 전방 환경에 대응하는 밝기 맵을 생성하되, 상기 밝기 맵은 상기 웨어러블 전자 장치(200)의 전방 환경의 영역별로 매핑된 밝기 정보를 포함하는 동작, 상기 사용자의 안구를 추척하는 것에 의해 상기 웨어러블 전자 장치(200)의 전방 환경 중에서 상기 사용자의 시선 방향을 결정하는 동작, 상기 밝기 맵에 기반하여, 상기 사용자의 시선 방향에 대응하는 시야 영역의 영역별 밝기를 결정하는 동작, 상기 시야 영역의 영역별 밝기에 기반하여, 상기 시야 영역을 양지 영역 및 음지 영역으로 나누는 동작, 상기 양지 영역을 통해 상기 제 1 변환 이미지가 표시하는 동작, 및 상기 음지 영역을 통해 상기 제 2 변환 이미지를 표시하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 시인성 강화 모드가 활성화되면, 상기 이미지의 해상도를 낮추어서 저해상도 이미지를 생성하는 동작, 상기 저해상도 이미지와 관련하여 상기 디스플레이(310)의 복수의 픽셀들을 온 픽셀 그룹 및 오프 픽셀 그룹으로 나누는 동작, 및 상기 디스플레이(310)를 통해 상기 저해상도 이미지를 표시하는 동안, 상기 온 픽셀 그룹의 휘도가 향상되도록 상기 온 픽셀 그룹에게 지정된 전력 및 오프셋 전력을 인가하는 동작을 포함하는, 상기 오프셋 전력은 오프 픽셀 그룹을 턴온하는데 사용되는 전력일 수 있다.
본 개시 내용이 그의 다양한 실시 양태를 참조하여 도시되고 설명되었지만, 다음과 같은 개시내용의 사상 및 범위를 벗어나지 않으면서 형태 및 세부사항의 다양한 변경이 이루어질 수 있다는 것이 당업자에 의해 이해될 것이다. 첨부된 청구범위 및 그 등가물에 의해 정의된다.

Claims (15)

  1. 웨어러블 전자 장치에 있어서,
    적어도 하나의 렌즈;
    배터리;
    디스플레이;
    상기 디스플레이로부터 이미지를 입력받고, 상기 입력된 이미지를 상기 적어도 하나의 렌즈를 통해 출력하는 도파관(waveguide);
    상기 웨어러블 전자 장치의 외부 조도를 감지하는 조도 센서; 및
    프로세서를 포함하고, 상기 프로세서는,
    지정된 이벤트에 응답하여, 시인성 강화 모드를 활성화하고,
    상기 시인성 강화 모드가 활성화된 것에 응답하여:
    상기 조도 센서를 이용해 상기 웨어러블 전자 장치의 주변의 조도를 감지하고, 및
    상기 감지된 조도에 기반하여, 상기 디스플레이를 통해 출력되는 상기 이미지의 휘도, 상기 이미지에 포함된 적어도 하나의 오브젝트의 표시 형태를 동적으로 조정하는,
    웨어러블 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는, 상기 감지된 조도가 지정된 제 1 범위인 경우,
    상기 이미지의 전체 휘도를 제 1 휘도 레벨로 설정하고,
    상기 이미지에 포함된 상기 적어도 하나의 오브젝트의 윤곽선을 식별하고,
    상기 식별된 윤곽선만을 포함하는 제 1 변환 이미지를 생성하고,
    상기 디스플레이가 상기 제 1 휘도 레벨에 기반하여 상기 제 1 변환 이미지를 표시하도록 제어하는,
    웨어러블 전자 장치.
  3. 제 1항 내지 제2 항 중 어느 한 항에 있어서,
    상기 프로세서는, 상기 감지된 조도가 상기 제 1 범위보다 작은 지정된 제 2 범위인 경우,
    상기 이미지의 전체 휘도를 상기 제 1 휘도 레벨보다 작은 제 2 휘도 레벨로 설정하고,
    상기 이미지에 포함된 상기 적어도 하나의 오브젝트의 상기 윤곽선을 식별하고,
    상기 식별된 윤곽선에 기반하여, 상기 이미지를 상기 윤곽선에 대응하는 윤곽 영역 및 상기 윤곽 영역을 제외한 비윤곽 영역으로 나누고,
    상기 윤곽 영역의 휘도를 상기 비윤곽 영역의 휘도보다 높게 설정하는 것에 의해, 제 2 변환 이미지를 생성하고,
    상기 디스플레이가 상기 제 2 휘도 레벨에 기반하여 상기 제 2 변환 이미지를 표시하도록 제어하는,
    웨어러블 전자 장치.
  4. 제 1항 내지 제3 항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 제 1 변환 이미지에 포함된 상기 윤곽선의 컬러를 화이트 컬러 또는 그린 컬러로 설정하는,
    웨어러블 전자 장치.
  5. 제 1항 내지 제3 항 중 어느 한 항에 있어서,
    상기 프로세서는, 상기 감지된 조도가 상기 제 2 범위보다 작은 지정된 제 3 범위인 경우,
    상기 이미지의 전체 휘도를 상기 제 2 휘도 레벨보다 작은 제 3 휘도 레벨로 설정하고,
    상기 디스플레이가 상기 제 3 휘도 레벨에 기반하여 상기 이미지를 표시하도록 제어하는,
    웨어러블 전자 장치.
  6. 제 1항 내지 제3 항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 제 2 변환 이미지의 채도를 상기 이미지의 채도보다 낮게 설정하는,
    웨어러블 전자 장치.
  7. 제 1항 내지 제2 항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 감지된 조도의 크기에 비례하여 상기 제 1 변환 이미지에 포함된 윤곽선의 너비를 증가시키는,
    웨어러블 전자 장치.
  8. 제 1항 내지 제3 항 중 어느 한 항에 있어서,
    상기 웨어러블 전자 장치의 전방을 촬영하도록 구성된 적어도 하나의 전방 카메라; 및
    사용자의 안구를 추적하도록 구성된 적어도 하나의 안구 추적 카메라를 더 포함하고,
    상기 프로세서는,
    상기 조도 센서를 이용하여 상기 웨어러블 전자 장치의 전방 환경에 대응하는 밝기 맵을 생성하되, 상기 밝기 맵은 상기 웨어러블 전자 장치의 전방 환경의 영역별로 매핑된 밝기 정보를 포함하고,
    상기 사용자의 안구를 추척하는 것에 의해 상기 웨어러블 전자 장치의 전방 환경 중에서 상기 사용자의 시선 방향을 결정하고,
    상기 밝기 맵에 기반하여, 상기 사용자의 시선 방향에 대응하는 시야 영역의 영역별 밝기를 결정하고,
    상기 시야 영역의 영역별 밝기에 기반하여, 상기 시야 영역을 양지 영역 및 음지 영역으로 나누고,
    상기 양지 영역을 통해 상기 제 1 변환 이미지가 표시하고,
    상기 음지 영역을 통해 상기 제 2 변환 이미지를 표시하는,
    웨어러블 전자 장치.
  9. 제 1 항 내지 제8 항 중 어느 한 항에 있어서,
    상기 프로세서는, 상기 시인성 강화 모드가 활성화되면,
    상기 이미지의 해상도를 낮추어서 저해상도 이미지를 생성하고,
    상기 저해상도 이미지와 관련하여 상기 디스플레이의 복수의 픽셀들을 온 픽셀 그룹 및 오프 픽셀 그룹으로 나누고,
    상기 디스플레이를 통해 상기 저해상도 이미지를 표시하는 동안, 상기 온 픽셀 그룹의 휘도가 향상되도록 상기 온 픽셀 그룹에게 지정된 전력 및 오프셋 전력을 인가하고,
    상기 오프셋 전력은 오프 픽셀 그룹을 턴온(turn on)하는데 사용되는 전력인,
    웨어러블 전자 장치.
  10. 제 1 항 내지 제9항 중 어느 한 항에 있어서,
    상기 프로세서는 상기 배터리의 잔량으로서 배터리 레벨을 식별하고,
    상기 시인성 강화 모드를 활성화하는 상기 지정된 이벤트는 상기 배터리 레벨이 지정된 임계값 미만인 상태를 포함하는,
    웨어러블 전자 장치.
  11. 제 1 항 내지 제 10항 중 어느 한 항에 있어서,
    상기 시인성 강화 모드를 활성화하는 상기 지정된 이벤트는 외부 장치를 통한 사용자 입력을 포함하는,
    웨어러블 전자 장치.
  12. 웨어러블 전자 장치의 방법에 있어서,
    상기 웨어러블 전자 장치는, 적어도 하나의 렌즈, 배터리, 디스플레이, 도파관(waveguide) 및 조도 센서를 포함하고,
    상기 방법은,
    지정된 이벤트에 응답하여, 시인성 강화 모드를 활성화하는 동작,
    상기 시인성 강화 모드가 활성화된 것에 응답하여, 상기 조도 센서를 이용해 상기 웨어러블 전자 장치의 주변의 조도를 감지하는 동작, 및
    상기 감지된 조도에 기반하여, 상기 디스플레이를 통해 출력되는 이미지의 휘도, 상기 이미지에 포함된 적어도 하나의 오브젝트의 표시 형태를 동적으로 조정하는 동작을 포함하는,
    방법.
  13. 제 12 항에 있어서,
    상기 감지된 조도가 지정된 제 1 범위인 경우, 상기 이미지의 전체 휘도를 제 1 휘도 레벨로 설정하는 동작,
    상기 이미지에 포함된 상기 적어도 하나의 오브젝트의 윤곽선을 식별하는 동작,
    상기 식별된 윤곽선만을 포함하는 제 1 변환 이미지를 생성하는 동작, 및
    상기 디스플레이가 상기 제 1 휘도 레벨에 기반하여 상기 제 1 변환 이미지를 표시하도록 제어하는 동작을 포함하는,
    방법.
  14. 제 12항 내지 13 항 중 어느 한 항에 있어서,
    상기 감지된 조도가 상기 제 1 범위보다 작은 지정된 제 2 범위인 경우, 상기 이미지의 전체 휘도를 상기 제 1 휘도 레벨보다 작은 제 2 휘도 레벨로 설정하는 동작,
    상기 이미지에 포함된 상기 적어도 하나의 오브젝트의 상기 윤곽선을 식별하는 동작,
    상기 식별된 윤곽선에 기반하여, 상기 이미지를 상기 윤곽선에 대응하는 윤곽 영역 및 상기 윤곽 영역을 제외한 비윤곽 영역으로 나누는 동작,
    상기 윤곽 영역의 휘도를 상기 비윤곽 영역의 휘도보다 높게 설정하는 것에 의해, 제 2 변환 이미지를 생성하는 동작, 및
    상기 디스플레이가 상기 제 2 휘도 레벨에 기반하여 상기 제 2 변환 이미지를 표시하도록 제어하는 동작을 포함하는,
    방법.
  15. 제 12항 내지 14 항 중 어느 한 항에 있어서,
    상기 제 1 변환 이미지에 포함된 상기 윤곽선의 컬러를 화이트 컬러 또는 그린 컬러로 설정하는 동작을 포함하는,
    방법.
PCT/KR2023/007682 2022-07-26 2023-06-05 웨어러블 전자 장치 및 그 동작 방법 WO2024025126A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0092746 2022-07-26
KR20220092746 2022-07-26
KR1020220114327A KR20240015541A (ko) 2022-07-26 2022-09-08 웨어러블 전자 장치 및 그 동작 방법
KR10-2022-0114327 2022-09-08

Publications (1)

Publication Number Publication Date
WO2024025126A1 true WO2024025126A1 (ko) 2024-02-01

Family

ID=89706662

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/007682 WO2024025126A1 (ko) 2022-07-26 2023-06-05 웨어러블 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
WO (1) WO2024025126A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160009879A (ko) * 2014-07-17 2016-01-27 엘지전자 주식회사 웨어러블 디스플레이 디바이스 및 그 제어 방법
KR20170044706A (ko) * 2014-08-21 2017-04-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 및 가상 현실 지각용 전기변색 디밍 모듈을 구비한 헤드 마운트 디스플레이
KR20200010952A (ko) * 2018-07-23 2020-01-31 삼성전자주식회사 배터리 잔량에 기반하여, 투명 부재의 투과율 및 프로젝터의 출력 휘도를 제어하는 웨어러블 전자 장치 및 그 동작 방법
KR20200115531A (ko) * 2018-01-30 2020-10-07 매직 립, 인코포레이티드 혼합 현실 디스플레이들에서의 가상 콘텐츠를 위한 이클립스 커서
KR20210156613A (ko) * 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160009879A (ko) * 2014-07-17 2016-01-27 엘지전자 주식회사 웨어러블 디스플레이 디바이스 및 그 제어 방법
KR20170044706A (ko) * 2014-08-21 2017-04-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 및 가상 현실 지각용 전기변색 디밍 모듈을 구비한 헤드 마운트 디스플레이
KR20200115531A (ko) * 2018-01-30 2020-10-07 매직 립, 인코포레이티드 혼합 현실 디스플레이들에서의 가상 콘텐츠를 위한 이클립스 커서
KR20200010952A (ko) * 2018-07-23 2020-01-31 삼성전자주식회사 배터리 잔량에 기반하여, 투명 부재의 투과율 및 프로젝터의 출력 휘도를 제어하는 웨어러블 전자 장치 및 그 동작 방법
KR20210156613A (ko) * 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법

Similar Documents

Publication Publication Date Title
WO2022102954A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2021256651A1 (ko) 증강 현실 글라스 및 그 동작 방법
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2022059968A1 (ko) 증강 현실 콘텐츠를 제공하는 전자 장치 및 그의 동작 방법
WO2023017986A1 (ko) 영상 데이터 및 오디오 데이터 출력 방법 및 전자 시스템
WO2022149748A1 (ko) 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법
WO2022191497A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2024025126A1 (ko) 웨어러블 전자 장치 및 그 동작 방법
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2024101747A1 (ko) 카메라를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
WO2024034825A1 (ko) Ar 장치에게 표시하도록 명령할 컨텐츠를 결정하기 위한 방법 및 장치
WO2024080583A1 (ko) 이미지를 활용한 ar 정보 제공 방법 및 전자 장치
WO2024071681A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2024071903A1 (ko) 헤드 마운트 디스플레이 장치 및 그의 착용 상태 감지 방법
WO2024063253A1 (ko) 카메라로부터 획득한 이미지 내에 포함된 복수의 영역들 각각의 해상도들을 제어하기 위한 전자 장치 및 그 방법
WO2024071718A1 (ko) 증강현실 기능을 지원하는 전자 장치 및 이의 동작 방법
WO2022234947A1 (ko) 웨어러블 전자 장치 및 3d 이미지 출력 방법
WO2024029858A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024076058A1 (ko) 센서를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
WO2022255625A1 (ko) 영상 통화 중 다양한 커뮤니케이션을 지원하는 전자 장치 및 그의 동작 방법
WO2024112017A1 (ko) 두부 착용형 전자 장치 및 이의 동작 방법
WO2024049178A1 (ko) 하나 이상의 외부 객체들 중 적어도 하나의 외부 객체의 표시를 제어하기 위한 전자 장치 및 방법
WO2024122999A1 (ko) 가상 공간에서 사용자 입력을 식별하기 위한 전자 장치 및 방법
WO2023080419A1 (ko) 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법
WO2024039073A1 (ko) 이미지에 효과를 적용하는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23846786

Country of ref document: EP

Kind code of ref document: A1