WO2024058507A1 - 실제 공간과 가상 공간 간의 차이를 최소화하는 전자 장치 및 그 제조 방법 - Google Patents

실제 공간과 가상 공간 간의 차이를 최소화하는 전자 장치 및 그 제조 방법 Download PDF

Info

Publication number
WO2024058507A1
WO2024058507A1 PCT/KR2023/013560 KR2023013560W WO2024058507A1 WO 2024058507 A1 WO2024058507 A1 WO 2024058507A1 KR 2023013560 W KR2023013560 W KR 2023013560W WO 2024058507 A1 WO2024058507 A1 WO 2024058507A1
Authority
WO
WIPO (PCT)
Prior art keywords
lens
optical axis
lens assembly
image
camera module
Prior art date
Application number
PCT/KR2023/013560
Other languages
English (en)
French (fr)
Inventor
양성광
박종규
이진철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220126019A external-priority patent/KR20240037789A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024058507A1 publication Critical patent/WO2024058507A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the disclosure below relates to electronic devices and methods of manufacturing the same that minimize the difference between real space and virtual space.
  • An electronic device having a user interface that provides a user with an experience of virtual reality (VR), augmented reality (AR), mixed reality (MR), and/or extended reality (XR). is being developed.
  • a wearable electronic device may include a lens assembly including a first lens, and a second lens having the same optical axis as the optical axis of the first lens.
  • the wearable electronic device may include a camera module coupled to the lens assembly.
  • the lens assembly and the camera module may be configured to move together while the optical axes of the first lens and the optical axes of the second lens are aligned.
  • a method of manufacturing a wearable electronic device may include fixing a display module that outputs image light toward the lens assembly to a lens assembly including a first lens.
  • the method may include coupling a camera module including a second lens having the same optical axis as the optical axis of the first lens with the lens assembly.
  • the lens assembly and the camera module may be configured to move together while the optical axes of the first lens and the optical axes of the second lens are aligned.
  • a wearable electronic device may include a processor that creates a virtual space.
  • the wearable electronic device may include a lens assembly including a first lens.
  • the wearable electronic device may include a second lens having the same optical axis as the first lens and a camera module coupled to the lens assembly.
  • the wearable electronic device may include a display module disposed between the lens assembly and the camera module and outputting image light toward the lens assembly.
  • the processor may determine whether the user's pupil and the optical axis of the first lens are aligned. When it is determined that the user's pupils are not aligned with the optical axis of the first lens, the processor converts a second type of image related to the virtual space generated by the processor into a second type of image related to the real space obtained from the camera module. Shifting may be performed based on the first type of image.
  • the processor may output the first type of image and the shifted second type of image to the display module.
  • a method implemented with a processor may include determining whether the user's pupil and the optical axis of the first lens included in the lens assembly are aligned. The method may, when it is determined that the user's pupil is not aligned with the optical axis of the first lens, generate a second type of image associated with the virtual space generated by the processor with the same optical axis as the optical axis of the first lens. It may include an operation of shifting based on a first type of image related to real space obtained from a camera module including a second lens having. The method may include outputting the first type of image and the shifted second type of image to a display module.
  • the camera module may be combined with the lens assembly.
  • the display module is disposed between the lens assembly and the camera module and may output image light toward the lens assembly.
  • a computer-readable recording medium storing one or more computer programs may include instructions for performing the method.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • FIG. 2A is a front perspective view of a wearable electronic device according to an embodiment.
  • Figure 2b is a rear perspective view of a wearable electronic device according to an embodiment.
  • Figure 3 shows a perspective view of a wearable electronic device according to one embodiment.
  • FIG. 4 is a diagram illustrating the combination of a lens assembly, a display panel, and a camera module corresponding to one of the user's left eye and right eye, according to an embodiment.
  • FIG. 5 is a diagram illustrating coupling between lens assemblies in a wearable electronic device according to an embodiment.
  • FIG. 6 is a diagram illustrating an operation of a wearable electronic device to correct an image based on the distance between the user's pupil and the optical axis of the lens, according to an embodiment.
  • FIG. 7 is a diagram illustrating an operation of shifting a second type of image generated by a processor based on a first type of image.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a second network 199.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes a main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 121 e.g., a central processing unit or an application processor
  • auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a first side e.g., bottom side
  • a designated high frequency band e.g., mmWave band
  • a plurality of antennas e.g., array antennas
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG. 2A is a front perspective view of a wearable electronic device according to an embodiment.
  • Figure 2b is a rear perspective view of a wearable electronic device according to an embodiment.
  • a wearable electronic device 201 may be worn on a part of the user's body and provide a user interface.
  • the electronic device 201 may provide the user with an experience of augmented reality, virtual reality, mixed reality, and/or extended reality.
  • the electronic device 201 may include a housing 210.
  • Housing 210 may be configured to accommodate at least one component.
  • the housing 210 has a first side 211A (e.g., the front), a second side 211B (e.g., the back) opposite the first side 211A, and the first side 211A and the second side. It may include a third surface 211C (eg, side surface) between 211B.
  • housing 210 may include a plurality of housing parts.
  • the housing 210 may include a first housing part 211 and a second housing part 212.
  • the first housing part 211 may form the first surface 211A of the housing 210.
  • the first housing part 211 may form at least a portion of the third surface 211C of the housing 210.
  • the second housing part 212 may form the second surface 211B of the housing 210.
  • the second housing part 212 may form at least a portion of the third surface 211C of the housing 210.
  • the second housing part 212 may face a part of the user's body (eg, face).
  • the first housing part 211 and the second housing part 212 may be separably coupled.
  • the first housing part 211 and the second housing part 212 may be integrally and seamlessly connected.
  • housing 210 may include a cover 213.
  • the cover 213 may form the first surface 211A of the housing 210.
  • the cover 213 may be configured to cover at least a portion of the first housing part 211 .
  • housing 210 may include bridge 214 .
  • the bridge 214 may be configured to face a part of the user's body (eg, nose).
  • bridge 214 may be supported by the user's nose.
  • the bridge 214 may be formed on at least one of the first housing part 211, the second housing part 212, or the cover 213, or a combination thereof.
  • the electronic device 201 may include a lens structure 220.
  • the lens structure 220 may include a plurality of lenses configured to adjust the focus of an image provided to the user.
  • a plurality of lenses may be configured to adjust the focus of an image output by the display 260.
  • a plurality of lenses may be disposed at positions corresponding to the position of the display 260.
  • the plurality of lenses may include, for example, a Fresnel lens, a pancake lens, a multichannel lens, and/or any other suitable lens.
  • the electronic device 201 may include a display 260 (eg, the display module 160 of FIG. 1).
  • the display 260 may be configured to provide an image (eg, a virtual image) to the user.
  • display 260 may include a liquid crystal display (LCD), a digital mirror device (DMD), a liquid crystal on silicon (LCoS), a silicon It may include a light emitting diode (LED) on silicon (LEDoS), an organic light emitting diode (OLED), and/or a micro light emitting diode (micro LED).
  • the display 260 may include a light source (not shown) configured to transmit an optical signal to an area where an image is output.
  • the display 260 may provide images to the user by generating light signals on its own.
  • the display 260 may be disposed on the second side 211B of the housing 210.
  • display 260 may be disposed in second housing part 212.
  • the display 260 may include a first display area 260A and a second display area 260B.
  • the first display area 260A may be arranged to face the user's left eye.
  • the second display area 260B may be arranged to face the user's right eye.
  • the first display area 260A and the second display area 260B may include glass, plastic, and/or polymer.
  • the first display area 260A and the second display area 260B may include a transparent or translucent material. In one embodiment, the first display area 260A and the second display area 260B may form a single display area. In one embodiment, the first display area 260A and the second display area 260B may form a plurality of display areas.
  • the electronic device 201 may include a sensor 276 (eg, sensor module 176 of FIG. 1).
  • the sensor 276 may be configured to detect the depth of the subject.
  • the sensor 276 may be configured to transmit a signal toward and/or receive a signal from the subject.
  • the transmitted signal may include near-infrared light, ultrasound, and/or laser.
  • the sensor 276 may be configured to measure the time of flight (ToF) of a signal to measure the distance between the electronic device 201 and the subject.
  • sensor 276 may be disposed on first side 211A of housing 210. In one embodiment, the sensor 276 may be disposed at the center of the first housing part 211 and/or the cover 213.
  • the electronic device 201 may include a plurality of first cameras 280A (eg, the camera module 180 of FIG. 1).
  • a plurality of first cameras 280A may be configured to acquire images from a subject.
  • One of the plurality of first cameras 280A is disposed in a first area (e.g., -X direction portion in FIG. 2A) of the first surface 211A of the housing 210,
  • Another first camera 280A may be disposed in a second area of the housing 210 (e.g., + there is.
  • a plurality of first cameras 280A may be disposed on both sides of the sensor 276, respectively.
  • the plurality of first cameras 280A may include an image stabilizer actuator (not shown) and/or an autofocus actuator (not shown).
  • the plurality of first cameras 280A may include at least one camera configured to acquire a color image, a global shutter camera, or a rolling shutter camera, or a combination thereof.
  • the electronic device 201 may include a plurality of second cameras 280B (eg, the camera module 180 of FIG. 1).
  • a plurality of second cameras 280B may be configured to recognize a subject.
  • the plurality of second cameras 280B may be configured to detect and/or track an object (eg, a human head or hand) or space with 3 degrees of freedom or 6 degrees of freedom.
  • the plurality of second cameras 280B may include global shutter cameras.
  • the plurality of second cameras 280B may be configured to perform simultaneous localization and mapping (SLAM) using depth information of the subject.
  • the plurality of second cameras 280B may be configured to recognize the subject's gesture.
  • SLAM simultaneous localization and mapping
  • a plurality of second cameras 280B may be disposed on the first surface 211A of the housing 210. In one embodiment, a plurality of second cameras 280B may be respectively disposed in corner areas of the first housing part 211 and/or the cover 213.
  • the electronic device 201 may include a plurality of third cameras 280C (eg, the camera module 180 of FIG. 1).
  • the plurality of third cameras 280C may be configured to detect and track the user's pupils. Location information about the user's pupils may be used so that the center of the image displayed on the display 260 moves according to the direction in which the user's pupils are gazing.
  • the plurality of third cameras 280C may include global shutter cameras.
  • one third camera 280C may be arranged to correspond to the user's left eye, and the other third camera 280C may be arranged to correspond to the user's right eye. there is.
  • the electronic device 201 may include a plurality of fourth cameras 280D (eg, the camera module 180 of FIG. 1).
  • the plurality of fourth cameras 280D may be configured to recognize the user's face.
  • the plurality of fourth cameras 280D may be configured to detect and track the user's facial expression.
  • the electronic device 201 may include a microphone (e.g., the input module 150 of FIG. 1), a speaker (e.g., the sound output module 155 of FIG. 1), and a battery (e.g., the input module 150 of FIG. 1). battery 189), antennas (e.g., antenna module 197 of FIG. 1), sensors (e.g., sensor module 176 of FIG. 1), and/or other components suitable for the electronic device 201. You can.
  • Figure 3 shows a perspective view of a wearable electronic device according to one embodiment.
  • a wearable electronic device (e.g., the electronic device 101 of FIG. 1 and/or the wearable electronic device 201 of FIG. 2) according to an embodiment includes a housing 301 (e.g., the housing 210 of FIG. 2). can do.
  • the wearable electronic device may include a first lens assembly 310-1 corresponding to the user's left eye and a second lens assembly 310-2 corresponding to the user's right eye.
  • the wearable electronic device may include a first camera module 330-1 corresponding to the user's left eye and a second camera module 330-2 corresponding to the user's right eye.
  • the first camera module 330-1 and the second camera module 330-2 may be configured to acquire images from a subject.
  • the first camera module 330-1 is disposed in the first area (e.g., +X direction portion in FIG. 3) of the first surface 301A of the housing 301, and the second camera module 330-2 is It may be placed in the second area (e.g., -X direction portion in FIG. 3).
  • the wearable electronic device includes a first display module 360-1 that outputs image light toward the first lens assembly 310-1 and a second display module that outputs image light toward the second lens assembly 310-2. It may include (360-2).
  • the wearable electronic device may include a first display module 360-1 corresponding to the user's left eye and a second display module 360-2 corresponding to the user's right eye.
  • the display modules 360-1 and 360-2 may be configured to provide images (eg, virtual images) to the user.
  • the first display module 360-1 may be arranged to face the user's left eye
  • the second display module 360-2 may be arranged to face the user's right eye.
  • the first display module 360-1 and the second display module 360-2 may include a transparent or translucent material.
  • the wearable electronic device is a PCB board disposed between the first camera module 330-1 and the first display module 360-1 and between the second camera module 330-2 and the second display module 360-2.
  • PCB board e.g., may include printed board assembly (PBA), flexible PCB (FPCB), or rigid-flexible PCB (RFPCB)).
  • the PCB board can be connected to the first camera module 330-1 and the second camera module 330-2, and can also be connected to the first display module 360-1 and the second display module 360-2. .
  • the first display module 360-1 displays a first type of image related to the real space obtained from the first camera module 330-1 and a virtual space generated by the processor (
  • a scene image in which a second type of image related to virtual space overlaps may be provided to the first lens assembly 310-1.
  • the second display module 360-2 is a scene in which a first type of image related to real space obtained from the second camera module 330-2 and a second type of image related to virtual space generated by the processor overlap.
  • An image may be provided to the second lens assembly 310-2.
  • the user uses scene images provided based on the camera modules 330-1 and 330-2, the display panels 360-1 and 360-2, and the lens assemblies 310-1 and 310-2. You can receive visual information about the virtual space.
  • FIG. 4 is a diagram illustrating the combination of a lens assembly, a display panel, and a camera module corresponding to one of the user's left eye and right eye, according to an embodiment.
  • a wearable electronic device may include a lens assembly 410 including a first lens. You can.
  • the wearable electronic device may further include a first bracket 420 that secures the first lens of the lens assembly 410.
  • the first bracket 420 may be connected to the lens assembly 410.
  • the lens assembly may include a plurality of lenses, but for convenience of explanation, it is described as including one lens. If the lens assembly includes a plurality of lenses, the plurality of lenses may have substantially the same optical axis.
  • the wearable electronic device may include a second lens of the camera module 430 that has the same optical axis as the optical axis 471 of the first lens included in the lens assembly 410.
  • the lens assembly 410 may be connected to the camera module 430.
  • the wearable electronic device may include a second bracket 440 supporting the camera module 430.
  • the lens assembly 410 and the camera module 430 may be configured to move together while the optical axis 471 of the first lens and the optical axis 472 of the second lens coincide.
  • the lens assembly 410 may be configured to move in a first direction (e.g., +X direction) or a second direction (e.g., -X direction) opposite to the first direction, and the camera module 430 may also be configured to move in the first direction. (eg, +X direction) or may be configured to move in a second direction (eg, -X direction) opposite to the first direction.
  • the lens assembly 410 and the camera module 430 may be configured to move in substantially the same direction, and the first lens included in the lens assembly 410
  • the optical axis 471 of the camera module 430 may coincide with the optical axis 472 of the second lens.
  • the first bracket 420 may include a first surface facing the first lens and a second surface facing a direction opposite to the first surface (eg, +Z direction).
  • the first bracket 420 may include first coupling portions 421 and 422 formed on a second surface that is opposite to the first surface.
  • the first bracket 420 is connected to the first coupling portion 421 formed on the first side (e.g., the upper side or the +Y direction side) on the second side. It may include a first coupling portion 422 formed on the second side (eg, the lower side or the -Y direction side).
  • the first side and the second side may represent opposite sides based on the optical axis 471 of the first lens.
  • the first coupling portion (e.g., first coupling portion 421 or first coupling portion 422) is oriented in a direction substantially parallel to the optical axis 471 of the first lens (e.g., +Z direction) on the second surface. It may include two fixing members that protrude to a certain height. For example, the two fixing members may be spaced apart by a certain distance.
  • the first bracket 420 is shown as including two coupling portions 421 and 422, but is not limited thereto, and the first bracket 420 may include one or three or more coupling portions. It may be possible.
  • the second bracket 440 supporting the camera module 430 is formed at both ends of the extension member 443 and the extension member 443 substantially perpendicular to the optical axis 472 of the second lens. It may include a plurality of second coupling portions 441 and 442.
  • the second bracket 440 includes a second coupling portion 441 formed at one end of the first side (e.g., +Y direction side) of the extension member 443, and an extension It may include a second coupling portion 442 formed on the second side (eg, -Y direction side) of the member 443.
  • the first side and the second side may represent opposite sides based on the optical axis 472 of the second lens.
  • the second coupling portion (e.g., the second coupling portion 441 or the second coupling portion 442) is oriented substantially parallel to the optical axis 472 of the second lens at one end and/or the other end of the extension member 443. It may consist of one fixing member that protrudes a certain height in the -Z direction (e.g.).
  • the lens assembly 410 and the camera are connected through a combination of the first bracket 420, which fixes the first lens of the lens assembly 410, and the second bracket 440, which fixes the camera module 430.
  • Modules 430 may be combined.
  • the first coupling portion 421 included in the first bracket 420 may be coupled to the second coupling portion 441 included in the second bracket 440, and the first bracket 420 ) may be coupled to the second coupling portion 442 included in the second bracket 440.
  • a fixing member constituting the second coupling part 441 may be disposed between two fixing members included in the first coupling part 421.
  • a fixing member constituting the second coupling part 442 may be disposed between two fixing members included in the first coupling part 422.
  • the first coupling portion 421 included in the first bracket 420 is coupled using the second coupling portion 441 included in the second bracket 440 and the first shaft 451. It can be.
  • the first coupling portion 422 included in the first bracket 420 may be coupled using the second coupling portion 442 and the second shaft 452 included in the second bracket 440.
  • Fastening holes 21 for coupling with the second bracket 440 will be formed in the first coupling portion 421 formed on the first side (e.g., +Y direction side) included in the first bracket 420. You can.
  • Fastening holes 21 may be formed in the fixing members included in the first coupling portion 421.
  • fastening holes 22 may be formed in the first coupling portion 422 formed on the second side (eg, -Y direction side) included in the first bracket 420.
  • a fastening hole 41 for coupling with the first bracket 420 may be formed in the second coupling portion 441 formed on the first side of the extension member 443 included in the second bracket 440,
  • a fastening hole 42 may be formed in the second coupling portion 442 formed on the second side of the extension member 443.
  • the first shaft 451 may be inserted into the fastening holes 21 formed in the first coupling part 421 and the fastening hole 41 formed in the second coupling part 441, and the first coupling part 422
  • the second shaft 452 may be inserted into the fastening holes 22 formed in and the fastening hole 42 formed in the second coupling portion 442.
  • the first shaft 451 and the second shaft 452 may be substantially parallel to each other and may be arranged to be spaced apart from each other. Each of the first shaft 451 and the second shaft 452 extends along an axis (e.g., X direction axis) that intersects the optical axis 471 of the first lens and the optical axis 472 of the second lens. It can have a given form.
  • axis e.g., X direction axis
  • the lens assembly 410 and the camera module 430 may be configured to be movable along the first shaft 451 and the second shaft 452.
  • the lens assembly 410 moves a certain distance along an axis (e.g., X-direction axis) corresponding to a shaft (e.g., the first shaft 451 or the second shaft 452)
  • the combined camera module 430 moves along one axis (e.g., X direction axis) corresponding to the shaft (e.g., first shaft 451 or second shaft 452) by the distance that the lens assembly 410 moves. You can.
  • a display module 460 (e.g., fixed to the lens assembly 410) is disposed to output image light toward the lens assembly 410. It may further include the display module 360-1 or display module 360-2 of FIG. 3. A connection member may be formed on one side of the display module 460. The display module 460 and the lens assembly 410 may be connected to each other through coupling between the first bracket 420 and a connecting member formed on one side of the display module 460.
  • the lens assembly 410 and the display module 460 may be combined first.
  • the display module 460 that outputs image light toward the lens assembly 410 can be fixed to the lens assembly 410 including the first lens.
  • the optical axis of the first lens can be confirmed and corrected using active alignment technology.
  • a camera module 430 including a second lens having an optical axis substantially the same as the optical axis of the lens of the lens assembly 410 Can be combined with the lens assembly 410.
  • the wearable electronic device may further include a processor (eg, processor 120 of FIG. 1) that creates a virtual space.
  • the processor may construct a virtual space by creating virtual graphical representations or virtual objects.
  • the display module 460 overlaps a first type of image related to real space obtained from the camera module 430 and a second type of image related to virtual space generated by the processor to display the lens assembly. It can be provided at (410).
  • FIG. 5 is a diagram illustrating coupling between lens assemblies in a wearable electronic device according to an embodiment.
  • a wearable electronic device (e.g., the electronic device 101 of FIG. 1 or the wearable electronic device 201 of FIG. 2) according to an embodiment includes a first lens assembly 510-1 corresponding to the user's left eye and the user's left eye. It may include a second lens assembly 510-2 corresponding to the right eye.
  • the first lens assembly 510-1 and the second lens assembly 510-2 are coupled through a shaft and may be configured to move along the shaft.
  • the first lens assembly 510-1 and the second lens assembly 510-2 include a first shaft 551 (e.g., the first shaft 451 in FIG. 4) and a second shaft 552 (e.g., in FIG. It can be coupled using the second shaft 452 of 4).
  • the first lens assembly 510-1 and the second lens assembly 510-2 may be movable on substantially the same plane (eg, XY plane). Below, a method of combining the first lens assembly 510-1 and the second lens assembly 510-2 will be described.
  • the wearable electronic device may include a first bracket 520-1 coupled with the lens of the first lens assembly 510-1, and a third bracket (520-1) coupled with the lens of the second lens assembly 510-2. 520-2) may be further included.
  • the first bracket 520-1 may include coupling portions 521-1 and 522-1, and each of the coupling portions 521-1 and 522-1 has a direction substantially parallel to the optical axis of the lens ( It may include two fixing members that protrude at a certain height in the +Z direction (e.g. +Z direction).
  • the third bracket 520-2 may include coupling portions 521-2 and 522-2, and each of the coupling portions 521-2 and 522-2 has a direction substantially parallel to the optical axis of the lens (e.g.
  • the first shaft 551 (eg, the first shaft 451 in FIG. 4) may be inserted into the fastening hole formed in the coupling portion 521-1 and the fastening hole formed in the coupling portion 521-2.
  • the second shaft 552 (eg, the second shaft 452 in FIG. 4) may be inserted into the fastening hole formed in the coupling portion 522-1 and the fastening hole formed in the coupling portion 522-2.
  • the first shaft 551 and the second shaft 552 may be parallel to each other.
  • the first bracket 520-1 may include a first gear 590-1.
  • the first gear 590-1 may include a plurality of first teeth arranged in a first direction (eg, +X direction) or a second direction (eg, -X direction).
  • the third bracket 520-2 may include a second gear 590-2.
  • the second gear 590-2 may include a plurality of second teeth arranged in a first direction (eg, +X direction) or a second direction (eg, -X direction).
  • the plurality of second teeth may face the plurality of first teeth.
  • the wearable electronic device may include steering structure 591.
  • the adjustment structure 590 may be configured to adjust the distance between the first lens assembly 510-1 and the second lens assembly 510-2.
  • the adjustment structure 591 adjusts the position of the lens of the first lens assembly 510-1 and/or the position of the lens of the second lens assembly 510-2 to suit the user's individual interpupillary distance (IPD). It can be configured to adjust.
  • the adjustment structure 591 may include an adjustment gear, and the adjustment gear may be configured to mesh with the first gear 590-1 and the second gear 590-2.
  • the steering gear can be configured to rotate.
  • FIG. 6 is a diagram illustrating an operation of a wearable electronic device to correct an image based on the distance between the user's pupil and the optical axis of the lens, according to an embodiment.
  • the user's interpupillary distance (IPD) range available in a wearable electronic device may be determined in advance.
  • a wearable electronic device can measure the user's interpupillary distance. The wearable electronic device may correct the image output from the display module when the measured user's interpupillary distance is less than the lower limit or exceeds the upper limit of the available interpupillary distance range of the wearable electronic device.
  • the wearable electronic device corrects the position output from the display module based on the first type of image related to the real space and the second type of image related to the virtual space according to the user's pupil distance, thereby providing the user with the expected position.
  • the perceived gap between the actual space being used and the image output from the display module can be minimized.
  • a wearable electronic device e.g., the electronic device 101 of FIG. 1 or the wearable electronic device 201 of FIG. 2 records the position of the user's eye (e.g., pupil) and a lens (e.g., lens). Based on comparing the optical axes of the assembly's lens or the camera module's lens, the image to be output to the display module (eg, the display module 460 in FIG. 4) can be corrected.
  • the wearable electronic device corrects the image to be output to the display module corresponding to the user's left eye.
  • the wearable electronic device may include a first lens assembly (e.g., the lens assembly 410 of FIG. 4) corresponding to the user's left eye 610, and It may include a corresponding first camera module (eg, camera module 430 in FIG. 4).
  • the first lens assembly may include a first lens
  • the first camera module may include a second lens
  • the wearable electronic device may include an optical axis of the first lens (e.g., an optical axis 471 of the first lens in FIG. 4 )) and the optical axis of the second lens (e.g., the optical axis 472 of the second lens in FIG. 4) may be configured to match.
  • the first camera module may be combined with the first lens assembly.
  • the first lens assembly and the first camera module may be able to move together while the optical axes of the first lens and the optical axes of the second lens are aligned.
  • the wearable electronic device may further include a first display module (e.g., display module 460 in FIG. 4) disposed between the first lens assembly and the first camera module and outputting image light toward the first lens assembly. there is.
  • the wearable electronic device further includes cameras (e.g., a plurality of third cameras 280C in FIGS. 2A and 2B) capable of photographing the user's pupils (e.g., left and right pupils). can do.
  • the wearable electronic device can determine whether the user's pupil is aligned with the optical axis of the lens included in the lens assembly from an image of the user's pupil.
  • the wearable electronic device determines whether the user's left pupil is aligned with the optical axis of the first lens included in the first lens assembly from the image 601 in which the user's left eye 610 is captured. You can.
  • the wearable electronic device can detect the center of the user's left pupil from the image 601. For example, the wearable electronic device may identify the user's left pupil and cause an IR (infra) light source (eg, IR LED) to emit light around the identified user's left pupil.
  • the wearable electronic device can detect the point 611 corresponding to the center of the user's left pupil using the points 631, 632, and 633 displayed in the image 601 by light emitted from the IR light source. . Additionally, the wearable electronic device may detect a point 621 corresponding to the optical axis of the first lens included in the first lens assembly from the image 601.
  • the wearable electronic device may determine whether the left pupil is aligned with the optical axis of the first lens based on the first axis (eg, +X direction axis). In other words, the wearable electronic device may compare the first axis coordinates of the point 611 corresponding to the center of the left pupil with the first axis coordinates of the point 621 corresponding to the optical axis of the first lens. The wearable electronic device may determine whether the first axis coordinate of the point 611 corresponding to the center of the left pupil and the first axis coordinate of the point 621 corresponding to the optical axis of the first lens are substantially the same.
  • the first axis e. +X direction axis
  • the left pupil is connected to the first lens. It can be judged to be aligned with the optical axis of .
  • the left pupil is located at the optical axis of the first lens. It can be judged that it is not aligned.
  • the wearable electronic device when the wearable electronic device determines that the left pupil is aligned with the optical axis of the first lens, the wearable electronic device may not correct the image to be output to the first display module. In other words, the wearable electronic device may not change the location at which the second type of image related to the virtual space generated by the processor is output from the first display module. For example, the position of the first type of image related to real space obtained from the first camera module to be output from the first display module may be fixed.
  • the wearable electronic device may change the position at which the second type of image generated by the processor is output from the first display module. .
  • the wearable electronic device outputs the second type of image from the first display module in a first direction (e.g. +X direction) or a second direction (e.g. - You can shift in the X direction).
  • the wearable electronic device may output a scene image generated by overlapping the first type image and the shifted second type image to the first display module.
  • the wearable electronic device may determine a direction in which to shift the second type of image by comparing the position of a point corresponding to the user's pupil and a point corresponding to the optical axis of a lens included in the lens assembly. According to one embodiment, the wearable electronic device produces a second type of image when the point corresponding to the user's eye is located on the first side (e.g., +X direction side) compared to the point corresponding to the optical axis of the lens. It may be shifted in a first direction (eg, +X direction) based on the first type of image.
  • a first direction eg, +X direction
  • the second type of image when the point corresponding to the user's pupil is located on the second side (e.g., -X direction side) compared to the point corresponding to the optical axis of the lens, the second type of image is converted into the first type of image. It can be shifted in a second direction (e.g. -X direction) based on the image.
  • the point 611 corresponding to the center of the left pupil is located on the first side (e.g., +X direction side) compared to the point 621 corresponding to the optical axis of the first lens.
  • the second type of image may be shifted in the first direction (eg, +X direction) based on the first type of image.
  • the wearable electronic device is of the second type when the point 611 corresponding to the center of the left pupil is located on the second side (e.g., -X direction side) compared to the point 621 corresponding to the optical axis of the first lens.
  • the image may be shifted in a second direction (eg, -X direction) based on the first type of image.
  • FIG. 7 is a diagram illustrating an operation of shifting a second type of image generated by a processor based on a first type of image.
  • a first type of image 731 acquired from a first camera module (e.g., the camera module 430 of FIG. 4) and a second type of image generated by a processor are displayed to the user's left eye. 761) may be overlapped and output from a display module (e.g., the display module 460 of FIG. 4).
  • a display module e.g., the display module 460 of FIG. 4
  • the area where the first type of image 731 is output in the first display module can be fixed, and the area where the second type of image 761 is output can be variable.
  • an area where the first type of image 731 is output may include an area where the second type of image 761 is output. For example, referring to FIG.
  • the height of the area where the first type of image 731 is output may be substantially the same as the height of the area where the second type of image 761 is output,
  • the width of the area where the first type of image 731 is output may be wider than the width of the area where the second type of image 761 is output.
  • the electronic device calculates an error distance between a point corresponding to the user's pupil and a point corresponding to the optical axis of the first lens based on the first axis, and calculates a second error distance by a distance proportional to the calculated error distance.
  • the image of the type can be shifted based on the image of the first type. Referring to FIG. 7, when the wearable electronic device determines that the left pupil is aligned with the optical axis of the first lens included in the first lens assembly, the center of the first type image 731 and the second type image ( The first type of image 731 may be positioned so that the center of the image 761 coincides.
  • the wearable electronic device determines that the left pupil is not aligned with the optical axis of the first lens, the point corresponding to the center of the left pupil (e.g., point 611 in FIG. 6) is aligned with the first axis (e.g., +X direction). Based on the axis), an error distance away from a point corresponding to the optical axis of the first lens (e.g., point 621 in FIG. 6) can be calculated.
  • the wearable electronic device coordinates a first axis (e.g., +X direction axis) of a point corresponding to the center of the left pupil and a first axis (e.g., +X direction axis) of a point corresponding to the optical axis of the first lens.
  • the difference between coordinates can be calculated as the error distance.
  • the wearable electronic device may shift the second type image 761 by a distance proportional to the calculated error distance.
  • the wearable electronic device has a point corresponding to the center of the user's left pupil based on the first axis compared to a point corresponding to the optical axis of the first lens to the second side (e.g.
  • the wearable electronic device may shift the second type of image 761 in the second direction (eg, -X direction) by a distance 751 proportional to the first distance.
  • the wearable electronic device has a point corresponding to the center of the user's left pupil based on the first axis located on the first side (e.g., +X direction side) compared to the point corresponding to the optical axis of the first lens.
  • the wearable electronic device may shift the second type of image 761 in the first direction (eg, +X direction) by a distance 752 proportional to the second distance. At this time, the distance 752 may be smaller than the distance 751.
  • the wearable electronic device 101 or 201 includes a lens assembly 410 including a first lens, and a second lens having an optical axis substantially the same as the optical axis 471 of the first lens, It includes a camera module 430 coupled to the lens assembly 410, and the lens assembly 410 and the camera module 430 are aligned with the optical axis 471 of the first lens and the optical axis 472 of the second lens. It can be configured to be able to move together.
  • the wearable electronic devices 101 and 201 further include a first bracket 420 for fixing the first lens, and a second bracket 440 for supporting the camera module, and the first bracket ( The lens assembly 410 and the camera module 430 may be coupled through coupling with the second bracket 420 and 440.
  • the first bracket 420 includes first coupling portions 421 and 422 formed on a second surface opposite to the first surface facing the first lens
  • the second bracket ( 440 may include an extension member 443 perpendicular to the optical axis of the second lens and a plurality of second coupling portions 441 and 442 formed at both ends of the extension member 443.
  • a first shaft is connected to the fastening hole 21 formed in the first coupling part 421 on the first side and the fastening hole 41 formed in the second coupling part 441 on the first side. 451 is inserted, and the second shaft 452 is connected to the fastening hole 22 formed in the first coupling part 422 on the second side and the fastening hole 42 formed in the second coupling part 422 on the second side. ) can be inserted.
  • the lens assembly 410 and the camera module 430 may be configured to be movable along the first shaft 451 and the second shaft 452.
  • the wearable electronic device includes a display module 460 that is arranged between the lens assembly 410 and the camera module 430 to be fixed to the lens assembly 410 and outputs image light toward the lens assembly 410. ) may further be included.
  • the wearable electronic devices 101 and 201 further include a processor that builds a virtual space, and the display module 460 is related to the real space obtained from the camera module 430.
  • the first type of image and the second type of image related to the virtual space generated by the processor may overlap and be provided to the lens assembly 410 .
  • the wearable electronic devices 101 and 201 include another lens assembly including a third lens, and a fourth lens having the same optical axis as the optical axis of the third lens, and are coupled to the other lens assembly. It may further include another camera module, and the lens assembly 410 and the other lens assembly may be coupled through a shaft to be movable along the shaft.
  • a method of manufacturing wearable electronic devices 101 and 201 includes fixing a display module 460 that outputs image light toward the lens assembly 410 to a lens assembly 410 including a first lens.
  • 430 may be configured so that the optical axis 471 of the first lens and the optical axis 472 of the second lens coincide and can move together.
  • the operation of combining the camera module 430 with the lens assembly 410 involves using a first bracket 420 that fixes the first lens and a second bracket 440 that supports the camera module 430.
  • An operation of coupling the camera module 430 with the lens assembly 410 may be included.
  • the first bracket 420 includes first coupling portions 421 and 422 formed on a second surface opposite to the first surface facing the first lens
  • a second bracket ( 440) may include an extension member 443 perpendicular to the optical axis of the second lens and a plurality of second coupling portions 441 and 442 formed at both ends of the extension member 443.
  • the operation of coupling the camera module 430 with the lens assembly 410 involves using the fastening hole 21 formed in the first coupling part 421 on the first side and the second coupling part on the first side.
  • An operation of inserting the second shaft 452 into the fastening hole 42 formed in 422 may be included.
  • the wearable electronic devices 101 and 201 include a processor for constructing a virtual space, a lens assembly 410 including a first lens, and a second lens having the same optical axis as the optical axis 471 of the first lens.
  • a display module ( 460) wherein the processor determines whether the user's pupil is aligned with the optical axis 471 of the first lens, and if it is determined that the user's pupil is not aligned with the optical axis 471 of the first lens, the processor The second type of image related to the virtual space generated by is shifted based on the first type of image related to the real space obtained from the camera module 430, and the first type of image and the shifted second type of image are shifted. can be output to the display module 460.
  • the processor may determine whether the first axis coordinate of a point corresponding to the center of the user's pupil and the first axis coordinate of a point corresponding to the optical axis of the first lens are the same.
  • the processor determines the second type of image based on the first type of image. shifts in the first direction, and when the point corresponding to the user's pupil is located on the second side opposite to the first side compared to the point corresponding to the optical axis of the first lens, the image of the second type is Based on the type of image, it can be shifted to a second direction that is opposite to the first direction.
  • the processor calculates the error distance between the point corresponding to the user's pupil and the point corresponding to the first lens based on the first axis, and calculates the error distance of the second type by a distance proportional to the calculated error distance.
  • the image may be shifted based on the first type of image.
  • a method implemented with a processor includes an operation of determining whether the user's pupil is aligned with the optical axis 471 of the first lens included in the lens assembly 410, and the user's pupil is aligned with the optical axis 471 of the first lens ( 471), obtaining a second type of image related to the virtual space generated by the processor from the camera module 430 including a second lens having the same optical axis as the optical axis of the first lens.
  • the operation of determining alignment includes determining whether the first axis coordinate of a point corresponding to the center of the user's pupil and the first axis coordinate of a point corresponding to the optical axis of the first lens are the same.
  • the shifting operation changes the second type of image into the first type of image when the point corresponding to the user's pupil is located on the first side compared to the point corresponding to the optical axis of the first lens.
  • An operation of shifting in the first direction based on It may include an operation of shifting the image in a second direction that is opposite to the first direction based on the first type of image.
  • the shifting operation involves calculating an error distance between a point corresponding to the user's pupil and a point corresponding to the first lens based on a first axis, and calculating a second distance proportional to the calculated error distance. It may include an operation of shifting the type of image based on the first type of image.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

일 실시예에 따른 전자 장치는, 제1 렌즈를 포함하는 렌즈 어셈블리, 및 제1 렌즈의 광축과 동일한 광축을 갖는 제2 렌즈를 포함하고, 렌즈 어셈블리와 결합되는 카메라 모듈을 포함하고, 렌즈 어셈블리와 카메라 모듈은, 제1 렌즈의 광축과 제2 렌즈의 광축이 일치되면서 함께 이동 가능하도록 구성될 수 있다.

Description

실제 공간과 가상 공간 간의 차이를 최소화하는 전자 장치 및 그 제조 방법
아래의 개시는 실제 공간과 가상 공간 간의 차이를 최소화하는 전자 장치 및 그 제조 방법에 관한 것이다.
사용자에게 가상 현실(virtual reality, VR), 증강 현실(augmented reality, AR), 혼합 현실(mixed reality, MR) 및/또는 확장 현실(extended reality, XR)의 경험을 제공하는 사용자 인터페이스를 갖는 전자 장치가 개발되고 있다.
전술한 배경기술은 본 개시의 도출과정에서 보유하거나 습득한 것으로서 반드시 본 개시의 출원 전에 일반 공중에 공개된 공지기술이라고 할 수 없다.
일 실시예에 따른 웨어러블 전자 장치는, 제1 렌즈를 포함하는 렌즈 어셈블리(lens assembly), 상기 제1 렌즈의 광축과 동일한 광축을 갖는 제2 렌즈를 포함할 수 있다. 상기 웨어러블 전자 장치는 상기 렌즈 어셈블리와 결합되는 카메라 모듈을 포함할 수 있다. 상기 렌즈 어셈블리와 상기 카메라 모듈은, 상기 제1 렌즈의 광축과 상기 제2 렌즈의 광축이 일치되면서 함께 이동 가능하도록 구성될 수 있다.
일 실시예에 따른 웨어러블 전자 장치를 제조하는 방법은, 제1 렌즈를 포함하는 렌즈 어셈블리에 상기 렌즈 어셈블리를 향해 영상 광을 출력하는 디스플레이 모듈을 고정시키는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 렌즈의 광축과 동일한 광축을 갖는 제2 렌즈를 포함하는 카메라 모듈을 상기 렌즈 어셈블리와 결합시키는 동작을 포함할 수 있다. 상기 렌즈 어셈블리와 상기 카메라 모듈은, 상기 제1 렌즈의 광축과 상기 제2 렌즈의 광축이 일치되면서 함께 이동 가능하도록 구성될 수 있다.
일 실시예에 따른 웨어러블 전자 장치는, 가상 공간을 구축하는 프로세서를 포함할 수 있다. 상기 웨어러블 전자 장치는, 제1 렌즈를 포함하는 렌즈 어셈블리를 포함할 수 있다. 상기 웨어러블 전자 장치는, 상기 제1 렌즈의 광축과 동일한 광축을 갖는 제2 렌즈를 포함하고, 상기 렌즈 어셈블리와 결합되는 카메라 모듈을 포함할 수 있다. 상기 웨어러블 전자 장치는, 상기 렌즈 어셈블리와 상기 카메라 모듈 사이에 배치되고, 상기 렌즈 어셈블리를 향해 영상 광을 출력하는 디스플레이 모듈을 포함할 수 있다. 상기 프로세서는, 사용자의 눈동자와 상기 제1 렌즈의 광축의 정렬 여부를 판단할 수 있다. 상기 프로세서는, 상기 사용자의 눈동자가 상기 제1 렌즈의 광축과 정렬되지 않은 것으로 판단된 경우, 상기 프로세서에 의해 생성된 가상 공간과 관련된 제2 타입의 이미지를 상기 카메라 모듈로부터 획득된 실제 공간과 관련된 제1 타입의 이미지를 기준으로 시프트할 수 있다. 상기 프로세서는, 상기 제1 타입의 이미지와 상기 시프트된 제2 타입의 이미지를 상기 디스플레이 모듈에 출력할 수 있다.
일 실시예에 따른 프로세서로 구현되는 방법은, 사용자의 눈동자와 렌즈 어셈블리에 포함된 제1 렌즈의 광축의 정렬 여부를 판단하는 동작을 포함할 수 있다. 상기 방법은, 상기 사용자의 눈동자가 상기 제1 렌즈의 광축과 정렬되지 않은 것으로 판단된 경우, 상기 프로세서에 의해 생성된 가상 공간과 관련된 제2 타입의 이미지를, 상기 제1 렌즈의 광축과 동일한 광축을 갖는 제2 렌즈를 포함하는 카메라 모듈로부터 획득된 실제 공간과 관련된 제1 타입의 이미지를 기준으로 시프트하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 타입의 이미지와 상기 시프트된 상기 제2 타입의 이미지를 디스플레이 모듈에 출력하는 동작을 포함할 수 있다. 상기 카메라 모듈은, 상기 렌즈 어셈블리와 결합될 수 있다. 상기 디스플레이 모듈은, 렌즈 어셈블리와 상기 카메라 모듈 사이에 배치되고, 상기 렌즈 어셈블리를 향해 영상 광을 출력할 수 있다.
하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체는 상기 방법을 수행하기 위한 명령어를 포함할 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2a는 일 실시 예에 따른 웨어러블 전자 장치의 전방 사시도이다.
도 2b은 일 실시 예에 따른 웨어러블 전자 장치의 후방 사시도이다.
도 3은 일 실시예에 따른 웨어러블 전자 장치의 사시도를 도시한다.
도 4는 일 실시예에 따른 사용자의 좌안 및 우안 중 하나에 대응하는 렌즈 어셈블리, 디스플레이 패널, 및 카메라 모듈의 결합에 관하여 설명하는 도면이다.
도 5는 일 실시예에 따른 웨어러블 전자 장치에서 렌즈 어셈블리들 간의 결합을 설명하는 도면이다.
도 6은 일 실시예에 따른 웨어러블 전자 장치가 사용자의 눈동자와 렌즈의 광축이 떨어진 거리에 기초하여 이미지를 보정하는 동작을 설명하는 도면이다.
도 7은 프로세서에 의해 생성된 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 시프트하는 동작을을 설명하는 도면이다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2a는 일 실시 예에 따른 웨어러블 전자 장치의 전방 사시도이다. 도 2b은 일 실시 예에 따른 웨어러블 전자 장치의 후방 사시도이다.
도 2a 및 도 2b을 참조하면, 웨어러블 전자 장치(201)(예: 도 1의 전자 장치(101))는 사용자의 신체의 일부에 착용되어 사용자 인터페이스를 제공할 수 있다. 예를 들면, 전자 장치(201)는 사용자에게 증강 현실(augmented reality), 가상 현실(virtual reality), 혼합 현실(mixed reality) 및/또는 확장 현실(extended reality)의 경험을 제공할 수 있다.
일 실시 예에서, 전자 장치(201)는 하우징(210)을 포함할 수 있다. 하우징(210)은 적어도 하나의 컴포넌트를 수용하도록 구성될 수 있다. 하우징(210)은, 제 1 면(211A)(예: 전면), 제 1 면(211A)에 반대되는 제 2 면(211B)(예: 후면), 및 제 1 면(211A) 및 제 2 면(211B) 사이의 제 3 면(211C)(예: 사이드 면)을 포함할 수 있다.
일 실시 예에서, 하우징(210)은 복수 개의 하우징 파트들을 포함할 수 있다. 예를 들면, 하우징(210)은 제 1 하우징 파트(211) 및 제 2 하우징 파트(212)를 포함할 수 있다. 제 1 하우징 파트(211)는 하우징(210)의 제 1 면(211A)을 형성할 수 있다. 제 1 하우징 파트(211)는 하우징(210)의 제 3 면(211C)의 적어도 일부를 형성할 수 있다. 제 2 하우징 파트(212)는 하우징(210)의 제 2 면(211B)을 형성할 수 있다. 제 2 하우징 파트(212)는 하우징(210)의 제 3 면(211C)의 적어도 일부를 형성할 수 있다. 일 실시 예에서, 제 2 하우징 파트(212)는 사용자의 신체의 일부(예: 얼굴)를 대면할 수 있다. 일 실시 예에서, 제 1 하우징 파트(211) 및 제 2 하우징 파트(212)는 분리 가능하게 결합될 수 있다. 일 실시 예에서, 제 1 하우징 파트(211) 및 제 2 하우징 파트(212)는 일체로 심리스하게 연결될 수 있다.
일 실시 예에서, 하우징(210)은 커버(213)를 포함할 수 있다. 커버(213)는 하우징(210)의 제 1 면(211A)을 형성할 수 있다. 커버(213)는 제 1 하우징 파트(211)의 적어도 일부의 영역을 덮도록 구성될 수 있다.
일 실시 예에서, 하우징(210)은 브릿지(214)를 포함할 수 있다. 브릿지(214)는 사용자의 신체의 일부(예: 코)를 대면하도록 구성될 수 있다. 예를 들면, 브릿지(214)는 사용자의 코에 의해 지지될 수 있다. 브릿지(214)는, 제 1 하우징 파트(211), 제 2 하우징 파트(212) 또는 커버(213) 중 적어도 하나 또는 이들의 조합에 형성될 수 있다.
일 실시 예에서, 전자 장치(201)는 렌즈 구조체(220)를 포함할 수 있다. 렌즈 구조체(220)는 사용자에게 제공되는 이미지의 초점을 조절하도록 구성된 복수 개의 렌즈들을 포함할 수 있다. 예를 들면, 복수 개의 렌즈들은 디스플레이(260)에 의해 출력되는 영상의 초점을 조절하도록 구성될 수 있다. 복수 개의 렌즈들은 디스플레이(260)의 위치에 대응하는 위치에 배치될 수 있다. 복수 개의 렌즈들은, 예를 들면, 프레넬 렌즈(Fresnel lens), 팬케이크 렌즈(Pancake lens), 멀티채널 렌즈 및/또는 기타 임의의 적합한 렌즈를 포함할 수 있다.
일 실시 예에서, 전자 장치(201)는 디스플레이(260)(예: 도 1의 디스플레이 모듈(160))를 포함할 수 있다. 디스플레이(260)는 사용자에게 영상(예: 가상 영상)을 제공하도록 구성될 수 있다. 예를 들면, 디스플레이(260)는, 액정 표시 장치(liquid crystal display)(LCD), 디지털 미러 표시 장치(digital mirror device)(DMD), 실리콘 액정 표시 장치(liquid crystal on silicon)(LCoS), 실리콘 온 발광 다이오드(light emitting diode(LED) on silicon; LEDoS), 유기 발광 다이오드(organic light emitting diode)(OLED), 및/또는 마이크로 엘이디(micro light emitting diode)(micro LED)를 포함할 수 있다. 어떤 실시 예에서, 디스플레이(260)는 영상이 출력되는 영역에 광 신호를 송신하도록 구성된 광원(미도시)을 포함할 수 있다. 어떤 실시 예에서, 디스플레이(260)는 자체적으로 광 신호를 발생시킴으로써 사용자에게 영상을 제공할 수 있다. 일 실시 예에서, 디스플레이(260)는 하우징(210)의 제 2 면(211B)에 배치될 수 있다. 일 실시 예에서, 디스플레이(260)는 제 2 하우징 파트(212)에 배치될 수 있다. 일 실시 예에서, 디스플레이(260)는 제 1 표시 영역(260A) 및 제 2 표시 영역(260B)을 포함할 수 있다. 제 1 표시 영역(260A)은 사용자의 왼쪽 눈을 대면하도록 배치될 수 있다. 제 2 표시 영역(260B)은 사용자의 오른쪽 눈을 대면하도록 배치될 수 있다. 일 실시 예에서, 제 1 표시 영역(260A) 및 제 2 표시 영역(260B)은 글래스, 플라스틱 및/또는 폴리머를 포함할 수 있다. 일 실시 예에서, 제 1 표시 영역(260A) 및 제 2 표시 영역(260B)은 투명 재질 또는 반투명 재질을 포함할 수 있다. 일 실시 예에서, 제 1 표시 영역(260A) 및 제 2 표시 영역(260B)은 단일의 표시 영역을 형성할 수 있다. 일 실시 예에서, 제 1 표시 영역(260A) 및 제 2 표시 영역(260B)은 복수 개의 표시 영역들을 형성할 수 있다.
일 실시 예에서, 전자 장치(201)는 센서(276)(예: 도 1의 센서 모듈(176))를 포함할 수 있다. 센서(276)는 피사체의 깊이를 감지하도록 구성될 수 있다. 센서(276)는 피사체를 향해 신호를 송신 및/또는 피사체로부터 신호를 수신하도록 구성될 수 있다. 예를 들면, 송신 신호는 근적외선, 초음파 및/또는 레이저를 포함할 수 있다. 센서(276)는 전자 장치(201) 및 피사체 사이의 거리를 측정하기 위해 신호의 비행 시간(time of flight)(ToF)을 측정하도록 구성될 수 있다. 일 실시 예에서, 센서(276)는 하우징(210)의 제 1 면(211A)에 배치될 수 있다. 일 실시 예에서, 센서(276)는 제 1 하우징 파트(211) 및/또는 커버(213)의 중심부에 배치될 수 있다.
일 실시 예에서, 전자 장치(201)는 복수 개의 제 1 카메라(280A)(예: 도 1의 카메라 모듈(180))들을 포함할 수 있다. 복수 개의 제 1 카메라(280A)들은 피사체로부터 이미지를 획득하도록 구성될 수 있다. 복수 개의 제 1 카메라(280A)들 중 어느 하나의 제 1 카메라(280A)는 하우징(210)의 제 1 면(211A) 중에서 제 1 영역(예: 도 2a에서 -X 방향 부분)에 배치되고, 다른 하나의 제 1 카메라(280A)는 하우징(210)의 제 1 면(211A) 중에서 제 1 부분과 다른 하우징(210)의 제 2 영역(예: 도 2a에서 +X 방향 부분)에 배치될 수 있다. 복수 개의 제 1 카메라(280A)들은 센서(276)의 양 측에 각각 배치될 수 있다. 복수 개의 제 1 카메라(280A)들은 이미지 스태빌라이저 액추에이터(미도시) 및/또는 오토 포커스 액추에이터(미도시)를 포함할 수 있다. 예를 들면, 복수 개의 제 1 카메라(280A)들은 컬러 이미지를 획득하도록 구성된 카메라, 글로벌 셔터 카메라, 또는 롤링 셔터 카메라 중 적어도 하나의 카메라 또는 이들의 조합을 포함할 수 있다.
일 실시 예에서, 전자 장치(201)는 복수 개의 제 2 카메라(280B)(예: 도 1의 카메라 모듈(180))들을 포함할 수 있다. 복수 개의 제 2 카메라(280B)들은 피사체를 인식하도록 구성될 수 있다. 복수 개의 제 2 카메라(280B)들은 3자유도 또는 6자유도의 물체(예: 인체의 머리 또는 손) 또는 공간을 검출 및/또는 추적하도록 구성될 수 있다. 예를 들면, 복수 개의 제 2 카메라(280B)들은 글로벌 셔터 카메라를 포함할 수 있다. 복수 개의 제 2 카메라(280B)들은 피사체의 깊이 정보를 이용하여 동시적 위치추정 및 지도작성(simultaneous localization and mapping)(SLAM)을 수행하도록 구성될 수 있다. 복수 개의 제 2 카메라(280B)들은 피사체의 제스처를 인식하도록 구성될 수 있다. 일 실시 예에서, 복수 개의 제 2 카메라(280B)들은 하우징(210)의 제 1 면(211A)에 배치될 수 있다. 일 실시 예에서, 복수 개의 제 2 카메라(280B)들은 제 1 하우징 파트(211) 및/또는 커버(213)의 코너 영역들에 각각 배치될 수 있다.
일 실시 예에서, 전자 장치(201)는 복수 개의 제 3 카메라(280C)(예: 도 1의 카메라 모듈(180))들을 포함할 수 있다. 복수 개의 제 3 카메라(280C)들은 사용자의 눈동자들을 검출 및 추적하도록 구성될 수 있다. 디스플레이(260)에 표시되는 영상의 중심이 사용자의 눈동자들이 응시하는 방향에 따라 이동하도록 사용자의 눈동자들에 대한 위치 정보가 사용될 수 있다. 예를 들면, 복수 개의 제 3 카메라(280C)들은 글로벌 셔터 카메라를 포함할 수 있다. 복수 개의 제 3 카메라(280C)들 중 어느 하나의 제 3 카메라(280C)는 사용자의 왼쪽 눈에 대응되게 배치되고, 다른 하나의 제 3 카메라(280C)는 사용자의 오른쪽 눈에 대응되게 배치될 수 있다.
일 실시 예에서, 전자 장치(201)는 복수 개의 제 4 카메라(280D)(예: 도 1의 카메라 모듈(180))들을 포함할 수 있다. 복수 개의 제 4 카메라(280D)들은 사용자의 얼굴을 인식하도록 구성될 수 있다. 예를 들면, 복수 개의 제 4 카메라(280D)들은 사용자의 얼굴 표정을 검출 및 추적하도록 구성될 수 있다.
도시되지 않은 실시 예에서, 전자 장치(201)는, 마이크(예: 도 1의 입력 모듈(150)), 스피커(예: 도 1의 음향 출력 모듈(155)), 배터리(예: 도 1의 배터리(189)), 안테나(예: 도 1의 안테나 모듈(197)), 센서(예: 도 1의 센서 모듈(176)) 및/또는 기타 전자 장치(201)에 적합한 임의의 컴포넌트를 포함할 수 있다.
도 3은 일 실시예에 따른 웨어러블 전자 장치의 사시도를 도시한다.
일 실시예에 따른 웨어러블 전자 장치(예: 도 1의 전자 장치(101) 및/또는 도 2의 웨어러블 전자 장치(201))는 하우징(301)(예: 도 2의 하우징(210))을 포함할 수 있다.
웨어러블 전자 장치는 사용자의 왼쪽 눈에 대응하는 제1 렌즈 어셈블리(310-1) 및 사용자의 오른쪽 눈에 대응하는 제2 렌즈 어셈블리(310-2)를 포함할 수 있다.
웨어러블 전자 장치는 사용자의 왼쪽 눈에 대응하는 제1 카메라 모듈(330-1) 및 사용자의 오른쪽 눈에 대응하는 제2 카메라 모듈(330-2)을 포함할 수 있다. 제1 카메라 모듈(330-1) 및 제2 카메라 모듈(330-2)은 피사체로부터 이미지를 획득하도록 구성될 수 있다. 제1 카메라 모듈(330-1)은 하우징(301)의 제1 면(301A) 중에서 제1 영역(예: 도 3에서 +X 방향 부분)에 배치되고, 제2 카메라 모듈(330-2)은 제2 영역(예: 도 3에서 -X 방향 부분)에 배치될 수 있다.
웨어러블 전자 장치는 제1 렌즈 어셈블리(310-1)를 향해 영상 광을 출력하는 제1 디스플레이 모듈(360-1) 및 제2 렌즈 어셈블리(310-2)를 향해 영상 광을 출력하는 제2 디스플레이 모듈(360-2)을 포함할 수 있다.
웨어러블 전자 장치는 사용자의 왼쪽 눈에 대응하는 제1 디스플레이 모듈(360-1) 및 사용자의 오른쪽 눈에 대응하는 제2 디스플레이 모듈(360-2)을 포함할 수 있다. 디스플레이 모듈들(360-1, 360-2)은 사용자에게 영상(예: 가상 영상)을 제공하도록 구성될 수 있다. 제1 디스플레이 모듈(360-1)은 사용자의 왼쪽 눈을 대면하도록 배치될 수 있으며, 제2 디스플레이 모듈(360-2)은 사용자의 오른쪽 눈을 대면하도록 배치될 수 있다. 제1 디스플레이 모듈(360-1) 및 제2 디스플레이 모듈(360-2)은 투명 재질 또는 반투명 재질을 포함할 수 있다.
웨어러블 전자 장치는 제1 카메라 모듈(330-1)과 제1 디스플레이 모듈(360-1) 사이 및 제2 카메라 모듈(330-2)과 제2 디스플레이 모듈(360-2) 사이에 배치되는 PCB 기판(예: PBA(printed board assembly), FPCB(flexible PCB) 또는 RFPCB(rigid-flexible PCB))을 포함할 수 있다. PCB 기판은 제1 카메라 모듈(330-1) 및 제2 카메라 모듈(330-2)과 연결될 수 있고, 제1 디스플레이 모듈(360-1) 및 제2 디스플레이 모듈(360-2)과도 연결될 수 있다.
일 실시예에 따르면, 제1 디스플레이 모듈(360-1)은 제1 카메라 모듈(330-1)로부터 획득된 실제 공간(real space)과 관련된 제1 타입의 이미지와 프로세서에 의해 생성된 가상 공간(virtual space)과 관련된 제2 타입의 이미지가 오버랩(overlap)된 장면 이미지를 제1 렌즈 어셈블리(310-1)에 제공할 수 있다. 제2 디스플레이 모듈(360-2)은 제2 카메라 모듈(330-2)로부터 획득된 실제 공간과 관련된 제1 타입의 이미지와 프로세서에 의해 생성된 가상 공간과 관련된 제2 타입의 이미지가 오버랩된 장면 이미지를 제2 렌즈 어셈블리(310-2)에 제공할 수 있다. 사용자는 카메라 모듈들(330-1, 330-2), 디스플레이 패널들(360-1, 360-2), 및 렌즈 어셈블리들(310-1, 310-2)에 기초하여 제공되는 장면 이미지들을 통해 가상 공간에 대한 시각적 정보를 제공받을 수 있다.
도 4는 일 실시예에 따른 사용자의 좌안 및 우안 중 하나에 대응하는 렌즈 어셈블리, 디스플레이 패널, 및 카메라 모듈의 결합에 관하여 설명하는 도면이다.
일 실시예에 따르면, 웨어러블 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 전자 장치(201))는 제1 렌즈를 포함하는 렌즈 어셈블리(lens assembly)(410)를 포함할 수 있다. 웨어러블 전자 장치는 렌즈 어셈블리(410)의 제1 렌즈를 고정시키는 제1 브라켓(420)을 더 포함할 수 있다. 제1 브라켓(420)은 렌즈 어셈블리(410)와 연결될 수 있다. 렌즈 어셈블리는 복수개의 렌즈들을 포함할 수 있으나, 설명의 편의를 위하여 하나의 렌즈를 포함하는 것으로 설명한다. 만약, 렌즈 어셈블리가 복수개의 렌즈들을 포함하는 경우, 복수개의 렌즈들은 실질적으로 동일한 광축을 가질 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치는 렌즈 어셈블리(410)에 포함된 제1 렌즈의 광축(471)과 동일한 광축을 갖는, 카메라 모듈(430)의 제2 렌즈를 포함할 수 있다. 예를 들면, 렌즈 어셈블리(410)는 카메라 모듈(430)과 연결될 수 있다. 웨어러블 전자 장치는 카메라 모듈(430)을 지지하는 제2 브라켓(440)을 포함할 수 있다.
일 실시예에 따르면, 렌즈 어셈블리(410)와 카메라 모듈(430)은, 제1 렌즈의 광축(471)과 제2 렌즈의 광축(472)이 일치되면서 함께 이동 가능하도록 구성될 수 있다. 렌즈 어셈블리(410)는 제1 방향(예: +X 방향) 또는 제1 방향에 반대되는 제2 방향(예: -X 방향)으로 이동하도록 구성될 수 있고, 카메라 모듈(430) 또한 제1 방향(예: +X 방향) 또는 제1 방향에 반대되는 제2 방향(예: -X 방향)으로 이동하도록 구성될 수 있다. 렌즈 어셈블리(410)와 카메라 모듈(430) 간의 결합에 의해 렌즈 어셈블리(410)와 카메라 모듈(430)은 실질적으로 동일한 방향으로 이동하도록 구성될 수 있고, 렌즈 어셈블리(410)에 포함된 제1 렌즈의 광축(471)과 카메라 모듈(430)의 제2 렌즈의 광축(472)은 일치할 수 있다. 이하에서는, 렌즈 어셈블리(410)와 카메라 모듈(430) 간의 결합 방법에 관하여 설명한다.
일 실시예에 따르면, 제1 브라켓(420)은, 제1 렌즈를 향하는 제1 면 및 제1 면과 반대 방향(예: +Z 방향)을 향하는 제2 면을 포함할 수 있다. 제1 브라켓(420)은 제1 면의 반대면인 제2 면 상에 형성되는 제1 결합부들(421, 422)을 포함할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 제1 브라켓(420)은 제2 면 상에서 제1 측(예: 상측 또는 +Y 방향 측)에 형성된 제1 결합부(421)와 제2 면 상에서 제2 측(예: 하측 또는 -Y 방향 측)에 형성된 제1 결합부(422)를 포함할 수 있다. 제1 측과 제2 측은 제1 렌즈의 광축(471)을 기준으로 서로 반대 측을 나타낼 수 있다. 제1 결합부(예: 제1 결합부(421) 또는 제1 결합부(422))는 제2 면 상에서 제1 렌즈의 광축(471)과 실질적으로 평행한 방향(예: +Z 방향)으로 일정 높이만큼 돌출된 2개의 고정 부재들을 포함할 수 있다. 예를 들어, 2개의 고정 부재들은 일정 거리만큼 이격될 수 있다. 도 4에서는, 제1 브라켓(420)이 2개의 결합부들(421, 422)을 포함하는 것으로 도시되었으나, 이로 한정하지는 않으며, 제1 브라켓(420)은 1개 또는 3개 이상의 결합부들을 포함할 수도 있다.
일 실시예에 따르면, 카메라 모듈(430)을 지지하는 제2 브라켓(440)은, 제2 렌즈의 광축(472)과 실질적으로 수직한 연장 부재(443) 및 연장 부재(443)의 양단에 형성되는 복수의 제2 결합부들(441, 442)을 포함할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 제2 브라켓(440)은 연장 부재(443)의 제1 측(예: +Y 방향 측)의 일단에 형성된 제2 결합부(441)와, 연장 부재(443)의 제2 측(예: -Y 방향 측)에 형성된 제2 결합부(442)를 포함할 수 있다. 마찬가지로, 제1 측과 제2측은 제2 렌즈의 광축(472)을 기준으로 서로 반대 측을 나타낼 수도 있다. 제2 결합부(예: 제2 결합부(441) 또는 제2 결합부(442))는 연장 부재(443)의 일단 및/또는 타단에서 제2 렌즈의 광축(472)과 실질적으로 평행한 방향(예: -Z 방향)으로 일정 높이만큼 돌출된 1개의 고정 부재로 구성될 수 있다.
일 실시예에 따르면, 렌즈 어셈블리(410)의 제1 렌즈를 고정시키는 제1 브라켓(420)과 카메라 모듈(430)을 고정시키는 제2 브라켓(440)의 결합을 통해 렌즈 어셈블리(410)와 카메라 모듈(430)이 결합될 수 있다. 도 4를 참조하면, 제1 브라켓(420)에 포함된 제1 결합부(421)는 제2 브라켓(440)에 포함된 제2 결합부(441)와 결합될 수 있고, 제1 브라켓(420)에 포함된 제1 결합부(422)는 제2 브라켓(440)에 포함된 제2 결합부(442)와 결합될 수 있다. 제1 결합부(421)에 포함된 2개의 고정 부재들 사이에 제2 결합부(441)를 구성하는 고정 부재가 배치될 수 있다. 제1 결합부(422)에 포함된 2개의 고정 부재들 사이에 제2 결합부(442)를 구성하는 고정 부재가 배치될 수 있다.
일 실시예에 따르면, 제1 브라켓(420)에 포함된 제1 결합부(421)는 제2 브라켓(440)에 포함된 제2 결합부(441)와 제1 샤프트(451)를 사용하여 결합될 수 있다. 제1 브라켓(420)에 포함된 제1 결합부(422)는 제2 브라켓(440)에 포함된 제2 결합부(442)와 제2 샤프트(452)를 사용하여 결합될 수 있다. 제1 브라켓(420)에 포함된 제1 측(예: +Y 방향 측)에 형성된 제1 결합부(421)에는 제2 브라켓(440)과의 결합을 위한 체결홀들(21)이 형성될 수 있다. 제1 결합부(421)에 포함된 고정 부재들에 체결홀들(21)이 형성될 수 있다. 마찬가지로, 제1 브라켓(420)에 포함된 제2 측(예: -Y 방향 측)에 형성된 제1 결합부(422)에는 체결홀들(22)이 형성될 수 있다. 제2 브라켓(440)에 포함된 연장 부재(443)의 제1 측에 형성된 제2 결합부(441)에는 제1 브라켓(420)과의 결합을 위한 체결홀(41)이 형성될 수 있고, 연장 부재(443)의 제2 측에 형성된 제2 결합부(442)에는 체결홀(42)이 형성될 수 있다. 제1 결합부(421)에 형성된 체결홀들(21) 및 제2 결합부(441)에 형성된 체결홀(41)에 제1 샤프트(451)가 삽입될 수 있고, 제1 결합부(422)에 형성된 체결홀들(22) 및 제2 결합부(442)에 형성된 체결홀(42)에 제2 샤프트(452)가 삽입될 수 있다.
제1 샤프트(451) 및 제2 샤프트(452)는 실질적으로 서로 평행할 수 있고, 서로 이격되어 배치될 수 있다. 제1 샤프트(451) 및 제2 샤프트(452) 각각은, 제1 렌즈의 광축(471) 및 제2 렌즈의 광축(472)에 교차(skew)하는 축(예: X 방향 축)을 따라 연장된 형태를 가질 수 있다.
일 실시예에 따르면, 렌즈 어셈블리(410)와 카메라 모듈(430)은 제1 샤프트(451) 및 제2 샤프트(452)를 따라 이동 가능하도록 구성될 수 있다. 렌즈 어셈블리(410)가 샤프트(예: 제1 샤프트(451) 또는 제2 샤프트(452))에 대응하는 일축(예: X 방향 축)을 따라 일정 거리만큼 이동하는 경우, 렌즈 어셈블리(410)와 결합된 카메라 모듈(430)은 샤프트(예: 제1 샤프트(451) 또는 제2 샤프트(452))에 대응하는 일축(예: X 방향 축)을 따라 렌즈 어셈블리(410)가 이동한 거리만큼 이동할 수 있다.
일 실시예에 따르면, 렌즈 어셈블리(410)와 카메라 모듈(430) 사이에, 렌즈 어셈블리(410)에 고정되도록 배치되며 렌즈 어셈블리(410)를 향해 영상 광을 출력하는 디스플레이 모듈(460)(예: 도 3의 디스플레이 모듈(360-1) 또는 디스플레이 모듈(360-2))을 더 포함할 수 있다. 디스플레이 모듈(460)의 일측에는 연결 부재가 형성될 수 있다. 디스플레이 모듈(460)의 일측에 형성된 연결 부재와 제1 브라켓(420) 간의 결합을 통해 디스플레이 모듈(460)과 렌즈 어셈블리(410)는 서로 연결될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치를 제조하는 경우에 렌즈 어셈블리(410)와 디스플레이 모듈(460)을 먼저 결합시킬 수 있다. 다시 말해, 제1 렌즈를 포함하는 렌즈 어셈블리(410)에 렌즈 어셈블리(410)를 향해 영상 광을 출력하는 디스플레이 모듈(460)을 고정시킬 수 있다. 액티브 얼라인먼트(active alignmennt) 기술을 이용하여 제1 렌즈의 광축을 확인 및 수정할 수 있다. 웨어러블 전자 장치의 제조 시, 렌즈 어셈블리(410)와 디스플레이 모듈(460)을 결합시킨 후, 렌즈 어셈블리(410)의 렌즈의 광축과 실질적으로 동일한 광축을 갖는 제2 렌즈를 포함하는 카메라 모듈(430)을 렌즈 어셈블리(410)와 결합시킬 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치는 가상 공간을 구축하는 프로세서(예: 도 1의 프로세서(120))를 더 포함할 수 있다. 프로세서는 가상 그래픽 표현 또는 가상 오브젝트를 생성함으로써 가상 공간을 구축할 수 있다. 디스플레이 모듈(460)은 카메라 모듈(430)로부터 획득된 실제 공간(real space)과 관련된 제1 타입의 이미지와 프로세서에 의해 생성된 가상 공간과 관련된 제2 타입의 이미지를 오버랩(overlap)하여 렌즈 어셈블리(410)에 제공할 수 있다.
도 5는 일 실시예에 따른 웨어러블 전자 장치에서 렌즈 어셈블리들 간의 결합을 설명하는 도면이다.
일 실시예에 따른 웨어러블 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 전자 장치(201))는 사용자의 왼쪽 눈에 대응하는 제1 렌즈 어셈블리(510-1) 및 사용자의 오른쪽 눈에 대응하는 제2 렌즈 어셈블리(510-2)를 포함할 수 있다. 제1 렌즈 어셈블리(510-1) 및 제2 렌즈 어셈블리(510-2)는 샤프트를 통해 결합되고, 샤프트를 따라 이동 가능하게 구성될 수 있다. 제1 렌즈 어셈블리(510-1) 및 제2 렌즈 어셈블리(510-2)는 제1 샤프트(551)(예: 도 4의 제1 샤프트(451))와 제2 샤프트(552)(예: 도 4의 제2 샤프트(452))를 사용하여 결합될 수 있다. 제1 렌즈 어셈블리(510-1) 및 제2 렌즈 어셈블리(510-2)는 실질적으로 동일한 평면(예: XY 평면) 상에서 이동 가능할 수 있다. 이하에서는, 제1 렌즈 어셈블리(510-1)와 제2 렌즈 어셈블리(510-2)의 결합 방법을 설명한다.
웨어러블 전자 장치는 제1 렌즈 어셈블리(510-1)의 렌즈와 결합되는 제1 브라켓(520-1)을 포함할 수 있고, 제2 렌즈 어셈블리(510-2)의 렌즈와 결합되는 제3 브라켓(520-2)을 더 포함할 수 있다. 제1 브라켓(520-1)은 결합부들(521-1, 522-1)을 포함할 수 있고, 결합부들(521-1, 522-1) 각각은, 렌즈의 광축과 실질적으로 평행한 방향(예: +Z 방향)으로 일정 높이만큼 돌출된 2개의 고정 부재들을 포함할 수 있다. 제3 브라켓(520-2)은 결합부들(521-2, 522-2)을 포함할 수 있고, 결합부들(521-2, 522-2) 각각은 렌즈의 광축과 실질적으로 평행한 방향(예: +Z 방향)으로 일정 높이만큼 돌출된 2개의 고정 부재들을 포함할 수 있다. 제1 브라켓(520-1)에 포함된 결합부들(521-1, 522-1) 각각에는 체결홀들이 형성될 수 있고, 제3 브라켓(520-2)에 포함된 결합부들(521-2, 522-2) 각각에도 체결홀들이 형성될 수 있다. 제1 샤프트(551)(예: 도 4의 제1 샤프트(451))는 결합부(521-1)에 형성된 체결홀 및 결합부(521-2)에 형성된 체결홀에 삽입될 수 있다. 제2 샤프트(552)(예: 도 4의 제2 샤프트(452))는 결합부(522-1)에 형성된 체결홀 및 결합부(522-2)에 형성된 체결홀에 삽입될 수 있다. 제1 샤프트(551) 및 제2 샤프트(552)는 서로 평행할 수 있다.
일 실시예에서, 제1 브라켓(520-1)은 제1 기어(590-1)를 포함할 수 있다. 제1 기어(590-1)는 제1 방향(예: +X 방향) 또는 제2 방향(예: -X 방향)으로 배열된 복수 개의 제1 톱니들을 포함할 수 있다. 제3 브라켓(520-2)은 제2 기어(590-2)를 포함할 수 있다. 제2 기어(590-2)는 제1 방향(예: +X 방향) 또는 제2 방향(예: -X 방향)으로 배열된 복수 개의 제2 톱니들을 포함할 수 있다. 복수 개의 제2 톱니들은 복수 개의 제1 톱니들을 대면할 수 있다.
일 실시예에서, 웨어러블 전자 장치는 조정 구조체(591)를 포함할 수 있다. 조정 구조체(590)는 제1 렌즈 어셈블리(510-1) 및 제2 렌즈 어셈블리(510-2) 사이의 거리를 조정하도록 구성될 수 있다. 조정 구조체(591)는 사용자의 개별적인 동공간 거리(interpupillary distance, IPD)에 맞게 제1 렌즈 어셈블리(510-1)의 렌즈의 위치 및/또는 제2 렌즈 어셈블리(510-2)의 렌즈의 위치를 조정하도록 구성될 수 있다. 조정 구조체(591)는 조정 기어를 포함할 수 있고, 조정 기어는 제1 기어(590-1) 및 제2 기어(590-2)와 맞물리도록 구성될 수 있다. 일 실시예에서, 조정 기어는 회전하도록 구성될 수 있다.
도 6은 일 실시예에 따른 웨어러블 전자 장치가 사용자의 눈동자와 렌즈의 광축이 떨어진 거리에 기초하여 이미지를 보정하는 동작을 설명하는 도면이다.
일 실시예에 따른 웨어러블 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 전자 장치(201))에서 가용한 사용자의 동공간 거리(IPD) 범위는 미리 정해질 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치는 사용자의 동공간 거리를 측정할 수 있다. 웨어러블 전자 장치는 측정된 사용자의 동공간 거리가 웨어러블 전자 장치의 가용한 동공간 거리 범위의 하한 미만이거나 상한을 초과하는 경우에는 디스플레이 모듈에서 출력되는 이미지를 보정할 수 있다. 보다 구체적으로, 웨어러블 전자 장치는 사용자의 동공간 거리에 따라 가상 공간과 관련된 제2 타입의 이미지를 실제 공간과 관련된 제1 타입의 이미지를 기준으로 디스플레이 모듈에서 출력되는 위치를 보정함으로써, 사용자가 예상하는 실제 공간과 디스플레이 모듈에서 출력되는 이미지 간의 인지 격차를 최소화할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 웨어러블 전자 장치(201))는 사용자의 눈동자(예를 들어, 동공)의 위치와 렌즈(예: 렌즈 어셈블리의 렌즈 또는 카메라 모듈의 렌즈)의 광축을 비교하는 것에 기초하여, 디스플레이 모듈(예: 도 4의 디스플레이 모듈(460))에 출력될 이미지를 보정할 수 있다. 이하에서는, 웨어러블 전자 장치가 사용자의 좌측 눈동자에 대응하는 디스플레이 모듈에 출력될 이미지를 보정하는 것을 주로 설명한다.
일 실시예에 따르면, 웨어러블 전자 장치는 사용자의 왼쪽 눈(610)에 대응하는 제1 렌즈 어셈블리(예: 도 4의 렌즈 어셈블리(410))를 포함할 수 있고, 사용자의 왼쪽 눈(610)에 대응하는 제1 카메라 모듈(예: 도 4의 카메라 모듈(430))을 포함할 수 있다. 제1 렌즈 어셈블리는 제1 렌즈를 포함할 수 있고, 제1 카메라 모듈은 제2 렌즈를 포함할 수 있으며, 웨어러블 전자 장치는 제1 렌즈의 광축(예: 도 4의 제1 렌즈의 광축(471))과 제2 렌즈의 광축(예: 도 4의 제2 렌즈의 광축(472))은 일치하도록 구성될 수 있다. 제1 카메라 모듈은 제1 렌즈 어셈블리와 결합될 수 있다. 제1 렌즈 어셈블리와 제1 카메라 모듈은, 제1 렌즈의 광축과 제2 렌즈의 광축이 일치되면서 함께 이동 가능할 수 있다. 웨어러블 전자 장치는 제1 렌즈 어셈블리와 제1 카메라 모듈 사이에 배치되고, 제1 렌즈 어셈블리를 향해 영상 광을 출력하는 제1 디스플레이 모듈(예: 도 4의 디스플레이 모듈(460))을 더 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치는 사용자의 눈동자들(예: 왼쪽 눈동자 및 오른쪽 눈동자)을 촬영할 수 있는 카메라들(예: 도 2a 및 도 2b의 복수 개의 제3 카메라(280C))을 더 포함할 수 있다. 웨어러블 전자 장치는 사용자의 눈동자가 촬영된 이미지로부터 사용자의 눈동자가 렌즈 어셈블리에 포함된 렌즈의 광축과 정렬되었는 지 여부를 판단할 수 있다.
도 6을 참조하면, 웨어러블 전자 장치는 사용자의 왼쪽 눈(610)이 촬영된 이미지(601)로부터 사용자의 왼쪽 눈동자가 제1 렌즈 어셈블리에 포함된 제1 렌즈의 광축과 정렬되었는 지 여부를 판단할 수 있다. 웨어러블 전자 장치는 이미지(601)로부터 사용자의 왼쪽 눈동자의 중심을 검출할 수 있다. 예를 들어, 웨어러블 전자 장치는 사용자의 왼쪽 눈동자를 식별하고, 식별된 사용자의 왼쪽 눈동자 주위로 IR(infra) 광원(예를 들어, IR LED)이 빛을 방출하도록 할 수 있다. 웨어러블 전자 장치는 IR 광원에서 방출된 빛에 의해 이미지(601)에 표시된 지점들(631, 632, 633, 쪋)을 사용하여 사용자의 왼쪽 눈동자의 중심에 대응하는 지점(611)을 검출할 수 있다. 또한, 웨어러블 전자 장치는 이미지(601)로부터 제1 렌즈 어셈블리에 포함된 제1 렌즈의 광축에 대응하는 지점(621)을 검출할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치는 제1 축(예: +X 방향 축)을 기준으로 하여 왼쪽 눈동자가 제1 렌즈의 광축과 정렬되었는 지 여부를 판단할 수 있다. 다시 말해, 웨어러블 전자 장치는 왼쪽 눈동자의 중심에 대응하는 지점(611)의 제1 축 좌표와 제1 렌즈의 광축에 대응하는 지점(621)의 제1 축 좌표를 비교할 수 있다. 웨어러블 전자 장치는 왼쪽 눈동자의 중심에 대응하는 지점(611)의 제1 축 좌표와 제1 렌즈의 광축에 대응하는 지점(621)의 제1 축 좌표가 실질적으로 동일한 지 여부를 판단할 수 있다. 웨어러블 전자 장치는 왼쪽 눈동자의 중심에 대응하는 지점(611)의 제1 축 좌표가 제1 렌즈의 광축에 대응하는 지점(621)의 제1 축 좌표가 실질적으로 동일한 경우, 왼쪽 눈동자가 제1 렌즈의 광축과 정렬된 것으로 판단할 수 있다. 웨어러블 전자 장치는 왼쪽 눈동자의 중심에 대응하는 지점(611)의 제1 축 좌표와 제1 렌즈의 광축에 대응하는 지점(621)의 제1 축 좌표가 상이한 경우, 왼쪽 눈동자가 제1 렌즈의 광축과 정렬되지 않은 것으로 판단할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치는 왼쪽 눈동자가 제1 렌즈의 광축과 정렬된 것으로 판단되는 경우, 제1 디스플레이 모듈에 출력될 이미지를 보정하지 않을 수 있다. 다시 말해, 웨어러블 전자 장치는 프로세서에 의해 생성된 가상 공간과 관련된 제2 타입의 이미지가 제1 디스플레이 모듈에서 출력될 위치를 변경하지 않을 수 있다. 예를 들면, 제1 카메라 모듈로부터 획득된 실제 공간과 관련된 제1 타입의 이미지는 제1 디스플레이 모듈에서 출력될 위치가 고정될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치는 왼쪽 눈동자가 제1 렌즈의 광축과 정렬되지 않은 것으로 판단되는 경우, 프로세서에 의해 생성된 제2 타입의 이미지가 제1 디스플레이 모듈에서 출력될 위치를 변경할 수 있다. 다시 말해, 웨어러블 전자 장치는 제2 타입의 이미지를 제1 디스플레이 모듈에서 출력될 위치가 고정된 제1 타입의 이미지를 기준으로 제1 방향(예: +X 방향) 또는 제2 방향(예: -X 방향)으로 시프트할 수 있다. 웨어러블 전자 장치는 제1 타입의 이미지와 시프트된 제2 타입의 이미지를 오버랩하여 생성된 장면 이미지를 제1 디스플레이 모듈에 출력할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치는 사용자의 눈동자에 대응하는 지점과 렌즈 어셈블리에 포함된 렌즈의 광축에 대응하는 지점의 위치를 비교함으로써 제2 타입의 이미지를 시프트할 방향을 결정할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치는 사용자의 눈동자에 대응하는 지점이 렌즈의 광축에 대응하는 지점과 비교하여 제1 측(예: +X 방향 측)에 위치하는 경우, 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 제1 방향(예: +X 방향)으로 시프트할 수 있다. 일 실시예에 따르면, 사용자의 눈동자에 대응하는 지점이 렌즈의 광축에 대응하는 지점과 비교하여 제2 측(예: -X 방향 측)에 위치하는 경우, 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 제2 방향(예: -X 방향)으로 시프트할 수 있다. 도 6을 참조하면, 웨어러블 전자 장치는 왼쪽 눈동자의 중심에 대응하는 지점(611)이 제1 렌즈의 광축에 대응하는 지점(621)과 비교하여 제1 측(예: +X 방향 측)에 위치하는 경우, 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 제1 방향(예: +X 방향)으로 시프트할 수 있다. 웨어러블 전자 장치는 왼쪽 눈동자의 중심에 대응하는 지점(611)이 제1 렌즈의 광축에 대응하는 지점(621)과 비교하여 제2 측(예: -X 방향 측)에 위치하는 경우, 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 제2 방향(예: -X 방향)으로 시프트할 수 있다.
도 7은 프로세서에 의해 생성된 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 시프트하는 동작을 설명하는 도면이다.
일 실시예에 따르면, 사용자의 왼쪽 눈에 제1 카메라 모듈(예: 도 4의 카메라 모듈(430))로부터 획득된 제1 타입의 이미지(731)와 프로세서에 의해 생성된 제2 타입의 이미지(761)가 오버랩되어 디스플레이 모듈(예: 도 4의 디스플레이 모듈(460))에서 출력될 수 있다. 전술한 바와 같이, 제1 디스플레이 모듈에서 제1 타입의 이미지(731)가 출력되는 영역은 고정될 수 있고, 제2 타입의 이미지(761)가 출력되는 영역은 가변될 수 있다. 제1 디스플레이 모듈에서 제1 타입의 이미지(731)가 출력되는 영역은 제2 타입의 이미지(761)가 출력되는 영역을 포함할 수 있다. 예를 들어, 도 7을 참조하면, 제1 타입의 이미지(731)가 출력되는 영역의 높이(height)는 제2 타입의 이미지(761)가 출력되는 영역의 높이와 실질적으로 동일할 수 있고, 제1 타입의 이미지(731)가 출력되는 영역의 너비(width)는 제2 타입의 이미지(761)가 출력되는 영역의 너비 보다 넓을 수 있다.
일 실시예에 따르면, 전자 장치는 사용자의 눈동자에 대응하는 지점이 제1 축을 기준으로 제1 렌즈의 광축에 대응하는 지점으로부터 떨어진 오차 거리를 산출하고, 산출된 오차 거리에 비례하는 거리만큼 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 시프트할 수 있다. 도 7을 참조하면, 웨어러블 전자 장치는 왼쪽 눈동자가 제1 렌즈 어셈블리에 포함된 제1 렌즈의 광축과 정렬된 것으로 판단되는 경우, 제1 타입의 이미지(731)의 중심과 제2 타입의 이미지(761)의 중심이 일치하도록 제1 타입의 이미지(731)를 위치시킬 수 있다. 웨어러블 전자 장치는 왼쪽 눈동자가 제1 렌즈의 광축과 정렬되지 않은 것으로 판단되는 경우, 왼쪽 눈동자의 중심에 대응하는 지점(예: 도 6의 지점(611))이 제1 축(예: +X 방향 축)을 기준으로, 제1 렌즈의 광축에 대응하는 지점(예: 도 6의 지점(621))으로부터 떨어진 오차 거리를 산출할 수 있다. 다시 말해, 웨어러블 전자 장치는 왼쪽 눈동자의 중심에 대응하는 지점의 제1 축(예: +X 방향 축) 좌표와 제1 렌즈의 광축에 대응하는 지점의 제1 축(예: +X 방향 축) 좌표 사이의 차이를 오차 거리로 산출할 수 있다. 웨어러블 전자 장치는 산출된 오차 거리에 비례한 거리만큼 제2 타입의 이미지(761)를 시프트할 수 있다. 도 7의 예시에서, 예를 들어, 웨어러블 전자 장치는 제1 축을 기준으로 사용자의 왼쪽 눈동자의 중심에 대응하는 지점이 제1 렌즈의 광축에 대응하는 지점과 비교하여 제2 측(예: -X 방향 측)에 위치하고, 제1 축을 기준으로 사용자의 왼쪽 눈동자의 중심에 대응하는 지점이 제1 렌즈의 광축에 대응하는 지점으로부터 제1 거리만큼 떨어진 것으로 판단할 수 있다. 이러한 경우, 웨어러블 전자 장치는 제2 타입의 이미지(761)를 제1 거리에 비례하는 거리(751)만큼 제2 방향(예: -X 방향)으로 시프트할 수 있다. 다른 예를 들어, 웨어러블 전자 장치는 제1 축을 기준으로 사용자의 왼쪽 눈동자의 중심에 대응하는 지점이 제1 렌즈의 광축에 대응하는 지점과 비교하여 제1 측(예: +X 방향 측)에 위치하고, 제1 축을 기준으로 사용자의 왼쪽 눈동자의 중심에 대응하는 지점이 제1 렌즈의 광축에 대응하는 지점으로부터 제1 거리 보다 작은 제2 거리만큼 떨어진 것으로 판단할 수 있다. 이러한 경우, 웨어러블 전자 장치는 제2 타입의 이미지(761)를 제2 거리에 비례하는 거리(752)만큼 제1 방향(예: +X 방향)으로 시프트할 수 있다. 이때, 거리(752)는 거리(751) 보다 작을 수 있다.
일 실시예에 따른 웨어러블 전자 장치(101, 201)는, 제1 렌즈를 포함하는 렌즈 어셈블리(410), 및 제1 렌즈의 광축(471)과 실질적으로 동일한 광축을 갖는 제2 렌즈를 포함하고, 렌즈 어셈블리(410)와 결합되는 카메라 모듈(430)을 포함하고, 렌즈 어셈블리(410)와 카메라 모듈(430)은, 제1 렌즈의 광축(471)과 제2 렌즈의 광축(472)이 일치되면서 함께 이동 가능하도록 구성될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101, 201)는, 제1 렌즈를 고정시키는 제1 브라켓(420), 및 카메라 모듈을 지지하는 제2 브라켓(440)을 더 포함하고, 제1 브라켓(420)과 제2 브라켓(440)과의 결합을 통해 렌즈 어셈블리(410)와 카메라 모듈(430)이 결합될 수 있다.
일 실시예에 따르면, 제1 브라켓(420)은, 제1 렌즈를 향하는 제1 면의 반대면인 제2 면 상에 형성되는 제1 결합부들(421, 422)을 포함하고, 제2 브라켓(440)은, 제2 렌즈의 광축과 수직한 연장 부재(443) 및 연장 부재(443)의 양단에 형성되는 복수의 제2 결합부들(441, 442)을 포함할 수 있다.
일 실시예에 따르면, 제1 측의 제1 결합부(421)에 형성된 체결홀(21)과 제1 측의 제2 결합부(441)에 형성된 체결홀(41)에 제1 샤프트(shaft)(451)가 삽입되고, 제2 측의 제1 결합부(422)에 형성된 체결홀(22)과 제2 측의 제2 결합부(422)에 형성된 체결홀(42)에 제2 샤프트(452)가 삽입될 수 있다.
일 실시예에 따르면, 렌즈 어셈블리(410)와 카메라 모듈(430)은 제1 샤프트(451) 및 제2 샤프트(452)를 따라 이동 가능하도록 구성될 수 있다.
일 실시예에 따른 웨어러블 전자 장치는, 렌즈 어셈블리(410)와 카메라 모듈(430) 사이에 렌즈 어셈블리(410)에 고정되도록 배치되고, 렌즈 어셈블리(410)를 향해 영상 광을 출력하는 디스플레이 모듈(460)을 더 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101, 201)는, 가상 공간을 구축하는 프로세서를 더 포함하고, 디스플레이 모듈(460)은, 카메라 모듈(430)로부터 획득된 실제 공간(real space)과 관련된 제1 타입의 이미지와 프로세서에 의해 생성된 가상 공간과 관련된 제2 타입의 이미지를 오버랩(overlap)하여 렌즈 어셈블리(410)에 제공할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101, 201)는, 제3 렌즈를 포함하는 다른 렌즈 어셈블리, 및 제3 렌즈의 광축과 동일한 광축을 갖는 제4 렌즈를 포함하고, 다른 렌즈 어셈블리와 결합되는 다른 카메라 모듈을 더 포함하고, 렌즈 어셈블리(410)와 다른 렌즈 어셈블리는 샤프트를 통해 결합되어 샤프트를 따라 이동 가능하게 구성될 수 있다.
일 실시예에 따른 웨어러블 전자 장치(101, 201)를 제조하는 방법은, 제1 렌즈를 포함하는 렌즈 어셈블리(410)에 렌즈 어셈블리(410)를 향해 영상 광을 출력하는 디스플레이 모듈(460)을 고정시키는 동작, 및 제1 렌즈의 광축(471)과 동일한 광축을 갖는 제2 렌즈를 포함하는 카메라 모듈(430)을 렌즈 어셈블리(410)와 결합시키는 동작을 포함하고, 렌즈 어셈블리(410)와 카메라 모듈(430)은, 제1 렌즈의 광축(471)과 제2 렌즈의 광축(472)이 일치되면서 함께 이동 가능하도록 구성될 수 있다.
일 실시예에 따르면, 카메라 모듈(430)을 렌즈 어셈블리(410)와 결합시키는 동작은, 제1 렌즈를 고정시키는 제1 브라켓(420)과 카메라 모듈(430)을 지지하는 제2 브라켓(440)과의 결합을 통해, 카메라 모듈(430)을 렌즈 어셈블리(410)와 결합시키는 동작을 포함할 수 있다.
일 실시예에 따르면, 제1 브라켓(420)은, 제1 렌즈를 향하는 제1 면의 반대면인 제2 면 상에 형성되는 제1 결합부들(421, 422)을 포함하고, 제2 브라켓(440)은, 제2 렌즈의 광축과 수직한 연장 부재(443) 및 연장 부재(443)의 양단에 형성되는 복수의 제2 결합부들(441, 442)을 포함할 수 있다.
일 실시예에 따르면, 카메라 모듈(430)을 렌즈 어셈블리(410)와 결합시키는 동작은, 제1 측의 제1 결합부(421)에 형성된 체결홀(21)과 제1 측의 제2 결합부(441)에 형성된 체결홀(41)에 제1 샤프트(451)를 삽입시키는 동작, 및 제2 측의 제1 결합부(422)에 형성된 체결홀(22)과 제2 측의 제2 결합부(422)에 형성된 체결홀(42)에 제2 샤프트(452)를 삽입시키는 동작을 포함할 수 있다.
일 실시예에 따른 웨어러블 전자 장치(101, 201)는, 가상 공간을 구축하는 프로세서, 제1 렌즈를 포함하는 렌즈 어셈블리(410), 제1 렌즈의 광축(471)과 동일한 광축을 갖는 제2 렌즈를 포함하고, 렌즈 어셈블리(410)와 결합되는 카메라 모듈(430), 및 렌즈 어셈블리(410)와 카메라 모듈(430) 사이에 배치되고, 렌즈 어셈블리(410)를 향해 영상 광을 출력하는 디스플레이 모듈(460)를 포함하고, 프로세서는, 사용자의 눈동자와 제1 렌즈의 광축(471)의 정렬 여부를 판단하고, 사용자의 눈동자가 제1 렌즈의 광축(471)과 정렬되지 않은 것으로 판단된 경우, 프로세서에 의해 생성된 가상 공간과 관련된 제2 타입의 이미지를 카메라 모듈(430)로부터 획득된 실제 공간과 관련된 제1 타입의 이미지를 기준으로 시프트하며, 제1 타입의 이미지와 시프트된 제2 타입의 이미지를 디스플레이 모듈(460)에 출력할 수 있다.
일 실시예에 따르면, 프로세서는, 사용자의 눈동자의 중심에 대응하는 지점의 제1 축 좌표와 제1 렌즈의 광축에 대응하는 지점의 제1 축 좌표가 동일한 지 여부를 판단할 수 있다.
일 실시예에 따르면, 프로세서는, 사용자의 눈동자에 대응하는 지점이 제1 렌즈의 광축에 대응하는 지점과 비교하여 제1 측에 위치하는 경우, 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 제1 방향으로 시프트하고, 사용자의 눈동자에 대응하는 지점이 제1 렌즈의 광축에 대응하는 지점과 비교하여 제1 측과 반대 측인 제2 측에 위치하는 경우, 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 제1 방향과 반대 방향인 제2 방향으로 시프트할 수 있다.
일 실시예에 따르면, 프로세서는, 사용자의 눈동자에 대응하는 지점이 제1 축을 기준으로 제1 렌즈에 대응하는 지점으로부터 떨어진 오차 거리를 산출하고, 산출된 오차 거리에 비례하는 거리 만큼 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 시프트할 수 있다.
일 실시예에 따른 프로세서로 구현되는 방법은, 사용자의 눈동자와 렌즈 어셈블리(410)에 포함된 제1 렌즈의 광축(471)의 정렬 여부를 판단하는 동작, 사용자의 눈동자가 제1 렌즈의 광축(471)과 정렬되지 않은 것으로 판단된 경우, 프로세서에 의해 생성된 가상 공간과 관련된 제2 타입의 이미지를, 제1 렌즈의 광축과 동일한 광축을 갖는 제2 렌즈를 포함하는 카메라 모듈(430)로부터 획득된 실제 공간과 관련된 제1 타입의 이미지를 기준으로 시프트하는 동작, 및 제1 타입의 이미지와 시프트된 제2 타입의 이미지를 디스플레이 모듈(460)에 출력하는 동작을 포함하고, 카메라 모듈(430)은, 렌즈 어셈블리(410)와 결합되고, 디스플레이 모듈(460)은, 렌즈 어셈블리(410)와 카메라 모듈(430) 사이에 배치되고, 렌즈 어셈블리(410)를 향해 영상 광을 출력할 수 있다.
일 실시예에 따르면, 정렬 여부를 판단하는 동작은, 사용자의 눈동자의 중심에 대응하는 지점의 제1 축 좌표와 제1 렌즈의 광축에 대응하는 지점의 제1 축 좌표가 동일한 지 여부를 판단하는 동작을 포함할 수 있다.
일 실시예에 따르면, 시프트하는 동작은, 사용자의 눈동자에 대응하는 지점이 제1 렌즈의 광축에 대응하는 지점과 비교하여 제1 측에 위치하는 경우, 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 제1 방향으로 시프트하는 동작, 및 사용자의 눈동자에 대응하는 지점이 제1 렌즈의 광축에 대응하는 지점과 비교하여 제1 측과 반대 측인 제2 측에 위치하는 경우, 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 제1 방향과 반대 방향인 제2 방향으로 시프트하는 동작을 포함할 수 있다.
일 실시예에 따르면, 시프트하는 동작은, 사용자의 눈동자에 대응하는 지점이 제1 축을 기준으로 제1 렌즈에 대응하는 지점으로부터 떨어진 오차 거리를 산출하고, 산출된 오차 거리에 비례하는 거리 만큼 제2 타입의 이미지를 제1 타입의 이미지를 기준으로 시프트하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 웨어러블 전자 장치(101, 201)에 있어서,
    제1 렌즈를 포함하는 렌즈 어셈블리(lens assembly)(410); 및
    상기 제1 렌즈의 광축(471)과 동일한 광축을 갖는 제2 렌즈를 포함하고, 상기 렌즈 어셈블리(410)와 결합되는 카메라 모듈(430)
    을 포함하고,
    상기 렌즈 어셈블리(410)와 상기 카메라 모듈(430)은, 상기 제1 렌즈의 광축(471)과 상기 제2 렌즈의 광축(472)이 일치되면서 함께 이동 가능하도록 구성되는,
    웨어러블 전자 장치.
  2. 제1항에 있어서,
    상기 웨어러블 전자 장치(101, 201)는,
    상기 제1 렌즈를 고정시키는 제1 브라켓(420); 및
    상기 카메라 모듈을 지지하는 제2 브라켓(440)
    을 더 포함하고,
    상기 제1 브라켓(420)과 상기 제2 브라켓(440)과의 결합을 통해 상기 렌즈 어셈블리(410)와 상기 카메라 모듈(430)이 결합되는,
    웨어러블 전자 장치.
  3. 제1항 내지 제2항 중 어느 한 항에 있어서,
    상기 제1 브라켓(420)은, 상기 제1 렌즈를 향하는 제1 면의 반대면인 제2 면 상에 형성되는 제1 결합부들(421, 422)을 포함하고,
    상기 제2 브라켓(440)은, 상기 제2 렌즈의 광축과 수직한 연장 부재(443) 및 상기 연장 부재(443)의 양단에 형성되는 복수의 제2 결합부들(441, 442)을 포함하는,
    웨어러블 전자 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    제1 측의 제1 결합부(421)에 형성된 체결홀(21)과 상기 제1 측의 제2 결합부(441)에 형성된 체결홀(41)에 제1 샤프트(shaft)(451)가 삽입되고, 제2 측의 제1 결합부(422)에 형성된 체결홀(22)과 상기 제2 측의 제2 결합부(422)에 형성된 체결홀(42)에 제2 샤프트(452)가 삽입되는,
    웨어러블 전자 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 렌즈 어셈블리(410)와 상기 카메라 모듈(430)은 상기 제1 샤프트(451) 및 상기 제2 샤프트(452)를 따라 이동 가능하도록 구성되는,
    웨어러블 전자 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 렌즈 어셈블리(410)와 상기 카메라 모듈(430) 사이에 상기 렌즈 어셈블리(410)에 고정되도록 배치되고, 상기 렌즈 어셈블리(410)를 향해 영상 광을 출력하는 디스플레이 모듈(460)
    을 더 포함하는 웨어러블 전자 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 웨어러블 전자 장치(101, 201)는,
    가상 공간을 구축하는 프로세서를 더 포함하고,
    상기 디스플레이 모듈(460)은,
    상기 카메라 모듈(430)로부터 획득된 실제 공간(real space)과 관련된 제1 타입의 이미지와 상기 프로세서에 의해 생성된 가상 공간과 관련된 제2 타입의 이미지를 오버랩(overlap)하여 상기 렌즈 어셈블리(410)에 제공하는,
    웨어러블 전자 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 웨어러블 전자 장치(101, 201)는,
    제3 렌즈를 포함하는 다른 렌즈 어셈블리; 및
    상기 제3 렌즈의 광축과 동일한 광축을 갖는 제4 렌즈를 포함하고, 상기 다른 렌즈 어셈블리와 결합되는 다른 카메라 모듈
    을 더 포함하고,
    상기 렌즈 어셈블리(410)와 상기 다른 렌즈 어셈블리는 샤프트를 통해 결합되어 상기 샤프트를 따라 이동 가능하게 구성되는,
    웨어러블 전자 장치.
  9. 웨어러블 전자 장치(101, 201)를 제조하는 방법에 있어서,
    제1 렌즈를 포함하는 렌즈 어셈블리(410)에 상기 렌즈 어셈블리(410)를 향해 영상 광을 출력하는 디스플레이 모듈(460)을 고정시키는 동작; 및
    상기 제1 렌즈의 광축(471)과 동일한 광축을 갖는 제2 렌즈를 포함하는 카메라 모듈(430)을 상기 렌즈 어셈블리(410)와 결합시키는 동작
    을 포함하고,
    상기 렌즈 어셈블리(410)와 상기 카메라 모듈(430)은, 상기 제1 렌즈의 광축(471)과 상기 제2 렌즈의 광축(472)이 일치되면서 함께 이동 가능하도록 구성되는,
    방법.
  10. 제9항에 있어서,
    상기 카메라 모듈(430)을 상기 렌즈 어셈블리(410)와 결합시키는 동작은,
    상기 제1 렌즈를 고정시키는 제1 브라켓(420)과 상기 카메라 모듈(430)을 지지하는 상기 제2 브라켓(440)과의 결합을 통해, 상기 카메라 모듈(430)을 상기 렌즈 어셈블리(410)와 결합시키는 동작
    을 포함하는 방법.
  11. 웨어러블 전자 장치(101, 201)에 있어서,
    가상 공간을 구축하는 프로세서;
    제1 렌즈를 포함하는 렌즈 어셈블리(410);
    상기 제1 렌즈의 광축(471)과 동일한 광축을 갖는 제2 렌즈를 포함하고, 상기 렌즈 어셈블리(410)와 결합되는 카메라 모듈(430); 및
    상기 렌즈 어셈블리(410)와 상기 카메라 모듈(430) 사이에 배치되고, 상기 렌즈 어셈블리(410)를 향해 영상 광을 출력하는 디스플레이 모듈(460);
    를 포함하고,
    상기 프로세서는,
    사용자의 눈동자와 상기 제1 렌즈의 광축(471)의 정렬 여부를 판단하고,
    상기 사용자의 눈동자가 상기 제1 렌즈의 광축(471)과 정렬되지 않은 것으로 판단된 경우, 상기 프로세서에 의해 생성된 가상 공간과 관련된 제2 타입의 이미지를 상기 카메라 모듈(430)로부터 획득된 실제 공간과 관련된 제1 타입의 이미지를 기준으로 시프트하며,
    상기 제1 타입의 이미지와 상기 시프트된 제2 타입의 이미지를 상기 디스플레이 모듈(460)에 출력하는,
    웨어러블 전자 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 사용자의 눈동자의 중심에 대응하는 지점의 제1 축 좌표와 상기 제1 렌즈의 광축에 대응하는 지점의 제1 축 좌표가 동일한 지 여부를 판단하는,
    웨어러블 전자 장치.
  13. 제11항 내지 제12항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 사용자의 눈동자에 대응하는 지점이 상기 제1 렌즈의 광축에 대응하는 지점과 비교하여 제1 측에 위치하는 경우, 상기 제2 타입의 이미지를 상기 제1 타입의 이미지를 기준으로 제1 방향으로 시프트하고,
    상기 사용자의 눈동자에 대응하는 지점이 상기 제1 렌즈의 광축에 대응하는 지점과 비교하여 상기 제1 측과 반대 측인 제2 측에 위치하는 경우, 상기 제2 타입의 이미지를 상기 제1 타입의 이미지를 기준으로 상기 제1 방향과 반대 방향인 제2 방향으로 시프트하는,
    웨어러블 전자 장치.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 사용자의 눈동자에 대응하는 지점이 상기 제1 축을 기준으로 상기 제1 렌즈에 대응하는 지점으로부터 떨어진 오차 거리를 산출하고, 상기 산출된 오차 거리에 비례하는 거리 만큼 상기 제2 타입의 이미지를 상기 제1 타입의 이미지를 기준으로 시프트하는,
    웨어러블 전자 장치.
  15. 프로세서로 구현되는 방법에 있어서,
    사용자의 눈동자와 렌즈 어셈블리(410)에 포함된 제1 렌즈의 광축(471)의 정렬 여부를 판단하는 동작;
    상기 사용자의 눈동자가 상기 제1 렌즈의 광축(471)과 정렬되지 않은 것으로 판단된 경우, 상기 프로세서에 의해 생성된 가상 공간과 관련된 제2 타입의 이미지를, 상기 제1 렌즈의 광축과 동일한 광축을 갖는 제2 렌즈를 포함하는 카메라 모듈(430)로부터 획득된 실제 공간과 관련된 제1 타입의 이미지를 기준으로 시프트하는 동작; 및
    상기 제1 타입의 이미지와 상기 시프트된 상기 제2 타입의 이미지를 디스플레이 모듈(460)에 출력하는 동작
    을 포함하고,
    상기 카메라 모듈(430)은, 상기 렌즈 어셈블리(410)와 결합되고,
    상기 디스플레이 모듈(460)은, 렌즈 어셈블리(410)와 상기 카메라 모듈(430) 사이에 배치되고, 상기 렌즈 어셈블리(410)를 향해 영상 광을 출력하는,
    방법.
PCT/KR2023/013560 2022-09-15 2023-09-11 실제 공간과 가상 공간 간의 차이를 최소화하는 전자 장치 및 그 제조 방법 WO2024058507A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0116471 2022-09-15
KR20220116471 2022-09-15
KR10-2022-0126019 2022-10-04
KR1020220126019A KR20240037789A (ko) 2022-09-15 2022-10-04 실제 공간과 가상 공간 간의 차이를 최소화하는 전자 장치 및 그 제조 방법

Publications (1)

Publication Number Publication Date
WO2024058507A1 true WO2024058507A1 (ko) 2024-03-21

Family

ID=90275438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/013560 WO2024058507A1 (ko) 2022-09-15 2023-09-11 실제 공간과 가상 공간 간의 차이를 최소화하는 전자 장치 및 그 제조 방법

Country Status (1)

Country Link
WO (1) WO2024058507A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018158347A1 (en) * 2017-03-01 2018-09-07 Adlens Ltd Improvements in or relating to virtual and augmented reality headsets
KR20200108666A (ko) * 2019-03-11 2020-09-21 삼성전자주식회사 영상의 횡이동이 가능한 디스플레이 장치
WO2021022028A1 (en) * 2019-07-31 2021-02-04 Xenon-Vr, Inc. Ophthalmologic testing systems and methods
US20210343033A1 (en) * 2020-05-01 2021-11-04 Tectus Corporation Stabilizing images produced by eye-mounted displays, based on images of the external environment captured by eye-mounted imaging devices
WO2022135284A1 (zh) * 2020-12-24 2022-06-30 华为技术有限公司 一种显示模组、虚像的位置调节方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018158347A1 (en) * 2017-03-01 2018-09-07 Adlens Ltd Improvements in or relating to virtual and augmented reality headsets
KR20200108666A (ko) * 2019-03-11 2020-09-21 삼성전자주식회사 영상의 횡이동이 가능한 디스플레이 장치
WO2021022028A1 (en) * 2019-07-31 2021-02-04 Xenon-Vr, Inc. Ophthalmologic testing systems and methods
US20210343033A1 (en) * 2020-05-01 2021-11-04 Tectus Corporation Stabilizing images produced by eye-mounted displays, based on images of the external environment captured by eye-mounted imaging devices
WO2022135284A1 (zh) * 2020-12-24 2022-06-30 华为技术有限公司 一种显示模组、虚像的位置调节方法及装置

Similar Documents

Publication Publication Date Title
WO2022108076A1 (ko) 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치
WO2022055118A1 (ko) 스피커 모듈을 포함하는 웨어러블 전자 장치
WO2023106895A1 (ko) 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
WO2022186454A1 (ko) 가요성 인쇄 회로 기판을 포함하는 전자 장치
WO2024058507A1 (ko) 실제 공간과 가상 공간 간의 차이를 최소화하는 전자 장치 및 그 제조 방법
WO2022177334A1 (ko) 웨어러블 전자 장치
WO2022169255A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2024049110A1 (ko) 실 객체에 대한 깊이 정보를 이용하여 가상 객체를 보정하는 전자 장치 및 그 제어 방법
WO2024144158A1 (ko) 적어도 하나의 가상 객체의 속성에 따라 적어도 하나의 가상 객체를 제어하는 웨어러블 장치 및 그 제어 방법
WO2023210961A1 (ko) 웨어러블 디바이스의 착용 상태에 따라 상이한 피드백을 제공하는 웨어러블 디바이스 및 그 제어 방법
WO2024043438A1 (ko) 카메라 모듈을 제어하는 웨어러블 전자 장치 및 그 동작 방법
WO2024080770A1 (ko) 홍채 정보를 검출하는 웨어러블 장치 및 그 제어 방법
WO2023106610A1 (ko) 컨텐츠 및 비전 처리를 위한 분산 시스템이 구현된 웨어러블 전자 장치
WO2024034867A1 (ko) 렌즈들 사이의 거리를 조정하기 위한 웨어러블 전자 장치
WO2023027276A1 (ko) 스타일러스 펜을 이용하여 복수의 기능들을 실행하기 위한 전자 장치 및 그 작동 방법
WO2024043687A1 (ko) 복수의 스피커를 포함하는 전자 장치
WO2024063463A1 (ko) 디스플레이를 통해 보여지는 객체와 관련된 오디오 신호를 조절하기 위한 전자 장치 및 그 방법
WO2024117452A1 (ko) 사용자의 움직임에 대한 트래킹 정보에 기반하여 렌더링을 하기 위한 전자 장치 및 방법
WO2022231162A1 (ko) 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
WO2024123041A1 (ko) 웨어러블 장치의 움직임에 따라 가상 객체의 표시 상태를 조정하는 웨어러블 장치 및 그 제어 방법
KR20240037789A (ko) 실제 공간과 가상 공간 간의 차이를 최소화하는 전자 장치 및 그 제조 방법
WO2024080596A1 (ko) 스피커를 포함하는 웨어러블 장치
WO2024106995A1 (ko) 가상 현실 공간 상에 가상 객체를 제공하기 위한 전자 장치 및 방법
WO2023191554A1 (ko) 투명 디스플레이를 구비한 웨어러블 장치 및 그 동작 방법
WO2022145704A1 (ko) 가요성 인쇄 회로 기판 및 가요성 인쇄 회로 기판을 포함하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23865804

Country of ref document: EP

Kind code of ref document: A1