WO2023043022A1 - 모바일 장치의 확장 화면을 표시하는 장치 및 방법 - Google Patents

모바일 장치의 확장 화면을 표시하는 장치 및 방법 Download PDF

Info

Publication number
WO2023043022A1
WO2023043022A1 PCT/KR2022/010076 KR2022010076W WO2023043022A1 WO 2023043022 A1 WO2023043022 A1 WO 2023043022A1 KR 2022010076 W KR2022010076 W KR 2022010076W WO 2023043022 A1 WO2023043022 A1 WO 2023043022A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
display
wireless communication
extended screen
screen
Prior art date
Application number
PCT/KR2022/010076
Other languages
English (en)
French (fr)
Inventor
이재익
강성훈
박예린
신도은
안효인
이좌영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210128247A external-priority patent/KR20230040232A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP22870109.0A priority Critical patent/EP4325341A4/en
Priority to US17/895,518 priority patent/US11990067B2/en
Publication of WO2023043022A1 publication Critical patent/WO2023043022A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems

Definitions

  • the disclosure below relates to providing augmented reality for an extended screen of a mobile device.
  • An augmented reality service is a service that superimposes a virtual image having additional information on a real world image viewed by a user, and can provide a user with a virtual object image including content related to a real object identified from the real world image.
  • a wearable electronic device providing an augmented reality service may have, for example, a head mounted display (HMD).
  • HMD head mounted display
  • An electronic device may provide an extended screen of a mobile device based on wireless communication instead of a vision sensor.
  • An electronic device may provide an extended screen of a mobile device without recognizing a plane and a marker in space.
  • An electronic device may provide an extended screen of a mobile device in an augmented reality environment without environment and device limitations using wireless communication.
  • An electronic device includes a wireless communication module for wireless communication with an external device; An augmented reality display module that outputs an extended screen of a mobile device; a memory in which computer-executable instructions are stored; and a processor that accesses the memory and executes the commands, wherein the commands perform wireless communication with the external device for displaying a reference position in an augmented reality environment to provide the extended screen received from the mobile device.
  • the commands perform wireless communication with the external device for displaying a reference position in an augmented reality environment to provide the extended screen received from the mobile device.
  • the at least some screens of the extended screen to be provided at the display reference location are included in a field of view (FOV) area of the augmented reality display module, the at least some screens are displayed. It can be set to provide to the user through the augmented reality display module.
  • FOV field of view
  • a computer-implemented method includes an operation of determining a display reference position to provide an extended screen of a mobile device in an augmented reality environment based on wireless communication with an external device; and in response to a case where at least some screens of the extended screen to be provided at the display reference position are included within a field of view (FOV) area of the augmented reality display module, the at least some screens are displayed through the augmented reality display module. It may include an action provided to the user.
  • FOV field of view
  • An electronic device may save real-time computing resources by determining a display reference location based on an external device based on wireless communication.
  • An electronic device does not require recognition of a visual marker through wireless communication, and can output within an augmented reality environment even if only a part of the extended screen is included within the viewing angle.
  • An electronic device detects a relative positional change between an external device and an electronic device with an average latency time of 50 ⁇ s corresponding to a frequency higher than 60 Hz to 120 Hz through ultrawide band (UWB) communication.
  • UWB ultrawide band
  • FIG. 1 is a block diagram illustrating a configuration of an electronic device in a network environment according to an exemplary embodiment.
  • FIG. 2 is a diagram illustrating a structure of a wearable electronic device according to an exemplary embodiment.
  • FIG. 3 illustrates an exemplary software architecture of an augmented reality system according to one embodiment.
  • FIG. 4 is a flowchart illustrating a method of providing an extended screen according to an exemplary embodiment.
  • 5, 6, 7, 8, and 9 are diagrams illustrating examples of providing an extended screen based on a mobile device according to an exemplary embodiment.
  • FIG. 10 illustrates an example of providing an extended screen when a mobile device is hidden according to an embodiment.
  • 11, 12, 13, 14, and 15 are diagrams illustrating examples of providing an extended screen based on a wireless communication device according to an embodiment.
  • 16 is a diagram for explaining provision of a part of an extended screen according to a viewing angle of an electronic device according to an exemplary embodiment.
  • 17 is a diagram illustrating rotation tracking using an inertial sensor according to an exemplary embodiment.
  • 18, 19, 20, and 21 are diagrams illustrating control of an extended screen based on manipulation of a mobile device according to an exemplary embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 within a network environment 100, according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network).
  • the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, a sound output module 155, a display 160, an audio module 170, and a sensor module 176.
  • the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) may be integrated into a single component (eg, display 160). can
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • NPU neural processing unit
  • the auxiliary processor 123 may use less power than the main processor 121 or be set to be specialized for a designated function.
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, image signal processor or communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display 160 may include a touch sensor configured to detect a touch or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or fingerprint sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102 and the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, a legacy communication module).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • the wireless communication module 192 may perform wireless communication in an ultra-wideband (UWB).
  • UWB ultra-wideband
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • the external electronic device 102 may be, for example, the wearable electronic device 200 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • intelligent services eg, smart home, smart city, smart car, or health care
  • FIG. 2 is a diagram illustrating a structure of a wearable electronic device according to an embodiment.
  • a wearable electronic device 200 (eg, the electronic device 101 or the electronic device 102 of FIG. 1 ) is worn on a user's face and provides an augmented reality service and/or a virtual reality service to the user.
  • Related images can be provided.
  • the wearable electronic device 200 includes a first display 205, a second display 210, screen display units 215a and 215b, input optical members 220a and 220b, and a first transparent member 225a. ), a second transparent member 225b, lighting units 230a and 230b, a first PCB 235a, a second PCB 235b, a first hinge 240a, a second hinge 240b, and a photographing camera 245, a plurality of microphones (eg, a first microphone 250a, a second microphone 250b, a third microphone 250c), a plurality of speakers (eg, a first speaker 255a, a second speaker 255b) )), a battery 260, a first recognition camera 265a, a second recognition camera 265b, a first eye detection camera 270a, and a second eye detection camera 270b. can do.
  • a plurality of microphones eg, a first microphone 250a, a second microphone 250b, a
  • the augmented reality display module (eg, the first display 205 and the second display 210) is, for example, a liquid crystal display (LCD), a digital mirror display device (digital mirror display) device, DMD), a liquid crystal on silicon (LCoS), an organic light emitting diode (OLED), or a micro light emitting diode (micro LED).
  • LCD liquid crystal display
  • DMD digital mirror display device
  • LCDoS liquid crystal on silicon
  • OLED organic light emitting diode
  • micro LED micro light emitting diode
  • the wearable electronic device 200 may include a light source that in another embodiment, when the display 205 or 210 can generate light by itself, for example, if it is made of either an organic light emitting diode or a micro LED, the wearable electronic device 200 does not include a separate light source, but the user It is possible to provide a virtual image of good quality to the user. In one embodiment, if the displays 205 and 210 are implemented with organic light emitting diodes or micro LEDs, since a light source is unnecessary, the wearable electronic device 200 can be lightened in weight.
  • the displays 205 and 210 capable of generating light by themselves are referred to as self-luminous displays, and will be described on the premise of self-luminous displays.
  • the augmented reality display module may output an extended screen of the mobile device.
  • the displays 205 and 210 may include at least one micro light emitting diode (LED).
  • micro LEDs can express red (R, red), green (G, green), and blue (B, blue) by self-emission, and are small (eg, 100 ⁇ m or less), so one chip can A pixel (e.g., one of R, G, and B) can be implemented.
  • a pixel e.g., one of R, G, and B
  • the displays 205 and 210 are composed of micro LEDs, high resolution can be provided without a back light unit (BLU).
  • one pixel may include R, G, and B, and one chip may be implemented with a plurality of pixels including R, G, and B.
  • the displays 205 and 210 may also be called 'light source units'.
  • the displays 205 and 210 may include pixels for displaying virtual images. Displays 205 and 210 may further include infrared pixels that emit infrared light.
  • the displays 205 and 210 include light-receiving pixels (eg, photo sensor pixels) disposed between the pixels that receive light reflected from the user's eyes, convert it into electrical energy, and output the light. can include more.
  • the light-receiving pixel(s) may be referred to as a 'gaze tracking sensor'.
  • the gaze tracking sensor may detect infrared light emitted by infrared pixels included in the displays 205 and 210 and reflected by the user's eyes.
  • the wearable electronic device 200 may detect the user's gaze direction (eg, pupil movement) through light-receiving pixels. For example, the wearable electronic device 200 provides a visual direction for the user's right eye and a user's left eye through one or more light-receiving pixels constituting the first display 205 and one or more light-receiving pixels constituting the second display 210. It is possible to detect and track the gaze direction for .
  • the wearable electronic device 200 may determine the location of the center of the virtual image according to directions of gazes of the user's right and left eyes detected through one or more light-receiving pixels (eg, directions in which the pupils of the user's right and left eyes gaze). .
  • the wearable electronic device 200 may include displays 205 and 210, a first transparent member 225a and/or a second transparent member 225b, and a user wears the wearable electronic device 200 on his or her face.
  • the first transparent member 225a may be disposed to face the user's right eye
  • the second transparent member 225b may be disposed to face the user's left eye.
  • when the display 205 or 210 is transparent it may be disposed at a position facing the user's eyes to form the screen display units 215a and 215b.
  • the first display 205 and the second display 210 may each include a first control circuit (not shown).
  • the first control circuit may control the first display 205 and the second display 210 .
  • the first control circuit may control the operation of the liquid crystal element of the transparent cover (not shown) included in the first display 205 and the second display 210 .
  • the light emitted from the displays 205 and 210 passes through a lens (not shown) and a waveguide, and is formed on the first transparent member 225a disposed to face the user's right eye. 215a and the screen display units 215b formed on the second transparent member 225b disposed to face the user's left eye.
  • Lenses may be disposed in front of the displays 205 and 210 .
  • the lens (not shown) may include a concave lens and/or a convex lens.
  • the lens (not shown) may include a projection lens or a collimation lens (not shown).
  • light emitted from the displays 205 and 210 may be guided to a light path to a waveguide through the input optical members 220a and 220b.
  • Light moving inside the waveguide may be guided toward the user's eyes through the output optical member.
  • the screen display units 215a and 215b may be determined based on light emitted in the direction of the user's eyes.
  • light emitted from the displays 205 and 210 may be reflected on the grating area of the waveguide formed on the input optical members 220a and 220b and the screen display units 215a and 215b and then be transmitted to the user's eyes. .
  • the screen display units 215a and 215b or transparent members may include a lens including a wave guide or a reflective lens.
  • the waveguide serves to deliver the light source generated by the displays 205 and 210 to the user's eyes, and may be called an 'optical waveguide' or 'optical waveguide'.
  • 'optical waveguide' or 'waveguide' may correspond to the screen display units 215a and 215b.
  • the screen display units 215a and 215b are paths through which external light is incident, totally reflected, and emitted, and can be distinguished from the first transparent member 225a and the second transparent member 225b through which external light is simply reflected or transmitted. there is.
  • the screen display units 215a and 215b may be made of glass, plastic, or polymer, and may include a nanopattern formed on an inner or outer surface, for example, a polygonal or curved grating structure, that is, a lattice. structure may be included. According to an embodiment, light incident to one end of the screen display units 215a or 215b through the input optical members 220a or 220b may be propagated inside the display optical waveguide by nano-patterns and provided to the user. In one embodiment, the screen display units 215a and 215b configured as free-form prisms may provide incident light to a user through a reflection mirror.
  • the screen display units 215a and 215b may include at least one of a diffractive element (eg, a diffractive optical element (DOE) or a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror).
  • a diffractive element eg, a diffractive optical element (DOE) or a holographic optical element (HOE)
  • a reflective element eg, a reflective mirror.
  • the screen display units 215a and 215b use at least one diffractive element or reflective element included in the screen display units 215a and 215b to obtain information from the display (eg, the first display 205 and the second display 210).
  • the emitted display light may be directed to the user's eyes.
  • the diffractive element may include input optical members 220a and 220b/output optical members 220a and 220b.
  • the input optical members 220a and 220b may mean an input grating area
  • the output optical member may mean an output grating area.
  • the input grating area may serve as an input terminal that diffracts (or reflects) light output from the displays 205 and 210 (eg, micro LEDs) to transfer the light to the screen display units 215a and 215b.
  • the output grating area may serve as an outlet for diffracting (or reflecting) light transmitted to the waveguide to the user's eyes.
  • the reflective element may include a total internal reflection optical element or total internal reflection waveguide for total internal reflection (TIR).
  • TIR total internal reflection
  • total reflection is a method of inducing light, and light (eg, virtual image) input through the input grating area is 100% or 100% on a part (eg, a specific surface) of the screen display units 215a and 215b. It can mean making the incident angle so that it is reflected close to , so that it is transmitted 100% or close to 100% to the output grating area.
  • the first transparent member 225a and/or the second transparent member 225b may be formed of a glass plate, a plastic plate, or a polymer, and may be transparent or translucent. According to the embodiment, the first transparent member 225a may be disposed to face the user's right eye, and the second transparent member 225b may be disposed to face the user's left eye.
  • the lighting units 230a and 230b may have various uses depending on the position where they are attached.
  • the lighting units 230a and 230b may be attached around a frame of the wearable electronic device 200 .
  • the lighting units 230a and 230b may be used as auxiliary means for facilitating eye gaze detection when pupils are photographed by the eye tracking cameras 270a and 270b.
  • the lighting units 230a and 230b may use an IR LED (infra-red light emitting device) having a visible light wavelength or an infrared wavelength.
  • the lighting units 230a and 230b may be hinged (eg, a first hinge) connecting a frame (eg, a rim) of the wearable electronic device 200 and a temple corresponding to the temple of the glasses. (240a), the second hinge (240b), or the surroundings of the camera (eg, the first recognition camera 265a, the second recognition camera 265b) mounted adjacent to the bridge connecting the frame can be attached to
  • the cameras 265a and 265b may be, for example, global shutter (GS) cameras, but are not necessarily limited thereto.
  • GS global shutter
  • the lighting units 230a and 230b may be used as means for supplementing ambient brightness when shooting with a global shutter (GS) camera.
  • the lighting units 230a and 230b may be used when it is not easy to detect a subject to be photographed in a dark environment or due to mixed and reflected light of various light sources.
  • the lighting units 230a and 230b may be omitted.
  • the lighting units 230a and 230b may be replaced by infrared pixels included in the first display 205 and the second display 210 .
  • the lighting units 230a and 230b may be included in the wearable electronic device 200 to assist infrared pixels included in the first display 205 and the second display 210 .
  • a printed circuit board (eg, the first PCB 235a and the second PCB 235b) may be disposed on the temple portion of the wearable electronic device 200, and each module is provided through a flexible printed circuit board (FPCB). (e.g. camera, display, audio, or sensor) and other printed circuit boards.
  • the at least one printed circuit board may include a first printed circuit board 235a, a second board 235b, and an interposer disposed between the first board 235a and the second board 235b. (not shown).
  • components constituting the wearable electronic device 200 except for the first display 205 and the second display 210 are included in the PCB (eg, the first PCB 235a and the second PCB 235b).
  • a control circuit (not shown) for controlling may be located.
  • the control circuit may control components other than the first display 205 and the second display 210 and perform an operation such as estimating a depth value.
  • the control circuit may include a wireless communication module (eg, the communication module 190 of FIG. 1 ) or a memory (eg, the memory 130 of FIG. 1 ).
  • the control circuit may control the first display 205, the second display and/or other components.
  • the wireless communication module may illustratively establish wireless communication with other external devices (eg, the electronic device 101 or the electronic device 104 of FIG. 1 ) in the ultra-wideband.
  • the communication band of the wireless communication module is not limited thereto.
  • the hinges 240a and 240b may correspond to portions where a temple of the wearable electronic device 200 and a frame (eg, a rim) are coupled.
  • the photographing camera 245 may be referred to as a high resolution (HR) or photo video (PV) camera, and may include a high resolution camera.
  • the photographing camera 245 may include a color camera equipped with functions for obtaining high-quality images, such as an auto focus (AF) function and an optical image stabilizer (ois).
  • the photographing camera 245 is not limited thereto, and may include a global shutter (GS) camera or a rolling shutter (RS) camera.
  • a plurality of microphones may process external sound signals into electrical voice data.
  • the processed voice data may be utilized in various ways according to a function (or an application being executed) being performed in the wearable electronic device 200 .
  • a plurality of speakers (eg, first speaker 255a, second speaker 255b) is received from a communication circuit (eg, communication module 190 of FIG. 1) or memory (eg, FIG. 1 Audio data stored in the memory 130 may be output.
  • a communication circuit eg, communication module 190 of FIG. 1
  • memory eg, FIG. 1 Audio data stored in the memory 130 may be output.
  • one or more batteries 260 may be included and may supply power to components constituting the wearable electronic device 200 .
  • the first recognition camera 265a and the second recognition camera 265b may perform 3 degrees of freedom (3DoF), 6DoF head tracking, and hand detection and tracking.
  • a camera used for gesture and/or spatial recognition may include a global shutter (GS) camera to detect and track the movement of the head and hand.
  • GS global shutter
  • two global shutter (GS) cameras of the same specifications and performance can be used, detecting fast hand motions and fine movements such as fingers, and detecting motions.
  • a rolling shutter (RS) camera may be used for tracking.
  • a global shutter (GS) camera with excellent camera performance may be mainly used, but is not necessarily limited thereto.
  • a rolling shutter (RS) camera may be used.
  • the first recognition camera 265a and the second recognition camera 265b may perform a SLAM (simultaneous localization and mapping) function through spatial recognition and depth imaging for 6DoF. Also, the first recognition camera 265a and the second recognition camera 265b may perform a user gesture recognition function.
  • SLAM simultaneous localization and mapping
  • At least one sensor (not shown) (eg, a gyro sensor, an acceleration sensor, a geomagnetic sensor, and/or a gesture sensor), a first recognition camera 265a, and a second recognition camera 265b Performs at least one of head tracking for 6DoF, pose estimation & prediction, gesture and / or spatial recognition, and / or slam function through depth shooting can
  • the first recognition camera 265a and the second recognition camera 265b may be used separately as a camera for head tracking and a camera for hand tracking.
  • the first eye tracking camera 270a and the second eye tracking camera 270b may detect and track a pupil.
  • the center of the virtual image projected on the wearable electronic device 200 is in the direction in which the pupil of the user wearing the wearable electronic device 200 gazes. It can be used for positioning.
  • Global shutter (GS) cameras may be mainly used as the first eye tracking camera 270a and the second eye tracking camera 270b, for example, to detect pupils and track fast pupil movements.
  • the first eye tracking camera 270a may correspond to the right eye of the user, and the second eye tracking camera 270b may correspond to the left eye of the user. In this case, camera performance and specifications of the first eye tracking camera 270a and the second eye tracking camera 270b may be the same, but are not necessarily limited thereto.
  • FIG. 3 illustrates an exemplary software architecture of an augmented reality system according to one embodiment.
  • the electronic device 310 may mainly refer to the wearable electronic device 200 (eg, the electronic device 102 of FIG. 1 ).
  • the mobile device 320 is a device providing an extended screen and may mainly represent the electronic device 101 of FIG. 1 .
  • the external device 330 may be a device that establishes communication with the electronic device 310 and provides information about a reference display location, which is a location to provide an extended screen to the electronic device 310 .
  • the software architecture of the mobile device 320 may include an extended screen application 321, a virtual display manager 322, an operating system 323, an application manager 324, a network interface 325, and a video transmission service 326.
  • the extended screen application 321 may display applications, icons, and notifications executed on the mobile device 320 on a plane corresponding to the extended screen.
  • the extended screen may also be exemplarily referred to as a DeX (Desktop eXperience) screen.
  • the extended screen is a screen output from other display modules other than the display module itself of the mobile device 320, and may be output within an augmented reality environment provided by the augmented reality display module of the electronic device 310 in the present specification.
  • the extended screen may include graphic representations of the mobile device 320, icons, content and application screens.
  • the extended screen may have a different resolution, different icon layout, and different ratio from the screen output from the display module of the mobile device 320 .
  • the augmented reality environment is a virtual space defined based on the electronic device 310 and may indicate an environment in which objects and/or virtual contents rendered on objects in the real world are overlapped and provided.
  • Augmented reality may also be expressed as virtual reality (VR) and/or mixed reality (MR).
  • VR virtual reality
  • MR mixed reality
  • the virtual display manager 322 may manage application screens rendered on memory.
  • the aforementioned extended screen application 321 may create a virtual display, and the extended screen may be rendered on the virtual display.
  • a plane on which a virtual display is disposed within an augmented reality environment eg, a plane corresponding to an extended screen
  • the operating system 323 may manage execution and termination of each application, manager, and service of the mobile device 320 .
  • the application manager 324 may manage priorities of applications (eg, application A and application B).
  • the video transmission service 326 may encode video information including video and extended screens, and transmit the encoded video information to other devices through a network. For example, the video transmission service 326 may transmit an extended screen.
  • the network interface 325 may manage data communication with other devices through a wireless communication module (eg, a UWB module and a Wi-Fi module).
  • a wireless communication module eg, a UWB module and a Wi-Fi module.
  • the software architecture of the electronic device 310 may include a location service 311 , a target position manager 312 , an operating system 313 , a communication protocol 314 , and a network interface 315 .
  • the positioning service 31 in response to receiving a wireless communication signal (eg, a scan signal) from the external device 330, is associated with the external device 330 and the electronic device 310 that have transmitted the wireless communication signal.
  • Information and attitude information can be calculated.
  • the location information may include, for example, coordinates representing the location of the external device 330 based on the coordinate system of the electronic device 310 .
  • the attitude information may include an angular difference between the orientation of the electronic device 310 and a direction from the external device 330 toward the electronic device 310 .
  • the wireless communication signal may be a UWB scan signal transmitted in an ultra-wideband, but is not limited thereto.
  • the orientation of the electronic device 310 is a direction in which one side of the device is viewed, and may be, for example, a direction perpendicular to the screen plane of the device.
  • the direction of the electronic device 310 may indicate the same direction as the reference vector of the electronic device 310 .
  • the target position manager 312 calculates and manages location information for mapping and visualizing digital contents to objects and/or backgrounds in the real world within an augmented reality environment.
  • the operating system 313 may manage execution and termination of each application, manager, and service of the electronic device 310 .
  • Communication protocol 314 may represent a protocol for establishing communication with other devices.
  • the communication protocol 314 may establish communication with the external device 330 using a UWB protocol.
  • the network interface 315 may perform data communication with the network interface 325 of another device.
  • the software architecture of the external device 330 may include a location service 331 , an operating system 333 , and a communication protocol 334 .
  • the positioning service 331 responds to receiving a wireless communication signal (eg, a scan signal) from the electronic device 310, and the external device 330 that has transmitted the wireless communication signal and location information related to the electronic device 310 and attitude information can be calculated.
  • the location information may include, for example, a height difference between the external device 330 and the electronic device 310 based on the coordinate system of the electronic device 310 .
  • the posture information may include, for example, an angular difference between the orientation of the external device 330 and a direction from the external device 330 toward the electronic device 310 .
  • the operating system 333 may manage execution and termination of each application, manager, and service of the external device 330 .
  • Communication protocol 334 may represent a protocol for establishing communication with other devices.
  • the communication protocol 334 may establish communication with the electronic device 310 using a UWB protocol.
  • the external device 330 may be a mobile device 320 or a wireless communication device.
  • FIGS. 5 to 10 below describe examples in which the mobile device 320 operates as an external device 330 .
  • the mobile device 320 may provide the electronic device 310 with information about both the extended screen and the display reference position.
  • FIGS. 11 to 15 illustrate an example in which a separate wireless communication device operates as an external device 330 .
  • the external device 330 is a wireless communication device
  • the mobile device 320 may provide an extended screen, and the wireless communication device may provide information about a display reference position.
  • the wireless communication device may mainly refer to the electronic device 104 of FIG. 1 as an independent device separate from the mobile device 320 .
  • FIG. 4 is a flowchart illustrating a method of providing an extended screen according to an exemplary embodiment.
  • an electronic device eg, the wearable electronic device 200 of FIG. 2 or the electronic device 310 of FIG. 3 sends a mobile device (eg, the electronic device 101 of FIG. 1 ),
  • a display reference position in the augmented reality environment to provide the extended screen received from the mobile device 320 of FIG. 3 may be determined based on wireless communication with an external device (eg, the external device 330 of FIG. 3 ).
  • the external device may be a mobile device or a separate wireless communication device.
  • the wireless communication device may have a display module, but is not limited thereto, and may be a tag device lacking a display module as an example.
  • the electronic device displays at least some of the screens of the augmented reality display module in response to a case where at least some of the extended screens to be provided at the display reference position are included in the viewing angle area of the augmented reality display module.
  • the viewing angle area of the augmented reality display module may indicate an area corresponding to an observable extent from the eye and/or eye box of a user wearing the electronic device.
  • the screen display units 215a and 215b described above in FIG. 2 may cover at least a portion of the viewing angle region of the augmented reality display module, respectively.
  • Virtual content and/or an extended screen may be displayed in an area covered by the screen display units 215a and 215b in the viewing angle area.
  • the electronic device may output a partial screen captured within the viewing angle area among the extended screens even before the display reference position within the viewing angle area is captured. The output of some screens will be described with reference to FIG. 16 below.
  • 5 to 9 are diagrams illustrating examples of providing an extended screen based on a mobile device according to an exemplary embodiment.
  • FIG 5 illustrates an example in which the external device connected to the electronic device 510 is the mobile device 520 .
  • the mobile device 520 may execute an extended screen 590 application.
  • the electronic device 510 may receive the extended screen 590 from the mobile device 520 .
  • the electronic device 510 may output the aforementioned extended screen 590 on a virtual display plane determined based on the location of the mobile device 520 within the augmented reality environment 500 .
  • the electronic device 510 may acquire location information and posture information between the mobile device 520 and the electronic device 510 while communicating with the mobile device 520 in a UWB band.
  • the electronic device 510 and/or the mobile device 520 may estimate an angle of arrival (AOA) of the wireless communication signal by receiving the received wireless communication signal through multiple antennas.
  • AOA angle of arrival
  • the electronic device 510 and/or the mobile device 520 may each determine attitude information (eg, an orientation of each device and an angular difference between directions in which two devices face each other) using the estimated AOA.
  • the electronic device 510 is provided from the mobile device 520 within the augmented reality environment 500 from one surface on which the mobile device 520 is placed (eg, the ground or the surface of an object on which the mobile device 520 is placed).
  • An extended screen 590 may be visualized at a spaced apart location and provided to the user. Estimation of location information and attitude information will be described with reference to FIGS. 6 to 9 below.
  • the electronic device 510 may change at least one of the position and posture of the plane on which the extended screen 590 is visualized in response to a change in at least one of the position and posture of the mobile device 520 .
  • 6 to 9 are electronic devices when the external devices 602 and 720 (eg, the external device 330 of FIG. 3) are mobile devices (eg, the mobile device 320 of FIG. 3) according to an embodiment.
  • An example of calculating location information and attitude information between 601 and 710 (eg, the electronic device 310 of FIG. 3 ) and the external device 602 and 720 will be described.
  • 6 may show a flowchart illustrating calculation of location information and attitude information.
  • FIG. 7 is a perspective view of the electronic devices 601 and 710 and the external devices 602 and 720 in an augmented reality environment
  • FIG. 8 is a top view
  • FIG. 9 is a side view.
  • the processor of the electronic device 601 or 710 when the external device 602 or 720 is a mobile device, one side of the mobile device (eg, a display panel of the mobile device) A position spaced apart from the arranged surface) can be determined as the display reference position 791 .
  • the display reference position 791 is a position defined as a display standard of the extended screen 790 and may be a position where the center point of the extended screen 790 is disposed.
  • the electronic device 601 or 710 may determine the display reference position 791 based on the external device 602 or 720 through the operations illustrated in FIG. 6 . As shown in FIG.
  • the first coordinate systems X1, Y1, Z1 of the electronic devices 601 and 710 and the second coordinate systems X2, Y2 and Z2 of the external devices 602 and 720 may be respectively defined.
  • the electronic device 601 or 710 may calculate the coordinates of the display reference position 791 based on the first coordinate systems X1 , Y1 , and Z1 .
  • the electronic devices 601 and 710 may transmit a wireless signal (eg, a wireless communication signal) for position calculation (eg, calculation of the aforementioned display reference position 791).
  • a wireless signal eg, a wireless communication signal
  • the electronic device 601 or 710 may transmit the above-described wireless communication signal to the external device 602 or 720 in a UWB band.
  • the band of wireless communication is not limited to the UWB band, and communication may be performed in other communication bands.
  • the electronic device 601 or 710 may radiate a wireless communication signal from the first reference point 711 .
  • the external device 602 or 720 may calculate a first angle 731 between a direction toward the electronic device 601 or 710 and a reference vector 722 of the external device 602 or 720.
  • the attitude information between the external devices 602 and 720 and the electronic devices 601 and 710 may include a first angle 731 as a relative attitude between the electronic devices 601 and 710 and the external devices 602 and 720.
  • the direction from the external device 602 or 720 toward the electronic device 601 or 710 is from the second reference point 721 of the external device 602 or 720 to the first reference point 711 of the electronic device 601 or 710.
  • the first reference point 711 may be, for example, a point where a wireless communication module of the electronic device 601 or 710 radiates a wireless communication signal, but is not limited thereto.
  • the second reference point 721 may be a point where a wireless communication signal is radiated from a wireless communication module of the external device 602 or 720 by way of example, but is not limited thereto.
  • the reference vector 722 of the external device 602 or 720 may be a vector perpendicular to the front surface of the external device 602 or 720 (eg, the surface on which the display panel of the mobile device is disposed) at the second reference point 721. there is.
  • the external devices 602 and 720 may include a communication module having three or more antennas having different reception axes, and may calculate a first angle 731 based on AOAs receiving wireless communication signals from the antennas. .
  • the external device 602 or 720 may calculate the height of the display reference position 791 separated from the external device 602 or 720 by a first distance 741 .
  • the external device 602 or 720 may calculate a height coordinate spaced apart from one surface of the external device 602 or 720 by a first distance 741 .
  • the electronic device 601 or 710 and/or the external device 602 or 720 may obtain the display reference position 791 based on the user's gaze height.
  • the aforementioned first distance 741 is a distance corresponding to a height from the ground and/or one surface of the external device 602 or 720, and may be determined based on the user's gaze height.
  • the first distance 741 may be determined based on the height from the ground to the electronic device 601 or 710 without separately determining the eye height.
  • the extended screen 790 can be provided at the user's eye level through the first distance 741 .
  • the electronic device 601 or 710 and/or the external device 602 or 720 determines the second distance 742 between the reference points 711 or 721 and the reference points relative to one side of the external device 602 or 720.
  • a trigonometric function eg, a sine function
  • the second distance 741 may be a pre-designated value.
  • the external devices 602 and 720 may transmit the first angle 731 and the height of the display reference position 791 through wireless communication.
  • the electronic device 601 or 710 may calculate a second angle 732 and a second distance 742 based on the wireless signal received from the external device 602 or 720.
  • the external devices 602 and 720 may transmit a wireless communication signal together with the height of the first angle 731 and the display reference position 791 in operation 614 described above.
  • the wireless communication module of the electronic device 601 or 710 may include three or more antennas having different reception axes, and the electronic device 601 or 710 may receive a control signal based on the AOA received through the antennas. 2 angles 732 can be calculated.
  • the electronic devices 601 and 710 illustratively provide a second signal between the reference points 711 and 721 based on the reception strength of the wireless communication signal and/or the time-of-flight (TOF) required for signal transmission.
  • Distance 742 can be calculated.
  • the electronic device 601 or 710 sets a first reference point of the electronic device 601 or 710 in a direction forming a second angle 732 with respect to the reference vector 712 of the electronic device 601 or 710.
  • Plane coordinates of the second reference point 721 of the external devices 602 and 720 spaced apart from 711 by the second distance 742 may be calculated based on the first coordinate system of the electronic devices 601 and 710 .
  • the electronic devices 601 and 710 may determine the height of the display reference position 791 and the plane coordinates of the second reference point as the display reference position 791 .
  • the electronic device 601 or 710 may determine the height coordinates obtained in operation 613 and the plane coordinates obtained in operation 617 as coordinates of the display reference position 791 .
  • the display reference location 791 may be a floating location from the external devices 602 and 720 .
  • the electronic device 601 or 710 may rotate the plane 792 of the extended screen 790 based on the first angle 731 and the second angle 732 .
  • the electronic device 601 or 710 may determine the rotation angle of the plane 792 of the extended screen 790 by subtracting the second angle from the first angle. Therefore, when the mobile device is rotated based on an axis perpendicular to one surface of the mobile device, the processor of the electronic device 601 or 710 moves the plane ( 792) can be rotated.
  • the plane 792 of the extended screen 790 may be rotated based on a rotational axis parallel to the reference axis of the external devices 602 and 720 (eg, a central axis perpendicular to one surface on which the display panel is disposed).
  • a rotational axis parallel to the reference axis of the external devices 602 and 720 eg, a central axis perpendicular to one surface on which the display panel is disposed.
  • the plane 792 of the extended screen 790 may be rotated clockwise with respect to the rotation axis and output in operation 633 described later.
  • the external devices 602 and 720 are rotated counterclockwise with respect to the reference axis
  • the plane 792 of the extended screen 790 is rotated counterclockwise with respect to the rotation axis in operation 633 described below. and can be output.
  • the electronic device 601 or 710 may transmit a display preparation completion event of the extended screen 790.
  • the external devices 602 and 720 may transmit an extended screen 790.
  • the external device 602 or 720 may transmit an extended screen 790 to the electronic device 601 or 710 in response to receiving a display preparation completion event from the electronic device 601 or 710 .
  • the electronic devices 601 and 710 may output the extended screen 790 at the display reference position 791.
  • the electronic device 601 or 710 responds to receiving the extended screen 790 from the external device 602 or 720 on the virtual display plane 792 determined based on the display reference position 791.
  • An extended screen 790 may be provided.
  • the electronic device 601 or 710 may output an extended screen 790 rotated by the rotation angle.
  • the processor of the electronic device (601, 710) displays the extended screen 790 to the user on a plane that is non-parallel to the screen plane (eg, one side on which the display panel is disposed) of the mobile device in an augmented reality environment.
  • the electronic devices 601 and 710 may output the extended screen 790 on a virtual display plane substantially perpendicular to the screen plane.
  • operations 615, 616, and 617 in FIG. 6 are described as being performed by the electronic device 601 and 710, and operations 612, 613, and 614 performed by the external device 602 and 720. , but is not limited thereto. 6 is purely an example, and operations 612 to 617 may be performed by one of the electronic devices 601 and 710 and the external devices 602 and 720 . In addition, the operation sequence is not limited to that shown in FIG. 6 . For example, operations 612, 613, and 614 may be performed later than operations 615 and 616. In this case, in operation 613, the height of the display reference position 791 may be calculated using the second angle and the second distance.
  • FIG. 10 illustrates an example of providing an extended screen when a mobile device is hidden according to an embodiment.
  • the electronic device 1010 may establish communication with an external device 1020 (eg, a mobile device) even when the external device 1020 is not visually exposed.
  • the electronic device 1010 searches for the external device 1020 covered by the object 1050 using a wireless communication signal (eg, a UWB band signal) within a space corresponding to the augmented reality environment 1000. can do.
  • a wireless communication signal eg, a UWB band signal
  • FIG. 10 an example in which the external device 1020 is stored in a drawer of a desk is shown.
  • the electronic device 1010 When the electronic device 1010 detects the external device 1020 in a space corresponding to the augmented reality environment 1000, the electronic device 1010 has a field of view (eg, a field of view of the camera 245 for photographing in FIG. 2). At this point, it is possible to visually identify the external device 1020.
  • the electronic device 1010 may visualize notification content indicating a hidden location of the external device 1020 in response to a case where the external device 1020 is not visually identified within the viewing angle. For example, the electronic device 1010 may visualize notification content at a point 1025 on an object 1050 that covers the external device 1020 .
  • the notification content may include a graphic representation explicitly or implicitly indicating the type of external device 1020 .
  • the processor of the electronic device 1010 determines a point 1025 on the object 1050 in response to a case where the external device 1020 is covered by the object 1050 between the external device 1020 and the electronic device 1010. It is possible to determine the display reference position based on .
  • the electronic device 1010 determines a position spaced apart from the point 1025 on the object 1050 in a direction perpendicular to one of the ground, one surface of the object 1050, and one surface of the external device 1020 as the display reference position. can The electronic device 1010 may visualize the extended screen 1090 of the mobile device at the determined display reference position.
  • the electronic device 1010 While visualizing the extended screen 1090, the electronic device 1010 sets the coordinates of the display reference position in response to the relative position change and angle change between the electronic device 1010 and the external device 1020 of the wireless communication signal described above. It can be updated in real time using AOA calculation according to transmission and reception. Therefore, even if the external device 1020 is covered by an object 1050, the electronic device 1010 uses a wireless communication signal (eg, a UWB band signal) to display the extended screen 1090 at a location adjacent to the external device 1020. ) can be displayed.
  • the electronic device 1010 may provide the extended screen 1090 in a more intuitive location.
  • the notification content may include information representing messages received from the external device 1020 (eg, the number of unread messages after reception and a summary of received message content).
  • the electronic device 1010 may visualize the aforementioned notification content at a location corresponding to the external device 1020 in response to receiving a message from the external device 1020 .
  • the electronic device 1010 may visualize the extended screen 1090 in response to a manipulation of activating the notification content (eg, a manipulation of the user's body to contact a space occupied by the notification content within the augmented reality environment 1000). .
  • a manipulation of activating the notification content eg, a manipulation of the user's body to contact a space occupied by the notification content within the augmented reality environment 1000.
  • 11 to 15 are diagrams illustrating examples of providing an extended screen based on a wireless communication device according to an embodiment.
  • the wireless communication device is illustrated as a device including a display module, but this is purely an example and is not limited thereto.
  • the mobile device 1130 may execute an extended screen application.
  • the electronic device 1110 may receive the extended screen 1190 from the mobile device 1130 .
  • the electronic device 1110 may output the aforementioned extended screen 1190 on a virtual display plane determined based on the location of the external device 1120 within the augmented reality environment 1100 .
  • the electronic device 1110 may acquire location information and attitude information between the external device 1120 and the electronic device 1110 while performing communication with the external device 1120 in a UWB band.
  • the electronic device 1110 and/or the external device 1120 may estimate an angle of arrival (AOA) of the wireless communication signal by receiving the received wireless communication signal through multiple antennas.
  • the electronic device 1110 and/or the external device 1120 may determine attitude information (eg, the orientation of each device and the angle difference between the directions in which the two devices face each other) using the estimated AOA.
  • the electronic device 1110 may visualize an extended screen 1190 at a location spaced apart from the external device 1120 within the augmented reality environment 1100 and provide it to the user.
  • the electronic device 1110 may determine a position where the display module of the external device 1120 and the extended screen 1190 do not overlap as the display reference position.
  • the electronic device 1110 may output an extended screen to the periphery of the display module of the external device 1120 (eg, one side of the side, top, and bottom, excluding the front and rear of the display panel). Accordingly, the electronic device 1110 may provide the extended screen 1190 to the user without being disturbed by the screen of the display module of the external device 1120 .
  • the external device 1120 provides physical size information (eg, screen size, location of the communication module within the device) of the display module of the external device 1120 to the electronic device 1110 during wireless communication (eg, UWB band communication). ) can be shared.
  • the electronic device 1110 and/or the external device 1120 may calculate an accurate display reference position using the screen size of the display module of the shared external device 1120 . Estimation of location information and attitude information will be described with reference to FIGS. 12 to 14 below.
  • the electronic device 1110 may change at least one of the position and attitude of the plane on which the extended screen 1190 is visualized in response to a change in at least one of the position and attitude of the external device 1120 .
  • the electronic device 1120 may move and rotate the extended screen in response to a user's manipulation (eg, movement and rotation) of the external device 1120 .
  • the electronic device 1120 may move the extended screen 1190 in response to a change in location of the external device 1120 in response to the movement of the external device 1120 .
  • 12 to 15 illustrate electronic devices 1201 and 1310 (eg, the external device 330 of FIG. 3 ) when the external devices 1202 and 1320 (eg, the external device 330 of FIG. 3 ) according to an embodiment are wireless communication devices.
  • 12 may show a flowchart illustrating calculation of location information and attitude information.
  • 13 is a perspective view of the electronic devices 1201 and 1310 and external devices 1202 and 1320 in an augmented reality environment
  • FIG. 14 is a top view when stationary
  • FIG. 15 is a top view when rotated.
  • a mobile device eg, the mobile device 320 of FIG. 3
  • the mobile device may establish communication with the external devices 1202 and 1320 and the electronic devices 1201 and 1320 . .
  • the processor of the electronic device 1201 or 1310 displays a location designated by the wireless communication device relative to the wireless communication device as a reference position. (1391) can be determined.
  • the display reference position 1391 is a position defined as a display standard of the extended screen 1390 and may be a position where the center point of the extended screen 1390 is disposed.
  • the electronic device 1201 or 1310 may determine the display reference position 1391 based on the external device 1202 or 1320 through the operations illustrated in FIG. 12 . As shown in FIG.
  • the first coordinate systems X1, Y1, Z1 of the electronic devices 1201 and 1310 and the second coordinate systems X2, Y2 and Z2 of the external devices 1202 and 1320 may be respectively defined.
  • the electronic devices 1201 and 1310 may calculate the coordinates of the display reference position 1391 based on the first coordinate system X1 , Y1 , and Z1 .
  • the electronic devices 1201 and 1310 may transmit a wireless signal (eg, a wireless communication signal) for position calculation (eg, calculation of the aforementioned display reference position 1391).
  • a wireless signal eg, a wireless communication signal
  • the electronic device 1201 or 1310 may transmit the aforementioned wireless communication signal to the external device 1202 or 1320 in the UWB band.
  • the band of wireless communication is not limited to the UWB band, and communication may be performed in other communication bands.
  • the electronic device 1201 or 1310 may radiate a wireless communication signal from the first reference point 711 .
  • the external device 1202 or 1320 sets a first angle ( 1331) can be calculated.
  • the attitude information between the external devices 1202 and 1320 and the electronic devices 1201 and 1310 may include a first angle 1331 as a relative attitude between the electronic devices 1201 and 1310 and the external devices 1202 and 1320.
  • the direction from the external device 1202 or 1320 toward the electronic device 1201 or 1310 is from the second reference point 1321 of the external device 1202 or 1320 to the first reference point 1311 of the electronic device 1201 or 1310. ) may be in the direction of
  • the first reference point 1311 may be, for example, a point from which wireless communication modules of the electronic devices 1201 and 1310 emit wireless communication signals, but is not limited thereto.
  • the second reference point 1321 may be a point where a wireless communication signal is radiated from the wireless communication module of the external device 1202 or 1320 by way of example, but is not limited thereto.
  • the reference vector 1322 of the external devices 1202 and 1320 is a vector perpendicular to the front surface of the external devices 1202 and 1320 (eg, the side on which the display panel of the wireless communication device is disposed) at the second reference point 1321.
  • the external devices 1202 and 1320 may include a communication module having three or more antennas having different reception axes, and may calculate a first angle 1331 based on AOAs receiving wireless communication signals from the antennas. .
  • the external device 1202 or 1320 may transmit the size and first angle 1331 of the display module of the wireless communication device to the electronic device 1201 or 1310.
  • Information about the size of the display module may include, for example, one or a combination of two or more of a diagonal length of a plane, a horizontal length of a plane, and a vertical length of a plane of the display panel.
  • the external devices 1202 and 1320 are not limited to transmitting the screen size of the display module.
  • the external devices 1202 and 1320 transmit information defining the relative position of the display reference position 1391 relative to the second reference point 1321 of the corresponding device (eg, relative distance and relative direction) to the electronic device ( 1201, 1310). Accordingly, the location where the extended screen is displayed may be indicated by the external devices 1202 and 1320 .
  • the electronic device 1201 or 1310 may calculate a second angle 1332 and a second distance 1342 based on the radio signal received from the external device 1202 or 1320.
  • the external devices 1202 and 1320 may transmit a wireless communication signal together with the first angle 1331 and the screen size of the display module in the above-described operation 1213 .
  • the wireless communication module of the electronic device 1201 or 1310 may include three or more antennas having different reception axes, and the electronic device 1201 or 1310 may receive a control signal based on the AOA received through the antennas. 2 angles 1332 can be calculated.
  • the electronic devices 1201 and 1310 illustratively perform a second operation between the reference points 1311 and 1321 based on the reception strength of the wireless communication signal and/or the time-of-flight (TOF) required for signal transmission.
  • Distance 1342 can be calculated.
  • the electronic device 1201 or 1310 sets a first reference point of the electronic device 1201 or 1310 in a direction forming a second angle 1332 with respect to the reference vector 1312 of the electronic device 1201 or 1310.
  • Plane coordinates of the second reference point 1321 of the external devices 1202 and 1320 spaced apart from 1311 by the second distance 1342 may be calculated based on the first coordinate system of the electronic device 1201 and 1310.
  • the electronic devices 1201 and 1310 may calculate a display reference position 1391 separated from the second reference point 1321 by a first distance 1341 using the screen size of the wireless communication device. For example, the electronic device 1201 or 1310 may determine a position separated by a distance determined based on the screen size of the display module as the display reference position 1391 in response to a case where the wireless communication device includes the display module. there is. In other words, the electronic devices 1201 and 1310 may determine the first distance 1341 based on the screen size of the display module.
  • the first distance 1341 is a non-overlapping distance between the display screen and the extended screen of the display module, and is, for example, longer than or equal to one of a horizontal length, a vertical length, and a diagonal length of the display module.
  • the first distance 1341 may have a value greater than or equal to the horizontal length of the display module of the wireless communication device.
  • the first distance 1341 may have a value greater than or equal to the vertical length of the display module of the wireless communication device.
  • the first distance 1341 may have a value greater than or equal to the diagonal length of the display module of the wireless communication device. Accordingly, the display reference position 1391 may be a spaced position so that the extended screen 1390 does not interfere with the screen output of the external devices 1202 and 1320 .
  • the electronic devices 1201 and 1310 may rotate the plane of the extended screen 1390 based on the first angle 1331 and the second angle 1332.
  • the electronic device 1201 or 1310 may determine the rotation angle of the plane of the extended screen 1390 by subtracting the second angle 1332 from the first angle 1331 . Therefore, the processors of the electronic devices 1201 and 1310, when the display module is rotated based on the rotational axis of the wireless communication device, extends the screen 1390 in a direction different from the rotational direction of the display module about the rotational axis (eg, the opposite direction).
  • the plane of the extended screen 1390 may be rotated counterclockwise with respect to the rotation axis in operation 1233 to be described later and output.
  • the plane of the extended screen 1390 may be rotated clockwise with respect to the rotation axis and outputted in operation 1233 described later. there is.
  • the electronic devices 1201 and 1310 may transmit a display preparation completion event of the extended screen 1390 to the mobile device 1203.
  • the mobile device 1203 may transmit an extended screen 1390.
  • the mobile device 1203 may transmit the extended screen 1390 to the electronic device 1201 or 1310 in response to receiving a display preparation completion event from the electronic device 1201 or 1310 .
  • the electronic devices 1201 and 1310 may output the extended screen 1390 at the display reference position 1391 .
  • the electronic devices 1201 and 1310 display the extended screen 1390 on the virtual display plane determined based on the display reference position 1391.
  • the electronic device 1201 or 1310 may output the extended screen 1390 rotated by the rotation angle.
  • the angle formed by the screen plane of the display module of the wireless communication device with respect to the ground within the augmented reality environment may be the same as the angle formed by the plane of the extended screen 1390 with respect to the ground. Accordingly, the electronic devices 1201 and 1310 may provide a more consistent desktop experience to the user by providing an extended screen having the same tilting angle as that of the display module of the wireless communication device without a separate setting.
  • operations 1214, 1215, and 1216 are performed by the electronic device 1201 and 1310 in FIG. 12 and operations 1212 and 1213 are performed by the external device 1202 and 1320, It is not limited to this. 12 is purely an example, and operations 1212 to 1216 may be performed by one of the electronic devices 1201 and 1310 and the external devices 1202 and 1320 . In addition, the operation sequence is not limited to that shown in FIG. 12 . For example, operations 1212 and 1213 may be performed after operations 1214, 1215 and 1216.
  • 16 is a diagram for explaining provision of a part of an extended screen according to a viewing angle of an electronic device according to an exemplary embodiment.
  • the electronic device 1610 may establish a connection with an external device (eg, a mobile device or a wireless communication device) through wireless communication (eg, UWB band communication) as described above.
  • the electronic device 1610 may wirelessly establish communication even when an external device is not visually observed within an area corresponding to the viewing angle.
  • the electronic device 1610 may perform a preparation operation for visualizing the extended screen 1690 of the mobile device in response to establishing wireless communication with a non-observable external device out of the viewing angle of the corresponding device. can After establishing a connection with the external device, the electronic device 1610 may calculate and track a positional relationship between an area corresponding to the viewing angle of the electronic device 1610 and the extended screen 1690 .
  • the electronic device 1610 displays an extended screen 1690 based on a display reference position based on a first reference point (eg, a point where a wireless communication module of the electronic device 1610 radiates a wireless communication signal).
  • the plane equation to be placed can be determined.
  • the electronic device 1610 may calculate two linear equations representing the boundary line of the viewing angle in a plane (eg, X1Y1 plane of the first coordinate system of the electronic device 1610) based on the first reference point.
  • the electronic device 1610 may determine an intersection point between the two linear equations and the aforementioned plane equation.
  • the electronic device 1610 may monitor whether the intersection point between the two linear equations and the plane equation is within the plane area of the extended screen 1690 determined based on the display reference position.
  • the electronic device 1610 responds to a case where at least a portion of the screen 1695 of the extended screen 1690 to be provided at the display reference position is included within a field of view (FOV) area of the augmented reality display module, at least some of the screen. (1695) may be provided to the user through the augmented reality display module. For example, when the electronic device 1610 detects an intersection point between the above-described two straight line equations and a plane equation within a plane area of the extended screen 1690, the electronic device ( A partial area 1695 included in the viewing angle of 1610 may be determined.
  • FOV field of view
  • the electronic device 1610 may provide the entire area of the extended screen 1690 within the augmented reality environment when the entire extended screen 1690 is within the viewing angle. Since the electronic device 1610 does not require vision recognition of the marker, as described above, the electronic device 1610 may immediately provide the partial screen 1695 to the user.
  • the communication module of the electronic device 1610 may perform communication with an external device at a first data rate when at least some screens are not included in the viewing angle area.
  • the electronic device 1610 may communicate with an external device at a second data rate different from the first data rate when at least a portion of the screen is included in the viewing angle area.
  • the first data rate may be lower than the second data rate.
  • the electronic device 1610 is positioned between the viewing angle of the electronic device 1610 and the extended screen according to the display reference position determined based on the reference point of the external device at a low data rate until the extended screen 1690 comes within the viewing angle. Relationships can be monitored.
  • the electronic device 1610 increases the communication speed at the second data rate, thereby minimizing interruption in reproduction of the extended screen 1690.
  • the second data rate is illustratively determined based on a frame rate (eg, 60 frames per second (FPS), and 120 FPS) providing a screen provided from the augmented reality display module of the electronic device 1610.
  • FPS frames per second
  • 17 is a diagram illustrating rotation tracking using an inertial sensor according to an exemplary embodiment.
  • the processor of the electronic device 1710 responds to a case where rotation detection using a wireless communication signal is not available, based on at least one of rotation information and movement information detected using an inertial sensor in an external device. At least one of rotation and movement of the extended screen may be performed.
  • the electronic device 1710 automatically performs a location tracking function using an inertial sensor of an external device (e.g., in response to failure in receiving a wireless communication signal (eg, a UWB signal) depending on the surrounding environment).
  • IMU inertial measurement unit
  • the electronic device 1710 may initiate location tracking using an inertial sensor in response to a manual user input.
  • the external device may track a change in the first angle 1731 using an inertial sensor, and transmit the tracked amount of change in the first angle 1731 to the electronic device 1710 .
  • the electronic device 1710 may track the amount of change in the second angle according to its own rotation by using its own inertial sensor.
  • the electronic device 1710 may rotate the extended screen based on the variation of the first angle 1731 and the second angle individually tracked using an inertial sensor.
  • rotation tracking using an inertial sensor has been illustratively described, but is not limited thereto.
  • the electronic device 1710 and/or an external device may also track the positional movement of each device using an inertial sensor and share the same with other devices.
  • 18 to 21 are views illustrating control of an extended screen based on manipulation of a mobile device according to an exemplary embodiment.
  • a processor of an electronic device may control an extended screen based on a gesture input to the mobile device.
  • the electronic device may identify an alignment direction of the mobile device with respect to the electronic device.
  • the electronic device may determine whether the mobile device is horizontally aligned or vertically aligned.
  • the processor of the electronic device may provide the extended screen as one of the horizontal screen 2192 and the vertical screen 2191 based on alignment between the electronic device and the mobile device.
  • the electronic device may determine that the mobile device is vertically aligned with respect to the electronic device in response to a difference in direction between a reference vector of the electronic device and a longitudinal axis of the mobile device (eg, a longitudinal axis of the mobile device) being less than a threshold difference.
  • the electronic device may determine that the mobile device is horizontally aligned with respect to the electronic device in response to a case where a difference in direction between the reference vector of the electronic device and the vertical axis of the mobile device is greater than or equal to a critical difference. For reference, as in the example described in FIG. 17 , when the electronic device and the mobile device initiate rotation tracking based on the inertial sensor, when the mobile device rotates at a threshold angle or more based on the reference vector of the mobile device, the electronic device It may be determined that the alignment of the mobile device is switched (eg, switching from horizontal alignment to vertical alignment or switching from vertical alignment to horizontal alignment) ( 2103 ).
  • the electronic device may output the extended screen to the vertical screen 2191 when the mobile device is vertically aligned.
  • the vertical screen 2191 may represent a screen in which the vertical length of the screen is greater than the horizontal length.
  • the electronic device may output the extended screen to the horizontal screen 2192 when the mobile device is horizontally aligned.
  • the horizontal screen 2192 may represent a screen in which the horizontal length of the screen is greater than the vertical length.
  • the electronic device may output the extended screen as a horizontal screen 2192 when a horizontal screen is output from the mobile device and output the extended screen as a vertical screen 2191 when a vertical screen is output from the mobile device. there is.
  • the external device may transmit the extended screen to the electronic device.
  • the external device may transmit the extended screen determined by the above-described operations 1841, 1842, and 1843 to the electronic device.
  • the electronic device may monitor whether a first gesture 1901 is generated with respect to the mobile device.
  • the electronic device may change the size of the extended screen 1990 in response to detecting the first gesture 1901.
  • the processor of the electronic device may change the size of the extended screen 1990 in response to a first gesture 1901 input to the mobile device.
  • the electronic device changes the size of an extended screen 1990 in response to a first gesture 1901 (eg, pinch zoom-in and zoom-out manipulation) in which a distance between two touch points on the screen of the mobile device changes.
  • a first gesture 1901 eg, pinch zoom-in and zoom-out manipulation
  • the electronic device may decrease the size of the extended screen 1990 when the distance between the two touch points decreases, and increase the size of the extended screen 1990 when the distance between the two touch points increases.
  • the electronic device may monitor whether the second gesture 2002 has occurred with respect to the mobile device.
  • the electronic device may change the brightness of the extended screen 2090 in response to detecting the second gesture 2002.
  • the processor of the electronic device may change the brightness of the extended screen 2090 in response to the input of the second gesture 2002 to the mobile device.
  • the electronic device may change the brightness of the extended screen 2090 in response to a linear movement (eg, a scroll input) along one axis of a touch input to the screen of the mobile device. For example, the electronic device increases the brightness of the extended screen 2090 when the touch point moves in a first direction along one axis, and increases the brightness of the extended screen 2090 when the touch point moves in a second direction opposite to the first direction. ) can reduce the brightness.
  • a linear movement eg, a scroll input
  • the electronic device increases the brightness of the extended screen 2090 when the touch point moves in a first direction along one axis, and increases the brightness of the extended screen 2090 when the touch point moves in a second direction opposite to the first direction.
  • the above-described gesture inputs are detected by the mobile device itself, and the mobile device may request an operation (eg, screen size change or brightness change) according to each gesture to the electronic device, but is not limited thereto.
  • the above-described gesture inputs may be visually recognized by an electronic device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른 전자 장치는 외부 장치와 무선 통신을 수립하고, 외부 장치의 무선 통신 신호에 기초하여 모바일 장치의 확장 화면을 표시할 표시 기준 위치를 결정하고, 확장 화면의 일부만 시야각에 들어오는 경우 시야각에 들어온 일부 화면부터 사용자에게 제공할 수 있다.

Description

모바일 장치의 확장 화면을 표시하는 장치 및 방법
아래의 개시는 모바일 장치의 확장 화면의 증강현실 제공에 관한 것이다.
증강현실(augmented reality; AR) 서비스를 제공하는 웨어러블 전자 장치가 출시되고 있다. 증강현실 서비스는 사용자가 보는 현실 세계 이미지에 부가적인 정보를 갖는 가상 이미지를 겹쳐 보여주는 서비스로서, 현실 세계 이미지로부터 식별되는 현실 객체와 관련된 콘텐츠(content)을 포함하는 가상 객체 이미지를 사용자에게 제공할 수 있다. 증강현실 서비스를 제공하는 웨어러블 전자 장치는 예를 들어, 헤드 마운티드 디스플레이(head mounted display; HMD)의 형태를 가질 수 있다.
전술한 정보는 본 개시의 이해를 돕기 위한 배경 정보로서만 제시된다. 위의 내용 중 어느 것이 본 개시와 관련하여 선행기술로서 적용될 수 있는지 여부에 대한 결정이 내려지지 않았으며, 어떠한 주장도 이루어지지 않는다.
일 실시예에 따른 전자 장치는 비전 센서 대신 무선 통신에 기반하여 모바일 장치의 확장 화면을 제공할 수 있다.
일 실시예에 따른 전자 장치는 공간 상의 평면 및 마커 인식 없이 모바일 장치의 확장 화면을 제공할 수 있다.
일 실시예에 따른 전자 장치는 무선 통신을 이용하여 모바일 장치의 확장 화면을 환경 및 기기 제한 없이 증강현실 환경에서 제공할 수 있다.
일 실시예에 따른 전자 장치는, 외부 장치와의 무선 통신을 위한 무선 통신 모듈; 모바일 장치 의 확장 화면을 출력하는 증강현실 디스플레이 모듈; 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및 상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 프로세서를 포함하고, 상기 명령어들은, 상기 모바일 장치로부터 수신된 상기 확장 화면을 제공할 증강현실 환경 내 표시 기준 위치 를 상기 외부 장치와의 무선 통신에 기초하여 결정하며, 상기 표시 기준 위치에서 제공될 상기 확장 화면의 적어도 일부 화면이 상기 증강현실 디스플레이 모듈의 시야각(FOV, field of view) 영역 내에 포함되는 경우에 응답하여, 상기 적어도 일부 화면을 상기 증강현실 디스플레이 모듈을 통해 사용자에게 제공하도록 설정될 수 있다.
일 실시예에 따른 컴퓨터로 구현되는 방법은, 외부 장치와의 무선 통신에 기초하여 증강현실 환경 내에서 모바일 장치의 확장 화면을 제공할 표시 기준 위치를 결정하는 동작; 및 상기 표시 기준 위치에서 제공될 상기 확장 화면의 적어도 일부 화면이 증강현실 디스플레이 모듈의 시야각(FOV, field of view) 영역 내에 포함되는 경우에 응답하여, 상기 적어도 일부 화면을 상기 증강현실 디스플레이 모듈을 통해 사용자에게 제공하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치는 무선 통신에 기반하여 외부 장치를 기준으로 표시 기준 위치를 결정함으로써, 실시간 컴퓨팅 자원을 절감할 수 있다.
일 실시예에 따른 전자 장치는 무선 통신을 통해 시각적인 마커의 인식을 요구하지 않고, 시야각 내에 확장 화면 중 일부만 포함되어도 증강현실 환경 내에서 출력할 수 있다.
일 실시예에 따른 전자 장치는 초광대역(ultrawide band; UWB) 통신을 통해 60 Hz 내지 120Hz보다 높은 빈도에 대응하는 평균 50 μs의 지연 시간(latency time)으로 외부 장치 및 전자 장치 간의 상대적인 위치 변화를 추적함으로써, 전자 장치에서 자연스럽게 끊김 없는 확장 화면 컨텐츠를 제공할 수 있다.
도 1은 일 실시예에 따른 네트워크 환경 내의 전자 장치의 구성을 도시하는 블록도이다.
도 2는 일 실시예에 따른 웨어러블 전자 장치의 구조를 도시한 도면이다.
도 3은 일 실시예에 따른 증강현실 시스템의 예시적인 소프트웨어 아키텍쳐를 도시한다.
도 4는 일 실시예에 따른 확장 화면 제공 방법을 도시한 흐름도이다.
도 5, 도 6, 도 7, 도 8 및 도 9는 일 실시예에 따른 모바일 장치를 기준으로 확장 화면을 제공하는 예시를 도시한 도면이다.
도 10은 일 실시예에 따른 모바일 장치가 숨겨진 경우 확장 화면을 제공하는 예시를 도시한다.
도 11, 도 12, 도 13, 도 14, 및 도 15는 일 실시예에 따른 무선 통신 장치를 기준으로 확장 화면을 제공하는 예시를 도시한 도면이다.
도 16은 일 실시예에 따른 전자 장치의 시야각에 따른 확장 화면의 일부 제공을 설명하는 도면이다.
도 17은 일 실시예에 따른 관성 센서를 이용한 회전 추적을 설명하는 도면이다.
도 18, 도 19, 도 20, 및 도 21은 일 실시예에 따른 모바일 장치에 대한 조작에 기초한 확장 화면의 제어를 설명하는 도면이다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나 와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서(application processor)) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)을 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 지문 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102) 와 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다. 무선 통신 모듈(192)은 초광대역(ultra-wideband; UWB)에서 무선 통신을 수행할 수도 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체을 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 외부의 전자 장치(102)는 예를 들어, 웨어러블 전자 장치(200)일 수 있다.
일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다. 본 명세서에서는 외부의 전자 장치(104)가 주로 디스플레이 모듈을 가지는 무선 통신 장치인 예시를 설명하나, 이로 한정하는 것은 아니다.
도 2는 일 실시 예에 따른 웨어러블 전자 장치의 구조를 도시한 도면이다.
도 2를 참조하면, 웨어러블 전자 장치(200)(예: 도 1의 전자 장치(101) 또는 전자 장치(102))는 사용자의 안면에 착용되어, 사용자에게 증강현실 서비스 및/또는 가상 현실 서비스와 관련된 영상을 제공할 수 있다.
일 실시 예에서, 웨어러블 전자 장치(200)는 제1 디스플레이(205), 제2 디스플레이(210), 화면 표시부들(215a, 215b), 입력 광학 부재(220a, 220b), 제1 투명 부재(225a), 제2 투명 부재(225b), 조명부(230a, 230b), 제1 PCB(235a), 제2 PCB(235b), 제1 힌지(hinge)(240a), 제2 힌지(240b), 촬영용 카메라(245), 복수의 마이크(예: 제1 마이크(250a), 제2 마이크(250b), 제3 마이크(250c)), 복수의 스피커(예: 제1 스피커(255a), 제2 스피커(255b)), 배터리(260), 제1 인식용 카메라(265a), 제2 인식용 카메라(265b), 제1 눈추적(eye detection) 카메라(270a), 및 제2 눈추적 카메라(270b)를 포함할 수 있다.
일 실시 예에서, 증강현실 디스플레이 모듈(예: 제1 디스플레이(205) 및 제2 디스플레이(210))는, 예를 들면, 액정 표시 장치(liquid crystal display, LCD), 디지털 미러 표시 장치(digital mirror device, DMD), 실리콘 액정 표시 장치(liquid crystal on silicon, LCoS), 유기 발광 다이오드(organic light emitting diode, OLED) 또는 마이크로 엘이디(micro light emitting diode, micro LED)를 포함할 수 있다. 도면에 도시되지는 않았지만, 디스플레이(205,210)가 액정 표시 장치, 디지털 미러 표시 장치, 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 웨어러블 전자 장치(200)는 디스플레이(205,210)의 화면 출력 영역으로 광을 조사하는 광원을 포함할 수 있다. 다른 실시 예에서, 디스플레이(205,210)가 자체적으로 광을 발생시킬 수 있는 경우, 예를 들어, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우, 웨어러블 전자 장치(200)는 별도의 광원을 포함하지 않더라도 사용자에게 양호한 품질의 가상 영상을 제공할 수 있다. 일 실시 예에서, 디스플레이(205,210)가 유기 발광 다이오드 또는 마이크로 엘이디로 구현된다면 광원이 불필요하므로, 웨어러블 전자 장치(200)가 경량화될 수 있다. 이하에서, 자체적으로 광을 발생시킬 수 있는 디스플레이(205,210)는 자발광 디스플레이로 지칭되며, 자발광 디스플레이를 전제로 설명한다. 참고로, 후술하겠으나, 증강현실 디스플레이 모듈은 모바일 장치의 확장 화면을 출력할 수 있다.
본 발명의 다양한 실시예들에 따른 디스플레이(205,210)는 적어도 하나의 마이크로 LED(micro light emitting diode)로 구성될 수 있다. 예컨대, 마이크로 LED는 자체 발광으로 적색(R, red), 녹색(G, green), 및 청색(B, blue)을 표현할 수 있으며, 크기가 작아(예: 100㎛ 이하), 칩 하나가 하나의 픽셀(예: R, G, 및 B 중 하나)을 구현할 수 있다. 이에 따라, 디스플레이(205,210)가 마이크로 LED로 구성되는 경우, 백 라이트 유닛(BLU: back light unit) 없이 높은 해상도를 제공할 수 있다. 다만, 이에 한정하는 것은 아니며, 하나의 픽셀은 R, G, 및 B를 포함할 수 있으며, 하나의 칩은 R, G, 및 B를 포함하는 픽셀이 복수개로 구현될 수 있다. 디스플레이(205, 210)는 '광원부'라고도 불릴 수 있다.
일 실시 예에서, 디스플레이(205, 210)는 가상의 영상을 표시하기 위한 픽셀(pixel)들을 포함할 수 있다. 디스플레이(205, 210)는 적외선 광을 방출하는 적외선 픽셀들을 더 포함할 수 있다.
실시예에 따라서, 디스플레이(205, 210)는 픽셀들 사이에 배치되는 사용자의 눈에서 반사되는 광을 수광하여 전기 에너지로 변환하고 출력하는 수광 픽셀(예: 포토 센서 픽셀(photo sensor pixel))들을 더 포함할 수 있다. 수광 픽셀(들)은 '시선 추적 센서'로 지칭될 수 있다. 시선 추적 센서는 디스플레이(205, 210)에 포함된 적외선 픽셀에 의해 방출된 광이 사용자의 눈에 의해 반사된 적외선 광을 감지할 수 있다.
웨어러블 전자 장치(200)는 수광 픽셀들을 통해 사용자의 시선 방향(예: 눈동자 움직임)을 검출할 수 있다. 예컨대, 웨어러블 전자 장치(200)는 제1 디스플레이(205)를 구성하는 하나 이상의 수광 픽셀들 및 제2 디스플레이(210)를 구성하는 하나 이상의 수광 픽셀들을 통해 사용자의 우안에 대한 시선 방향 및 사용자의 좌안에 대한 시선 방향을 검출하고 추적할 수 있다. 웨어러블 전자 장치(200)는 하나 이상의 수광 픽셀들을 통해 검출되는 사용자의 우안 및 좌안의 시선 방향(예: 사용자의 우안 및 좌안의 눈동자가 응시하는 방향)에 따라 가상 영상의 중심의 위치를 결정할 수도 있다.
웨어러블 전자 장치(200)는 디스플레이(205,210), 제1 투명 부재(225a) 및/또는 제2 투명 부재(225b)를 포함할 수 있으며, 사용자는 안면에 웨어러블 전자 장치(200)를 착용한 상태로 사용할 수 있다. 한 실시 예에 따르면, 제1 투명 부재(225a)는 사용자의 우안에 대면하게 배치될 수 있고, 제2 투명 부재(225b)는 사용자의 좌안에 대면하게 배치될 수 있다. 다양한 실시 예에 따라 디스플레이(205,210)가 투명인 경우, 사용자 눈과 대면하는 위치에 배치되어 화면 표시부들(215a, 215b)을 구성할 수 있다.
제1 디스플레이(205) 및 제2 디스플레이(210)는 각각 제1 제어 회로(미도시)를 포함할 수 있다. 제1 제어 회로는 제1 디스플레이(205) 및 제2 디스플레이(210)를 제어할 수 있다. 제1 제어 회로는 제1 디스플레이(205) 및 제2 디스플레이(210)에 포함된 투명 커버(미도시)의 액정 소자의 동작을 제어할 수 있다. 일 실시 예에서, 디스플레이(205,210)로부터 방출되는 광은 렌즈(미도시) 및 웨이브가이드(waveguide)를 거쳐 사용자의 우안(right eye)에 대면하게 배치되는 제1 투명 부재(225a)에 형성된 화면 표시부들(215a) 및 사용자의 좌안(left eye)에 대면하게 배치 제2 투명 부재(225b)에 형성된 화면 표시부들(215b)에 도달할 수 있다.
렌즈(미도시)는 디스플레이(205,210)의 전면에 배치될 수 있다. 렌즈(미도시)는 오목 렌즈 및/또는 볼록 렌즈를 포함할 수 있다. 예컨대, 렌즈(미도시)는 프로젝션 렌즈(projection lens) 또는 콜리메이션 렌즈(collimation lens)(미도시)를 포함할 수 있다.
일 실시 예에서, 디스플레이(205, 210)로부터 방출되는 광은 입력 광학 부재(220a, 220b)를 통해 웨이브가이드로 광 경로가 유도될 수 있다. 웨이브가이드 내부를 이동하는 광은 출력 광학 부재를 통해 사용자 눈 방향으로 유도될 수 있다. 화면 표시부들(215a, 215b)는 사용자의 눈 방향으로 방출되는 광에 기반하여 결정될 수 있다.
예컨대, 디스플레이(205,210)로부터 방출되는 광은 입력 광학 부재(220a, 220b)와 화면 표시부들(215a, 215b)에 형성된 웨이브가이드의 그레이팅 영역(grating area)에 반사되어 사용자의 눈에 전달될 수 있다.
일 실시 예에서, 화면 표시부들(215a, 215b) 또는 투명 부재(예: 제1 투명 부재(225a), 제2 투명 부재(225b))는 웨이브가이드를 포함하는 렌즈, 반사형 렌즈를 포함할 수 있다. 웨이브가이드는 디스플레이(205, 210)에서 생성한 광원을 사용자 눈으로 전달하는 역할을 하며, '광 도파관' 또는 '광도파로'라고 불릴 수 있다. 이하, '광도파로' 또는 '웨이브가이드'는 화면 표시부들(215a, 215b)에 해당할 수 있다.
화면 표시부들(215a, 215b)는 외부의 광이 입사되고 전반사되고 방출되는 경로이며, 단순히 외부의 광이 반사되거나 투과하는 제1 투명 부재(225a) 및 제2 투명 부재(225b)와 구별될 수 있다.
화면 표시부들(215a, 215b)는 글래스, 플라스틱 또는 폴리머로 제작될 수 있으며, 내부 또는 외부의 일표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 그레이팅 구조(grating structure), 다시 말해 격자 구조를 포함할 수 있다. 일 실시 예에 따르면, 입력 광학 부재(220a, 220b)를 통하여 화면 표시부들(215a, 215b)의 일단으로 입사된 광은 나노 패턴에 의해 디스플레이 광도파로 내부에서 전파되어 사용자에게 제공될 수 있다. 일 실시 예에서, 프리폼(free-form)형 프리즘으로 구성된 화면 표시부들(215a, 215b)는 입사된 광을 반사 미러를 통해 사용자에게 제공할 수 있다.
화면 표시부들(215a, 215b)는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 화면 표시부들(215a, 215b)는 화면 표시부들(215a, 215b)에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다.
다양한 실시예들에 따라, 회절 요소는 입력 광학 부재(220a, 220b)/출력 광학 부재를 포함할 수 있다. 예컨대, 입력 광학 부재(220a, 220b)는 입력 그레이팅 영역(input grating area)을 의미할 수 있으며, 출력 광학 부재는 출력 그레이팅 영역(output grating area)을 의미할 수 있다. 입력 그레이팅 영역은 디스플레이(205, 210)(예: 마이크로 LED)로부터 출력되는 광을 화면 표시부들(215a, 215b)로 광을 전달하기 위해 회절(또는 반사)시키는 입력단 역할을 할 수 있다. 출력 그레이팅 영역은 웨이브가이드에 전달된 광을 사용자의 눈으로 회절(또는 반사)시키는 출구 역할을 할 수 있다.
다양한 실시예들에 따라, 반사 요소는 전반사(total internal reflection, TIR)를 위한 전반사 광학 소자 또는 전반사 도파관을 포함할 수 있다. 예컨대, 전반사는 광을 유도하는 하나의 방식으로, 입력 그레이팅 영역을 통해 입력되는 광(예: 가상 영상)이 화면 표시부들(215a, 215b)의 일부분(예: 특정 면)에서 100% 또는 100%에 가깝게 반사되도록 입사각을 만들어, 출력 그레이팅 영역까지 100% 또는 100%에 가깝게 전달되도록 하는 것을 의미할 수 있다.
제1 투명 부재(225a) 및/또는 제2 투명 부재(225b)는 글래스 플레이트, 플라스틱 플레이트, 또는 폴리머로 형성될 수 있으며, 투명 또는 반투명하게 제작될 수 있다. 실시 예에 따르면, 제1 투명 부재(225a)는 사용자의 우안에 대면하게 배치될 수 있고, 제2 투명 부재(225b)는 사용자의 좌안에 대면하게 배치될 수 있다.
조명부(230a, 230b)는 부착되는 위치에 따라 용도가 다양해질 수 있다. 예를 들어, 조명부(230a, 230b)가 웨어러블 전자 장치(200)의 프레임(frame) 주변에 부착될 수 있다. 조명부(230a, 230b)는 눈추적 카메라(270a, 270b)로 동공을 촬영할 때 시선(eye gaze) 검출을 용이하게 하기 위한 보조 수단으로 사용될 수 있다. 조명부(230a, 230b)는 가시광 파장 또는 적외선 파장의 IR LED(infra-red light emitting device)를 사용할 수 있다.
또는 조명부(230a, 230b)는 웨어러블 전자 장치(200)의 프레임(Frame)(예: 테(rim))과 안경 다리 부분에 해당하는 템플(Temple)을 이어주는 힌지(예: 제1 힌지(hinge)(240a), 제2 힌지(240b)) 주변이나 프레임을 연결해 주는 브리지(Bridge)에 인접하게 장착된 카메라(예: 제1 인식용 카메라(265a), 제2 인식용 카메라(265b))의 주변에 부착될 수 있다. 이때, 카메라(265a, 265b)는 예를 들어, 글로벌 셔터(GS) 카메라일 수 있으며, 반드시 이에 한정되지는 않는다.
이 경우, 조명부(230a, 230b)는 글로벌 셔터(GS) 카메라로 촬영 시에 주변 밝기를 보충하는 수단으로 사용될 수 있다. 조명부(230a, 230b)는 특히 어두운 환경이나 여러 광원들의 혼입 및 반사 빛 때문에 촬영하고자 하는 피사체 검출이 용이하지 않을 때 사용될 수 있다.
실시예에 따라서, 조명부(230a, 230b)는 생략될 수도 있다. 조명부(230a, 230b)는 제1 디스플레이(205), 제2 디스플레이(210)에 포함된 적외선 픽셀에 의해 대체될 수 있다. 다른 실시 예에서, 조명부(230a, 230b)는 웨어러블 전자 장치(200)에 포함되어 제1 디스플레이(205), 제2 디스플레이(210)에 포함된 적외선 픽셀을 보조할 수도 있다.
인쇄 회로 기판(PCB)(예: 제1 PCB(235a), 제2 PCB(235b))은 웨어러블 전자 장치(200)의 템플 부분에 배치될 수 있으며, FPCB(flexible printed circuit board)를 통해 각 모듈(예: camera, display, audio, 또는 sensor) 및 다른 인쇄 회로 기판에 전기 신호를 전달할 수 있다. 다양한 실시 예에 따라 적어도 하나의 인쇄 회로 기판은 제1 인쇄 회로기판(235a), 제2 기판(235b) 및 제1 기판(235a)과 제2 기판(235b) 사이에 배치된 인터포저(interposer)(미도시)를 포함하는 형태일 수 있다.
일 실시 예에서, PCB(예: 제1 PCB(235a), 제2 PCB(235b))에는 제1 디스플레이(205), 제2 디스플레이(210)를 제외한 웨어러블 전자 장치(200)를 구성하는 구성요소를 제어하는 제어 회로(미도시)가 위치할 수 있다. 제어 회로는 제1 디스플레이(205), 제2 디스플레이(210) 이외의 다른 구성요소들을 제어하고 깊이값 추정과 같은 연산을 수행할 수 있다. 제어 회로는 무선 통신 모듈(예: 도 1의 통신 모듈(190)) 또는 메모리(예: 도 1의 메모리(130))를 포함할 수 있다. 제어 회로는, 제1 디스플레이(205), 제2 디스플레이 및/또는 다른 구성요소들을 제어할 수 있다. 무선 통신 모듈은 예시적으로 초광대역에서 다른 외부 장치(예: 도 1의 전자 장치(101) 또는 전자 장치(104))와 무선 통신을 수립할 수 있다. 다만, 무선 통신 모듈의 통신 대역을 이로 한정하는 것은 아니다.
힌지(240a, 240b)는 웨어러블 전자 장치(200)의 템플과 프레임(예: 테(rim))이 결합되는 부분에 해당할 수 있다.
일 실시 예에서, 촬영용 카메라(245)는 HR(high resolution) 또는 PV(photo video)로 지칭될 수 있으며, 고해상도의 카메라를 포함할 수 있다. 촬영용 카메라(245)는 AF(auto focus) 기능과 떨림 보정(optical image stabilizer; ois)과 같은 고화질의 영상을 얻기 위한 기능들이 구비된 칼라(color) 카메라를 포함할 수 있다. 이에 한정하는 것은 아니며, 촬영용 카메라(245)는 GS(global shutter) 카메라 또는 RS(rolling shutter) 카메라를 포함할 수 있다.
일 실시 예에서, 복수의 마이크(예: 제1 마이크(250a), 제2 마이크(250b), 제3 마이크(250c))는 외부의 음향 신호를 전기적인 음성 데이터로 처리할 수 있다. 처리된 음성 데이터는 웨어러블 전자 장치(200)에서 수행 중인 기능(또는 실행 중인 어플리케이션)에 따라 다양하게 활용될 수 있다.
일 실시 예에서, 복수의 스피커(예: 제1 스피커(255a), 제2 스피커(255b))는 통신 회로(예: 도 1의 통신 모듈(190))로부터 수신되거나 메모리(예: 도 1의 메모리(130))에 저장된 오디오 데이터를 출력할 수 있다.
일 실시 예에서, 배터리(260)는 하나 이상 포함할 수 있으며, 웨어러블 전자 장치(200)를 구성하는 구성요소들에 전원을 공급할 수 있다.
일 실시 예에서, 제1 인식용 카메라(265a) 및 제2 인식용 카메라(265b)는 3DoF(3 degrees of freedom), 6DoF의 헤드 트래킹(head tracking), 핸드(hand) 검출과 트래킹(tracking), 제스처(gesture) 및/또는 공간 인식을 위해 사용되는 카메라를 포함할 수 있다. 예컨대, 제1 인식용 카메라(265a) 및 제2 인식용 카메라(265b)는 헤드 및 핸드의 움직임을 검출하고, 움직임을 추적하기 위해 GS(global shutter) 카메라를 포함할 수 있다. 예를 들어, 머리 추적과 공간 인식을 위해서는 스테레오(stereo) 카메라가 사용될 수 있으므로 동일 규격, 성능의 2대의 글로벌 셔터(GS) 카메라가 사용될 수 있고, 빠른 손동작과 손가락 등 미세한 움직임을 검출하고 움직임을 추적하는 데에는 롤링 셔터(rolling shutter; RS) 카메라 사용될 수 있다. 일 실시예에서는 카메라 대비 성능(예: 영상 끌림)이 우수한 글로벌 셔터(GS) 카메라가 주로 사용될 수 있으나, 반드시 이에 한정되지는 않는다. 다양한 실시 예에 따라 롤링 셔터(RS) 카메라가 사용될 수도 있다. 제1 인식용 카메라(265a) 및 제2 인식용 카메라(265b)는 6DoF를 위한 공간 인식, 깊이(depth) 촬영을 통한 SLAM(simultaneous localization and mapping) 기능을 수행할 수 있다. 또한 제1 인식용 카메라(265a) 및 제2 인식용 카메라(265b)는 사용자 제스처 인식 기능을 수행할 수도 있다.
일 실시 예에서, 적어도 하나의 센서(미도시)(예: 자이로 센서, 가속도 센서, 지자기 센서, 및/또는 제스처 센서), 제1 인식용 카메라(265a), 및 제2 인식용 카메라(265b)는 6DoF를 위한 헤드 트래킹(head tracking), 움직임 감지와 예측(pose estimation & prediction), 제스처 및/또는 공간 인식, 및/또는 뎁스(depth) 촬영을 통한 슬램(slam) 기능 중 적어도 하나를 수행할 수 있다.
다른 실시 예에서, 제1 인식용 카메라(265a) 및 제2 인식용 카메라(265b)는 헤드 트래킹을 위한 카메라와 핸드 트래킹을 위한 카메라로 구분되어 사용될 수 있다.
일 실시 예에서, 제1 눈추적 카메라(270a) 및 제2 눈추적 카메라(270b)는 눈동자를 검출하고 추적할 수 있다. 제1 눈추적 카메라(270a) 및 제2 눈추적 카메라(270b)는 웨어러블 전자 장치(200)에 투영되는 가상 영상의 중심이, 웨어러블 전자 장치(200)를 착용한 사용자의 눈동자가 응시하는 방향에 따라 위치하도록 하기 위해 사용될 수 있다. 제1 눈추적 카메라(270a) 및 제2 눈추적 카메라(270b)는 예를 들어, 눈동자(pupil)을 검출하고 빠른 눈동자 움직임을 추적할 수 있도록 글로벌 셔터(GS) 카메라가 주로 사용될 수 있다. 제1 눈추적 카메라(270a)는 사용자의 우안에 대응하고, 제2 눈추적 카메라(270b)는 사용자의 좌안에 대응하도록 설치될 수 있다. 이때, 제1 눈추적 카메라(270a) 및 제2 눈추적 카메라(270b)의 카메라 성능 및 규격은 동일할 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 3은 일 실시예에 따른 증강현실 시스템의 예시적인 소프트웨어 아키텍쳐를 도시한다.
이하, 본 명세서에서 전자 장치(310)는 주로 웨어러블 전자 장치(200)(예: 도 1의 전자 장치(102))를 나타낼 수 있다. 모바일 장치(320)는 확장 화면을 제공하는 장치로서 주로 도 1의 전자 장치(101)를 나타낼 수 있다. 외부 장치(330)는 전자 장치(310)와 통신을 수립하고 전자 장치(310)에게 확장 화면을 제공할 위치인 표시 기준 위치에 관한 정보를 제공하는 장치일 수 있다.
모바일 장치(320)의 소프트웨어 아키텍처는 확장 화면 어플리케이션(321), 버추얼 디스플레이 매니저(322), 운영체제(323), 어플리케이션 매니저(324), 네트워크 인터페이스(325), 및 비디오 전송 서비스(326)를 포함할 수 있다.
확장 화면 어플리케이션(321)은 확장 화면에 대응하는 평면에 모바일 장치(320)에서 실행된 어플리케이션, 아이콘, 및 알림을 표시할 수 있다. 확장 화면은 예시적으로 DeX(Desktop eXperience) 화면이라고도 나타낼 수 있다. 확장 화면은 모바일 장치(320)의 자체 디스플레이 모듈 외에 다른 디스플레이 모듈에서 출력되는 화면으로서, 본 명세서에서는 전자 장치(310)의 증강현실 디스플레이 모듈에 의해 제공되는 증강현실 환경 내에서 출력될 수 있다. 확장 화면은 모바일 장치(320)의 그래픽 표현, 아이콘, 컨텐츠 및 어플리케이션 화면을 포함할 수 있다. 예시적으로 확장 화면은 모바일 장치(320)의 자체 디스플레이 모듈에서 출력되는 화면과 다른 해상도, 다른 아이콘 배치, 및 다른 비율을 가질 수 있다.
본 명세서에서 증강현실 환경은 전자 장치(310)를 기준으로 정의되는 가상의 공간으로서 실제 세계의 사물 및/또는 객체 상에 렌더링된 가상 컨텐츠를 오버랩하여 제공하는 환경을 나타낼 수 있다. 증강현실은 가상현실(virtual reality; VR) 및/또는 혼합현실(mixed reality, MR)이라고도 표현될 수 있다.
버추얼 디스플레이 매니저(322)는 메모리 상에 렌더링되는 어플리케이션 화면을 관리할 수 있다. 예를 들어, 전술한 확장 화면 어플리케이션(321)이 가상 디스플레이(virtual display)를 생성할 수 있고, 해당 가상 디스플레이에 확장 화면이 렌더링될 수 있다. 참고로, 증강현실 환경 내에서 가상 디스플레이가 배치되는 평면(예: 확장 화면에 대응하는 평면)은 전자 장치(310)의 사용자의 시선 방향에 교차할 수 있다.
운영체제(323)는 모바일 장치(320)의 각 어플리케이션, 매니저, 및 서비스의 실행 및 종료를 관리할 수 있다. 어플리케이션 매니저(324)는 어플리케이션들(예: 어플리케이션 A, 어플리케이션 B)의 우선도(priority)를 관리할 수 있다.
비디오 전송 서비스(326)는 동영상 및 확장 화면을 포함하는 영상 정보를 인코딩하고, 인코딩된 영상 정보를 네트워크를 통해 다른 기기로 전송할 수 있다. 예를 들어, 비디오 전송 서비스(326)는 확장 화면을 전송할 수 있다.
네트워크 인터페이스(325)는 무선 통신 모듈(예: UWB 모듈 및 Wi-Fi 모듈)을 통해 다른 기기와의 데이터 통신을 관리할 수 있다.
전자 장치(310)의 소프트웨어 아키텍쳐는 측위 서비스(311), 타겟 포지션 매니저(312), 운영체제(313), 통신 프로토콜(314), 및 네트워크 인터페이스(315)를 포함할 수 있다.
측위 서비스(311)는, 외부 장치(330)로부터 무선 통신 신호(예: 스캔 신호)를 수신하는 경우에 응답하여, 무선 통신 신호를 송신한 외부 장치(330) 및 전자 장치(310)와 관련된 위치 정보 및 자세 정보를 계산할 수 있다. 위치 정보는 예를 들어 전자 장치(310)의 좌표계를 기준으로 외부 장치(330)의 위치를 나타내는 좌표를 포함할 수 있다. 자세 정보는 전자 장치(310)의 지향(orientation)과 외부 장치(330)로부터 전자 장치(310)를 향하는 방향 간의 각도 차이를 포함할 수 있다. 무선 통신 신호는 초광대역으로 송신되는 UWB 스캔 신호일 수 있으나, 이로 한정하는 것은 아니다. 전자 장치(310)의 지향은 해당 장치의 일면이 바라보는 방향으로서, 예시적으로, 해당 장치의 화면 평면에 수직하는 방향일 수 있다. 전자 장치(310)의 지향은 전자 장치(310)의 기준 벡터와 같은 방향을 지시할 수 있다.
타겟 포지션 매니저(Target Position Manager(312)는 디지털 컨텐츠(digital contents)를 증강현실 환경 내에서 실제 세계(real world)의 사물 및/또는 배경에 매핑하여 시각화하기 위한 위치 정보의 계산 및 관리를 수행할 수 있다.
운영체제(313)는 전자 장치(310)의 각 어플리케이션, 매니저, 및 서비스의 실행 및 종료를 관리할 수 있다. 통신 프로토콜(314)은 다른 기기와 통신을 수립하기 위한 프로토콜을 나타낼 수 있다. 예를 들어, 통신 프로토콜(314)은 UWB 프로토콜을 이용하여 외부 장치(330)와 통신을 수립할 수 있다. 네트워크 인터페이스(315)는 다른 기기의 네트워크 인터페이스(325)와 데이터 통신을 수행할 수 있다.
외부 장치(330)의 소프트웨어 아키텍쳐는 측위 서비스(331), 운영체제(333), 및 통신 프로토콜(334)을 포함할 수 있다.
측위 서비스(331)는 전자 장치(310)로부터 무선 통신 신호(예: 스캔 신호)를 수신하는 경우에 응답하여, 무선 통신 신호를 송신한 외부 장치(330) 및 전자 장치(310)와 관련된 위치 정보 및 자세 정보를 계산할 수 있다. 위치 정보는 예를 들어 전자 장치(310)의 좌표계를 기준으로 외부 장치(330) 및 전자 장치(310) 간의 높이차이를 포함할 수 있다. 자세 정보는 예를 들어 외부 장치(330)의 지향과 외부 장치(330)로부터 전자 장치(310)를 향하는 방향 간의 각도 차이를 포함할 수 있다.
운영체제(333)는 외부 장치(330)의 각 어플리케이션, 매니저, 및 서비스의 실행 및 종료를 관리할 수 있다. 통신 프로토콜(334)은 다른 기기와 통신을 수립하기 위한 프로토콜을 나타낼 수 있다. 예를 들어, 통신 프로토콜(334)은 UWB 프로토콜을 이용하여 전자 장치(310)와 통신을 수립할 수 있다.
참고로, 도 3에서 외부 장치(330)는 모바일 장치(320)와 구분되어 도시되었으나, 이로 한정하는 것은 아니다. 외부 장치(330)는 모바일 장치(320) 또는 무선 통신 장치일 수 있다. 예를 들어, 하기 도 5 내지 도 10은 모바일 장치(320)가 외부 장치(330)로서 동작하는 예시를 설명한다. 외부 장치(330)가 모바일 장치(320)인 경우, 모바일 장치(320)는 전자 장치(310)에게 확장 화면 및 표시 기준 위치에 관한 정보를 둘 다 제공할 수 있다. 다른 예를 들어, 하기 도 11 내지 도 15는 별도의 무선 통신 장치가 외부 장치(330)로서 동작하는 예시를 설명한다. 외부 장치(330)가 무선 통신 장치인 경우, 모바일 장치(320)가 확장 화면을 제공하고, 무선 통신 장치가 표시 기준 위치에 관한 정보를 제공할 수 있다. 무선 통신 장치는 모바일 장치(320)와는 분리된 독립적인 장치로서 주로 도 1의 전자 장치(104)를 나타낼 수 있다.
도 4는 일 실시예에 따른 확장 화면 제공 방법을 도시한 흐름도이다.
도 4를 참조하면, 동작(410)에서 전자 장치(예: 도 2의 웨어러블 전자 장치(200), 도 3의 전자 장치(310))는 모바일 장치(예: 도 1의 전자 장치(101), 도 3의 모바일 장치(320))로부터 수신된 확장 화면을 제공할 증강현실 환경 내 표시 기준 위치를 외부 장치(예: 도 3의 외부 장치(330))와의 무선 통신에 기초하여 결정할 수 있다. 외부 장치는 도 3에서 전술한 바와 같이 모바일 장치 또는 별개의 무선 통신 장치일 수 있다. 무선 통신 장치는 디스플레이 모듈을 가질 수 있으나, 이로 한정하는 것은 아니고, 예시적으로 디스플레이 모듈이 결여된 태그 장치일 수도 있다.
도 4를 참조하면, 동작(430)에서 전자 장치는 표시 기준 위치에서 제공될 확장 화면의 적어도 일부 화면이 증강현실 디스플레이 모듈의 시야각 영역 내에 포함되는 경우에 응답하여, 적어도 일부 화면을 증강현실 디스플레이 모듈을 통해 사용자에게 제공할 수 있다. 증강현실 디스플레이 모듈의 시야각 영역은 전자 장치를 착용한 사용자의 눈 및/또는 아이박스에서 관측가능한(observable) 범위(extent)에 대응하는 영역을 나타낼 수 있다. 도 2에서 전술한 화면 표시부들(215a, 215b)은 각각 증강현실 디스플레이 모듈의 시야각 영역 중 적어도 일부를 커버할 수 있다. 시야각 영역 중 화면 표시부들(215a, 215b)에 의해 커버된 영역에서 가상 컨텐츠 및/또는 확장 화면이 표시될 수 있다. 일 실시예에 따른 전자 장치는, 시야각 영역 내에 표시 기준 위치가 캡처되기 전이더라도, 확장 화면 중 시야각 영역 내에 캡쳐되는 일부 화면을 출력할 수 있다. 일부 화면의 출력은 하기 도 16에서 설명한다.
도 5 내지 도 9는 일 실시예에 따른 모바일 장치를 기준으로 확장 화면을 제공하는 예시를 도시한 도면이다.
도 5는 전자 장치(510)와 연결된 외부 장치가 모바일 장치(520)인 예시를 설명한다.
도 5를 참조하면, 예를 들어, 모바일 장치(520)는 확장 화면(590) 어플리케이션을 실행할 수 있다. 전자 장치(510)는 모바일 장치(520)로부터 확장 화면(590)을 수신할 수 있다. 전자 장치(510)는 증강현실 환경(500) 내에서 모바일 장치(520)의 위치를 기준으로 결정된 가상 디스플레이 평면 상에 전술한 확장 화면(590)을 출력할 수 있다. 전자 장치(510)는 모바일 장치(520)와 UWB 대역으로 통신을 수행하면서 모바일 장치(520) 및 전자 장치(510) 간의 위치 정보 및 자세 정보를 획득할 수 있다. 전자 장치(510) 및/또는 모바일 장치(520)는 수신된 무선 통신 신호를 다중 안테나를 통해 수신함으로써 무선 통신 신호의 AOA(angle of arrival)을 추정할 수 있다. 전자 장치(510) 및/또는 모바일 장치(520)는 추정된 AOA를 이용하여 각각 자세 정보(예: 각 장치의 지향 및 두 장치들이 서로 향하는 방향 간의 각도 차이)를 결정할 수 있다. 예시적으로 전자 장치(510)는 증강현실 환경(500) 내에서 모바일 장치(520)로부터 모바일 장치(520)가 배치된 일면(예: 지면, 모바일 장치(520)가 배치된 물체의 면)으로부터 이격된 위치에 확장 화면(590)을 시각화하여 사용자에게 제공할 수 있다. 위치 정보 및 자세 정보의 추정은 하기 도 6 내지 도 9에서 설명한다.
전자 장치(510)는 모바일 장치(520)의 위치 및 자세 중 적어도 하나의 변경에 응답하여 확장 화면(590)이 시각화된 평면의 위치 및 자세 중 적어도 하나를 변경할 수 있다.
도 6 내지 도 9는 일 실시예에 따른 외부 장치(602, 720)(예: 도 3의 외부 장치(330))가 모바일 장치(예: 도 3의 모바일 장치(320))인 경우, 전자 장치(601, 710)(예: 도 3의 전자 장치(310)) 및 외부 장치(602, 720) 간의 위치 정보 및 자세 정보 산출의 예시를 설명한다. 도 6은 위치 정보 및 자세 정보의 산출을 나타낸 흐름도를 나타낼 수 있다. 도 7은 증강현실 환경에서 전자 장치(601, 710) 및 외부 장치(602, 720)의 사시도, 도 8은 탑뷰, 도 9는 측면도를 나타낼 수 있다.
도 6 내지 도 9를 참조하면, 일 실시예에 따르면 전자 장치(601, 710)의 프로세서는, 외부 장치(602, 720)가 모바일 장치인 경우, 모바일 장치의 일면(예: 모바일 장치의 디스플레이 패널이 배치된 면)으로부터 이격된 위치를 표시 기준 위치(791)로 결정할 수 있다. 표시 기준 위치(791)는 확장 화면(790)의 표시 기준으로 정의된 위치로서 예시적으로 확장 화면(790)의 중심점이 배치되는 위치일 수 있다. 예를 들어, 전자 장치(601, 710)는 도 6에 도시된 동작들을 통해 외부 장치(602, 720)를 기준으로 표시 기준 위치(791)를 결정할 수 있다. 도 7에 도시된 바와 같이, 전자 장치(601, 710)의 제1 좌표계(X1, Y1, Z1) 및 외부 장치(602, 720)의 제2 좌표계(X2, Y2, Z2)가 각각 정의될 수 있는데, 전자 장치(601, 710)는 제1 좌표계(X1, Y1, Z1)를 기준으로 표시 기준 위치(791)의 좌표를 계산할 수 있다.
예를 들어, 동작(611)에서 전자 장치(601, 710)는 위치 계산(예: 전술한 표시 기준 위치(791)의 계산)을 위한 무선 신호(예: 무선 통신 신호)를 송신할 수 있다. 예를 들어, 전자 장치(601, 710)는 외부 장치(602, 720)에게 전술한 무선 통신 신호를 UWB 대역에서 송신할 수 있다. 다만, 무선 통신의 대역을 UWB 대역으로 한정하는 것은 아니고, 다른 통신 대역에서 통신이 수행될 수도 있다. 전자 장치(601, 710)는 제1 기준 지점(711)에서 무선 통신 신호를 방사(radiate)할 수 있다.
동작(612)에서 외부 장치(602, 720)는 전자 장치(601, 710)를 향하는 방향 및 외부 장치(602, 720)의 기준 벡터(722) 간의 제1 각도(731)를 계산할 수 있다. 외부 장치(602, 720) 및 전자 장치(601, 710) 간의 자세 정보는 전자 장치(601, 710) 및 외부 장치(602, 720) 간의 상대적인 자세로서 제1 각도(731)를 포함할 수 있다. 외부 장치(602, 720)로부터 전자 장치(601, 710)를 향하는 방향은, 외부 장치(602, 720)의 제2 기준 지점(721)으로부터 전자 장치(601, 710)의 제1 기준 지점(711)으로 향하는 방향일 수 있다. 제1 기준 지점(711)은 예시적으로 전자 장치(601, 710)의 무선 통신 모듈에서 무선 통신 신호를 방사하는 지점일 수 있으나, 이로 한정하는 것은 아니다. 제2 기준 지점(721)은 예시적으로 외부 장치(602, 720)의 무선 통신 모듈에서 무선 통신 신호를 방사하는 지점일 수 있으나, 이로 한정하는 것은 아니다. 외부 장치(602, 720)의 기준 벡터(722)는 제2 기준 지점(721)에서 외부 장치(602, 720)의 전면(예: 모바일 장치의 디스플레이 패널이 배치된 면)에 수직한 벡터일 수 있다. 외부 장치(602, 720)는 서로 다른 수신축을 가지는 셋 이상의 안테나들을 가지는 통신 모듈을 포함할 수 있고, 안테나들에서 무선 통신 신호를 수신한 AOA에 기초하여 제1 각도(731)를 계산할 수 있다.
동작(613)에서 외부 장치(602, 720)는 외부 장치(602, 720)로부터 제1 거리(741)만큼 이격된 표시 기준 위치(791)의 높이를 계산할 수 있다. 일 실시예에 따르면, 외부 장치(602, 720)는 외부 장치(602, 720)의 일면으로부터 제1 거리(741)만큼 이격된 높이 좌표를 계산할 수 있다. 예를 들어, 전자 장치(601, 710) 및/또는 외부 장치(602, 720)는 사용자의 시선 높이에 기초하여 표시 기준 위치(791)를 획득할 수 있다. 전술한 제1 거리(741)는 지면 및/또는 외부 장치(602, 720)의 일면으로부터의 높이에 대응하는 거리로서, 사용자의 시선 높이에 기초하여 결정될 수 있다. 다만, 이로 한정하는 것은 아니고, 시선 높이의 별도 결정 없이, 지면으로부터 전자 장치(601, 710)까지의 높이에 기초하여 제1 거리(741)가 결정될 수도 있다. 후술하겠으나, 이러한 제1 거리(741)를 통해 확장 화면(790)이 사용자의 눈높이에서 제공될 수 있다.
또한, 전자 장치(601, 710) 및/또는 외부 장치(602, 720)는, 기준 지점들(711, 721) 간의 제2 거리(742) 및 외부 장치(602, 720)의 일면 대비 기준 지점들(711, 721) 간의 직선이 이루는 각도가 주어지는 경우, 제2 거리(742)에 기준 지점들(711, 721) 간의 직선이 이루는 각도에 기초한 삼각함수(예: 사인 함수)를 적용함으로써 제2 거리(741)를 계산할 수도 있다. 다만, 이로 한저하는 것은 아니고, 제2 거리(741)는 미리 지정된 값일 수도 있다.
동작(614)에서 외부 장치(602, 720)는 제1 각도(731)와 표시 기준 위치(791)의 높이를 무선 통신으로 전달할 수 있다.
동작(615)에서 전자 장치(601, 710)는 외부 장치(602, 720)로부터 수신된 무선 신호에 기초하여, 제2 각도(732)와 제2 거리(742)를 계산할 수 있다. 예를 들어, 외부 장치(602, 720)는 전술한 동작(614)에서 제1 각도(731) 및 표시 기준 위치(791)의 높이와 함께 무선 통신 신호를 전송할 수 있다. 전자 장치(601, 710)의 무선 통신 모듈은, 서로 다른 수신축을 가지는 셋 이상의 안테나들을 포함할 수 있고, 전자 장치(601, 710)는 안테나들에서 무선 통신 신호를 수신한 AOA에 기초하여 제2 각도(732)를 계산할 수 있다. 전자 장치(601, 710)는 예시적으로 무선 통신 신호의 수신 세기 및/또는 신호 전송에서 소요된 비행시간(time-of-flight; TOF)에 기초하여 기준 지점들(711, 721) 간의 제2 거리(742)를 계산할 수 있다.
동작(616)에서 전자 장치(601, 710)는 전자 장치(601, 710)의 기준 벡터(712)에 대해 제2 각도(732)를 이루는 방향으로 전자 장치(601, 710)의 제1 기준 지점(711)으로부터 제2 거리(742) 만큼 이격된 외부 장치(602, 720)의 제2 기준 지점(721)의 평면 좌표를 전자 장치(601, 710)의 제1 좌표계를 기준으로 계산할 수 있다.
동작(617)에서 전자 장치(601, 710)는 표시 기준 위치(791)의 높이, 제2 기준 지점의 평면 좌표를 표시 기준 위치(791)로 결정할 수 있다. 다시 말해, 전자 장치(601, 710)는 동작(613)에서 획득된 높이 좌표 및 동작(617)에서 획득된 평면 좌표를 표시 기준 위치(791)의 좌표로 결정할 수 있다. 표시 기준 위치(791)는 외부 장치(602, 720)로부터 플로팅(floating)하는 위치일 수 있다.
동작(620)에서 전자 장치(601, 710)는 제1 각도(731) 및 제2 각도(732)에 기초하여 확장 화면(790)의 평면(792)을 회전시킬 수 있다. 예를 들어, 전자 장치(601, 710)는 제1 각도로부터 제2 각도를 차감함으로써 확장 화면(790)의 평면(792)의 회전 각도를 결정할 수 있다. 따라서 전자 장치(601, 710)의 프로세서는, 모바일 장치의 일면에 수직하는 일축을 기준으로 모바일 장치가 회전될 시, 일축에 대한 모바일 장치의 회전 방향과 같은 방향으로 확장 화면(790)의 평면(792)을 회전시킬 수 있다. 따라서 확장 화면(790)의 평면(792)은 외부 장치(602, 720)의 기준축(예: 디스플레이 패널이 배치된 일면에 수직하는 중심축)에 평행한 회전축을 기준으로 회전될 수 있다. 외부 장치(602, 720)가 기준축을 기준으로 시계 방향으로 회전되는 경우, 후술하는 동작(633)에서 확장 화면(790)의 평면(792)이 회전축을 기준으로 시계 방향으로 회전되어 출력될 수 있다. 유사하게, 외부 장치(602, 720)가 기준축을 기준으로 반시계 방향으로 회전되는 경우, 후술하는 동작(633)에서 확장 화면(790)의 평면(792)이 회전축을 기준으로 반시계 방향으로 회전되어 출력될 수 있다.
동작(631)에서 전자 장치(601, 710)는 확장 화면(790)의 표시 준비 완료 이벤트를 송신할 수 있다.
동작(632)에서 외부 장치(602, 720)는 확장 화면(790)을 전송할 수 있다. 예를 들어, 외부 장치(602, 720)는 전자 장치(601, 710)로부터 표시 준비 완료 이벤트를 수신하는 경우에 응답하여, 전자 장치(601, 710)에게 확장 화면(790)을 전송할 수 있다.
동작(633)에서 전자 장치(601, 710)는 확장 화면(790)을 표시 기준 위치(791)에서 출력할 수 있다. 예를 들어, 전자 장치(601, 710)는 외부 장치(602, 720)로부터 확장 화면(790)을 수신하는 경우에 응답하여, 표시 기준 위치(791)를 기준으로 결정된 가상 디스플레이 평면(792) 상에 확장 화면(790)을 제공할 수 있다. 동작(620)에서 회전 각도가 결정된 경우, 전자 장치(601, 710)는 회전 각도만큼 회전된 확장 화면(790)을 출력할 수 있다. 전자 장치(601, 710)의 프로세서는, 증강현실 환경에서 모바일 장치의 화면 평면(예: 디스플레이 패널이 배치된 일면)에 비평행(non-parallel)한 평면 상에 확장 화면(790)을 사용자에게 제공할 수 있다. 예시적으로 전자 장치(601, 710)는 화면 평면에 실질적으로 수직한 가상 디스플레이 평면에서 확장 화면(790)을 출력할 수 있다.
참고로 도 6에서 동작들(615, 616, 617)이 전자 장치(601, 710)에 의해 수행되고, 동작들(612, 613, 614)이 외부 장치(602, 720)에 의해 수행되는 것으로 설명되었으나, 이로 한정하는 것은 아니다. 도 6은 순전한 예시로서 동작들(612 내지 617)은 전자 장치(601, 710) 및 외부 장치(602, 720) 중 한 장치에 의해 수행될 수도 있다. 아울러, 동작 순서도 도 6에 도시된 바로 한정하는 것은 아니다. 예를 들어, 동작들(612, 613, 614)은 동작들(615, 616)보다 나중에 수행될 수 있다. 이 경우, 동작(613)에서 표시 기준 위치(791)의 높이는 제2 각도 및 제2 거리를 이용하여 산출될 수도 있다.
도 10은 일 실시예에 따른 모바일 장치가 숨겨진 경우 확장 화면을 제공하는 예시를 도시한다.
일 실시예에 따른 전자 장치(1010)는 외부 장치(1020)(예: 모바일 장치)와 외부 장치(1020)가 시각적으로 노출되지 않더라도 통신을 수립할 수 있다. 예를 들어, 전자 장치(1010)는 증강현실 환경(1000)에 대응하는 공간 내에서 무선 통신 신호(예: UWB 대역의 신호)를 이용하여 물체(1050)에 의해 가려진 외부 장치(1020)를 탐색할 수 있다. 도 10을 참조하면, 외부 장치(1020)가 책상 서랍 내에 수납된 예시가 도시된다.
전자 장치(1010)는 증강현실 환경(1000)에 대응하는 공간 내에서 외부 장치(1020)를 검출한 경우, 전자 장치(1010)의 시야각(예: 도 2의 촬영용 카메라(245)의 시야각) 내에서 시각적으로 외부 장치(1020)의 식별을 시도할 수 있다. 전자 장치(1010)는 시야각 내에서 외부 장치(1020)가 시각적으로 식별되지 않는 경우에 응답하여, 외부 장치(1020)의 숨겨진 위치를 지시하는 알림 컨텐츠를 시각화할 수 있다. 예를 들어, 전자 장치(1010)는 외부 장치(1020)를 가린 물체(1050) 상의 지점(1025)에 알림 컨텐츠를 시각화할 수 있다. 알림 컨텐츠는 외부 장치(1020)의 종류를 명시적으로 또는 암시적으로 지시하는 그래픽 표현을 포함할 수 있다.
또한, 전자 장치(1010)의 프로세서는, 외부 장치(1020) 및 전자 장치(1010) 간의 물체(1050)에 의해 외부 장치(1020)가 가려진 경우에 응답하여, 물체(1050) 상의 지점(1025)을 기준으로 표시 기준 위치를 결정할 수 있다. 전자 장치(1010)는 물체(1050) 상의 지점(1025)으로부터 지면, 물체(1050)의 일면, 및 외부 장치(1020)의 일면 중 한 면으로부터 수직하는 방향으로 이격된 위치를 표시 기준 위치로 결정할 수 있다. 전자 장치(1010)는 결정된 표시 기준 위치에 모바일 장치의 확장 화면(1090)을 시각화할 수 있다. 전자 장치(1010)는, 확장 화면(1090)을 시각화하는 동안, 전자 장치(1010) 및 외부 장치(1020) 간의 상대적인 위치 변화 및 각도 변화에 대응하여 표시 기준 위치의 좌표를 전술한 무선 통신 신호의 송수신에 따른 AOA 계산을 이용하여 실시간으로 업데이트할 수 있다. 따라서, 전자 장치(1010)는 물체(1050)에 의해 외부 장치(1020)가 가려지더라도 무선 통신 신호(예: UWB 대역의 신호)를 이용하여 외부 장치(1020)에 인접한 위치에서 확장 화면(1090)을 표시할 수 있다. 전자 장치(1010)는 보다 직관적인 위치에서 확장 화면(1090)을 제공할 수 있다.
또한, 알림 컨텐츠는 외부 장치(1020)에서 수신된 메시지를 나타내는 정보(예: 수신 후 미확인 메시지의 개수, 및 수신된 메시지 내용의 요약)를 포함할 수 있다. 전자 장치(1010)는, 외부 장치(1020)에서 메시지를 수신한 경우에 응답하여 외부 장치(1020)에 대응하는 위치에서 전술한 알림 컨텐츠를 시각화할 수 있다. 전자 장치(1010)는 알림 컨텐츠를 활성화하는 조작(예: 증강현실 환경(1000) 내에서 알림 컨텐츠가 차지하는 공간에 사용자의 신체가 접촉하는 조작)에 응답하여 확장 화면(1090)을 시각화할 수 있다. 따라서, 사용자는 데스크탑 경험으로 알림을 쉽게 확인하고 관련 업무를 처리할 수 있다.
도 11 내지 도 15는 일 실시예에 따른 무선 통신 장치를 기준으로 확장 화면을 제공하는 예시를 도시한 도면이다.
도 11은 전자 장치(1110)와 연결된 외부 장치(1120)가 모바일 장치(1130)와는 별개의 독립된 무선 통신 장치인 예시를 설명한다. 도 11에서 무선 통신 장치는 디스플레이 모듈을 포함하는 장치로 도시되었으나, 이는 순전한 예시로서, 이로 한정하는 것은 아니다.
도 11을 참조하면, 모바일 장치(1130)는 확장 화면 어플리케이션을 실행할 수 있다. 전자 장치(1110)는 모바일 장치(1130)로부터 확장 화면(1190)을 수신할 수 있다. 전자 장치(1110)는 증강현실 환경(1100) 내에서 외부 장치(1120)의 위치를 기준으로 결정된 가상 디스플레이 평면 상에 전술한 확장 화면(1190)을 출력할 수 있다.
전자 장치(1110)는 외부 장치(1120)와 UWB 대역으로 통신을 수행하면서 외부 장치(1120) 및 전자 장치(1110) 간의 위치 정보 및 자세 정보를 획득할 수 있다. 전자 장치(1110) 및/또는 외부 장치(1120)는 수신된 무선 통신 신호를 다중 안테나를 통해 수신함으로써 무선 통신 신호의 AOA(angle of arrival)을 추정할 수 있다. 전자 장치(1110) 및/또는 외부 장치(1120)는 추정된 AOA를 이용하여 각각 자세 정보(예: 각 장치의 지향 및 두 장치들이 서로 향하는 방향 간의 각도 차이)를 결정할 수 있다. 예시적으로 전자 장치(1110)는 증강현실 환경(1100) 내에서 외부 장치(1120)로부터 이격된 위치에 확장 화면(1190)을 시각화하여 사용자에게 제공할 수 있다. 전자 장치(1110)는 예시적으로 외부 장치(1120)의 디스플레이 모듈과 확장 화면(1190)이 비중첩되는 위치를 표시 기준 위치로 결정할 수 있다. 전자 장치(1110)는 외부 장치(1120)의 디스플레이 모듈의 주변(예: 디스플레이 패널의 전후방을 제외하고, 측방, 상방, 및 하방 중 일측)에 확장 화면을 출력할 수 있다. 따라서, 전자 장치(1110)는 외부 장치(1120)의 디스플레이 모듈의 화면에 의한 방해 없이 확장 화면(1190)을 사용자에게 제공할 수 있다. 이를 위해, 외부 장치(1120)는 무선 통신(예: UWB 대역의 통신)시 전자 장치(1110)에게 외부 장치(1120)의 디스플레이 모듈의 물리적 크기 정보(예: 화면 크기, 장치 내 통신 모듈의 위치)를 공유할 수 있다. 전자 장치(1110) 및/또는 외부 장치(1120)는 공유된 외부 장치(1120)의 디스플레이 모듈의 화면 크기를 이용하여 정확한 표시 기준 위치를 계산할 수 있다. 위치 정보 및 자세 정보의 추정은 하기 도 12 내지 도 14에서 설명한다.
전자 장치(1110)는 외부 장치(1120)의 위치 및 자세 중 적어도 하나의 변경에 응답하여 확장 화면(1190)이 시각화된 평면의 위치 및 자세 중 적어도 하나를 변경할 수 있다. 다시 말해, 전자 장치(1120)는 외부 장치(1120)에 대한 사용자의 조작(예: 이동 및 회전)에 응답하여, 확장 화면을 이동 및 회전시킬 수 있다. 예를 들어, 전자 장치(1120)는 외부 장치(1120)가 이동하는 경우에 응답하여, 외부 장치(1120)의 위치 변화에 대응하여 확장 화면(1190)을 이동시킬 수 있다.
도 12 내지 도 15는 일 실시예에 따른 외부 장치(1202, 1320)(예: 도 3의 외부 장치(330))가 무선 통신 장치인 경우, 전자 장치(1201, 1310)(예: 도 3의 전자 장치(310)) 및 외부 장치 간의 위치 정보 및 자세 정보 산출의 예시를 설명한다. 도 12는 위치 정보 및 자세 정보의 산출을 나타낸 흐름도를 나타낼 수 있다. 도 13은 증강현실 환경에서 전자 장치(1201, 1310) 및 외부 장치(1202, 1320)의 사시도, 도 14는 정지시의 탑뷰, 도 15는 회전시의 탑뷰를 나타낼 수 있다. 모바일 장치(예: 도 3의 모바일 장치(320))는 도 13 내지 도 15에서 미도시되었으나, 모바일 장치는 외부 장치(1202, 1320) 및 전자 장치(1201, 1320)과 통신을 수립할 수 있다.
도 12 내지 도 15를 참조하면 전자 장치(1201, 1310)의 프로세서는 외부 장치(1202, 1320)가 다른 무선 통신 장치인 경우, 무선 통신 장치를 기준으로 무선 통신 장치에 의해 지정된 위치를 표시 기준 위치(1391)로 결정할 수 있다. 표시 기준 위치(1391)는 확장 화면(1390)의 표시 기준으로 정의된 위치로서 예시적으로 확장 화면(1390)의 중심점이 배치되는 위치일 수 있다. 예를 들어, 전자 장치(1201, 1310)는 도 12에 도시된 동작들을 통해 외부 장치(1202, 1320)를 기준으로 표시 기준 위치(1391)를 결정할 수 있다. 도 13에 도시된 바와 같이, 전자 장치(1201, 1310)의 제1 좌표계(X1, Y1, Z1) 및 외부 장치(1202, 1320)의 제2 좌표계(X2, Y2, Z2)가 각각 정의될 수 있는데, 전자 장치(1201, 1310)는 제1 좌표계(X1, Y1, Z1)를 기준으로 표시 기준 위치(1391)의 좌표를 계산할 수 있다.
예를 들어, 동작(1211)에서 전자 장치(1201, 1310)는 위치 계산(예: 전술한 표시 기준 위치(1391)의 계산)을 위한 무선 신호(예: 무선 통신 신호)를 송신할 수 있다. 예를 들어, 전자 장치(1201, 1310)는 외부 장치(1202, 1320)에게 전술한 무선 통신 신호를 UWB 대역에서 송신할 수 있다. 다만, 무선 통신의 대역을 UWB 대역으로 한정하는 것은 아니고, 다른 통신 대역에서 통신이 수행될 수도 있다. 전자 장치(1201, 1310)는 제1 기준 지점(711)에서 무선 통신 신호를 방사(radiate)할 수 있다.
동작(1212)에서 외부 장치(1202, 1320)는 외부 장치(1202, 1320)로부터 전자 장치(1201, 1310)를 향하는 방향 및 외부 장치(1202, 1320)의 기준 벡터(1322) 간의 제1 각도(1331)를 계산할 수 있다. 외부 장치(1202, 1320) 및 전자 장치(1201, 1310) 간의 자세 정보는 전자 장치(1201, 1310) 및 외부 장치(1202, 1320) 간의 상대적인 자세로서 제1 각도(1331)를 포함할 수 있다. 외부 장치(1202, 1320)로부터 전자 장치(1201, 1310)를 향하는 방향은, 외부 장치(1202, 1320)의 제2 기준 지점(1321)으로부터 전자 장치(1201, 1310)의 제1 기준 지점(1311)으로 향하는 방향일 수 있다. 제1 기준 지점(1311)은 예시적으로 전자 장치(1201, 1310)의 무선 통신 모듈에서 무선 통신 신호를 방사하는 지점일 수 있으나, 이로 한정하는 것은 아니다. 제2 기준 지점(1321)은 예시적으로 외부 장치(1202, 1320)의 무선 통신 모듈에서 무선 통신 신호를 방사하는 지점일 수 있으나, 이로 한정하는 것은 아니다. 외부 장치(1202, 1320)의 기준 벡터(1322)는 제2 기준 지점(1321)에서 외부 장치(1202, 1320)의 전면(예: 무선 통신 장치의 디스플레이 패널이 배치된 면)에 수직한 벡터일 수 있다. 외부 장치(1202, 1320)는 서로 다른 수신축을 가지는 셋 이상의 안테나들을 가지는 통신 모듈을 포함할 수 있고, 안테나들에서 무선 통신 신호를 수신한 AOA에 기초하여 제1 각도(1331)를 계산할 수 있다.
동작(1213)에서 외부 장치(1202, 1320)는 무선 통신 장치의 디스플레이 모듈의 크기 및 제1 각도(1331)를 전자 장치(1201, 1310)에게 전송할 수 있다. 디스플레이 모듈의 크기에 관한 정보는 예를 들어 디스플레이 패널의 평면 대각선 길이, 평면 가로 길이, 및 평면 세로 길이 중 하나 또는 둘 이상의 조합을 포함할 수 있다.
다만, 외부 장치(1202, 1320)가 디스플레이 모듈의 화면 크기를 전송하는 것으로 한정하는 것은 아니다. 예를 들어, 외부 장치(1202, 1320)는 해당 장치의 제2 기준 지점(1321) 대비 표시 기준 위치(1391)의 상대적인 위치를 정의하는 정보(예: 상대적인 거리, 및 상대적인 방향)를 전자 장치(1201, 1310)에게 전송할 수도 있다. 따라서, 외부 장치(1202, 1320)에 의해 확장 화면이 표시되는 위치가 지시될 수 있다.
동작(1214)에서 전자 장치(1201, 1310)는 외부 장치(1202, 1320)로부터 수신된 무선 신호에 기초하여, 제2 각도(1332)와 제2 거리(1342)를 계산할 수 있다. 예를 들어, 외부 장치(1202, 1320)는 전술한 동작(1213)에서 제1 각도(1331) 및 디스플레이 모듈의 화면 크기와 함께 무선 통신 신호를 전송할 수 있다. 전자 장치(1201, 1310)의 무선 통신 모듈은, 서로 다른 수신축을 가지는 셋 이상의 안테나들을 포함할 수 있고, 전자 장치(1201, 1310)는 안테나들에서 무선 통신 신호를 수신한 AOA에 기초하여 제2 각도(1332)를 계산할 수 있다. 전자 장치(1201, 1310)는 예시적으로 무선 통신 신호의 수신 세기 및/또는 신호 전송에서 소요된 비행시간(time-of-flight; TOF)에 기초하여 기준 지점들(1311, 1321) 간의 제2 거리(1342)를 계산할 수 있다.
동작(1215)에서 전자 장치(1201, 1310)는 전자 장치(1201, 1310)의 기준 벡터(1312)에 대해 제2 각도(1332)를 이루는 방향으로 전자 장치(1201, 1310)의 제1 기준 지점(1311)으로부터 제2 거리(1342) 만큼 이격된 외부 장치(1202, 1320)의 제2 기준 지점(1321)의 평면 좌표를 전자 장치(1201, 1310)의 제1 좌표계를 기준으로 계산할 수 있다.
동작(1216)에서 전자 장치(1201, 1310)는 제2 기준 지점(1321)으로부터 무선 통신 장치의 화면 크기를 이용하여 제1 거리(1341)만큼 이격된 표시 기준 위치(1391)를 계산할 수 있다. 예를 들어, 전자 장치(1201, 1310)는 무선 통신 장치가 디스플레이 모듈을 포함하는 경우에 응답하여, 디스플레이 모듈의 화면 크기에 기초하여 결정된 거리만큼 이격된 위치를 표시 기준 위치(1391)로 결정할 수 있다. 다시 말해, 전자 장치(1201, 1310)는 디스플레이 모듈의 화면 크기에 기초하여 제1 거리(1341)를 결정할 수 있다. 제1 거리(1341)는 디스플레이 모듈의 표시 화면 및 확장 화면이 비중첩(non-overlapping)하는 거리로서, 예를 들어, 디스플레이 모듈의 가로 길이, 세로 길이, 및 대각선 길이 중 한 길이보다 길거나 같은 길이일 수 있다. 확장 화면(1390)이 무선 통신 장치에 대해 가로로 나란히 배치되는 경우, 제1 거리(1341)는 무선 통신 장치의 디스플레이 모듈의 가로 길이 이상의 값을 가질 수 있다. 다른 예를 들어, 확장 화면(1390)이 무선 통신 장치에 대해 세로로 나란히 배치되는 경우, 제1 거리(1341)는 무선 통신 장치의 디스플레이 모듈의 세로 길이 이상의 값을 가질 수 있다. 또다른 예를 들어, 확장 화면(1390)이 무선 통신 장치에 대해 대각선으로 나란히 배치되는 경우, 제1 거리(1341)는 무선 통신 장치의 디스플레이 모듈의 대각선 길이 이상의 값을 가질 수 있다. 따라서, 표시 기준 위치(1391)는 확장 화면(1390)이 외부 장치(1202, 1320)의 화면 출력을 방해하지 않도록 이격된 위치일 수 있다.
동작(1220)에서 전자 장치(1201, 1310)는 제1 각도(1331) 및 제2 각도(1332)에 기초하여 확장 화면(1390)의 평면을 회전시킬 수 있다. 예를 들어, 전자 장치(1201, 1310)는 제1 각도(1331)로부터 제2 각도(1332)를 차감함으로써 확장 화면(1390)의 평면의 회전 각도를 결정할 수 있다. 따라서 전자 장치(1201, 1310)의 프로세서는, 무선 통신 장치의 회전축을 기준으로 디스플레이 모듈이 회전될 시, 회전축에 대한 디스플레이 모듈의 회전 방향과 다른 방향(예: 반대 방향)으로 확장 화면(1390)의 평면을 회전시킬 수 있다. 외부 장치(1302, 1320)가 기준축을 기준으로 시계 방향으로 회전되는 경우, 후술하는 동작(1233)에서 확장 화면(1390)의 평면이 회전축을 기준으로 반시계 방향으로 회전되어 출력될 수 있다. 유사하게, 외부 장치(1202, 1320)가 기준축을 기준으로 반시계 방향으로 회전되는 경우, 후술하는 동작(1233)에서 확장 화면(1390)의 평면이 회전축을 기준으로 시계 방향으로 회전되어 출력될 수 있다.
동작(1231)에서 전자 장치(1201, 1310)는 확장 화면(1390)의 표시 준비 완료 이벤트를 모바일 장치(1203)에게 송신할 수 있다.
동작(1232)에서 모바일 장치(1203)는 확장 화면(1390)을 전송할 수 있다. 예를 들어, 모바일 장치(1203)는 전자 장치(1201, 1310)로부터 표시 준비 완료 이벤트를 수신하는 경우에 응답하여, 전자 장치(1201, 1310)에게 확장 화면(1390)을 전송할 수 있다.
동작(1333)에서 전자 장치(1201, 1310)는 확장 화면(1390)을 표시 기준 위치(1391)에서 출력할 수 있다. 예를 들어, 전자 장치(1201, 1310)는 모바일 장치(1203)로부터 확장 화면(1390)을 수신하는 경우에 응답하여, 표시 기준 위치(1391)를 기준으로 결정된 가상 디스플레이 평면 상에 확장 화면(1390)을 제공할 수 있다. 동작(1220)에서 회전 각도가 결정된 경우, 전자 장치(1201, 1310)는 회전 각도만큼 회전된 확장 화면(1390)을 출력할 수 있다. 참고로, 증강현실 환경 내에서 무선 통신 장치의 디스플레이 모듈의 화면 평면이 지면에 대해 형성한 각도는 확장 화면(1390)의 평면이 지면에 대해 형성한 각도와 동일할 수 있다. 따라서, 전자 장치(1201, 1310)는 별도의 설정 없이도 무선 통신 장치의 디스플레이 모듈과 동일한 틸팅 각도의 확장 화면을 사용자에게 제공함으로써 보다 일관된 데스크톱 경험을 제공할 수 있다.
참고로 도 12에서 동작들(1214, 1215, 1216)이 전자 장치(1201, 1310)에 의해 수행되고, 동작들(1212, 1213)이 외부 장치(1202, 1320)에 의해 수행되는 것으로 설명되었으나, 이로 한정하는 것은 아니다. 도 12는 순전한 예시로서 동작들(1212 내지 1216)은 전자 장치(1201, 1310) 및 외부 장치(1202, 1320) 중 한 장치에 의해 수행될 수도 있다. 아울러, 동작 순서도 도 12에 도시된 바로 한정하는 것은 아니다. 예를 들어, 동작들(1212, 1213)은 동작들(1214,, 1215, 1216)보다 나중에 수행될 수 있다.
도 16은 일 실시예에 따른 전자 장치의 시야각에 따른 확장 화면의 일부 제공을 설명하는 도면이다.
도 16을 참조하면 전자 장치(1610)는 전술한 바와 같이 무선 통신(예: UWB 대역의 통신)을 통해 외부 장치(예: 모바일 장치 또는 무선 통신 장치)와 연결을 수립할 수 있다. 전자 장치(1610)는 시야각에 대응하는 영역 내에 외부 장치가 가시적으로 관측되지 않더라도 무선으로 통신을 수립할 수 있다. 전자 장치(1610)는, 해당 장치의 시야각을 벗어나서 관찰불가능한(non-observable) 외부 장치와 무선 통신을 수립하는 경우에 응답하여, 모바일 장치의 확장 화면(1690)을 시각화하기 위한 준비 동작을 수행할 수 있다. 전자 장치(1610)는 외부 장치와 연결이 수립된 후, 전자 장치(1610)의 시야각에 대응하는 영역 및 확장 화면(1690) 간의 위치 관계를 계산 및 추적할 수 있다. 예를 들어, 전자 장치(1610)는 제1 기준 지점(예: 전자 장치(1610)의 무선 통신 모듈에서 무선 통신 신호를 방사하는 지점)을 기준으로 표시 기준 위치에 기초하여 확장 화면(1690)이 배치되는 평면 방정식을 결정할 수 있다. 전자 장치(1610)는 제1 기준 지점을 기준으로, 평면(예: 전자 장치(1610)의 제1 좌표계의 X1Y1 평면)에서 시야각의 경계선을 나타내는 두 직선 방정식들을 계산할 수 있다. 전자 장치(1610)는 두 직선 방정식들 및 전술한 평면 방정식 간의 교차점을 결정할 수 있다. 전자 장치(1610)는 두 직선 방정식들과 평면 방정식 간의 교차점이 표시 기준 위치에 기초하여 결정된 확장 화면(1690)의 평면 영역 내에 있는지 여부를 모니터링할 수 있다.
전자 장치(1610)는 표시 기준 위치에서 제공될 확장 화면(1690)의 적어도 일부 화면(1695)이 증강현실 디스플레이 모듈의 시야각(FOV, field of view) 영역 내에 포함되는 경우에 응답하여, 적어도 일부 화면(1695)을 증강현실 디스플레이 모듈을 통해 사용자에게 제공할 수 있다. 예를 들어, 전자 장치(1610)는 확장 화면(1690)의 평면 영역 내에서 전술한 두 직선 방정식들 및 평면 방정식 간의 교차점이 검출되는 경우, 해당 교차점에 기초하여 확장 화면(1690) 중 전자 장치(1610)의 시야각에 포함되는 일부 영역(1695)을 결정할 수 있다. 다시 말해, 전자 장치(1610)는 무선 통신 방식으로 외부 장치를 검출하더라도 확장 화면(1690)이 시야각 내에 미포함되는 경우 출력을 홀딩하다가, 일부 영역(1695)이 시야각 내에 들어오면 일부 영역(1695)부터 사용자에게 제공할 수 있다. 전자 장치(1610)는 시야각 내에 확장 화면(1690)이 모두 들어오면, 확장 화면(1690)의 전체 영역을 증강현실 환경 내에서 제공할 수 있다. 전자 장치(1610)는 마커의 비전 인식을 요구하지 않으므로 전술한 바와 같이 일부 화면(1695)을 즉각(immediately) 사용자에게 제공할 수 있다.
또한, 전자 장치(1610)의 통신 모듈은, 적어도 일부 화면이 시야각 영역에 포함되지 않는 경우 제1 데이터율(data rate)로 외부 장치와 통신을 수행할 수 있다. 전자 장치(1610)는 적어도 일부 화면이 시야각 영역 내에 포함되는 경우 제1 데이터율과 다른 제2 데이터율로 외부 장치와 통신을 수행할 수 있다. 제1 데이터율은 제2 데이터율보다 낮은 데이터율일 수 있다. 다시 말해, 전자 장치(1610)는 시야각 내에 확장 화면(1690)이 들어오기 전까지 낮은 데이터율로 외부 장치의 기준 지점에 기초하여 결정된 표시 기준 위치에 따른 확장 화면 및 전자 장치(1610)의 시야각 간의 위치 관계를 모니터링할 수 있다. 전자 장치(1610)는 확장 화면(1690) 중 일부 화면(1695)이 시야각 내에 들어오면 제2 데이터율로 통신 속도를 증가시킴으로써, 확장 화면(1690)의 재생에서 끊김을 최소화할 수 있다. 제2 데이터율은 예시적으로 전자 장치(1610)의 증강현실 디스플레이 모듈에서 제공되는 화면을 제공하는 프레임율(frate rate)(예: 60 FPS(frame per second), 및 120 FPS)에 기초하여 결정될 수 있다.
도 17은 일 실시예에 따른 관성 센서를 이용한 회전 추적을 설명하는 도면이다.
도 17을 참조하면 전자 장치(1710)의 프로세서는, 무선 통신 신호를 이용한 회전 검출이 비가용한 경우에 응답하여, 외부 장치에서 관성 센서를 이용하여 검출된 회전 정보 및 이동 정보 중 적어도 하나에 기초하여 확장 화면의 회전 및 이동 중 적어도 하나를 수행할 수 있다. 예를 들어, 전자 장치(1710)는 주변 환경에 따라 무선 통신 신호(예: UWB 대역의 신호)의 수신을 실패하는 경우에 응답하여, 자동으로 외부 장치의 관성 센서를 이용한 위치 추적 기능(예: IMU(inertial measurement unit) 모드)을 활성화할 수 있다. 다만, 이로 한정하는 것은 아니고, 전자 장치(1710)는 수동 사용자 입력에 응답하여 관성 센서를 이용한 위치 추적을 개시할 수도 있다. 예를 들어, 외부 장치는 관성 센서를 이용하여 제1 각도(1731)의 변화를 추적하고, 추적된 제1 각도(1731)의 변화량은 전자 장치(1710)에게 전달할 수 있다. 전자 장치(1710)는 자체 회전에 따른 제2 각도의 변화량을 자체 관성 센서를 이용하여 추적할 수 있다. 전자 장치(1710)는 개별적으로 관성 센서를 이용하여 추적된 제1 각도(1731) 및 제2 각도의 변화량에 기초하여 확장 화면을 회전시킬 수 있다.
도 17에서는 예시적으로 관성 센서를 이용한 회전 추적을 설명하였으나, 이로 한정하는 것은 아니다. 전자 장치(1710) 및/또는 외부 장치는 관성 센서를 이용하여 각 장치 자신의 위치 이동도 추적하여 다른 장치에게 공유할 수 있다.
도 18 내지 도 21은 일 실시예에 따른 모바일 장치에 대한 조작에 기초한 확장 화면의 제어를 설명하는 도면이다.
도 18 내지 도 21을 참조하면 전자 장치의 프로세서는, 모바일 장치에 대한 제스쳐 입력에 기초하여 확장 화면을 제어할 수 있다.
예를 들어, 동작(1841)에서 전자 장치는 전자 장치에 대한 모바일 장치의 정렬 방향을 식별할 수 있다. 전자 장치는 모바일 장치가 가로 정렬인 지 또는 세로 정렬인 지 판별할 수 있다. 전자 장치의 프로세서는, 전자 장치 및 모바일 장치 간의 정렬에 기초하여 확장 화면을 가로 화면(2192) 및 세로 화면(2191) 중 하나로 제공할 수 있다. 전자 장치는, 전자 장치의 기준 벡터 및 모바일 장치의 세로 축(예: 모바일 장치의 길이 방향 축) 간의 방향 차이가 임계 차이 미만인 경우에 응답하여, 모바일 장치가 전자 장치에 대해 세로로 정렬된 것으로 결정할 수 있다. 반대로 전자 장치는, 전자 장치의 기준 벡터 및 모바일 장치의 세로 축 간의 방향 차이가 임계 차이 이상인 경우에 응답하여, 모바일 장치가 전자 장치에 대해 가로로 정렬된 것으로 결정할 수 있다. 참고로, 도 17에서 설명된 예시와 같이, 전자 장치 및 모바일 장치가 관성 센서에 기초한 회전 추적을 개시한 경우, 모바일 장치가 모바일 장치의 기준 벡터를 기준으로 임계 각도 이상 회전하는 경우, 전자 장치는 모바일 장치의 정렬이 전환(예: 가로 정렬로부터 세로 정렬로 전환, 세로 정렬로부터 가로 정렬로 전환)된 것(2103)으로 결정할 수 있다.
동작(1842)에서 전자 장치는 모바일 장치가 세로 정렬인 경우, 확장 화면을 세로 화면(2191)으로 출력할 수 있다. 세로 화면(2191)은 화면의 세로 길이가 가로 길이보다 긴 화면을 나타낼 수 있다. 동작(1843)에서 전자 장치는 모바일 장치가 가로 정렬인 경우, 확장 화면을 가로 화면(2192)으로 출력할 수 있다. 가로 화면(2192)은 화면의 가로 길이가 세로 길이보다 긴 화면을 나타낼 수 있다.
도 21을 참조하면, 전자 장치는 모바일 장치에서 가로 화면이 출력되는 경우 확장 화면을 가로 화면(2192)으로 출력하고 모바일 장치에서 세로 화면이 출력되는 경우 확장 화면을 세로 화면(2191)으로 출력할 수도 있다.
동작(1844)에서 외부 장치는 확장 화면을 전자 장치로 전송할 수 있다. 예를 들어, 외부 장치는 전술한 동작들(1841, 1842, 1843)에 의해 결정된 확장 화면을 전자 장치에게 전송할 수 있다.
동작(1851)에서 전자 장치는 모바일 장치에 대해 제1 제스쳐(1901)가 발생했는지 모니터링할 수 있다. 동작(1852)에서 전자 장치는 제1 제스쳐(1901)를 검출하는 경우에 응답하여 확장 화면(1990)의 크기를 변경할 수 있다. 예를 들어, 전자 장치의 프로세서는, 모바일 장치에 대한 제1 제스쳐(1901) 입력에 응답하여, 확장 화면(1990)의 크기를 변경할 수 있다.
도 19를 참조하면 전자 장치는 모바일 장치의 화면에 대한 두 터치 지점들 간의 거리가 변화하는 제1 제스쳐(1901)(예: 핀치 줌인 및 줌아웃 조작)에 응답하여 확장 화면(1990)의 크기를 변경할 수 있다. 예시적으로, 전자 장치는 두 터치 지점들 간의 거리가 감소하는 경우 확장 화면(1990)의 크기를 감소시키고, 두 터치 지점들 간의 거리가 증가하는 경우 확장 화면(1990)의 크기를 증가시킬 수 있다.
동작(1853)에서 전자 장치는 모바일 장치에 대해 제2 제스쳐(2002)가 발생했는지 모니터링할 수 있다. 동작(1854)에서 전자 장치는 제2 제스쳐(2002)를 검출하는 경우에 응답하여, 확장 화면(2090)의 밝기를 변경할 수 있다. 예를 들어, 전자 장치의 프로세서는 모바일 장치에 대한 제2 제스쳐(2002) 입력에 응답하여, 확장 화면(2090)의 밝기를 변경할 수 있다.
도 20을 참조하면 전자 장치는 모바일 장치의 화면에 대한 터치 입력의 일축을 따른 직선 이동(예: 스크롤 입력)에 응답하여 확장 화면(2090)의 밝기를 변경할 수 있다. 예시적으로 전자 장치는 터치 지점이 일축을 따라 제1 방향으로 이동하는 경우 확장 화면(2090)의 밝기를 증가시키고, 제1 방향에 반대되는 제2 방향으로 터치 지점이 이동하는 경우 확장 화면(2090)의 밝기를 감소시킬 수 있다.
전술한 제스쳐 입력들은 모바일 장치가 자체적으로 검출하고, 모바일 장치가 각 제스쳐에 따른 동작(예: 화면 크기 변경 및 밝기 변경)을 전자 장치에게 요청할 수 있으나, 이로 한정하는 것은 아니다. 전술한 제스쳐 입력들은 전자 장치에 의해 시각적으로 인식될 수도 있다.

Claims (15)

  1. 전자 장치에 있어서,
    외부 장치와의 무선 통신을 위한 무선 통신 회로;
    모바일 장치의 확장 화면을 출력하는 증강현실 디스플레이;
    컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및
    상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 프로세서
    를 포함하고,
    상기 명령어들은,
    상기 모바일 장치로부터 수신된 상기 확장 화면을 제공할 증강현실 환경 내 표시 기준 위치를 상기 외부 장치와의 무선 통신에 기초하여 결정하며,
    상기 표시 기준 위치에서 제공될 상기 확장 화면의 적어도 일부 화면이 상기 증강현실 디스플레이의 시야각(FOV, field of view) 영역 내에 포함되는 경우에 응답하여, 상기 적어도 일부 화면을 상기 증강현실 디스플레이를 통해 사용자에게 제공하도록 설정되는,
    전자 장치.
  2. 제1항에 있어서,
    상기 명령어들은 상기 프로세서로 하여금,
    상기 외부 장치가 상기 모바일 장치인 경우, 상기 모바일 장치의 일면으로부터 이격된 위치를 표시 기준 위치로 획득하게 하는,
    전자 장치.
  3. 제2항에 있어서
    상기 명령어들은 상기 프로세서로 하여금,
    상기 증강현실 환경에서 상기 모바일 장치의 화면 평면에 비평행(non-parallel)한 평면 상에 상기 확장 화면을 상기 사용자에게 제공하게 하는,
    전자 장치.
  4. 제2항에 있어서
    상기 명령어들은 상기 프로세서로 하여금,
    상기 모바일 장치의 일면에 수직하는 일축을 기준으로 상기 모바일 장치가 회전될 시, 상기 일축에 대한 상기 모바일 장치의 회전 방향과 같은 방향으로 상기 확장 화면의 평면을 회전시키게 하는,
    전자 장치.
  5. 제2항에 있어서,
    상기 명령어들은 상기 프로세서로 하여금,
    상기 사용자의 시선 높이에 기초하여 상기 표시 기준 위치를 결정하게 하는,
    전자 장치.
  6. 제1항에 있어서,
    상기 명령어들은 상기 프로세서로 하여금,
    상기 외부 장치가 다른 무선 통신 장치인 경우, 상기 무선 통신 장치를 기준으로 상기 무선 통신 장치에 의해 지정된 위치를 표시 기준 위치로 결정하게 하는,
    전자 장치.
  7. 제6항에 있어서,
    상기 명령어들은 상기 프로세서로 하여금,
    상기 무선 통신 장치가 디스플레이를 포함하는 경우에 응답하여, 상기 디스플레이의 화면 크기에 기초하여 결정된 거리만큼 이격된 위치를 상기 표시 기준 위치로 결정하게 하는,
    전자 장치.
  8. 제6항에 있어서,
    상기 증강현실 환경 내에서 상기 무선 통신 장치의 상기 디스플레이의 화면 평면이 지면에 대해 형성한 각도는 상기 확장 화면의 평면이 지면에 대해 형성한 각도와 동일한,
    전자 장치.
  9. 제6항에 있어서,
    상기 명령어들은 상기 프로세서로 하여금,
    상기 무선 통신 장치의 회전축을 기준으로 상기 디스플레이가 회전될 시, 상기 회전축에 대한 상기 디스플레이의 회전 방향과 다른 방향으로 상기 확장 화면의 평면을 회전시키게 하는,
    전자 장치.
  10. 제1항에 있어서,
    상기 명령어들은 상기 프로세서로 하여금,
    상기 외부 장치가 이동하는 경우에 응답하여, 상기 외부 장치의 위치 변화에 대응하여 상기 확장 화면을 이동시키게 하는,
    전자 장치.
  11. 제1항에 있어서,
    상기 무선 통신 회로는,
    서로 다른 수신축을 가지는 셋 이상의 안테나를 포함하는,
    전자 장치.
  12. 제1항에 있어서,
    상기 외부 장치는, 서로 다른 수신축을 가지는 셋 이상의 안테나를 가지는 통신 회로를 포함하는,
    전자 장치.
  13. 제1항에 있어서,
    상기 명령어들은 상기 프로세서로 하여금,
    무선 통신 신호를 이용한 회전 검출이 비가용한 경우에 응답하여, 상기 외부 장치에서 관성 센서를 이용하여 검출된 회전 정보 및 이동 정보 중 적어도 하나에 기초하여 상기 확장 화면의 회전 및 이동 중 적어도 하나를 수행하게 하는,
    전자 장치.
  14. 제1항에 있어서,
    상기 명령어들은 상기 프로세서로 하여금,
    상기 모바일 장치에 대한 제스쳐 입력에 기초하여 확장 화면을 제어하게 하는,
    전자 장치.
  15. 컴퓨터로 구현되는 방법에 있어서,
    외부 장치와의 무선 통신에 기초하여 증강현실 환경 내에서 모바일 장치의 확장 화면을 제공할 표시 기준 위치를 결정하는 동작; 및
    상기 표시 기준 위치에서 제공될 상기 확장 화면의 적어도 일부 화면이 증강현실 디스플레이의 시야각(FOV, field of view) 영역 내에 포함되는 경우에 응답하여, 상기 적어도 일부 화면을 상기 증강현실 디스플레이를 통해 사용자에게 제공하는 동작
    을 포함하는 방법.
PCT/KR2022/010076 2021-09-15 2022-07-12 모바일 장치의 확장 화면을 표시하는 장치 및 방법 WO2023043022A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22870109.0A EP4325341A4 (en) 2021-09-15 2022-07-12 DEVICE AND METHOD FOR DISPLAYING EXTENDED SCREEN OF MOBILE DEVICE
US17/895,518 US11990067B2 (en) 2021-09-15 2022-08-25 Method and device to display extended screen of mobile device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0123239 2021-09-15
KR20210123239 2021-09-15
KR1020210128247A KR20230040232A (ko) 2021-09-15 2021-09-28 모바일 장치의 확장 화면을 표시하는 장치 및 방법
KR10-2021-0128247 2021-09-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/895,518 Continuation US11990067B2 (en) 2021-09-15 2022-08-25 Method and device to display extended screen of mobile device

Publications (1)

Publication Number Publication Date
WO2023043022A1 true WO2023043022A1 (ko) 2023-03-23

Family

ID=85603048

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/010076 WO2023043022A1 (ko) 2021-09-15 2022-07-12 모바일 장치의 확장 화면을 표시하는 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2023043022A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150025115A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
KR20160036915A (ko) * 2014-09-26 2016-04-05 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
US20160320625A1 (en) * 2016-04-21 2016-11-03 Maximilian Ralph Peter von und zu Liechtenstein Virtual Monitor Display Technique for Augmented Reality Environments
US20200082638A1 (en) * 2016-09-23 2020-03-12 Apple Inc. Augmented virtual display
WO2021062278A1 (en) * 2019-09-27 2021-04-01 Apple Inc. Environment for remote communication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150025115A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
KR20160036915A (ko) * 2014-09-26 2016-04-05 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
US20160320625A1 (en) * 2016-04-21 2016-11-03 Maximilian Ralph Peter von und zu Liechtenstein Virtual Monitor Display Technique for Augmented Reality Environments
US20200082638A1 (en) * 2016-09-23 2020-03-12 Apple Inc. Augmented virtual display
WO2021062278A1 (en) * 2019-09-27 2021-04-01 Apple Inc. Environment for remote communication

Similar Documents

Publication Publication Date Title
WO2022108076A1 (ko) 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치
WO2023106895A1 (ko) 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
WO2023043022A1 (ko) 모바일 장치의 확장 화면을 표시하는 장치 및 방법
WO2023149671A1 (ko) 입력 모드를 전환하는 증강 현실 장치 및 그 방법
WO2024034811A1 (ko) 시선 방향을 식별하는 전자 장치 및 그 작동 방법
WO2023153607A1 (ko) 주변 조도에 기초한 ar 컨텐츠 표시 방법 및 전자 장치
WO2024080579A1 (ko) 사용자의 자세를 가이드하기 위한 웨어러블 장치 및 그 방법
WO2023153611A1 (ko) 객체의 영상을 획득하는 방법 및 장치
WO2024117452A1 (ko) 사용자의 움직임에 대한 트래킹 정보에 기반하여 렌더링을 하기 위한 전자 장치 및 방법
WO2024080770A1 (ko) 홍채 정보를 검출하는 웨어러블 장치 및 그 제어 방법
WO2024029720A1 (ko) 증강 현실에서 사용자를 인증하는 장치 및 방법
WO2023085847A1 (ko) 트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법
WO2023132744A1 (ko) 복수의 어플리케이션 실행 화면들을 그룹화하여 제공하는 웨어러블 디바이스 및 그 제어 방법
WO2023027276A1 (ko) 스타일러스 펜을 이용하여 복수의 기능들을 실행하기 위한 전자 장치 및 그 작동 방법
KR20230040232A (ko) 모바일 장치의 확장 화면을 표시하는 장치 및 방법
WO2024049110A1 (ko) 실 객체에 대한 깊이 정보를 이용하여 가상 객체를 보정하는 전자 장치 및 그 제어 방법
WO2022114535A1 (ko) 카메라를 포함하는 증강 현실 웨어러블 전자 장치
WO2024058434A1 (ko) 사용자의 외부 환경을 촬영하는 컨트롤 장치 및 그 동작 방법 및 컨트롤 장치와 연결된 머리 착용형 전자 장치
WO2024043438A1 (ko) 카메라 모듈을 제어하는 웨어러블 전자 장치 및 그 동작 방법
WO2024049178A1 (ko) 하나 이상의 외부 객체들 중 적어도 하나의 외부 객체의 표시를 제어하기 위한 전자 장치 및 방법
WO2023121120A1 (ko) 간섭 제거 방법 및 상기 방법을 수행하는 전자 장치
US11990067B2 (en) Method and device to display extended screen of mobile device
WO2023090846A1 (ko) 증강 현실 객체의 앵커링을 위한 전자 장치 및 방법
WO2024096392A1 (ko) 적어도 하나의 객체에 대한 연속적인 빔포밍을 수행하는 웨어러블 장치 및 그 제어 방법
WO2024063463A1 (ko) 디스플레이를 통해 보여지는 객체와 관련된 오디오 신호를 조절하기 위한 전자 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22870109

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022870109

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022870109

Country of ref document: EP

Effective date: 20231115

NENP Non-entry into the national phase

Ref country code: DE