WO2022114918A1 - 증강 현실 장치, 증강 현실 장치와 상호작용하는 전자 장치, 및 그 제어 방법 - Google Patents

증강 현실 장치, 증강 현실 장치와 상호작용하는 전자 장치, 및 그 제어 방법 Download PDF

Info

Publication number
WO2022114918A1
WO2022114918A1 PCT/KR2021/017866 KR2021017866W WO2022114918A1 WO 2022114918 A1 WO2022114918 A1 WO 2022114918A1 KR 2021017866 W KR2021017866 W KR 2021017866W WO 2022114918 A1 WO2022114918 A1 WO 2022114918A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
display
screen
input interface
user
Prior art date
Application number
PCT/KR2021/017866
Other languages
English (en)
French (fr)
Inventor
김경화
장일구
김여진
신기영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/538,144 priority Critical patent/US11829527B2/en
Priority to EP21898743.6A priority patent/EP4180919A4/en
Publication of WO2022114918A1 publication Critical patent/WO2022114918A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present disclosure relates generally to devices that provide augmented reality (AR), and more particularly, to an augmented reality device, an electronic device that interacts with the augmented reality device, and a method for controlling the same.
  • AR augmented reality
  • Augmented reality is a technology in which a three-dimensional (3D) image (or a two-dimensional (2D) image) is superimposed on a real image or background in order to display one image.
  • Augmented reality technology can provide a better sense of reality and additional information by mixing the real environment and virtual objects and allowing the user to see the real environment.
  • an image provided through a projector may be incident on an input grating surface through a prism.
  • the user can then visually see the image passing through the output grating surface.
  • the user can observe the image, along with the real environment. For example, the user may check information about an object in an environment currently being observed.
  • the augmented reality device may check which object the user is looking at through eye tracking. Also, the augmented reality device may detect a user's hand gesture using a camera. Through eye tracking and hand gesture detection, when the user performs a hand gesture while looking at a specific object, the augmented reality device may identify the user's hand gesture as an input to the specific object.
  • the accuracy of eye tracking in augmented reality devices is limited. In particular, when the size of the object the user is looking at is relatively small, or when a large number of other objects are distributed around the object the user is looking at, the accuracy of eye tracking may decrease.
  • the augmented reality device may be used in connection with an auxiliary input device such as, for example, a joystick and a trackpad.
  • an auxiliary input device such as, for example, a joystick and a trackpad.
  • the auxiliary input device is required to identify various inputs related to the object, whereas, due to the limitation of the size of the auxiliary input device, the configuration of the input interface of the auxiliary input device There is a limit to the diversity of
  • the augmented reality device may transmit information related to the object corresponding to the user's gaze direction to the external electronic device, and the external electronic device may display an input interface based on the information related to the object.
  • an electronic device including a display, at least one camera, a communication circuit, and at least one processor.
  • the at least one processor displays a first screen on the display, obtains an image of the user's eye of the electronic device through the at least one camera, and based on the image of the user's eye, the user Check the first object in the first screen corresponding to the gaze direction of
  • the at least one processor also transmits information related to the first object to an external electronic device through the communication circuit.
  • the external electronic device is configured to display an input interface based on information related to the first object.
  • the at least one processor may receive, from the external electronic device, information about an input obtained through the input interface through the communication circuit, and based on the information about the input, display the first information on the display. It may be further configured to display a second screen different from the screen.
  • an electronic device including a display, a communication circuit, and at least one processor.
  • the at least one processor receives, from an external electronic device, first information related to a first object in a first screen displayed on the external electronic device and corresponding to the user's gaze direction of the external electronic device through the communication circuit do.
  • the at least one processor may further display an input interface based on information related to the first object on the display, obtain an input through the input interface, and transmit second information regarding the input to the external electronic device may be configured to transmit to
  • a method of controlling a first electronic device and a second electronic device is provided.
  • a first screen is displayed on the first display of the first electronic device.
  • An image of the user's eye of the first electronic device is obtained.
  • a first object in the first screen corresponding to the gaze direction of the user is identified.
  • An input interface is displayed on the second display of the second electronic device based on the type of the first object.
  • a second screen different from the first screen is displayed on the first display of the first electronic device based on the first input obtained through the input interface.
  • An augmented reality device an electronic device that interacts with the augmented reality device, and a method for controlling the same are provided.
  • the augmented reality device transmits information related to an object corresponding to the gaze direction of the user of the augmented reality device to the external electronic device.
  • the external electronic device displays an input interface based on information related to the object. Since the input interface is flexibly configured based on the information related to the object, the external electronic device can use various input interfaces within a limited device size, and the augmented reality device has high accuracy by using the input interface of the external electronic device. You can check the input.
  • FIG. 1 is a diagram illustrating a structure of an augmented reality device, according to an embodiment.
  • FIG. 2 shows a block diagram of an augmented reality device, according to an embodiment.
  • FIG. 3 is a block diagram illustrating an electronic device in a network environment, according to an embodiment.
  • FIG. 4 is a flowchart illustrating operations performed in an augmented reality device, according to an embodiment.
  • 5A is a diagram illustrating an input interface, according to an embodiment.
  • 5B is a diagram illustrating an input interface, according to an embodiment.
  • 6A is a diagram illustrating an input interface, according to an embodiment.
  • 6B is a diagram illustrating a screen including an object corresponding to an input interface, according to an embodiment.
  • 6C is a diagram illustrating an input interface, according to an embodiment.
  • FIG. 7A is a diagram illustrating a screen including an object corresponding to an input interface, according to an embodiment.
  • 7B is a diagram illustrating an input interface, according to an embodiment.
  • 8A is a diagram illustrating a screen including an object corresponding to an input interface, according to an embodiment.
  • 8B is a diagram illustrating an input interface, according to an embodiment.
  • FIG. 9 is a diagram illustrating an input interface, according to an embodiment.
  • FIG. 10 is a flowchart illustrating operations performed in an augmented reality device, according to an embodiment.
  • FIG. 11 is a diagram illustrating an FOV of a user through an augmented reality device, according to an embodiment.
  • FIG. 12 is a diagram illustrating an FOV of a user through an augmented reality device, according to an embodiment.
  • FIG. 13A is a diagram illustrating a FOV of a user through an augmented reality device, according to an embodiment.
  • 13B is a diagram illustrating a FOV of a user through an augmented reality device, according to an embodiment.
  • 14A is a diagram illustrating a FOV of a user through an augmented reality device, according to an embodiment.
  • 14B is a diagram illustrating a FOV of a user through an augmented reality device, according to an embodiment.
  • 15 is a flowchart illustrating operations performed by an electronic device that interacts with an augmented reality device, according to an embodiment.
  • the augmented reality device includes one or more first cameras 111-1, 111-2, one or more second cameras 112-1, 112-2, and one or more third cameras 113. Images obtained through the one or more first cameras 111-1 and 111-2 may be used for detecting a hand gesture by a user, tracking a user's head, and recognizing a space.
  • the one or more first cameras 111-1 and 111-2 may be global shutter (GS) cameras.
  • the one or more first cameras 111-1 and 111-2 may perform a simultaneous localization and mapping (SLAM) operation through depth imaging. Images obtained through one or more second cameras 112-1 and 112-2 may be used to detect and track the user's pupils.
  • GS global shutter
  • SLAM simultaneous localization and mapping
  • the one or more second cameras 112-1 and 112-2 may be GS cameras. The performance of the one or more second cameras 112-1 and 112-2 may be the same.
  • the one or more third cameras 113 may be high-resolution cameras. Accordingly, the one or more third cameras 113 may perform an auto-focusing (AF) function and an image stabilization function.
  • One or more third cameras ( 113 may be a GS camera or a rolling shutter (RS) camera.
  • the augmented reality device includes batteries 135 - 1 and 135 - 2 .
  • the batteries 135 - 1 and 135 - 2 may store power for operating the remaining components of the augmented reality device.
  • the augmented reality device includes a first display 151 , a second display 152 , one or more input optical members 153-1, 153-2, one or more transparent members 190-1, 190-2, and one or more It may include screen display portions 154-1 and 154-2.
  • the first display 151 and the second display 152 may include, for example, a liquid crystal display (LCD), a digital mirror device (DMD), or a liquid crystal on silicon device. ; LCoS), an organic light emitting diode (OLED), or a micro light emitting diode (micro LED).
  • the augmented reality device may include a light source for irradiating light to the screen output area of the display.
  • the first display 151 and the second display 152 can generate light by themselves, for example, when they are made of one of an organic light emitting diode or a micro LED, the augmented reality device does not include a separate light source It is possible to provide a virtual image of good quality to the user.
  • the one or more transparent members 190-1 and 190-2 may be disposed to face the user's eyes when the user wears the augmented reality device. When the user wears the augmented reality device, the user can see the outside world through one or more transparent members 190-1 and 190-2.
  • the one or more input optical members 153 - 1 and 153 - 2 may guide the light generated by the first display 151 and the second display 152 to the user's eyes. The difference based on the light generated by the first display 151 and the second display 152 on the one or more screen display portions 154-1 and 154-2 on the one or more transparent members 190-1 and 190-2 When the image is formed, the user can see the image formed on the one or more screen display portions 154 - 1 and 154 - 2 .
  • the augmented reality device includes one or more voice input devices 162-1 and 162-2 and one or more voice output devices 163-1 and 163-2.
  • the augmented reality device 200 includes a first camera 211 , a second camera 212 , a third camera 213 , a processor 220 , a PMIC 230 , a battery 235 , a memory 240 , and a display module. 250 , an audio module 261 , a voice input device 262 , a voice output device 290 , a communication circuit 270 , and a sensor 280 .
  • the augmented reality apparatus 200 may include a plurality of at least one of a first camera 211 , a second camera 212 , and a third camera 213 .
  • the processor 220 includes other components of the augmented reality device 200 , for example, the first camera 211 , the second camera 212 , the third camera 213 , the PMIC 230 , and the memory 240 . ), the display module 250 , the audio module 261 , the communication circuit 270 , and the sensor 280 can be controlled.
  • the processor 220 may perform various data processing or operations.
  • the PMIC 230 may convert the power stored in the battery 235 to have a current or voltage required by other components of the augmented reality apparatus 200 and supply it to other components of the augmented reality apparatus 200 .
  • the memory 240 may store various data used by at least one component (eg, the processor 220 or the sensor 280 ) of the augmented reality device 200 .
  • the display module 250 may display a screen to be provided to the user.
  • the display module 250 includes the first display 151 , the second display 152 , one or more input optical members 153-1 and 153-2, and one or more transparent members 190-1 described above with reference to FIG. 1 . , 190 - 2 ), and one or more screen display portions 154 - 1 and 154 - 2 .
  • the audio module 261 is connected to the voice input device 262 and the voice output device 263 , converts data input through the voice input device 262 , and converts data to be output to the voice output device 290 . can do.
  • the communication circuit 270 may support establishment of a wireless communication channel with an electronic device external to the augmented reality device 200 and performing communication through the established communication channel.
  • the sensor 280 includes a 6-axis sensor 281 , a magnetic sensor 282 , a proximity sensor 283 , and an optical sensor 284 .
  • FIG. 3 is a block diagram illustrating an electronic device 301 in a network environment, according to an embodiment.
  • the electronic device 301 communicates with the electronic device 302 through a first network 398 (eg, a short-range wireless communication network) or a second network 399 . It may communicate with the electronic device 304 or the server 308 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 301 may communicate with the electronic device 304 through the server 308 .
  • the electronic device 301 includes a processor 320 , a memory 330 , an input module 350 , a sound output module 355 , a display module 360 , an audio module 370 , and a sensor module ( 376 , interface 377 , connection terminal 378 , haptic module 379 , camera module 380 , power management module 388 , battery 389 , communication module 390 , subscriber identification module 396 ) , or an antenna module 397 .
  • at least one of these components eg, the connection terminal 378
  • some of these components are integrated into one component (eg, display module 360 ). can be
  • the processor 320 for example, executes software (eg, a program 340) to execute at least one other component (eg, a hardware or software component) of the electronic device 301 connected to the processor 320 . It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or computation, the processor 320 converts commands or data received from other components (eg, the sensor module 376 or the communication module 390 ) to the volatile memory 332 . may be stored in , process commands or data stored in the volatile memory 332 , and store the result data in the non-volatile memory 334 .
  • software eg, a program 340
  • the processor 320 converts commands or data received from other components (eg, the sensor module 376 or the communication module 390 ) to the volatile memory 332 .
  • the volatile memory 332 may be stored in , process commands or data stored in the volatile memory 332 , and store the result data in the non-volatile memory 334 .
  • the processor 320 is a main processor 321 (eg, central processing unit or application processor) or a secondary processor 323 (eg, a graphics processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • main processor 321 eg, central processing unit or application processor
  • secondary processor 323 eg, a graphics processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the coprocessor 323 may be, for example, on behalf of the main processor 321 while the main processor 321 is in an inactive (eg, sleep) state, or when the main processor 321 is active (eg, executing an application). ), together with the main processor 321, at least one of the components of the electronic device 301 (eg, the display module 360, the sensor module 376, or the communication module 390) It is possible to control at least some of the related functions or states.
  • the coprocessor 323 eg, image signal processor or communication processor
  • may be implemented as part of another functionally related component eg, camera module 380 or communication module 390). have.
  • the auxiliary processor 323 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 301 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 308 ).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 330 may store various data used by at least one component (eg, the processor 320 or the sensor module 376 ) of the electronic device 301 .
  • the data may include, for example, input data or output data for software (eg, the program 340 ) and instructions related thereto.
  • the memory 330 may include a volatile memory 332 or a non-volatile memory 334 .
  • the program 340 may be stored as software in the memory 330 , and may include, for example, an operating system 342 , middleware 344 , or an application 346 .
  • the input module 350 may receive a command or data to be used in a component (eg, the processor 320 ) of the electronic device 301 from the outside (eg, a user) of the electronic device 301 .
  • the input module 350 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 355 may output a sound signal to the outside of the electronic device 301 .
  • the sound output module 355 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 360 may visually provide information to the outside (eg, a user) of the electronic device 301 .
  • the display module 360 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 360 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 370 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 370 obtains a sound through the input module 350 or an external electronic device (eg, a sound output module 355 ) connected directly or wirelessly with the electronic device 301 .
  • the electronic device 302 may output sound through (eg, a speaker or headphones).
  • the sensor module 376 detects an operating state (eg, power or temperature) of the electronic device 301 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 376 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 377 may support one or more specified protocols that may be used by the electronic device 301 to directly or wirelessly connect with an external electronic device (eg, the electronic device 302 ).
  • the interface 377 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 378 may include a connector through which the electronic device 301 can be physically connected to an external electronic device (eg, the electronic device 302 ).
  • the connection terminal 378 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 379 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 379 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 380 may capture still images and moving images. According to one embodiment, the camera module 380 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 388 may manage power supplied to the electronic device 301 .
  • the power management module 388 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 389 may supply power to at least one component of the electronic device 301 .
  • battery 389 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 390 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 301 and an external electronic device (eg, the electronic device 302, the electronic device 304, or the server 308). It can support establishment and communication performance through the established communication channel.
  • the communication module 390 may include one or more communication processors that operate independently of the processor 320 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 390 is a wireless communication module 392 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 394 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • GNSS global navigation satellite system
  • a corresponding communication module among these communication modules is a first network 398 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 399 (eg, legacy It may communicate with the external electronic device 304 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a first network 398 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 399 eg, legacy It may communicate with the external electronic device 304 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a telecommunication network
  • the wireless communication module 392 uses the subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 396 within a communication network, such as the first network 398 or the second network 399 .
  • the electronic device 301 may be identified or authenticated.
  • the wireless communication module 392 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 392 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 392 uses various techniques for securing performance in a high frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 392 may support various requirements specified in the electronic device 301 , an external electronic device (eg, the electronic device 304 ), or a network system (eg, the second network 399 ).
  • the wireless communication module 392 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less).
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 397 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 397 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 397 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication scheme used in a communication network such as the first network 398 or the second network 399 is connected from the plurality of antennas by, for example, the communication module 390 . can be selected. A signal or power may be transmitted or received between the communication module 390 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 397 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 301 and the external electronic device 304 through the server 308 connected to the second network 399 .
  • Each of the external electronic devices 302 or 304 may be the same as or different from the electronic device 301 .
  • all or part of the operations executed by the electronic device 301 may be executed by one or more external electronic devices 302 , 304 , or 308 .
  • the electronic device 301 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 301 .
  • the electronic device 301 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 301 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 304 may include an Internet of things (IoT) device.
  • the server 308 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 304 or the server 308 may be included in the second network 399 .
  • the electronic device 301 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the processor 220 of the augmented reality apparatus 200 displays a first screen on the display module 250 at 410 .
  • the first screen may be an execution screen of an application being executed by the processor 220 .
  • the first screen may be an execution screen of an application being executed in an external electronic device communicating wirelessly with the augmented reality device 200 .
  • the processor 220 may display a plurality of screens including the first screen.
  • a plurality of screens are displayed on the display module 250 , at least some of the plurality of screens are execution screens of an application being executed by the processor 220 , and at least some other of the plurality of screens are the augmented reality device 200 . It may be an execution screen of an application running in an external electronic device communicating wirelessly with the .
  • the processor 220 of the augmented reality device 200 acquires an image of the user's eyes through at least one camera (eg, the second camera 212 ).
  • step 430 the processor 220 of the augmented reality device 200 identifies a first object in the first screen corresponding to the user's gaze direction based on the obtained user's eye image.
  • the processor 220 of the augmented reality device 200 may transmit information related to the identified first object to an external electronic device.
  • Information related to the first object may indicate coordinates of the first object in the first screen.
  • the information related to the first object may indicate the type of the input interface corresponding to the first object.
  • information related to the first object may indicate the type of the input interface corresponding to the first object.
  • information related to the first object may indicate the coordinates of the first object in the first screen.
  • the processor 220 of the augmented reality device 200 may receive information about an input obtained through an input interface of the external electronic device from the external electronic device through the communication circuit 270 .
  • the external electronic device may display the input interface on the display 160 of the external electronic device based on information related to the first object transmitted from the augmented reality device 200 to the external electronic device. Examples of various first objects and input interfaces will be described in more detail below with reference to FIGS. 5A to 9 .
  • the information about the input may be information about the user's input to the input interface of the external electronic device.
  • the user's input may include at least one of a drag input, a short touch input, and a long touch input.
  • the information about the input may indicate a position where the input is made in the input interface.
  • the information about the input may indicate a location on the first screen corresponding to a location where the input is made in the input interface.
  • the input information may indicate information about a second screen different from the first screen that the application displayed on the first screen will display based on a user's input.
  • the processor 220 of the augmented reality device 200 displays a second screen different from the first screen on the display 250 based on the received input information.
  • the processor 220 may display the second screen at a position where the first screen was displayed in step 410 without displaying the first screen.
  • the second screen may be a screen displayed by the application of the first screen in response to the received input.
  • the processor 220 of the augmented reality device 200 transmits information obtained through a sensor of the external electronic device (eg, the sensor module 376 of FIG. 3 ) to an external electronic device.
  • the second screen may be configured based on the information obtained through the sensor 376 , and the second screen may be displayed on the display 250 .
  • the processor 220 of the augmented reality device 200 receives acceleration data obtained through an acceleration sensor included in the external electronic device through the communication circuit 270 and displays a second screen based on the acceleration data. and may display the second screen on the display 250 .
  • the processor 220 of the augmented reality device 200 receives an image obtained through a camera (eg, the camera module 380 of FIG. 3 ) included in the external electronic device through the communication circuit 270 , and receives A second screen may be configured based on the displayed image, and the second screen may be displayed on the display 250 .
  • FIG. 5A is a diagram illustrating an input interface, according to an embodiment.
  • at least a partial area on the display 500a of the external electronic device may include a trackpad input interface.
  • the augmented reality device 200 may receive information about a user's input made on the trackpad input interface through the communication circuit 270 and check the user's input based on the received information.
  • the augmented reality device 200 may display a pointer on the display module 250 based on a user's drag input made on the trackpad input interface, and may display a pointer on the display module 250 based on a user's touch input made on the trackpad input interface. You can check the input to select the pointed object.
  • a first partial area on the display 500a of the external electronic device may include a trackpad input interface 510b.
  • the second partial area on the display 500a may include a setting change interface 520b.
  • the setting change interface 520b may include an interface for changing settings related to the operation of the augmented reality apparatus 200 .
  • the setting change interface 520b includes a recalibration interface 521b instructing recalibration of the augmented reality device 200 and a connection interface instructing connection and disconnection between the augmented reality device 200 and an external electronic device. 523b, and an eye tracking interface 524b for instructing to stop or resume eye tracking of the augmented reality device 200 .
  • the setting change interface 520b displays a keypad input interface on at least a portion of the display 500a of the external electronic device and displays on the display 250 of the augmented reality device 200 when text input is requested. and a keypad switching interface 522b for instructing switching between
  • 6A is a diagram illustrating a screen including an object corresponding to an input interface, according to an embodiment.
  • the user may select a field 610a for requesting text input on the screen 600a displayed on the display 250 of the augmented reality device 200 .
  • FIG. 6B is a diagram illustrating a screen including an object corresponding to an input interface, according to an embodiment.
  • the screen 600a of FIG. 6A may be switched to the screen 600b of FIG. 6B .
  • a text input field 610b may be displayed on the screen 600b
  • text input through a keypad input interface ( 620c of FIG. 6C ) may be displayed on the text input field 610b .
  • FIG. 6C is a diagram illustrating an input interface, according to an embodiment.
  • a screen 600c including an input interface on the display 160 of the external electronic device connected to the augmented reality device 200 may be displayed.
  • a trackpad input interface 610c is displayed on the first partial area of the screen 600c.
  • a keypad input interface 620c is displayed on the second partial area of the screen 600c.
  • FIG. 7A is a diagram illustrating a screen including an object corresponding to an input interface, according to an embodiment.
  • the user may select the image object 710a on the screen 700a displayed on the display 250 of the augmented reality device 200 .
  • FIG. 7B is a diagram illustrating an input interface, according to an embodiment.
  • the screen 700b may be displayed on the display 160 of the external electronic device connected to the augmented reality device 200 .
  • a trackpad input interface 710b is displayed on the second partial area of the screen 700b.
  • a choice input interface 720b for displaying a plurality of options related to the selected image object 710a is displayed on the second partial region of the screen 700b.
  • Optional input interface 720b associated with image object 710a includes Bixby Vision 721b, Share Image 722b, Save Image 723b, Save All Images on This Page 724b, Copy Image 725b, and a plurality of options including an image view 726b.
  • the object selected by the user is an image
  • the selection input interface includes options related to the selected image, as shown in FIGS. 7A and 7B , and various kinds of objects cause display of the selection input interface
  • the contents of the options included in the option input interface are not limited to the example shown in FIG. 7B .
  • the 8A is a diagram illustrating a screen including an object corresponding to an input interface, according to an embodiment.
  • the user may select the moving image object 810a from the screen 800a displayed on the display 250 of the augmented reality device 200 .
  • the video object 810a includes an indicator 811a for adjusting the playback time of the video and interfaces 812a, 813a, and 814a for setting related to the video playback.
  • FIG. 8B is a diagram illustrating an input interface, according to an embodiment.
  • the screen 800b is displayed on the display 160 of the external electronic device connected to the augmented reality device 200 .
  • the trackpad input interface 810b may be displayed on the first partial area of the screen 800b.
  • Option input interfaces 831b and 832b for displaying choices related to the selected video object 810a are displayed on the second partial region of the screen 800b.
  • An indicator 820b for adjusting the playback time of the moving picture object 810a is displayed on a partial area of the screen.
  • the object selected by the user is a moving picture
  • the indicator 820b for adjusting the playback time of the moving picture object 810a is displayed on the display 160 of the external electronic device
  • an indicator indicating one number or amount of a plurality of numbers or amounts related to the selected object may be displayed as at least a part of the input interface, and a target indicated by the indicator may also be displayed.
  • a target indicated by the indicator may also be displayed.
  • the trackpad input interface 910 is displayed on the first partial area of the screen 900 .
  • a scroll input interface 920 for selecting a date is displayed on the second partial area of the screen 900 .
  • the external electronic device may check the user's input based on at least one of a flicking operation or a drag operation of the user with respect to the scroll input interface 920 .
  • FIG. 10 is a flowchart illustrating operations performed in an augmented reality device, according to an embodiment.
  • the processor 220 of the augmented reality device 200 acquires an image related to a field of view (FOV) of the user.
  • the processor 220 of the augmented reality device 200 may acquire an image related to the user's FOV through at least one of the first camera 211 and the third camera 213 .
  • step 1020 the processor 220 of the augmented reality device 200 determines that the external electronic device is included in the acquired image related to the FOV of the user.
  • FIG. 11 is a diagram illustrating an FOV through an augmented reality device, according to an embodiment.
  • the processor of the augmented reality device 1100 obtains at 1010 through image analysis on the user's FOV 1110 It is confirmed that the external electronic device 1120 is included in the image related to the FOV of one user.
  • the processor 220 of the augmented reality device 200 may display a message inquiring whether to connect to an external electronic device on the display 250 .
  • the 12 is a diagram illustrating an FOV through an augmented reality device, according to an embodiment.
  • the augmented reality device 1200 displays a message 1230 inquiring whether to connect to the external electronic device 1220 .
  • the message 1230 may be displayed to overlap with the external electronic device 1220 .
  • the location of the external electronic device 1220 is moved within the user's FOV 1210 , the location of the message 1230 may move along with the external electronic device 1220 .
  • the message 1230 includes a mirror view connection method 1231 , a connection method using a mobile phone as a control device 1232 , and no connection 1233 as options.
  • the processor 220 of the augmented reality device 200 establishes a connection between the augmented reality device 200 and an external electronic device and configures the augmented reality device 200 using the external electronic device. Confirm the input that tells you to control it.
  • selecting a connection method 1232 using a mobile phone as a control unit establishes a connection between the augmented reality device 200 and an external electronic device and It may be identified as an input instructing to control the augmented reality device 200 using an external electronic device.
  • the processor 220 of the augmented reality device 200 may display the first screen on the display 250 .
  • the details described above with respect to 410 of FIG. 4 may be applied with respect to 1050 of FIG. 10 .
  • FIG. 13A is a diagram illustrating a FOV of a user through an augmented reality device, according to embodiments.
  • FIG. 13A exemplifies the FOV 1310a of the user having the first screen 1320a.
  • the first screen 1320a is an execution screen of an application that was executed in the external electronic device before the connection between the augmented reality device 200 and the external electronic device was established.
  • the application corresponding to the first screen 1320a does not support a format for displaying the first screen 1320a on the augmented reality device 200, but only supports a format for display on an external electronic device, such as a mobile version. .
  • FIG. 13B is a diagram illustrating a FOV of a user through an augmented reality device, according to an embodiment. Specifically, FIG. 13B illustrates the FOV 1310a of the user having the first screen 1320b.
  • the first screen 1320b is an execution screen of an application that was executed in the external electronic device before the connection between the augmented reality device 200 and the external electronic device was established.
  • An application corresponding to the first screen 1320b supports a format for displaying the first screen 1320b on the augmented reality device 200 .
  • the first screen 1320a of FIG. 13A is a mobile version execution screen
  • the first screen 1320b of FIG. 13B is displayed in a format for display in the augmented reality device.
  • FIG. 14A is a diagram illustrating a FOV of a user through an augmented reality device, according to some embodiments. Specifically, FIG. 14A illustrates the FOV 1410b of a user via the augmented reality device 1400 .
  • the first screen is an execution screen of an application that was executed in the external electronic device before the connection between the augmented reality device 200 and the external electronic device was established.
  • the application supports an immersive mode. Referring to FIG. 14A , when the application supports the full screen mode, the augmented reality device 200 displays an interface 1420a instructing to switch to the full screen mode on the display 250 .
  • FIG. 14B is a diagram illustrating a FOV of a user through an augmented reality device, according to some embodiments. Specifically, FIG. 14B illustrates the user's FOV 1410b through the augmented reality device when interface 1420a is selected in FIG. 14A . Referring to FIG. 14B , the first screen may be displayed over the entire user's view 1410b.
  • the processor 220 of the augmented reality device 200 acquires an image of the user's eyes through the at least one second camera 212 .
  • the details described above with respect to 420 of FIG. 4 may be equally applied to 1060 of FIG. 10 .
  • step 1070 the processor 220 of the augmented reality apparatus 200 identifies a first object in the first screen corresponding to the user's gaze direction based on the obtained user's eye image.
  • the processor 220 of the augmented reality device 200 may transmit information related to the identified first object to an external electronic device.
  • the details described above with respect to 440 of FIG. 4 may be equally applied to 1080 of FIG. 10 .
  • the processor 220 of the augmented reality device 200 receives information about an input obtained through an input interface of the external electronic device from the external electronic device through the communication circuit 270 .
  • the details described above with respect to 450 of FIG. 4 may be equally applied to 1090 of FIG. 10 .
  • the processor 220 of the augmented reality device 200 displays a second screen different from the first screen on the display 250 based on the received input information.
  • the details described above with respect to 460 of FIG. 4 may be equally applied to 1095 of FIG. 10 .
  • an operation of acquiring an image related to a user's field of view (FOV) and confirming that an external electronic device is included in the FOV image has been described. Instead, in response to the satisfaction of another condition, the user may be prompted whether a connection between the external electronic device and the augmented reality device 200 is established.
  • the augmented reality device 200 may perform operation 1030 in response to the distance between the external electronic device and the augmented reality device 200 being shorter than a predetermined distance.
  • connection method 1232 using a mobile phone as a control device is selected from among the three options displayed in the message 1230 of FIG. 12 has been described.
  • the augmented reality device 200 displays the same screen as the screen displayed on the external electronic device on the display 250 . can be displayed
  • no connection 1233 is selected from among the three options displayed in the message 1230 of FIG. 12
  • the augmented reality device 200 may ignore the external electronic device and may not establish a connection with the external electronic device.
  • step 1510 is a flowchart illustrating operations performed by an electronic device that interacts with an augmented reality device, according to an embodiment.
  • the processor 320 of the external electronic device through the communication module 190 , corresponds to the gaze direction of the user from the augmented reality device 200 , and the first in the first screen displayed on the augmented reality device 200 .
  • Receive information related to the object Details of information related to the first object are provided with reference to 440 of FIG. 4 .
  • the processor 320 of the external electronic device displays an input interface based on information related to the first object on the display module 360 . Details regarding the input interface of the input interface are provided with reference to FIGS. 5A to 9 .
  • step 1530 the processor 320 of the external electronic device acquires an input through an input interface.
  • step 1540 the processor 320 of the external electronic device transmits input information to the augmented reality device 200 through the communication module 190 . Details regarding the input information are provided with reference to 450 of FIG. 4 .
  • An electronic device includes a display, at least one camera, communication circuitry, and at least one processor.
  • the at least one processor displays a first screen on the display, obtains an image of the user's eye of the electronic device through the at least one camera, and based on the image of the user's eye, the user Check the first object in the first screen corresponding to the gaze direction of
  • the at least one processor also transmits information related to the first object to an external electronic device through the communication circuit.
  • the external electronic device is configured to display an input interface based on information related to the first object.
  • the at least one processor may receive, from the external electronic device, information about an input obtained through the input interface through the communication circuit, and based on the information about the input, display the first information on the display. It may be further configured to display a second screen different from the screen.
  • the first information related to the first object may indicate coordinates of the first object in the first screen.
  • the first information related to the first object may indicate a type of the input interface corresponding to the first object.
  • the input interface may include a trackpad input interface.
  • the input interface may include a setting change interface capable of changing a setting related to an operation of the electronic device.
  • the first object may be associated with text input, and the input interface may include a keypad.
  • the input interface may include a choice input interface for displaying a plurality of options related to the first object.
  • the at least one processor may receive, through the communication circuit, sensor information related to at least one sensor of the external electronic device from the external electronic device, and based on the sensor information related to the at least one sensor, the second It may be further configured to check the screen.
  • the at least one processor acquires a field of view (FOV) image of the user through the at least one camera, and in response that the external electronic device is included in the image related to the FOV image of the user, the and displaying a message inquiring whether to connect to an external electronic device on the display.
  • FOV field of view
  • the at least one processor determines through the communication circuit that the distance between the external electronic device and the electronic device is less than or equal to a predetermined distance, and confirms that the distance between the external electronic device and the electronic device is less than or equal to the predetermined distance
  • the display may be further configured to display a message inquiring whether to control the display using the external electronic device on the display.
  • An electronic device includes a display, communication circuitry, and at least one processor.
  • the at least one processor receives, from an external electronic device, first information related to a first object in a first screen displayed on the external electronic device and corresponding to the user's gaze direction of the external electronic device through the communication circuit do.
  • the at least one processor may further display an input interface based on information related to the first object on the display, obtain an input through the input interface, and transmit second information regarding the input to the external electronic device may be configured to transmit to
  • the first information related to the first object may indicate coordinates of the first object in the first screen.
  • the first information related to the first object may indicate a type of the input interface corresponding to the first object.
  • the input interface may include a trackpad input interface.
  • the input interface may include a setting change interface capable of changing a setting related to an operation of the external electronic device.
  • the first object may be associated with text input, and the input interface may include a keypad.
  • the input interface may include a choice input interface for displaying a plurality of options related to the first object.
  • the input interface may include an indicator indicating one number or amount among a plurality of numbers or amounts related to the first object.
  • a method for controlling a first electronic device and a second electronic device is provided.
  • a first screen is displayed on the first display of the first electronic device.
  • An image of the user's eye of the first electronic device is obtained.
  • Based on the image of the user's eyes, a first object in the first screen corresponding to the gaze direction of the user is identified.
  • An input interface is displayed on the second display of the second electronic device based on the type of the first object.
  • a second screen different from the first screen is displayed on the first display of the first electronic device based on the first input obtained through the input interface
  • the method includes displaying on the first display a message inquiring whether to establish the connection between the first electronic device and the second electronic device, and a connection between the first electronic device and the second electronic device.
  • the method may further include establishing and confirming a second input instructing to control the first electronic device by using the second electronic device.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first, second, or first or second may be used simply to distinguish the element from other elements in question, and may refer to elements in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 336 or external memory 338) readable by a machine (eg, electronic device 301). may be implemented as software (eg, the program 340) including
  • a processor eg, processor 320
  • a device eg, electronic device 301
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided as included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed online (eg download or upload), directly between smartphones (eg smartphones).
  • a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제 1 전자 장치의 제1 디스플레이 상에 제1 화면이 표시되는 방법들 및 장치들이 제공된다. 상기 제1 전자 장치의 사용자의 눈의 이미지가 획득된다. 상기 사용자의 눈의 이미지에 기초하여, 상기 사용자의 시선 방향에 대응되는 상기 제1 화면 내의 제1 오브젝트를 확인된다. 상기 제1 오브젝트의 종류에 기초한 입력 인터페이스를 상기 제2 전자 장치의 제2 디스플레이 상에 표시된다. 상기 입력 인터페이스를 통해 획득된 제1 입력에 기초하여, 상기 제1 디스플레이 상에 상기 제1 화면과 상이한 제2 화면을 표시된다.

Description

증강 현실 장치, 증강 현실 장치와 상호작용하는 전자 장치, 및 그 제어 방법
본 개시는 일반적으로 증강 현실(AR)을 제공하는 장치들, 더욱 상세하게는, 증강 현실 장치, 증강 현실 장치와 상호작용하는 전자 장치, 및 그 제어 방법에 관한 것이다.
증강 현실은 하나의 영상을 표시하기 위하여 현실의 이미지나 배경에 3차원(3D) 이미지(또는, 2차원(2D) 이미지)를 겹치는 기술이다. 증강현실기술은 실제환경과 가상의 객체를 혼합하고 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공할 수 있다.
증강 현실 장치에서는 프로젝터를 통해 제공되는 이미지를 프리즘을 통하여 인풋 그레이팅(input grating)면으로 입사 시킬 수 있다. 사용자는, 이후 아웃풋 그레이팅(output grating)면으로 지나는 영상을 눈으로 볼 수 있다. 사용자는, 실제의 환경과 함께, 이미지를 관찰할 수 있다. 예를 들어, 사용자는 현재 관찰하는 환경 내의 대상물에 대한 정보를 확인할 수 있다.
증강 현실 장치는 눈 추적(eye tracking)을 통하여 사용자가 어떤 오브젝트를 보고 있는지를 확인할 수 있다. 또한, 증강 현실 장치는 카메라를 이용하여 사용자의 손 제스처를 검출할 수 있다. 눈 추적 및 손 제스처 검출을 통하여, 증강 현실 장치는 사용자가 특정 오브젝트를 보고 있는 상태에서 손 제스처를 수행할 때, 사용자의 손 제스처를 특정 오브젝트에 대한 입력으로서 확인할 수 있다.
증강 현실 장치에서의 눈 추적의 정확도에는 한계가 있다. 특히, 사용자가 보고 있는 오브젝트의 크기가 비교적 작거나, 사용자가 보고 있는 오브젝트 주변에 다른 오브젝트들이 다수 분포하는 경우, 눈 추적의 정확도가 떨어질 수 있다.
눈 추적에 있어서 낮은 정확도를 보완하기 위하여, 증강 현실 장치는, 예를 들어, 조이스틱 및 트랙패드와 같은 보조적인 입력 장치와 연결되어 사용될 수 있다. 증강 현실 장치에서 표시될 수 있는 오브젝트가 다양함에 따라, 보조적인 입력 장치는 오브젝트에 관련된 다양한 입력을 식별할 것이 요구되는 반면, 보조적인 입력 장치의 크기의 제한 때문에, 보조적인 입력 장치의 입력 인터페이스 구성의 다양성에는 한계가 있다.
증강 현실 장치는 사용자의 시선 방향에 대응되는 오브젝트에 연관된 정보를 외부 전자 장치에 송신하고, 외부 전자 장치는 오브젝트에 연관된 정보에 기초하여 입력 인터페이스를 표시할 수 있다.
본 개시의 일 측면에 따라, 디스플레이, 적어도 하나의 카메라, 통신 회로, 및 적어도 하나의 프로세서를 포함하는 전자 장치가 제공된다. 상기 적어도 하나의 프로세서는, 상기 디스플레이 상에 제1 화면을 표시하고, 상기 적어도 하나의 카메라를 통하여 상기 전자 장치의 사용자의 눈의 이미지를 획득하고, 상기 사용자의 눈의 이미지에 기초하여, 상기 사용자의 시선 방향에 대응되는 상기 제1 화면 내의 제1 오브젝트를 확인하다. 상기 적어도 하나의 프로세서는, 또한, 상기 통신 회로를 통하여, 상기 제1 오브젝트에 연관된 정보를 외부 전자 장치에 송신한다. 상기 외부 전자 장치는 상기 제1 오브젝트에 연관된 정보에 기초한 입력 인터페이스를 표시하도록 구성된다. 상기 적어도 하나의 프로세서는, 상기 통신 회로를 통하여, 상기 외부 전자 장치로부터, 상기 입력 인터페이스를 통해 획득된 입력에 관한 정보를 수신하고, 상기 입력에 관한 정보에 기초하여, 상기 디스플레이 상에 상기 제1 화면과 상이한 제2 화면을 표시하도록 더 구성될 수 있다.
본 개시의 일 측면에 따라, 디스플레이, 통신 회로, 및 적어도 하나의 프로세서를 포함하는 전자 장치가 제공된다. 상기 적어도 하나의 프로세서는, 상기 통신 회로를 통하여, 외부 전자 장치로부터 상기 외부 전자 장치의 사용자의 시선 방향에 대응되고 상기 외부 전자 장치 상에 표시된 제1 화면 내의 제1 오브젝트에 연관된 제1 정보를 수신한다. 상기 적어도 하나의 프로세서는, 또한, 상기 제1 오브젝트에 연관된 정보에 기초한 입력 인터페이스를 상기 디스플레이 상에 표시하고, 상기 입력 인터페이스를 통하여 입력을 획득하고, 상기 입력에 관한 제2 정보를 상기 외부 전자 장치에 전송하도록 구성될 수 있다.
본 개시의 일 측면에 따라, 제1 전자 장치 및 제2 전자 장치를 제어하는 방법이 제공된다. 제1 화면이 상기 제1 전자 장치의 제1 디스플레이 상에 표시된다. 상기 제1 전자 장치의 사용자의 눈의 이미지가 획득된다. 상기 사용자의 눈의 이미지에 기초하여, 상기 사용자의 시선 방향에 대응되는 상기 제1 화면 내의 제1 오브젝트가 확인된다. 상기 제1 오브젝트의 종류에 기초하여 입력 인터페이스가 상기 제2 전자 장치의 제2 디스플레이 상에 표시된다. 상기 입력 인터페이스를 통해 획득된 제1 입력에 기초하여, 상기 제1 전자 장치의 제1 디스플레이 상에 상기 제1 화면과 상이한 제2 화면이 표시된다.
증강 현실 장치, 증강 현실 장치와 상호작용하는 전자 장치, 및 그 제어 방법이 제공된다. 증강 현실 장치는 증강 현실 장치의 사용자의 시선 방향에 대응되는 오브젝트에 연관된 정보를 외부 전자 장치에 송신한다. 상기 외부 전자 장치는 오브젝트에 연관된 정보에 기초하여 입력 인터페이스를 표시한다. 상기 오브젝트에 연관된 정보에 기초하여 입력 인터페이스가 유연하게 구성되므로, 외부 전자 장치는 한정된 기기 크기 내에서 다양한 입력 인터페이스를 사용할 수 있고, 증강 현실 장치는 외부 전자 장치의 입력 인터페이스를 이용하여 높은 정확도를 갖는 입력을 확인할 수 있다.
본 개시의 어떤 실시예들의 상기 및 다른 측면, 특징들 및 이점들은 첨부 도면과 함께 취해진 다음의 설명으로부터 더욱 명백할 것이다.
도 1은, 일 실시예에 따른, 증강 현실 장치의 구조를 나타내는 도면이다.
도 2는, 일 실시예에 따른, 증강 현실 장치의 블록도를 도시한다.
도 3은, 일 실시예에 따른, 네트워크 환경 내의 전자 장치를 예시하는 블록도이다.
도 4는, 일 실시예에 따른, 증강 현실 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다.
도 5a는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다.
도 5b는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다.
도 6a는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다.
도 6b는, 일 실시예에 따른, 입력 인터페이스에 대응하는 오브젝트를 포함하는 화면을 예시하는 도면이다.
도 6c는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다.
도 7a는, 일 실시예에 따른, 입력 인터페이스에 대응하는 오브젝트를 포함하는 화면을 예시하는 도면이다.
도 7b는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다.
도 8a는, 일 실시예에 따른, 입력 인터페이스에 대응하는 오브젝트를 포함하는 화면을 예시하는 도면이다.
도 8b는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다.
도 9는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다.
도 10은, 일 실시예에 따른, 증강 현실 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다.
도 11은, 일 실시예에 따른, 증강 현실 장치를 통한 사용자의 FOV를 예시하는 도면이다.
도 12는, 일 실시예에 따른, 증강 현실 장치를 통한 사용자의 FOV를 예시하는 도면이다.
도 13a는, 일 실시예에 따른, 증강 현실 장치를 통한 사용자의 FOV를 예시하는 도면이다.
도 13b는, 일 실시예에 따른, 증강 현실 장치를 통한 사용자의 FOV를 예시하는 도면이다.
도 14a는, 일 실시예에 따른, 증강 현실 장치를 통한 사용자의 FOV를 예시하는 도면이다.
도 14b는, 일 실시예에 따른, 증강 현실 장치를 통한 사용자의 FOV를 예시하는 도면이다.
도 15는, 일 실시예에 따른, 증강 현실 장치와 상호작용하는 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다.
첨부된 도면을 참조하여 실시예를 상세히 설명한다. 동일하거나 유사한 구성요소는 상이한 도면에 도시되어 있지만 동일 또는 유사한 참조부호를 부여할 수 있다. 본 발명의 요지를 흐릴 수 있는 공지된 구성 또는 공정에 대한 상세한 설명은 생략될 수 있다. 본 문서에서 사용된 실시예 및 용어는 본 문서에 기재된 기술을 특정한 형태로 한정하려는 의도가 아니며, 해당 실시예에 대한 다양한 변형, 균등물 및/또는 대안을 포함하는 것으로 이해되어야 한다. 단수 표현은 문맥상 확실히 다른 경우를 제외하고는 복수 표현을 포함할 수 있다.
도 1은, 일 실시예에 따른, 증강 현실 장치의 구조를 예시하는 도면이다. 증강 현실 장치는 하나 이상의 제1 카메라(111-1, 111-2), 하나 이상의 제2 카메라(112-1, 112-2), 및 하나 이상의 제3 카메라(113)를 포함한다. 하나 이상의 제1 카메라(111-1, 111-2)를 통하여 획득된 이미지는 사용자에 의한 손 제스처 검출, 사용자의 머리 추적, 및 공간 인식에 이용될 수 있다. 하나 이상의 제1 카메라(111-1, 111-2)는 GS(Global shutter) 카메라일 수 있다. 하나 이상의 제1 카메라(111-1, 111-2)는 깊이 촬영을 통한 SLAM(simultaneous localization and mapping) 연산을 수행할 수 있다. 하나 이상의 제2 카메라(112-1, 112-2)를 통하여 획득된 이미지는 사용자의 눈동자를 검출하고 추적하는 데 이용될 수 있다. 하나 이상의 제2 카메라(112-1, 112-2)는 GS 카메라일 수 있다. 하나 이상의 제2 카메라(112-1, 112-2)의 성능은 동일할 수 있다. 하나 이상의 제3 카메라(113)는 고해상도의 카메라일 수 따라서, 하나 이상의 제3 카메라(113)는 자동 포커싱(auto-focusing, AF) 기능과 떨림 보정 기능을 수행할 수 있다 하나 이상의 제3 카메라(113)는 GS 카메라이거나, RS(rolling shutter) 카메라일 수 있다.
증강 현실 장치는 배터리(135-1, 135-2)를 포함한다. 배터리(135-1, 135-2)는 증강 현실 장치의 나머지 구성요소들을 동작시키기 위한 전력을 저장할 수 있다.
증강 현실 장치는 제1 디스플레이(151), 제2 디스플레이(152), 하나 이상의 입력 광학 부재(153-1, 153-2), 하나 이상의 투명 부재(190-1, 190-2), 및 하나 이상의 화면 표시 부분(154-1, 154-2)을 포함할 수 있다. 제1 디스플레이(151) 및 제2 디스플레이(152)는 예를 들면, 액정 표시 장치(liquid crystal display; LCD), 디지털 미러 표시 장치(digital mirror device; DMD), 실리콘 액정 표시 장치(liquid crystal on silicon; LCoS), 유기 발광 다이오드(organic light emitting diode; OLED) 또는 마이크로 엘이디(micro light emitting diode; micro LED)를 포함할 수 있다. 제1 디스플레이(151) 및 제2 디스플레이(152)가 액정 표시 장치, 디지털 미러 표시 장치 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 증강 현실 장치는 디스플레이의 화면 출력 영역으로 빛을 조사하는 광원을 포함할 수 있다. 제1 디스플레이(151) 및 제2 디스플레이(152)가 자체적으로 빛을 발생시킬 수 있는 경우, 예를 들어, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우, 증강 현실 장치는 별도의 광원을 포함하지 않더라도 사용자에게 양호한 품질의 가상 영상을 제공할 수 있다.
하나 이상의 투명 부재(190-1, 190-2)는 사용자가 증강 현실 장치를 착용하였을 때 사용자의 눈에 대면하게 배치될 수 있다. 사용자는 증강 현실 장치를 착용하였을 때 하나 이상의 투명 부재(190-1, 190-2)를 통하여 외부 세계를 볼 수 있다. 하나 이상의 입력 광학 부재(153-1, 153-2)는 제1 디스플레이(151) 및 제2 디스플레이(152)에서 생성한 빛을 사용자의 눈으로 유도할 수 있다. 하나 이상의 투명 부재(190-1, 190-2) 위의 하나 이상의 화면 표시 부분(154-1, 154-2) 위에 제1 디스플레이(151) 및 제2 디스플레이(152)에서 생성한 빛에 기초한 상이 맺히고, 사용자는 하나 이상의 화면 표시 부분(154-1, 154-2) 위에 맺힌 상을 볼 수 있다.
증강 현실 장치는 하나 이상의 음성 입력 장치(162-1, 162-2) 및 하나 이상의 음성 출력 장치(163-1, 163-2)를 포함한다.
도 2는, 일 실시예에 따른, 증강 현실 장치의 블록도를 도시한다. 증강 현실 장치(200)는 제1 카메라(211), 제2 카메라(212), 제3 카메라(213), 프로세서(220), PMIC(230), 배터리(235), 메모리(240), 디스플레이 모듈(250), 오디오 모듈(261), 음성 입력 장치(262), 음성 출력 장치(290), 통신 회로(270), 및 센서(280)를 포함한다.
도 1을 참조하여 상술한 하나 이상의 제1 카메라(111-1, 111-2), 하나 이상의 제2 카메라(112-1, 112-2), 및 하나 이상의 제3 카메라(113)의 세부 사항이 제1 카메라(211), 제2 카메라(212), 및 제3 카메라(213)에도 또한 적용될 수 있다. 증강 현실 장치(200)는 제1 카메라(211), 제2 카메라(212), 및 제3 카메라(213) 중 적어도 하나를 복수 개 포함할 수 있다.
프로세서(220)는 증강 현실 장치(200)의 다른 구성요소들, 예를 들어, 제1 카메라(211), 제2 카메라(212), 제3 카메라(213), PMIC(230), 메모리(240), 디스플레이 모듈(250), 오디오 모듈(261), 통신 회로(270), 및 센서(280)를 제어할 수 있다. 프로세서(220)는, 다양한 데이터 처리 또는 연산을 수행할 수 있다.
PMIC(230)는 배터리(235)에 저장된 전력을 증강 현실 장치(200)의 다른 구성요소들이 요구하는 전류 또는 전압을 갖도록 변환하여 증강 현실 장치(200)의 다른 구성요소들에 공급할 수 있다.
메모리(240)는, 증강 현실 장치(200)의 적어도 하나의 구성요소(예: 프로세서(220) 또는 센서(280))에 의해 사용되는 다양한 데이터를 저장할 수 있다.
디스플레이 모듈(250)은 사용자에게 제공할 화면을 표시할 수 있다. 디스플레이 모듈(250)은 도 1을 참조하여 상술한 제1 디스플레이(151), 제2 디스플레이(152), 하나 이상의 입력 광학 부재(153-1, 153-2), 하나 이상의 투명 부재(190-1, 190-2), 및 하나 이상의 화면 표시 부분(154-1, 154-2)을 포함할 수 있다.
오디오 모듈(261)은 음성 입력 장치(262) 및 음성 출력 장치(263)에 연결되어, 음성 입력 장치(262)를 통하여 입력된 데이터를 변환하고, 음성 출력 장치(290)에 출력할 데이터를 변환할 수 있다.
통신 회로(270)는 증강 현실 장치(200) 외부의 전자 장치와의 무선 통신 채널의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.
센서(280)는 6축 센서(281), 자기 센서(282), 근접 센서(283), 및 광 센서(284)를 포함한다.
도 3은, 일 실시예에 따른, 네트워크 환경 내의 전자 장치(301)를 예시하는 블록도이다. 도 3을 참조하면, 네트워크 환경(300)에서 전자 장치(301)는 제 1 네트워크(398)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(302)와 통신하거나, 또는 제 2 네트워크(399)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(304) 또는 서버(308)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(301)는 서버(308)를 통하여 전자 장치(304)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(301)는 프로세서(320), 메모리(330), 입력 모듈(350), 음향 출력 모듈(355), 디스플레이 모듈(360), 오디오 모듈(370), 센서 모듈(376), 인터페이스(377), 연결 단자(378), 햅틱 모듈(379), 카메라 모듈(380), 전력 관리 모듈(388), 배터리(389), 통신 모듈(390), 가입자 식별 모듈(396), 또는 안테나 모듈(397)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(301)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(378))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(376), 카메라 모듈(380), 또는 안테나 모듈(397))은 하나의 구성요소(예: 디스플레이 모듈(360))로 통합될 수 있다.
프로세서(320)는, 예를 들면, 소프트웨어(예: 프로그램(340))를 실행하여 프로세서(320)에 연결된 전자 장치(301)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(320)는 다른 구성요소(예: 센서 모듈(376) 또는 통신 모듈(390))로부터 수신된 명령 또는 데이터를 휘발성 메모리(332)에 저장하고, 휘발성 메모리(332)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(334)에 저장할 수 있다. 일실시예에 따르면, 프로세서(320)는 메인 프로세서(321)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(323)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(301)가 메인 프로세서(321) 및 보조 프로세서(323)를 포함하는 경우, 보조 프로세서(323)는 메인 프로세서(321)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(323)는 메인 프로세서(321)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(323)는, 예를 들면, 메인 프로세서(321)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(321)를 대신하여, 또는 메인 프로세서(321)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(321)와 함께, 전자 장치(301)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(360), 센서 모듈(376), 또는 통신 모듈(390))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(323)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(380) 또는 통신 모듈(390))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(323)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(301) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(308))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(330)는, 전자 장치(301)의 적어도 하나의 구성요소(예: 프로세서(320) 또는 센서 모듈(376))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(340)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(330)는, 휘발성 메모리(332) 또는 비휘발성 메모리(334)를 포함할 수 있다.
프로그램(340)은 메모리(330)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(342), 미들 웨어(344) 또는 어플리케이션(346)을 포함할 수 있다.
입력 모듈(350)은, 전자 장치(301)의 구성요소(예: 프로세서(320))에 사용될 명령 또는 데이터를 전자 장치(301)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(350)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(355)은 음향 신호를 전자 장치(301)의 외부로 출력할 수 있다. 음향 출력 모듈(355)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(360)은 전자 장치(301)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(360)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(360)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(370)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(370)은, 입력 모듈(350)을 통해 소리를 획득하거나, 음향 출력 모듈(355), 또는 전자 장치(301)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(302))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(376)은 전자 장치(301)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(376)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(377)는 전자 장치(301)가 외부 전자 장치(예: 전자 장치(302))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(377)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(378)는, 그를 통해서 전자 장치(301)가 외부 전자 장치(예: 전자 장치(302))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(378)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(379)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(379)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(380)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(380)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(388)은 전자 장치(301)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(389)는 전자 장치(301)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(389)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(390)은 전자 장치(301)와 외부 전자 장치(예: 전자 장치(302), 전자 장치(304), 또는 서버(308)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(390)은 프로세서(320)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(390)은 무선 통신 모듈(392)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(394)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(398)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(399)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(304)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(392)은 가입자 식별 모듈(396)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(398) 또는 제 2 네트워크(399)와 같은 통신 네트워크 내에서 전자 장치(301)를 확인 또는 인증할 수 있다.
무선 통신 모듈(392)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(392)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(392)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(392)은 전자 장치(301), 외부 전자 장치(예: 전자 장치(304)) 또는 네트워크 시스템(예: 제 2 네트워크(399))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(392)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(397)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(397)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(397)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(398) 또는 제 2 네트워크(399)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(390)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(390)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(397)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(397)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(399)에 연결된 서버(308)를 통해서 전자 장치(301)와 외부의 전자 장치(304)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(302, 또는 304) 각각은 전자 장치(301)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(301)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(302, 304, 또는 308) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(301)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(301)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(301)로 전달할 수 있다. 전자 장치(301)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(301)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(304)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(308)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(304) 또는 서버(308)는 제 2 네트워크(399) 내에 포함될 수 있다. 전자 장치(301)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 4는, 일 실시예에 따른, 증강 현실 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다. 도 1, 도 2, 및 도 3을 참조하면, 증강 현실 장치(200)의 프로세서(220)는 410에서 디스플레이 모듈(250) 상에 제1 화면을 표시한다. 제1 화면은 프로세서(220)에서 실행 중인 어플리케이션의 실행 화면일 수 있다. 또는, 제1 화면은 증강 현실 장치(200)와 무선으로 통신하고 있는 외부 전자 장치에서 실행 중인 어플리케이션의 실행 화면일 수 있다.
프로세서(220)는 제1 화면을 포함한 복수 개의 화면을 표시할 수 있다. 복수 개의 화면이 디스플레이 모듈(250) 상에 표시되는 경우에, 복수 개의 화면 중 적어도 일부는 프로세서(220)에서 실행 중인 어플리케이션의 실행 화면이고, 복수 개의 화면 중 다른 적어도 일부는 증강 현실 장치(200)와 무선으로 통신하고 있는 외부 전자 장치에서 실행 중인 어플리케이션의 실행 화면일 수 있다.
420에서, 증강 현실 장치(200)의 프로세서(220)는 적어도 하나의 카메라(예를 들어, 제2 카메라(212))를 통하여 사용자의 눈의 이미지를 획득한다.
430에서, 증강 현실 장치(200)의 프로세서(220)는 상기 획득된 사용자의 눈의 이미지에 기초하여 사용자의 시선 방향에 대응되는 제1 화면 내의 제1 오브젝트를 확인한다.
440에서, 증강 현실 장치(200)의 프로세서(220)는 상기 확인된 제1 오브젝트에 연관된 정보를 외부 전자 장치에 송신할 수 있다. 제1 오브젝트에 연관된 정보는 제1 화면 내에서 제1 오브젝트의 좌표를 나타낼 수 있다. 제1 오브젝트에 연관된 정보는 제1 오브젝트에 대응하는 상기 입력 인터페이스의 종류를 나타낼 수 있다. 제1 화면이 프로세서(220)에서 실행 중인 어플리케이션의 실행 화면인 경우, 제1 오브젝트에 연관된 정보는 제1 오브젝트에 대응하는 상기 입력 인터페이스의 종류를 나타낼 수 있다. 제1 화면이 상기 외부 전자 장치에서 실행 중인 어플리케이션의 실행 화면 화면인 경우, 제1 오브젝트에 연관된 정보는 제1 화면 내에서 제1 오브젝트의 좌표를 나타낼 수 있다.
450에서, 증강 현실 장치(200)의 프로세서(220)는 통신 회로(270)를 통하여 외부 전자 장치로부터, 외부 전자 장치의 입력 인터페이스를 통해 획득된 입력에 관한 정보를 수신할 수 있다. 외부 전자 장치는 증강 현실 장치(200)로부터 외부 전자 장치에 송신된 제1 오브젝트에 연관된 정보에 기초하여, 입력 인터페이스를 외부 전자 장치의 디스플레이(160) 상에 표시할 수 있다. 다양한 제1 오브젝트와 입력 인터페이스의 예시는 이하 도 5a 내지 도 9를 참조하여 보다 상세히 설명하도록 한다.
입력에 관한 정보는 외부 전자 장치의 입력 인터페이스에 대한 사용자의 입력에 관한 정보일 수 있다. 사용자의 입력은 드래그 입력, 숏 터치 입력, 또는 롱 터치 입력 중 적어도 하나를 포함할 수 있다. 입력에 관한 정보는 입력 인터페이스 내에서 입력이 이루어진 위치를 나타낼 수 있다. 입력에 관한 정보는 입력 인터페이스 내에서 입력이 이루어진 위치에 대응하는, 제1 화면 상의 위치를 나타낼 수 있다. 입력에 관한 정보는 제1 화면에 표시된 어플리케이션이 사용자의 입력에 기초하여 표시할, 제1 화면과 상이한 제2 화면에 관한 정보를 나타낼 수 있다.
460에서, 증강 현실 장치(200)의 프로세서(220)는 상기 수신된 입력에 관한 정보에 기초하여, 디스플레이(250) 상에 제1 화면과 상이한 제2 화면을 표시한다. 프로세서(220)는 제1 화면을 표시하지 않고, 410에서 제1 화면이 표시되었던 위치에 제2 화면을 표시할 수 있다. 제2 화면은 제1 화면의 어플리케이션이, 상기 수신된 입력에 응답하여 표시하는 화면일 수 있다.
460에서, 제2 화면을 구성함에 있어서, 증강 현실 장치(200)의 프로세서(220)는 외부 전자 장치의 센서(예를 들어, 도 3의 센서 모듈(376))를 통하여 획득된 정보를 외부 전자 장치로부터 수신하고, 센서(376)를 통하여 획득된 정보에 기초하여 제2 화면을 구성하고, 디스플레이(250) 상에 제2 화면을 표시할 수 있다. 예를 들어, 증강 현실 장치(200)의 프로세서(220)는 외부 전자 장치에 포함된 가속도 센서를 통하여 획득된 가속도 데이터를 통신 회로(270)를 통하여 수신하고, 가속도 데이터에 기초하여 제2 화면을 구성하고, 디스플레이(250) 상에 제2 화면을 표시할 수 있다. 증강 현실 장치(200)의 프로세서(220)는 외부 전자 장치에 포함된 카메라(예를 들어, 도 3의 카메라 모듈(380))를 통하여 획득된 이미지를 통신 회로(270)를 통하여 수신하고, 수신된 이미지에 기초하여 제2 화면을 구성하고, 디스플레이(250) 상에 제2 화면을 표시할 수 있다.
도 5a는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다. 도 5a를 참조하면, 외부 전자 장치의 디스플레이(500a)상의 적어도 일부 영역은 트랙패드 입력 인터페이스를 포함할 수 있다. 증강 현실 장치(200)는 통신 회로(270)를 통하여 트랙패드 입력 인터페이스 상에서 이루어진 사용자의 입력에 관한 정보를 수신하고, 수신된 정보에 기초하여 사용자 입력을 확인할 수 있다. 증강 현실 장치(200)는 트랙패드 입력 인터페이스 상에서 이루어진 사용자의 드래그 입력에 기초하여 디스플레이 모듈(250) 상에 포인터를 표시할 수 있고, 트랙패드 입력 인터페이스 상에서 이루어진 사용자의 터치 입력에 기초하여 포인터에 의하여 지시되는 오브젝트를 선택하는 입력을 확인할 수 있다.
도 5b는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다. 도 5b를 참조하면, 외부 전자 장치의 디스플레이(500a)상의 제1 일부 영역은 트랙패드 입력 인터페이스(510b)를 포함할 수 있다. 디스플레이(500a)상의 제2 일부 영역은 설정 변경 인터페이스(520b)를 포함할 수 있다. 설정 변경 인터페이스(520b)는 증강 현실 장치(200)의 작동에 관한 설정을 변경하기 위한 인터페이스를 포함할 수 있다. 설정 변경 인터페이스(520b)는 증강 현실 장치(200)의 재보정(recalibration)을 지시하는 재보정 인터페이스(521b), 증강 현실 장치(200)와 외부 전자 장치 사이의 연결 및 연결 해제를 지시하는 연결 인터페이스(523b), 및 증강 현실 장치(200)의 시선 추적을 중단 또는 시선 추적 재개를 지시하는 시선 추적 인터페이스(524b)를 포함한다. 설정 변경 인터페이스(520b)는 텍스트 입력이 요구될 때, 키패드 입력 인터페이스를 외부 전자 장치의 디스플레이(500a)의 적어도 일부 영역 상에 표시하는 것과, 증강 현실 장치(200)의 디스플레이(250) 상에 표시하는 것 사이의 전환을 지시하는 키패드 전환 인터페이스(522b)를 포함한다.
도 6a는, 일 실시예에 따른, 입력 인터페이스에 대응하는 오브젝트를 포함하는 화면을 예시하는 도면이다. 사용자는 증강 현실 장치(200)의 디스플레이(250) 상에 표시되는 화면(600a)에서, 텍스트 입력을 요구하는 필드(610a)를 선택할 수 있다.
도 6b는, 일 실시예에 따른, 입력 인터페이스에 대응하는 오브젝트를 포함하는 화면을 예시하는 도면이다. 도 6a의 화면(600a)에서 사용자가 텍스트 입력에 연관되는 오브젝트(610a)를 선택한 것에 응답하여, 도 6a의 화면(600a)은 도 6b의 화면(600b)으로 전환될 수 있다. 도 6b를 참조하면, 화면(600b)에는 텍스트 입력 필드(610b)가 표시되고, 텍스트 입력 필드(610b)에는 키패드 입력 인터페이스(도 6c의 620c)를 통하여 입력된 텍스트가 표시될 수 있다.
도 6c는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다. 도 6a의 화면(600a)에서 사용자가 텍스트 입력에 연관되는 오브젝트(610a)를 선택한 것에 응답하여, 증강 현실 장치(200)와 연결된 외부 전자 장치의 디스플레이(160) 상에는 입력 인터페이스를 포함하는 화면(600c)이 표시될 수 있다. 화면(600c)의 제1 일부 영역 상에는 트랙패드 입력 인터페이스(610c)가 표시된다. 화면(600c)의 제2 일부 영역 상에는 키패드 입력 인터페이스(620c)가 표시된다.
도 7a는, 일 실시예에 따른, 입력 인터페이스에 대응하는 오브젝트를 포함하는 화면을 예시하는 도면이다. 사용자는 증강 현실 장치(200)의 디스플레이(250) 상에 표시되는 화면(700a)에서, 이미지 오브젝트(710a)를 선택할 수 있다.
도 7b는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다. 도 7a의 화면(700a)에서 사용자가 이미지 오브젝트(710a)를 선택한 것에 응답하여, 증강 현실 장치(200)와 연결된 외부 전자 장치의 디스플레이(160) 상에는 화면(700b)이 표시될 수 있다. 화면(700b)의 제2 일부 영역 상에는 트랙패드 입력 인터페이스(710b)가 표시된다. 화면(700b)의 제2 일부 영역 상에는 상기 선택된 이미지 오브젝트(710a)와 관련된 복수의 선택 사항이 표시되는 선택 사항 입력 인터페이스(720b)가 표시된다. 이미지 오브젝트(710a)와 관련된 선택 사항 입력 인터페이스(720b)는 빅스비 비전(721b), 이미지 공유(722b), 이미지 저장(723b), 이 페이지의 모든 이미지 저장(724b), 이미지 복사(725b), 및 이미지 보기(726b)를 포함하는 복수의 선택 사항을 포함한다.
도 7a 및 도 7b에 도시된, 사용자에 의하여 선택된 오브젝트가 이미지이고, 선택 사항 입력 인터페이스가 선택된 이미지와 관련된 선택 사항들을 포함하는 것은 순전히 예시이고, 다양한 종류의 오브젝트가 선택 사항 입력 인터페이스의 표시를 야기할 수 있고, 선택 사항 입력 인터페이스에 포함되는 선택 사항의 내용도 도 7b에 도시된 예시로 제한되지 않는다는 것을, 통상의 기술자는 이해할 수 있을 것이다.
도 8a는, 일 실시예에 따른, 입력 인터페이스에 대응하는 오브젝트를 포함하는 화면을 예시하는 도면이다. 사용자는 증강 현실 장치(200)의 디스플레이(250) 상에 표시되는 화면(800a)에서, 동영상 오브젝트(810a)를 선택할 수 있다. 동영상 오브젝트(810a)는, 동영상의 재생 시간을 조절하기 위한 인디케이터(811a) 및 동영상 재생과 관련된 설정을 위한 인터페이스(812a, 813a, 814a)를 포함한다.
도 8b는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다. 도 8a의 화면(800a)에서 사용자가 동영상 오브젝트(810a)를 선택한 것에 응답하여, 증강 현실 장치(200)와 연결된 외부 전자 장치의 디스플레이(160) 상에는 화면(800b)이 표시된다. 화면(800b)의 제1 일부 영역 상에는 트랙패드 입력 인터페이스(810b)가 표시될 수 있다. 화면(800b)의 제2 일부 영역 상에는 상기 선택된 동영상 오브젝트(810a)와 관련된 선택 사항이 표시되는 선택 사항 입력 인터페이스(831b, 832b)가 표시된다. 화면의 일부 영역 상에는, 동영상 오브젝트(810a)의 재생 시간을 조절하기 위한 인디케이터(820b)가 표시된다.
도 8a 및 도 8b에 도시된, 사용자에 의하여 선택된 오브젝트가 동영상이고, 동영상 오브젝트(810a)의 재생 시간을 조절하기 위한 인디케이터(820b)가 외부 전자 장치의 디스플레이(160) 상에 표시되는 것은 순전히 예시이고, 다양한 종류의 오브젝트가 선택되는 것에 응답하여 선택된 오브젝트와 관련된 복수의 수 또는 양 중 하나의 수 또는 양을 지시하는 인디케이터가 입력 인터페이스의 적어도 일부로서 표시될 수 있고, 인디케이터에 의하여 지시되는 대상도 동영상의 재생 시간으로 제한되지 않는다는 것을, 통상의 기술자는 이해할 수 있을 것이다.
도 9는, 일 실시예에 따른, 입력 인터페이스를 예시하는 도면이다. 화면(900)의 제1 일부 영역 상에는 트랙패드 입력 인터페이스(910)가 표시된다. 화면(900)의 제2 일부 영역 상에는 날짜를 선택하기 위한 스크롤 입력 인터페이스(920)가 표시된다. 외부 전자 장치는 스크롤 입력 인터페이스(920)에 대한 사용자의 플릭킹 동작 또는 드래그 동작 중 적어도 하나에 기초하여 사용자의 입력을 확인할 수 있다.
도 10은, 일 실시예에 따른, 증강 현실 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다. 1010에서, 증강 현실 장치(200)의 프로세서(220)는 사용자의 FOV(field of view)에 관한 이미지를 획득한다. 증강 현실 장치(200)의 프로세서(220)는 제1 카메라(211) 또는 제3 카메라(213) 중 적어도 하나를 통하여 사용자의 FOV에 관한 이미지를 획득할 수 있다.
1020에서, 증강 현실 장치(200)의 프로세서(220)는 상기 획득된 사용자의 FOV에 관한 이미지에 외부 전자 장치가 포함됨을 확인한다.
도 11은, 일 실시예에 따른, 증강 현실 장치를 통한 FOV를 예시하는 도면이다. 증강 현실 장치(1100)를 통한 사용자의 FOV(1110) 내에 외부 전자 장치(1120)가 포함되는 경우, 증강 현실 장치(1100)의 프로세서는 사용자의 FOV(1110)에 관한 이미지 분석을 통하여 1010에서 획득한 사용자의 FOV에 관한 이미지에 외부 전자 장치(1120)가 포함된다는 것을 확인한다.
도 10을 다시 참조하면, 1030에서, 증강 현실 장치(200)의 프로세서(220)는 외부 전자 장치와의 연결 여부를 질의하는 메시지를 디스플레이(250) 상에 표시할 수 있다.
도 12는, 일 실시예에 따른, 증강 현실 장치를 통한 FOV를 예시하는 도면이다. 사용자의 FOV(1210) 내에 외부 전자 장치(1220)가 포함되는 경우, 증강 현실 장치(1200)는 외부 전자 장치(1220)와의 연결 여부를 질의하는 메시지(1230)를 표시한다. 메시지(1230)는 외부 전자 장치(1220)와 오버랩되도록 표시될 수 있다. 사용자의 FOV(1210) 내에서 외부 전자 장치(1220)의 위치가 이동되는 경우, 메시지(1230)의 위치는 외부 전자 장치(1220)를 따라 이동할 수 있다. 메시지(1230)는 미러 뷰 연결 방식(1231), 휴대폰을 제어기기로 이용하는 연결 방식(1232), 및 연결 안함(1233)을 선택 사항으로서 포함한다.
도 10을 다시 참조하면, 1040에서, 증강 현실 장치(200)의 프로세서(220)는 증강 현실 장치(200)와 외부 전자 장치 사이의 연결 설립 및 외부 전자 장치를 이용하여 증강 현실 장치(200)를 제어할 것을 지시하는 입력을 확인한다. 도 12에 도시된 바와 같이, 메시지(1230)에 표시된 세 가지 선택 사항 중, 휴대폰을 제어기기로 이용하는 연결 방식(1232)을 선택하는 것이 증강 현실 장치(200)와 외부 전자 장치 사이의 연결 설립 및 외부 전자 장치를 이용하여 증강 현실 장치(200)를 제어할 것을 지시하는 입력으로서 확인될 수 있다.
메시지(1230)에 표시된 세 가지 선택 사항 중 나머지 두 선택 사항(1231, 1233)을 선택하였을 때의 증강 현실 장치(200)의 동작에 대해서는 아래에서 보다 상세히 설명한다.
1050에서, 증강 현실 장치(200)의 프로세서(220)는 디스플레이(250) 상에 제1 화면을 표시할 수 있다. 도 4의 410에 대하여 상술한 세부 사항이 도 10의 1050에 대하여 적용될 수 있다.
제1 화면이 표시되는 방식의 예시에 대해서는, 도 13a, 도 13b, 도 14a, 및 도 14b에서 후술한다. 도 13a는, 일 실시예들에 따른, 증강 현실 장치를 통한 사용자의 FOV를 예시하는 도면이다. 구체적으로, 도 13a는 제1 화면(1320a)을 갖는 사용자의 FOV(1310a)를 예시한다. 제1 화면(1320a)은 증강 현실 장치(200)와 외부 전자 장치 사이에 연결이 설립되기 전에 외부 전자 장치에서 실행되던 어플리케이션의 실행 화면이다. 제1 화면(1320a)에 대응하는 어플리케이션은 증강 현실 장치(200) 상에서 상기 제1 화면(1320a)를 표시하기 위한 형식을 지원함 없이, 모바일 버전과 같이, 외부 전자 장치에서 표시되기 위한 형식만을 지원한다.
도 13b는, 일 실시예에 따른, 증강 현실 장치를 통한 사용자의 FOV를 예시하는 도면이다. 구체적으로, 도 13b는 제1 화면(1320b)을 갖는 사용자의 FOV(1310a)를 예시한다. 제1 화면(1320b)은 증강 현실 장치(200)와 외부 전자 장치 사이에 연결이 설립되기 전에 외부 전자 장치에서 실행되던 어플리케이션의 실행 화면이다. 제1 화면(1320b)에 대응하는 어플리케이션은 증강 현실 장치(200) 상에서 제1 화면(1320b)를 표시하기 위한 형식을 지원한다. 도 13a에서 제1 화면(1320a)이 모바일 버전의 실행 화면이었던 것에 비하여, 도 13b의 제1 화면(1320b)은 증강 현실 장치에서 표시되기 위한 형식으로 표시된다.
도 14a는, 일 실시예들에 따른, 증강 현실 장치를 통한 사용자의 FOV를 예시하는 도면이다. 구체적으로, 도 14a는 증강 현실 장치(1400)를 통한 사용자의 FOV(1410b)를 예시한다. 제1 화면은 증강 현실 장치(200)와 외부 전자 장치 사이에 연결이 설립되기 전에 외부 전자 장치에서 실행되던 어플리케이션의 실행 화면이다. 어플리케이션은 전체 화면 모드(immersive mode)를 지원한다. 도 14a를 참조하면, 어플리케이션이 전체 화면 모드를 지원하는 경우에, 증강 현실 장치(200)는 디스플레이(250) 상에 전체 화면 모드로 전환을 지시하는 인터페이스(1420a)를 표시한다.
도 14b는, 일 실시예들에 따른, 증강 현실 장치를 통한 사용자의 FOV를 예시하는 도면이다. 구체적으로, 도 14b는 도 14a에서 인터페이스(1420a)가 선택되었을 때의 증강 현실 장치를 통한 사용자의 FOV(1410b)를 예시한다. 도 14b를 참조하면, 사용자의 뷰(1410b) 전체에 걸쳐서 제1 화면이 표시될 수 있다.
도 10을 다시 참조하면, 1060에서, 증강 현실 장치(200)의 프로세서(220)는 적어도 하나의 제2 카메라(212)를 통하여 사용자의 눈의 이미지를 획득한다. 도 4의 420에 대하여 상술한 세부 사항이 도 10의 1060에 대하여 동일하게 적용될 수 있다.
1070에서, 증강 현실 장치(200)의 프로세서(220)는 상기 획득된 사용자의 눈의 이미지에 기초하여 사용자의 시선 방향에 대응되는 제1 화면 내의 제1 오브젝트를 확인한다.
1080에서, 증강 현실 장치(200)의 프로세서(220)는 상기 확인된 제1 오브젝트에 연관된 정보를 외부 전자 장치에 송신할 수 있다. 도 4의 440에 대하여 상술한 세부 사항이 도 10의 1080에 대하여 동일하게 적용될 수 있다.
1090에서, 증강 현실 장치(200)의 프로세서(220)는 통신 회로(270)를 통하여 외부 전자 장치로부터, 외부 전자 장치의 입력 인터페이스를 통해 획득된 입력에 관한 정보를 수신한다. 도 4의 450에 대하여 상술한 세부 사항이 도 10의 1090에 대하여 동일하게 적용될 수 있다.
1095에서, 증강 현실 장치(200)의 프로세서(220)는 상기 수신된 입력에 관한 정보에 기초하여, 디스플레이(250) 상에 제1 화면과 상이한 제2 화면을 표시한다. 도 4의 460에 대하여 상술한 세부 사항이 도 10의 1095에 대하여 동일하게 적용될 수 있다.
도 10의 1010 및 1020에서는 사용자의 FOV(field of view)에 관한 이미지를 획득하고, FOV에 관한 이미지에 외부 전자 장치가 포함됨을 확인하는 동작을 설명하였으나, 증강 현실 장치(200)는 1010 및 1020 대신 다른 조건이 만족되는 것에 응답하여 외부 전자 장치와 증강 현실 장치(200) 사이의 연결 설립 여부를 사용자에게 프롬프트할 수 있다. 증강 현실 장치(200)는 외부 전자 장치 및 증강 현실 장치(200) 사이의 거리가 미리 결정된 거리보다 짧은 것에 응답하여, 1030을 수행할 수 있다.
또한, 도 10을 참조하여서는 도 12의 메시지(1230)에 표시된 세 가지 선택 사항 중, 휴대폰을 제어기기로 이용하는 연결 방식(1232)을 선택하는 경우의 동작에 대해서만 설명하였다. 도 12의 메시지(1230)에 표시된 세 가지 선택 사항 중 미러 뷰 연결 방식(1231)이 선택되는 경우, 증강 현실 장치(200)는 외부 전자 장치에 표시되는 화면과 동일한 화면을 디스플레이(250) 상에 표시할 수 있다. 도 12의 메시지(1230)에 표시된 세 가지 선택 사항 중 연결 안함(1233)이 선택되는 경우, 증강 현실 장치(200)는 외부 전자 장치를 무시하고, 외부 전자 장치와 연결을 설립하지 않을 수 있다.
도 15는, 일 실시예에 따른, 증강 현실 장치와 상호작용하는 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다. 1510에서, 외부 전자 장치의 프로세서(320)는, 통신 모듈(190)를 통하여, 증강 현실 장치(200)로부터 사용자의 시선 방향에 대응되고 증간 현실 장치(200) 상에 표시된 제1 화면 내의 제1 오브젝트에 연관된 정보를 수신한다 제1 오브젝트에 연관된 정보에 대한 세부 사항은 도 4의 440을 참조하여 제공된다.
1520에서, 외부 전자 장치의 프로세서(320)는 제1 오브젝트에 연관된 정보에 기초한 입력 인터페이스를 디스플레이 모듈(360) 상에 표시한다. 입력 인터페이스의 입력 인터페이스에 관한 세부 사항에 대해서는, 도 5a 내지 도 9를 참조하여 제공된다.
1530에서, 외부 전자 장치의 프로세서(320)는 입력 인터페이스를 통하여 입력을 획득한다.
1540에서, 외부 전자 장치의 프로세서(320)는 통신 모듈(190)를 통하여, 입력에 관한 정보를 증강 현실 장치(200)에 전송한다. 입력에 관한 정보에 관한 세부 사항은 도 4의 450을 참조하여 제공된다.
디스플레이, 적어도 하나의 카메라, 통신 회로, 및 적어도 하나의 프로세서를 포함하는 전자 장치가 제공된다. 상기 적어도 하나의 프로세서는, 상기 디스플레이 상에 제1 화면을 표시하고, 상기 적어도 하나의 카메라를 통하여 상기 전자 장치의 사용자의 눈의 이미지를 획득하고, 상기 사용자의 눈의 이미지에 기초하여, 상기 사용자의 시선 방향에 대응되는 상기 제1 화면 내의 제1 오브젝트를 확인하다. 상기 적어도 하나의 프로세서는, 또한, 상기 통신 회로를 통하여, 상기 제1 오브젝트에 연관된 정보를 외부 전자 장치에 송신한다. 상기 외부 전자 장치는 상기 제1 오브젝트에 연관된 정보에 기초한 입력 인터페이스를 표시하도록 구성된다. 상기 적어도 하나의 프로세서는, 상기 통신 회로를 통하여, 상기 외부 전자 장치로부터, 상기 입력 인터페이스를 통해 획득된 입력에 관한 정보를 수신하고, 상기 입력에 관한 정보에 기초하여, 상기 디스플레이 상에 상기 제1 화면과 상이한 제2 화면을 표시하도록 더 구성될 수 있다.
상기 제1 오브젝트에 연관된 제1 정보는, 상기 제1 오브젝트의 상기 제1 화면 내의 좌표를 나타낼 수 있다.
상기 제1 오브젝트에 연관된 제1 정보는, 상기 제1 오브젝트에 대응하는 상기 입력 인터페이스의 종류를 나타낼 수 있다.
상기 입력 인터페이스는 트랙패드 입력 인터페이스를 포함할 수 있다.
상기 입력 인터페이스는 상기 전자 장치의 작동에 관한 설정을 변경할 수 있는 설정 변경 인터페이스를 포함할 수 있다.
상기 제1 오브젝트는 텍스트 입력에 연관되고, 상기 입력 인터페이스는 키패드를 포함할 수 있다.
상기 입력 인터페이스는 상기 제1 오브젝트에 관련된 복수의 선택 사항을 표시하는 선택 사항 입력 인터페이스를 포함할 수 있다.
상기 적어도 하나의 프로세서는, 상기 통신 회로를 통하여, 상기 외부 전자 장치의 적어도 하나의 센서에 관련된 센서 정보를 상기 외부 전자 장치로부터 수신하고, 상기 적어도 하나의 센서에 관련된 센서 정보에 기초하여 상기 제2 화면을 확인하도록 더 구성될 수 있다.
상기 적어도 하나의 프로세서는, 상기 적어도 하나의 카메라를 통하여, 상기 사용자의 FOV(field of view) 이미지를 획득하고, 사용자의 상기 FOV 이미지에 관한 이미지에 상기 외부 전자 장치가 포함되는 것에 응답하여, 상기 외부 전자 장치와의 연결 여부를 질의하는 메시지를 상기 디스플레이 상에 표시하도록 더 구성된다.
상기 적어도 하나의 프로세서는, 상기 통신 회로를 통하여 상기 외부 전자 장치와 상기 전자 장치 사이의 거리가 미리 결정된 거리 이하인 것을 확인하고, 상기 외부 전자 장치와 상기 전자 장치 사이의 거리가 미리 결정된 거리 이하라고 확인되는 것에 응답하여, 상기 외부 전자 장치를 이용한 상기 디스플레이의 제어 여부를 질의하는 메시지를 상기 디스플레이 상에 표시하도록 더 구성될 수 있다.
디스플레이, 통신 회로, 및 적어도 하나의 프로세서를 포함하는 전자 장치가 제공된다. 상기 적어도 하나의 프로세서는, 상기 통신 회로를 통하여, 외부 전자 장치로부터 상기 외부 전자 장치의 사용자의 시선 방향에 대응되고 상기 외부 전자 장치 상에 표시된 제1 화면 내의 제1 오브젝트에 연관된 제1 정보를 수신한다. 상기 적어도 하나의 프로세서는, 또한, 상기 제1 오브젝트에 연관된 정보에 기초한 입력 인터페이스를 상기 디스플레이 상에 표시하고, 상기 입력 인터페이스를 통하여 입력을 획득하고, 상기 입력에 관한 제2 정보를 상기 외부 전자 장치에 전송하도록 구성될 수 있다.
상기 제1 오브젝트에 연관된 제1 정보는, 상기 제1 오브젝트의 상기 제1 화면 내의 좌표를 나타낼 수 있다.
상기 제1 오브젝트에 연관된 제1 정보는, 상기 제1 오브젝트에 대응하는 상기 입력 인터페이스의 종류를 나타낼 수 있다.
상기 입력 인터페이스는 트랙패드 입력 인터페이스를 포함할 수 있다.
상기 입력 인터페이스는 상기 외부 전자 장치의 작동에 관한 설정을 변경할 수 있는 설정 변경 인터페이스를 포함할 수 있다.
상기 제1 오브젝트는 텍스트 입력에 연관되고, 상기 입력 인터페이스는 키패드를 포함할 수 있다.
상기 입력 인터페이스는 상기 제1 오브젝트에 관련된 복수의 선택 사항을 표시하는 선택 사항 입력 인터페이스를 포함할 수 있다.
상기 입력 인터페이스는 상기 제1 오브젝트와 관련된 복수의 수 또는 양 중 하나의 수 또는 양을 지시하는 인디케이터를 포함할 수 있다.
제1 전자 장치 및 제2 전자 장치를 제어하는 방법이 제공된다. 제1 화면이 상기 제1 전자 장치의 제1 디스플레이 상에 표시된다. 상기 제1 전자 장치의 사용자의 눈의 이미지가 획득된다. 상기 사용자의 눈의 이미지에 기초하여, 상기 사용자의 시선 방향에 대응되는 상기 제1 화면 내의 제1 오브젝트가 확인된다. 상기 제1 오브젝트의 종류에 기초하여 입력 인터페이스가 상기 제2 전자 장치의 제2 디스플레이 상에 표시된다. 상기 입력 인터페이스를 통해 획득된 제1 입력에 기초하여, 상기 제1 전자 장치의 제1 디스플레이 상에 상기 제1 화면과 상이한 제2 화면이 표시된다
상기 방법은 상기 제1 전자 장치와 상기 제2 전자 장치 사이의 상기 연결 설립 여부를 질의하는 메시지를 상기 제1 디스플레이 상에 표시하는 동작, 및 상기 제1 전자 장치와 상기 제2 전자 장치 사이의 연결 설립 및 상기 제2 전자 장치를 이용하여 상기 제1 전자 장치를 제어할 것을 지시하는 제2 입력을 확인하는 동작을 더 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(301)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(336) 또는 외장 메모리(338))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(340))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(301))의 프로세서(예: 프로세서(320))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 개시내용이 그의 특정 실시양태를 참조하여 도시되고 설명되었지만, 본 개시내용의 범위를 벗어나지 않고 형태 및 세부사항의 다양한 변경이 이루어질 수 있다는 것이 당업자에 의해 이해될 것이다. 따라서, 본 개시의 범위는 실시예에 한정되는 것으로 정의되어서는 안 되며, 첨부된 특허청구범위 및 그 균등물에 의해 정의되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    적어도 하나의 카메라;
    통신 회로; 및
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 디스플레이 상에 제1 화면을 표시하고,
    상기 적어도 하나의 카메라를 통하여 상기 전자 장치의 사용자의 눈의 이미지를 획득하고,
    상기 사용자의 눈의 이미지에 기초하여, 상기 사용자의 시선 방향에 대응되는 상기 제1 화면 내의 제1 오브젝트를 확인하고,
    상기 통신 회로를 통하여, 상기 제1 오브젝트에 연관된 제1 정보를, 상기 제1 오브젝트에 연관된 제1 정보에 기초한 입력 인터페이스를 표시하도록 구성된 외부 전자 장치에 송신하고,
    상기 통신 회로를 통하여, 상기 외부 전자 장치로부터, 상기 입력 인터페이스를 통해 획득된 입력에 관한 제2 정보를 수신하고,
    상기 입력에 관한 제2 정보에 기초하여, 상기 디스플레이 상에 상기 제1 화면과 상이한 제2 화면을 표시하도록 구성되는, 전자 장치.
  2. 제1항에 있어서,
    상기 제1 오브젝트에 연관된 제1 정보는, 상기 제1 오브젝트의 상기 제1 화면 상의 좌표를 나타내는, 전자 장치.
  3. 제1항에 있어서,
    상기 제1 오브젝트에 연관된 제1 정보는, 상기 제1 오브젝트에 대응하는 상기 입력 인터페이스의 종류를 나타내는, 전자 장치.
  4. 제1항에 있어서,
    상기 입력 인터페이스는 트랙패드 입력 인터페이스를 포함하는, 전자 장치.
  5. 제1항에 있어서,
    상기 입력 인터페이스는 상기 전자 장치의 작동에 관한 설정을 변경할 수 있는 설정 변경 인터페이스를 포함하는, 전자 장치.
  6. 제1항에 있어서,
    상기 제1 오브젝트는 텍스트 입력에 연관되고,
    상기 입력 인터페이스는 키패드를 포함하는, 전자 장치.
  7. 제1항에 있어서,
    상기 입력 인터페이스는 상기 제1 오브젝트에 관련된 복수의 선택 사항을 표시하는 선택 사항 입력 인터페이스를 포함하는, 전자 장치.
  8. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 통신 회로를 통하여, 상기 외부 전자 장치의 적어도 하나의 센서에 관련된 센서 정보를 상기 외부 전자 장치로부터 수신하고,
    상기 센서 정보에 기초하여 상기 제2 화면을 확인하도록 더 구성되는, 전자 장치.
  9. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 카메라를 통하여, 상기 사용자의 FOV(field of view) 이미지를 획득하고,
    상기 사용자의 상기 FOV 이미지에 상기 외부 전자 장치가 포함되는 것에 응답하여, 상기 외부 전자 장치와의 연결 여부를 질의하는 메시지를 상기 디스플레이 상에 표시하도록 더 구성되는, 전자 장치.
  10. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 통신 회로를 통하여 상기 외부 전자 장치와 상기 전자 장치 사이의 거리가 미리 결정된 거리 이하인 것을 확인하고,
    상기 외부 전자 장치와 상기 전자 장치 사이의 거리가 미리 결정된 거리 이하라고 확인되는 것에 응답하여, 상기 외부 전자 장치를 이용한 상기 디스플레이의 제어 여부를 질의하는 메시지를 상기 디스플레이 상에 표시하도록 더 구성되는, 전자 장치.
  11. 전자 장치를 제어하는 방법에 있어서,
    상기 전자 장치의 디스플레이 상에 제1 화면을 표시하는 동작;
    상기 전자 장치의 적어도 하나의 카메라를 통하여 상기 전자 장치의 사용자의 눈의 이미지를 획득하는 동작;
    상기 사용자의 눈의 이미지에 기초하여, 상기 사용자의 시선 방향에 대응되는 상기 제1 화면 내의 제1 오브젝트를 확인하는 동작;
    상기 전자 장치의 통신 회로를 통하여, 상기 제1 오브젝트에 연관된 제1 정보를, 상기 제1 오브젝트에 연관된 제1 정보에 기초한 입력 인터페이스를 표시하도록 구성된 외부 전자 장치에 송신하는 동작;
    상기 통신 회로를 통하여, 상기 외부 전자 장치로부터, 상기 입력 인터페이스를 통해 획득된 입력에 관한 제2 정보를 수신하는 동작; 및
    상기 입력에 관한 제2 정보에 기초하여, 상기 디스플레이 상에 상기 제1 화면과 상이한 제2 화면을 표시하는 동작을 포함하는 방법.
  12. 제11항에 있어서,
    상기 제1 오브젝트에 연관된 제1 정보는, 상기 제1 오브젝트의 상기 제1 화면 상의 좌표를 나타내는, 전자 장치.
  13. 제11항에 있어서,
    상기 제1 오브젝트에 연관된 제1 정보는, 상기 제1 오브젝트에 대응하는 상기 입력 인터페이스의 종류를 나타내는, 전자 장치.
  14. 제11항에 있어서,
    상기 입력 인터페이스는 트랙패드 입력 인터페이스를 포함하는, 전자 장치.
  15. 제11항에 있어서,
    상기 입력 인터페이스는 상기 외부 전자 장치의 작동에 관한 설정을 변경할 수 있는 설정 변경 인터페이스를 포함하는, 전자 장치.
PCT/KR2021/017866 2020-11-30 2021-11-30 증강 현실 장치, 증강 현실 장치와 상호작용하는 전자 장치, 및 그 제어 방법 WO2022114918A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/538,144 US11829527B2 (en) 2020-11-30 2021-11-30 Augmented reality device, electronic device interacting with augmented reality device, and controlling method thereof
EP21898743.6A EP4180919A4 (en) 2020-11-30 2021-11-30 AUGMENTED REALITY DEVICE, ELECTRONIC DEVICE INTERACTING WITH THE AUGMENTED REALITY DEVICE AND METHOD FOR CONTROLLING THEREOF

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200164402A KR20220075857A (ko) 2020-11-30 2020-11-30 증강 현실 장치, 증강 현실 장치와 상호작용하는 전자 장치, 및 그 제어 방법
KR10-2020-0164402 2020-11-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/538,144 Continuation US11829527B2 (en) 2020-11-30 2021-11-30 Augmented reality device, electronic device interacting with augmented reality device, and controlling method thereof

Publications (1)

Publication Number Publication Date
WO2022114918A1 true WO2022114918A1 (ko) 2022-06-02

Family

ID=81755838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017866 WO2022114918A1 (ko) 2020-11-30 2021-11-30 증강 현실 장치, 증강 현실 장치와 상호작용하는 전자 장치, 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20220075857A (ko)
WO (1) WO2022114918A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140052263A (ko) * 2012-10-24 2014-05-07 에스케이플래닛 주식회사 콘텐츠 서비스 시스템, 그 시스템에서의 콘텐츠 서비스를 위한 장치 및 방법
KR20150081846A (ko) * 2014-01-07 2015-07-15 한국과학기술원 시선 추적 및 뇌파 측정을 이용하여 사용자가 주시하는 물체에 대한 사용자의 의도를 추출하는 웨어러블 디바이스
KR20150129546A (ko) * 2014-05-12 2015-11-20 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
KR20160001229A (ko) * 2014-06-26 2016-01-06 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6361714B2 (ja) * 2015-09-30 2018-07-25 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140052263A (ko) * 2012-10-24 2014-05-07 에스케이플래닛 주식회사 콘텐츠 서비스 시스템, 그 시스템에서의 콘텐츠 서비스를 위한 장치 및 방법
KR20150081846A (ko) * 2014-01-07 2015-07-15 한국과학기술원 시선 추적 및 뇌파 측정을 이용하여 사용자가 주시하는 물체에 대한 사용자의 의도를 추출하는 웨어러블 디바이스
KR20150129546A (ko) * 2014-05-12 2015-11-20 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
KR20160001229A (ko) * 2014-06-26 2016-01-06 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6361714B2 (ja) * 2015-09-30 2018-07-25 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム

Also Published As

Publication number Publication date
KR20220075857A (ko) 2022-06-08

Similar Documents

Publication Publication Date Title
WO2022108076A1 (ko) 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치
WO2022131549A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022124734A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치, 그 동작 방법 및 저장 매체
WO2022019636A1 (ko) 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치
WO2022177299A1 (ko) 통화 기능의 제어 방법 및 이를 지원하는 전자 장치
WO2022169085A1 (ko) 전자 장치 및 전자 장치에서 촬영 구도 유지 방법
WO2022114918A1 (ko) 증강 현실 장치, 증강 현실 장치와 상호작용하는 전자 장치, 및 그 제어 방법
WO2022035166A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그의 촬영 방향을 제어하는 방법
WO2022014836A1 (ko) 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
WO2022181949A1 (ko) Ar/vr 환경을 제공하는 전자 장치 및 그 운용 방법
WO2022050638A1 (ko) 디스플레이의 설정 변경 방법 및 전자 장치
WO2022231162A1 (ko) 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
WO2024117452A1 (ko) 사용자의 움직임에 대한 트래킹 정보에 기반하여 렌더링을 하기 위한 전자 장치 및 방법
WO2023027393A1 (ko) 증강 현실 장치 및 증강 현실 장치의 제어 방법
WO2022154417A1 (ko) 감정 상태를 식별하는 전자 장치 및 그 운용 방법
WO2024063330A1 (ko) 웨어러블 전자 장치 및 상기 웨어러블 전자 장치를 이용하여 컨트롤러를 식별하는 방법
WO2023132744A1 (ko) 복수의 어플리케이션 실행 화면들을 그룹화하여 제공하는 웨어러블 디바이스 및 그 제어 방법
WO2024049005A1 (ko) 비네팅 기능을 수행하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2022181996A1 (ko) 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
WO2024080770A1 (ko) 홍채 정보를 검출하는 웨어러블 장치 및 그 제어 방법
WO2024101704A1 (ko) 터치 입력을 식별하는 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2023008738A1 (ko) 다른 전자 장치를 충전하는 전자 장치 및 다른 전자 장치를 충전하는 전자 장치의 제어 방법
WO2022164099A1 (ko) 디스플레이 장치의 화질 개선 방법 및 전자 장치
WO2023027276A1 (ko) 스타일러스 펜을 이용하여 복수의 기능들을 실행하기 위한 전자 장치 및 그 작동 방법
WO2024029774A1 (ko) 전자 장치의 충전을 위한 소스 캐퍼빌리티를 결정하기 위한 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21898743

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021898743

Country of ref document: EP

Effective date: 20230209

NENP Non-entry into the national phase

Ref country code: DE