WO2022065722A1 - 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법 - Google Patents

외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법 Download PDF

Info

Publication number
WO2022065722A1
WO2022065722A1 PCT/KR2021/011661 KR2021011661W WO2022065722A1 WO 2022065722 A1 WO2022065722 A1 WO 2022065722A1 KR 2021011661 W KR2021011661 W KR 2021011661W WO 2022065722 A1 WO2022065722 A1 WO 2022065722A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
importance
information
electronic device
external object
Prior art date
Application number
PCT/KR2021/011661
Other languages
English (en)
French (fr)
Inventor
고태헌
강동희
김명규
명인식
조용희
한훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2022065722A1 publication Critical patent/WO2022065722A1/ko
Priority to US18/188,536 priority Critical patent/US20230230334A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0145—Head-up displays characterised by optical features creating an intermediate image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Definitions

  • the present disclosure relates to a display display technology according to the recognition of an external object by an electronic device.
  • Augmented reality refers to a technology that synthesizes virtual objects or information in an actual environment to make them appear as if they exist in an original environment.
  • Virtual reality (VR) refers to a technology that artificially creates a virtual environment that is similar to a real environment but does not actually exist by using an electronic device such as a computer.
  • Augmented reality (AR) and virtual reality (VR) may be typically implemented through a head mounted display (HMD).
  • HMD is a display device that can be mounted on a user's head to present an image directly in front of his or her eyes.
  • the recognition of the external object may decrease by focusing on the augmented reality object or the virtual reality object displayed on the display. For example, if there is a dangerous object rapidly approaching in the vicinity of the user wearing the HMD device, the user using the augmented reality technology may not recognize the dangerous object and an accident may occur.
  • An electronic device includes a sensor, a display including a first area and a second area, and electrically connected to the sensor and the display, and is connected to an external object through the sensor.
  • information about the external object is obtained, the importance of the external object is determined based on the information, and the first region is at least control the display to display one augmented reality object or at least one virtual reality object, and display an indicator in the second area in a first size in response to the importance being greater than or equal to the first importance and less than the second importance control the display, and in response to the importance being equal to or greater than the second importance, display the indicator in a second size greater than the first size, of the at least one augmented reality object or the at least one virtual reality object and at least one processor configured to remove at least some in a priority order.
  • An operation method of an electronic device includes an operation of acquiring information about an external object through a sensor, an operation of determining the importance of the external object through the information, and the importance is less than a first importance or An operation of displaying at least one augmented reality object or at least one virtual reality object on a first area of a display in response to at least one of not obtaining information on the external object, the importance being greater than or equal to the first importance; displaying an indicator at a first size in a second region of the display in response to being less than a second importance, and displaying the indicator on the display at a second size greater than the first size in response to the importance being greater than or equal to the second importance. It may include displaying the size and removing at least a portion of the at least one augmented reality object or the at least one virtual reality object according to priority.
  • the electronic device may improve the user's awareness of the external object by visually expressing information about the surrounding environment.
  • the user can intuitively recognize a dangerous object located in the vicinity, and thus can prevent an accident in advance and secure the user's safety.
  • the electronic device may help the user to recognize reality while changing the content displayed on the display according to the importance of the external object.
  • the electronic device according to the present disclosure may help a user to recognize an external object or a plurality of external objects approaching from the front or rear.
  • by displaying different screens on the display in various situations it is possible to help the user to efficiently use augmented reality or virtual reality technology.
  • FIG 1A illustrates an electronic device according to an embodiment.
  • FIG. 1B illustrates an electronic device according to an exemplary embodiment.
  • FIG. 1C illustrates an electronic device according to an embodiment.
  • FIG. 2 is a block diagram of an electronic device according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating a method of displaying information related to an external object on a display, according to an exemplary embodiment.
  • FIG. 4 illustrates an example of a screen displayed on a display according to the importance of an external object, according to an embodiment.
  • FIG. 5 is a flowchart illustrating a method of displaying an image on a display when an external object exists within a field of view (FOV) of an electronic device, according to an exemplary embodiment.
  • FOV field of view
  • FIG. 6 illustrates an example of a screen displayed on a display when an external object exists within a FOV of an electronic device, according to an embodiment.
  • FIG. 7 is a flowchart illustrating a method of displaying an image on a display when an external object is located at the rear of an electronic device, according to an exemplary embodiment.
  • FIG. 8 illustrates an example of a screen displayed on a display when an external object is located at the rear of the electronic device, according to an embodiment.
  • FIG. 9 is a flowchart illustrating a method of displaying an image on a display when a quantity value of an external object is equal to or greater than a reference quantity value, according to an exemplary embodiment.
  • FIG. 10 illustrates an example of a screen displayed on a display when a quantity value of an external object is equal to or greater than a reference quantity value, according to an embodiment.
  • FIG. 11 is a flowchart illustrating a method of displaying an image of the importance of an external object on a display in an electronic device for displaying a virtual reality (VR) object, according to an embodiment.
  • VR virtual reality
  • FIG. 12 illustrates an example of a screen displayed on a display according to the importance of an external object in an electronic device that displays a virtual reality object, according to an embodiment.
  • FIG. 13 is a flowchart illustrating a method of displaying a user's preference on a display, according to an embodiment.
  • FIG. 14 illustrates an example of a screen displayed on a display according to a user's preference, according to an embodiment.
  • 15 is a flowchart illustrating a method of obtaining and displaying profile information of an external device on a display, according to an exemplary embodiment.
  • 16 illustrates an example of a screen displayed on a display by acquiring profile information of an external device, according to an embodiment.
  • 17 illustrates an example of an indicator displayed on a display according to the importance of an external object, according to an embodiment.
  • FIG. 18 is a block diagram of an electronic device in a network environment, according to various embodiments of the present disclosure.
  • the electronic device of the present disclosure is a wearable electronic device, and may include a head mounted display (HMD) device (eg, smart glasses) that is mounted on a user's head and generates movement of the device according to the movement of the head.
  • HMD head mounted display
  • FIG 1A illustrates an electronic device according to an embodiment.
  • the electronic device 100 is a smart glass having the shape of glasses, and may include a temple 110 and a lens 120 .
  • the temple 110 of the electronic device 100 may include a projector 111 and a prism (not shown).
  • the projector 111 may emit a beam including data toward a prism (not shown), and the beam refracted from the prism may be displayed on the lens 120 .
  • the projector 111 may display an image through a processor.
  • a user wearing the electronic device 100 may check the real environment and data information emitted by the projector 111 together through the lens 120 . Through this, the electronic device 100 may implement augmented reality (AR) for the real environment.
  • AR augmented reality
  • FIG. 1B illustrates an electronic device according to an exemplary embodiment.
  • the electronic device 101 is connected to the main frame 130 and the main frame 130 to be fixed to a part of the body (eg, the head), the wearing part 140 , and the face form in contact with the face. (150).
  • the main frame 130 may be worn on at least a part of the user's face, and may be supported on the user's face by various components.
  • the wearing part 140 can adjust the length of the band formed of an elastic material so that the main frame 130 is in close contact with the user's face around the eyes, and the band provides a comfortable fit in consideration of wearing for a long time. Cushions may be attached to provide.
  • the rear surface of the main frame 130 is a portion in contact with the user's face, and may have a structure corresponding to the curvature of the user's face, and may include at least a portion of an elastic body.
  • the elastic body may use at least one cushion material (eg, sponge) to provide a comfortable fit when the face form 150 comes into contact with the user's face.
  • the main frame 130 may include a display 131 on the front side.
  • the lens unit 132 may be disposed on the main frame 130 , and the user may view an image displayed on the display 131 through the lens unit 132 .
  • the display 131 may display different images for the left lens and the right lens of the lens unit 132 .
  • the display 131 viewed through the left lens of the lens unit 132 displays a left eye image to be transmitted to the user's left eye, and the display seen through the right lens of the lens unit 132 .
  • Reference numeral 131 may display a right eye image to be transmitted to the user's right eye.
  • the display 131 displays different left-eye images and right-eye images, respectively, so that the user can feel a three-dimensional effect.
  • the electronic device 101 may implement virtual reality (VR) or augmented reality (AR) in a virtual 3D space.
  • VR virtual reality
  • AR augmented reality
  • the electronic device 101 may provide the user with a clear image displayed on the display 131 by adjusting the focus adjusting unit 133 .
  • the focus control unit 133 may be configured in the form of a wheel or a dial.
  • FIG. 1C illustrates an electronic device according to an embodiment.
  • an electronic device 102 may be a wearable electronic device capable of coupling an external electronic device 199 .
  • the main frame 130 may be made of a material (eg, plastic) that is light enough to allow a user to feel comfortable wearing it and can support the external electronic device 199 .
  • the seating portion 134 including a space or structure for coupling the external electronic device 199 may be formed on the front surface of the main frame 130 .
  • the seating portion 134 of the main frame 130 may correspond to an external shape of the external electronic device 199 .
  • the electronic device 102 includes a cover 160 coupled to the main frame 130 to more firmly support the terminal to the main frame 130 while the terminal of the external electronic device 199 is fastened to the main frame 130 .
  • the cover 160 may be physically coupled to the main frame 130 (eg, a hook) or coupled using a magnet or an electromagnet.
  • FIG. 2 is a block diagram of an electronic device 200 according to an embodiment.
  • the electronic device 200 may include a sensor 210 , a processor 220 , an output module 230 , a wireless communication module 240 , a power source 250 , and a memory 260 .
  • the term “module” may be understood to include hardware or circuitry for performing a predetermined function.
  • the electronic device 200 of FIG. 2 may correspond to the electronic device 100 , the electronic device 101 , or the electronic device 102 described with reference to FIGS. 1A to 1C .
  • the display 231 may be understood as the lens 120 of the electronic device 100 .
  • the display 231 is the display 131 located on the front of the main frame 130 of the electronic device 101 .
  • the display 231 may be understood as a display of the external electronic device 199 .
  • the senor 210 may include a visual sensor 211 , an audio sensor 212 , and an acceleration sensor 213 .
  • the visual sensor 211 may include a camera, a TOF, and a lidar.
  • the visual sensor 211 may be located at the front and rear of the electronic device 200 .
  • the visual sensor 211 may capture still images and moving images of the surrounding environment that changes according to the movement of the electronic device 200 .
  • the processor 220 may measure the position of the external object and the distance to the electronic device 200 with respect to the electronic device 200 by recognizing the space of the surrounding environment through the visual sensor 211 and recognizing the change in the plane. there is.
  • the audio sensor 212 may include a microphone.
  • the audio sensor 212 may measure a surrounding audio level, and the processor 220 may use the audio data to measure a position of an external object and a moving direction of the external object.
  • the processor 220 may analyze the time difference of audio data input through the audio sensor 212 to detect the position and direction of the external object, and whether the external object approaches through a change in the intensity of the audio data can be detected.
  • the acceleration sensor 213 may measure a change in speed or a change in momentum of the electronic device 200 .
  • the processor 220 may include position and speed information of an external object obtained through the visual sensor 211 and the audio sensor 212 and movement speed information of the electronic device 200 obtained through the acceleration sensor 213 . may be used to calculate the relative position and relative speed of the external object with respect to the electronic device 200 .
  • the processor 220 may be understood to include at least one processor.
  • the processor 220 may include at least one of an application processor (AP), an image signal processor (ISP), and a communication processor (CP).
  • AP application processor
  • ISP image signal processor
  • CP communication processor
  • the processor 220 may determine the importance of the external object by using the information obtained through the sensor.
  • the processor 220 may display different screens on the display 231 according to the importance.
  • the output module 230 may include a display 231 , a speaker 232 , and a haptic module 233 .
  • the display 231 may display an image in a display area including the first area and the second area.
  • the first area may be a central area including a center of a display area on which a screen is displayed by the display 231
  • the second area may correspond to a peripheral area surrounding the first area among the display areas.
  • the processor 220 may control the display 231 to display different objects in the first area and the second area.
  • the processor 220 may control the display 231 to display at least one augmented reality object or at least one virtual reality object in the first area, and the display 231 to display an indicator in the second area. ) can be controlled.
  • the first area and the second area of the display 231 may not be physically separated.
  • a boundary dividing the first area and the second area may not be visually displayed.
  • the widths of the first region and the second region may be adjusted according to a user's setting.
  • the speaker 232 may output a sound
  • the haptic module 233 may output a vibration.
  • the processor 220 may output an additional notification through at least one of the speaker 232 and the haptic module 233 .
  • the processor 220 determines that the importance of the external object is greater than or equal to the second importance
  • the processor 220 outputs a warning sound through the speaker 232 while displaying an indicator on the display 231 or the haptic module 233 Vibration can be output through Through an additional notification of at least one of the speaker 232 and the haptic module 233 , the user's awareness of the external object may be further improved.
  • the wireless communication module 240 may include a Wifi 241 and/or a GPS 242 .
  • the electronic device 200 may access a wireless network through the Wifi 241 to exchange data with an external electronic device (eg, a smart phone).
  • profile information of an external device may be obtained by receiving the user's SNS information.
  • the electronic device 200 may calculate the location of the electronic device 200 through the GPS 242 .
  • the power source 250 may supply power to the electronic device 200 to operate the electronic device 200 .
  • the power source 250 may be a rechargeable secondary battery.
  • the memory 260 may include a SLAM 261 and a display controller 262 .
  • the SLAM 261 may create a map of a space by recognizing the surrounding environment of the electronic device 200 , and determine the location of the electronic device 200 in the space.
  • the display controller 262 may generate a video signal to be displayed on the display 231 .
  • FIG. 3 is a flowchart illustrating a method of displaying information related to an external object on the display 231, according to an embodiment. The method described in FIG. 3 may be executed by the electronic device 200 or the processor 220 illustrated in FIG. 2 .
  • the processor 220 may acquire information about the external object through the sensor 210 .
  • the sensor 210 may include a visual sensor 211 , an audio sensor 212 , and an acceleration sensor 213 .
  • the processor 220 obtains position information and speed information of the external object through the visual sensor 211 and the audio sensor 212 , and the speed of the electronic device 200 through the acceleration sensor 213 . information can be obtained.
  • the processor 220 may obtain relative direction information in which the external object is located with respect to the electronic device 200 through the sensor 210 .
  • the processor 220 may acquire information on the quantity value of the external object through the sensor 210 .
  • the processor 220 may also acquire user preference information for an external object or profile information of an external device.
  • the processor 220 may determine the importance of the external object by using the information on the external object.
  • the processor 220 uses at least some of the position information of the external object, the velocity information of the external object, and the velocity information of the electronic device 200 to determine the position of the external object with respect to the electronic device 200 as a reference.
  • a relative position and a relative velocity can be obtained.
  • the processor 220 may determine the importance of the external object by using at least one of a relative position and a relative speed of the external object.
  • the importance level of the external object may be classified based on the first importance level and the second importance level. For example, if the external object is approaching at a position of 8 m from the electronic device 200 at a relative speed of 3 km/h, the processor 220 may determine that the importance of the external object is less than the first importance. As another example, if the external object is approaching at a position of 4 m from the electronic device 200 at a relative speed of 5 km/h, the processor 220 determines that the importance of the external object is greater than or equal to the first importance and less than the second importance.
  • the processor 220 may determine that the importance of the external object is greater than or equal to the second importance.
  • the above examples are only examples, and various embodiments that can be implemented by those skilled in the art are possible.
  • the processor 220 may determine whether the importance of the external object is equal to or greater than the first importance.
  • the processor 220 displays at least one augmented reality object or at least one virtual reality object in the first area in response to the importance of the external object being less than the first importance. 231) can be controlled.
  • the processor 220 may control the display 231 to display at least one augmented reality object or at least one virtual reality object in the first area even when information on the external object is not obtained. In this case, the processor 220 may control the display 231 not to display the augmented reality object or the virtual reality object in the second area.
  • the types of augmented reality objects or virtual reality objects that may be displayed on the first area of the display 231 may be varied.
  • the processor 220 may display destination information in the first area, information on a moving direction, time information indicating arrival time, and information on stores located nearby.
  • the display 231 may be controlled to display at least one augmented reality object including information.
  • the processor 220 may determine whether the importance of the external object greater than or equal to the first importance is equal to or greater than the second importance.
  • the processor 220 displays the display 231 to display the indicator in the second area in the first size in response to the importance of the external object being greater than or equal to the first importance and less than the second importance. can be controlled
  • the processor 220 may control the display 231 to display an indicator displayed on the second area in a direction corresponding to the direction of the external object.
  • the processor 220 may display various colors and brightness of the indicator on the display 231 .
  • the display 231 may be controlled to continuously display at least one augmented reality object or at least one virtual reality object in the first area while displaying the indicator in the second area in the first size.
  • the processor 220 displays the indicator in a second size larger than the first size in response to the importance of the external object being greater than or equal to the second importance, and is displayed on the first area.
  • the display 231 may be controlled to remove at least a portion of the at least one augmented reality object or the at least one virtual reality object according to priority.
  • the processor 220 may control the display 231 so that at least a portion of the indicator displayed in the second size is displayed on at least a portion of the first area. Accordingly, the processor 220 may control the display 231 to display an indicator of the second size on at least a portion of the first area and at least a portion of the second area.
  • the processor 220 may control the display 231 to display the indicator semi-transparently and overlap with at least one augmented reality object or at least one virtual reality object displayed in the first area. there is.
  • the processor 220 displays to remove at least one augmented reality object or at least a portion of the at least one virtual reality object from the first region according to priority. (231) can be controlled. As the size of the indicator provided through the display 231 increases and the number of augmented reality objects or virtual reality objects decreases, the user can focus on the surrounding environment and evacuate from external objects.
  • the priority of the at least one augmented reality object or the at least one virtual reality object is a priority set in advance in an application providing the augmented reality or virtual reality object, or a priority set by a user can
  • the processor 220 displays to remove more of the at least one augmented reality object or the at least one virtual reality object displayed in the first area as the importance of the external object increases from the second importance. (231) can be controlled. Details will be described later with reference to FIG. 4 .
  • FIG. 4 illustrates an example of a screen displayed on the display 231 according to the importance of an external object, according to an embodiment.
  • augmented reality objects 413 , 414 , 415 , 416 and indicators 425 , 435 , 445 are screens displayed by the processor 220 on the display 231 , and other backgrounds (eg: A building, a road, etc.) may mean a real scene beyond the display 231 .
  • the user provides at least some of the augmented reality objects 413, 414, 415, 416 or indicators 425, 435, 445 displayed on the display 231 while viewing a real scene through the transparent or translucent display 231. can receive
  • reference numeral 410 is an example of a screen displayed on the display 231 when the importance of the external object is less than the first importance or when information on the external object is not obtained.
  • the screen displayed on the display 231 may include a first area 411 and a second area 412 .
  • the first area 411 is a central area including the center of a display area on which a screen is displayed
  • the second area 412 is a peripheral area surrounding the first area 411 among the display areas.
  • the processor 220 may control the display 231 to display the augmented reality object in the first area 411 .
  • the processor 220 may include destination information 413 in the first area 411 , information on a moving direction 414 , time information 415 indicating an arrival time, and stores located nearby.
  • the display 231 may be controlled to display augmented reality objects including the information 416 .
  • the processor 220 may control the display 231 not to display the augmented reality object in the second area 412 .
  • reference numeral 420 is an example of a screen displayed on the display 231 when the importance of the external object is greater than or equal to the first importance and less than the second importance.
  • the processor 220 may control the display 231 to display the same number of augmented reality objects as in the case of reference numeral 410 in the first area 421 . According to another embodiment, the processor 220 may control the display 231 to display an image that does not include some of the augmented reality objects included in the image 420 .
  • the processor 220 may control the display 231 to display the indicator 425 in the first size on at least a portion of the second area 422 .
  • the processor 220 may control the display 231 to display the indicator 425 on the left side of the second area 422 .
  • the color and brightness of the indicator 425 displayed on the display 231 may vary.
  • the indicator 425 may be in the form of a translucent and red box.
  • reference numeral 430 is an example of a screen displayed on the display 231 when the importance of the external object is greater than or equal to the second importance.
  • the processor 220 displays the indicator 435 displayed in the second size on the display 231 on at least a portion of the second area 432 and at least a portion of the first area 431 .
  • (231) can be controlled.
  • the processor 220 may display the indicator 435 in a second size larger than the first size, and display at least a portion of the indicator 435 in the first area 431 .
  • the display 231 may be controlled to be displayed on at least a portion.
  • the processor 220 controls the display 231 to remove at least some of the plurality of augmented reality objects displayed in the first area 421 according to priority and display it as shown in reference numeral 431.
  • the processor 220 continuously displays the augmented reality object including the destination information 433 and the moving direction information 434 in the first area 431, and time information ( 415), the augmented reality object including the information 416 on the shops located in the vicinity has a low priority so that the display 231 can be controlled to be removed.
  • reference number 440 is an example of a screen displayed on the display 231 when the importance of the external object is higher than that of reference number 430 .
  • the processor 220 may determine that a bicycle approaching at a speed of 30 km/h from a position of 5 m from the electronic device 200 is greater than or equal to the second importance. In this case, when the bicycle approaches at 50 km/h from a position of 1 m from the electronic device 200 , the processor 220 may determine that the importance of the bicycle further increases.
  • the processor 220 controls the display 231 to display a larger size of the indicator 445 , and in the first area 431 , the augmented reality object can be sequentially removed.
  • the processor 220 may control the display 231 to remove all augmented reality objects from the first area 441 .
  • FIG. 5 is a flowchart illustrating a method of displaying an image on the display 231 when an external object exists in a field of view (FOV) of the electronic device 200, according to an embodiment.
  • the method described in FIG. 5 may be executed by the electronic device 200 or the processor 220 illustrated in FIG. 2 .
  • the processor 220 acquires FOV information of the electronic device 200 through the sensor 210 , and determines whether an external object exists within the FOV of the electronic device 200 .
  • the external object exists within the FOV of the electronic device 200 , it is a situation in which reality must be recognized quickly because the external object appears in front of the user, or the user recognizes the external object through an indicator displayed on the display 231 . It may be a situation in which the gaze is moved toward an external object.
  • the processor 220 removes at least one of an indicator, at least one augmented reality object, or at least one virtual reality object when the external object exists within the FOV of the electronic device 200 .
  • the display 231 may be controlled.
  • the electronic device 200 when an external object suddenly appears in front of the user, the user needs to quickly recognize the external object located in front and evacuate, so the electronic device 200 is augmented reality displayed on the display 231 .
  • Objects or virtual reality objects and indicators can all be removed so that the user can focus on reality.
  • the electronic device 200 displays the display 231 It is possible to remove both the augmented reality object or the virtual reality object and indicator displayed in .
  • the processor 220 may determine that the importance of the external object has transitioned from a state of greater than or equal to a second importance to a state of less than the second importance.
  • the processor 220 may determine that the importance of the external object has transitioned from a state of greater than or equal to a second importance to a state of less than the second importance.
  • the processor 220 displays the indicator removed in operation 520 again on the display 231 , and the augmented reality object or virtual reality removed in operation 520 .
  • Objects can be redisplayed.
  • the processor 220 may control the display 231 to display a pop-up window for selecting whether to display the augmented reality object or the virtual reality object again in the first area in operation 540 .
  • the user may select to receive the removed augmented reality object or virtual reality object again, or may choose not to receive the augmented reality object or virtual reality object in order to focus on an external object located in front.
  • the display 231 may be controlled to display the real object or the virtual reality object again.
  • the external object may be a vehicle 611 .
  • reference numeral 610 is an example of a screen displayed on the display 231 when the vehicle 611 is within the FOV of the electronic device 200 .
  • the processor 220 may display an augmented reality object or
  • the display 231 may be controlled to remove the virtual reality object and the indicator.
  • the processor 220 is displayed in the first area to remove the augmented reality object including destination information, information on the moving direction, time information indicating the arrival time, and information on shops located around the display ( 231 , and the display 231 may be controlled to remove the indicator displayed in the first size or the second size.
  • the vehicle 611 is located near the electronic device 200 so that the processor 220 displays an indicator on the display 231 , and the user sees the indicator displayed on the display 231 and sees the vehicle 611 .
  • the processor 220 displays an augmented reality object or virtual reality on the display 231. Objects and indicators can be removed.
  • reference numeral 620 denotes an example of a screen displayed on the display 231 when the importance of the vehicle 611 is transitioned from a state of greater than or equal to the second importance to a state of less than the second importance.
  • the processor 220 may control the display 231 to display the augmented reality object again in the first area and display the indicator 621 again in the second area.
  • the processor 220 may include destination information 623 in the first area, information on a moving direction 624 , time information 625 indicating an arrival time, and information 626 on shops located around the first area. ), the display 231 may be controlled to display the augmented reality object again, and the display 231 may be controlled to display the indicator 621 again in the second area.
  • the processor 220 acquires information on the external object again through the sensor 210 , determines the importance of the external object again, and displays the indicator 621 in the second area on the display 231 . ) can be controlled. For example, the processor 220 controls the display 231 to display the indicator 621 in the first size in the second area according to determining that the importance of the vehicle 611 is greater than or equal to the first importance and less than the second importance. can do.
  • the indicator 621 may be an indicator 621 displayed on the display 231 when the processor 220 recognizes an external object other than the vehicle 611 .
  • the processor 220 does not display the indicator on the display 231 as it is determined that the importance of the vehicle 611 is less than the first importance, but the importance of the other external object is greater than the first importance and less than the second importance , the display 231 may be controlled to display the indicator 621 of the first size on the second area.
  • reference numeral 630 denotes another example of a screen displayed on the display 231 when the importance of the vehicle 611 transitions from a state of greater than or equal to the second importance to a state of less than the second importance.
  • the processor 220 may control the display 231 to display the indicator 631 again in the second area, and the user may select whether to display the augmented reality object again in the first area.
  • the display 231 may be controlled to display a pop-up window 632 with The user may select to display the augmented reality object again in the first area with respect to the pop-up window 632 , or may select not to display the augmented reality object again.
  • FIG. 7 is a flowchart illustrating a method of displaying an image on the display 231 when an external object is located at the rear of the electronic device 200, according to an exemplary embodiment.
  • the method described in FIG. 7 may be executed by the electronic device 200 or the processor 220 illustrated in FIG. 2 .
  • the processor 220 uses the visual sensor 211 , the audio sensor 212 , and the acceleration sensor 213 to obtain position information, velocity information, and velocity of the electronic device 200 of the external object. Information may be obtained, and relative direction information in which an external object is positioned with respect to the electronic device 200 may be obtained.
  • the processor 220 determines the relative position and relative position of the external object with respect to the electronic device 200 through the position information of the external object, the velocity information, and the velocity information of the electronic device 200 .
  • the velocity may be calculated, and the importance of the external object may be determined based on the relative position and relative velocity information.
  • the processor 220 controls the display 231 to display an image photographed from the rear on the upper part of the second area.
  • the user may intuitively recognize an external object approaching from the rear through the rear image displayed on the upper end of the second region.
  • FIG. 8 illustrates an example of a screen displayed on the display 231 when an external object is located at the rear of the electronic device 200, according to an embodiment.
  • the external object may be a motorcycle, and the motorcycle may be approaching from the rear of the user.
  • the processor 220 obtains location information and speed information of the motorcycle through the sensor 210 , obtains speed information of the electronic device 200 , and obtains the location information of the motorcycle with respect to the electronic device 200 . It is possible to obtain relative direction information.
  • the processor 220 may determine the importance of the motorcycle by using the location information, the speed information, and the speed information of the electronic device 200 of the motorcycle. For example, when the motorcycle is approaching the user at a speed of 70 km/h at a position of 3 m from the electronic device 200 , the processor 200 may determine that the importance of the motorcycle is greater than or equal to the second importance.
  • the processor 220 controls the display 231 to display an image 801 including a motorcycle approaching from the rear at the upper end of the second area. can do.
  • the image may be an image acquired through the visual sensor 211 located at the rear of the electronic device 200 .
  • the user may recognize that an external object is approaching from the rear through the image 801 photographed from the rear displayed on the display 231 .
  • the electronic device 200 may help the user to intuitively recognize a situation in the rear by providing the rear photographed image 801 through the display 231 . Users can evacuate by recognizing the fact that a motorcycle is approaching from the rear.
  • FIG. 9 is a flowchart illustrating a method of displaying an image on the display 231 when a quantity value of an external object is equal to or greater than a reference quantity value, according to an exemplary embodiment.
  • the method described in FIG. 9 may be executed by the electronic device 200 or the processor 220 illustrated in FIG. 2 .
  • the processor 220 uses the visual sensor 211 , the audio sensor 212 , and the acceleration sensor 213 to obtain position information, velocity information, and velocity of the electronic device 200 of the external object. Information may be obtained, and a quantity value indicating the quantity of the external object may be obtained.
  • the processor 220 determines the relative position and relative position of the external object with respect to the electronic device 200 through the position information of the external object, the velocity information, and the velocity information of the electronic device 200 .
  • the velocity may be calculated, and the importance of the external object may be determined based on the relative position and relative velocity information.
  • the processor 220 may remove at least one augmented reality object or at least one virtual reality object from the display 231 . .
  • the processor may allow the user to focus on the real world without being disturbed by the augmented reality object or virtual reality object displayed on the display 231 , 220 may remove at least one augmented reality object or at least one virtual reality object from the display 231 .
  • the processor 220 may control the display 231 so as not to remove the indicator while removing at least one augmented reality object or at least one virtual reality object from the display 231 .
  • the processor 220 controls the display 231 not to display the augmented reality object or the virtual reality object in the first area, and the display 231 to display an indicator corresponding to the number of external objects in the second area ) can be controlled.
  • the processor 220 controls the display 231 not to display the augmented reality object or the virtual reality object in the first area, and the processor 220 controls the display 231 to be displayed on at least a part of the first area and at least a part of the second area.
  • the display 231 may be controlled to display the indicator of the two sizes and the indicator of the first size displayed only in the second area.
  • the user since the user receives only an indicator corresponding to an external object from the electronic device 200 and does not provide an augmented reality object or a virtual reality object, the user can focus on a reality in which a large number of external objects exist around the user. there is.
  • FIG. 10 illustrates an example of a screen displayed on the display 231 when the quantity value of the external object is equal to or greater than the reference quantity value, according to an embodiment.
  • the processor 220 acquires position information and velocity information of the external objects through the sensor 210 , and the electronic device 200 ) can be obtained, and a quantity value indicating the quantity of an external object can be obtained.
  • the processor 220 may obtain information that the quantity value of the external object is 6.
  • the processor 220 may determine the importance of the external objects by using the position information, the velocity information, and the velocity information of the electronic device 200 of the external object. For example, the processor 200 may determine that the importance of each external object is greater than or equal to the first importance and less than the second importance.
  • the processor 220 may determine whether the quantity value of the external object is equal to or greater than a reference quantity value.
  • the reference quantity value may be 5. Since the quantity value of the external object is 6 and the reference quantity value is 5, the processor 220 may determine that the quantity value of the external object is greater than or equal to the reference quantity value.
  • the processor 220 may control the display 231 to remove augmented reality objects from the first area.
  • the processor 220 may control the display 231 to display six indicators in the second area in response to external objects having greater than or equal to the first importance and less than the second importance.
  • the processor 220 may control the display 231 to display different sizes and directions for each indicator in the second area.
  • FIG. 11 is a flowchart illustrating a method of displaying an image on the display 231 indicating the importance of an external object in the electronic device 200 for displaying a virtual reality (VR) object, according to an embodiment. 11, since the method described in FIG. 3 is applied to the virtual reality device, a description common to FIG. 3 will be omitted.
  • operations 1110 , 1120 , 1130 , and 1150 may correspond to operations 310 , 320 , 330 , and 350 illustrated in FIG. 3 .
  • the processor 220 may determine the importance of the external object by using information about the external object acquired through the sensor 210 . Even when a virtual reality device is used, since the user needs to recognize an external object located around the user, the method described in FIG. 3 may be applied.
  • the processor 220 may control the display 231 to display at least one virtual reality object in the first area.
  • the processor 220 may control the display 231 to display at least one virtual reality object in the first area even when information on the external object is not obtained. In this case, the processor 220 may control the display 231 not to display the virtual reality object in the second area.
  • the processor 220 controls the display 231 to display the indicator in the second area in the first size.
  • the processor 220 controls the display 231 to display the indicator in the second area in the first size.
  • the user may recognize that an external object exists in the vicinity through the indicator displayed on the second area.
  • the processor 220 displays the indicator in a second size larger than the first size on the display 231, and the at least one virtual At least some of the real objects may be removed according to priority.
  • the user may recognize the external object through the indicator displayed in the second size on the display 231 , and may avoid the external object or stop using the virtual reality device.
  • FIG. 12 illustrates an example of a screen displayed on the display 231 according to the importance of an external object in the electronic device 200 for displaying a virtual reality object, according to an embodiment.
  • reference numeral 1210 denotes an example of a screen displayed on the display 231 when the importance of the external object is less than the first importance or the information on the external object is not obtained.
  • the processor 220 may control the display 231 to display the virtual reality object in the first area. For example, when executing a game application through a VR device, the processor 220 virtual reality including target information 1211 , gauge information 1212 , and information about a list to be processed 1213 in the first area
  • the display 231 may be controlled to display an object.
  • reference numeral 1220 is an example of a screen displayed on the display 231 when the importance of the external object is greater than or equal to the first importance and less than the second importance.
  • the processor 220 may control the display 231 to continuously display the virtual reality object in the first area, and control the display 231 to display the indicator 1225 in the second area.
  • the processor 220 controls the display 231 to display a virtual reality object including target information 1221, gauge information 1222, and information 1223 on a list to be processed in the first area, and , the display 231 may be controlled to display the indicator 1225 of the first size in the second area.
  • the display 231 may be controlled to display the indicator 1225 on the left side of the second area.
  • reference numeral 1230 is an example of a screen displayed on the display 231 when the importance of the external object is greater than or equal to the second importance.
  • the processor 220 may display the indicator 1235 in the second size on the display 231 and remove at least a portion of at least one virtual reality object from the first area according to priority. For example, the processor 220 continuously displays the virtual reality object including the target information 1231 and the gauge information 1232 in the first area, and the virtual reality including the information 1223 for the list to be processed. The object may control the display 231 to be removed.
  • the processor 220 may display the indicator 1235 in the second size on the display 231 .
  • the processor 220 may control the display 231 to display the indicator 1235 of the second size on at least a portion of the first area and at least a portion of the second area.
  • FIG. 13 is a flowchart illustrating a method of displaying a user's preference on the display 231, according to an embodiment. The method described in FIG. 13 may be executed by the electronic device 200 or the processor 220 illustrated in FIG. 2 .
  • the processor 220 may obtain location information of the external object through the sensor 210 , and may acquire user preference information for the external object.
  • the user's preference information for the external object may be preference information previously set by the user for the external object or preference information defined by the electronic device 200 based on the frequency at which the user accesses the external object. For example, when a user visits a game store of a specific brand with a reference frequency or more, the electronic device 200 may define that the user's preference for the corresponding game store is greater than or equal to a reference value.
  • the processor 220 may determine the importance of the external object based on the location information of the external object and the user's preference information for the external object. For example, when the game store of the specific brand is located within 10 m from the electronic device 200 and the user's preference for the game store is greater than or equal to a reference value, the processor 220 determines that the importance of the game store is greater than or equal to the second importance. can judge the importance of the game store of the specific brand is located within 10 m from the electronic device 200 and the user's preference for the game store is greater than or equal to a reference value.
  • the processor 220 may determine whether the importance of the external object is equal to or greater than the first importance.
  • the processor 220 may control the display 231 to display at least one augmented reality object in the first area in response to the importance of the external object being less than the first importance. .
  • the processor 220 may control the display 231 to display at least one augmented reality object in the first area even when information on the external object is not obtained.
  • the types of augmented reality objects may be various as described with reference to FIG. 3 .
  • the processor 220 may control the display 231 not to display the augmented reality object in the second area.
  • the processor 220 may determine whether the importance of the external object greater than or equal to the first importance is equal to or greater than the second importance.
  • the processor 220 displays the display 231 to display the indicator in the second area in the first size in response to the importance of the external object being greater than or equal to the first importance and less than the second importance. can be controlled
  • the processor 220 may control the display 231 to display an indicator in a direction corresponding to an external object having a first importance level or greater and less than a second importance level.
  • the color and brightness of the indicator may vary.
  • the processor 220 may display an indicator having a different color from the indicator displayed on the display 231 on the display 231 .
  • the processor 220 controls the display 231 to display a red indicator on the left side of the second area when the motorcycle approaches from the user's left side, and a game store of a specific brand with a high user preference is displayed on the right side.
  • the display 231 may be controlled to display a green indicator on the right side of the second area.
  • the processor 220 may control the display 231 to continuously display at least one augmented reality object in the first area while displaying the indicator in the second area in the first size.
  • the processor 220 in response to the importance of the external object being greater than or equal to the second importance, displays the indicator in a second size greater than the first size, and displays at least one The display 231 may be controlled to remove at least some of the augmented reality objects according to priority.
  • the processor 220 may control the display 231 so that at least a portion of the indicator displayed in the second size is displayed on at least a portion of the first area.
  • the processor 220 may control the display 231 to display the indicator semi-transparently so as to overlap with at least one augmented reality object displayed in the first area.
  • the priority of the at least one augmented reality object displayed in the first area may be a priority set in advance in an application providing the augmented reality object or a priority set by a user.
  • FIG. 14 illustrates an example of a screen displayed on the display 231 according to a user's preference, according to an embodiment.
  • the 'GAME STOP store' It could be a passing situation.
  • reference numeral 1410 is an example of a screen displayed on the display 231 when the importance of the external object is less than the first importance or the information on the external object is not obtained.
  • the processor 220 may control the display 231 to display at least one augmented reality object in the first area.
  • the processor 220 includes destination information 1411 , information on a moving direction 1412 , time information 1413 indicating an arrival time, and information 1414 on shops located nearby.
  • the display 231 may be controlled to display an augmented reality object including a.
  • reference numeral 1420 is an example of a screen displayed on the display 231 when the importance of the external object is greater than or equal to the first importance and less than the second importance.
  • the processor 220 may control the display 231 to continuously display the augmented reality object in the first area, and control the display 231 to display the indicator 1425 in the second area.
  • the 'GAME STOP store' is located in the vicinity of the user, and the processor 200 may determine that the importance of the 'GAME STOP store' is greater than or equal to the first importance and less than the second importance.
  • the processor 200 controls the display 231 to display an augmented reality object including destination information, information on a moving direction, time information indicating an arrival time, and information on shops located around the first area, and , the display 231 may be controlled to display an indicator 1425 indicating that 'GAME STOP store' is located in the second area.
  • reference numeral 1430 is an example of a screen displayed on the display 231 when the importance of the external object is greater than or equal to the second importance.
  • the processor 220 may display the indicator 1435 in the second size on the display 231 and remove at least a portion of the augmented reality object from the first area according to priority. For example, the processor 220 may determine that the importance of 'GAME STOP store' is greater than or equal to the second importance.
  • the processor 220 may display the indicator 1435 on the display 231 in the second size.
  • the processor 220 may control the display 231 to display the indicator 1435 of the second size on at least a portion of the first area and at least a portion of the second area.
  • the processor 220 controls the display 231 to continuously display the augmented reality object including the destination information 1431 and the movement direction information 1432 in the first area, and time information ( 1413 ), the augmented reality object including information 1414 on stores located nearby may control the display 231 to be removed due to low priority.
  • FIG. 15 is a flowchart illustrating a method of obtaining profile information of an external device and displaying the obtained profile information on the display 231 according to an exemplary embodiment.
  • the method described in FIG. 15 may be executed by the electronic device 200 or the processor 220 illustrated in FIG. 2 .
  • the processor 220 may obtain location information and speed information of the external device through the sensor 210 , and may obtain profile information of the external device through UWB.
  • the profile information of the external device may correspond to the user's SNS information or information about the external device stored in advance. For example, when an external device stored by the user as 'Samsung employee Kim XX' in the electronic device 200 is located nearby, the processor 220 may acquire profile information of the external device.
  • the processor 220 may determine the importance of the external device through at least one of location information and speed information of the external device, or profile information of the external device registered in the electronic device or user account. there is. For example, if information is obtained that an external device stored as 'Samsung employee Kim XX' is located within 3 m from the electronic device 200 and is moving toward the electronic device 200 at a speed of 5 km/h, the processor ( 220) may determine that the importance of the external device is greater than or equal to the second importance.
  • the processor 220 may determine whether the importance of the external device is equal to or greater than the first importance.
  • the processor 220 may control the display 231 to display at least one augmented reality object in the first area in response to the importance of the external device being less than the first importance. .
  • the processor 220 may control the display 231 to display at least one augmented reality object in the first area even when information on the external device is not obtained.
  • the types of augmented reality objects may be various as described with reference to FIG. 3 .
  • the processor 220 may control the display 231 not to display the augmented reality object in the second area.
  • the processor 220 may determine whether the importance of the external device greater than or equal to the first importance is equal to or greater than the second importance.
  • the processor 220 in response to the importance of the external device being greater than or equal to the first importance and less than the second importance, displays the display 231 to display the indicator in the second area in the first size. can be controlled
  • the processor 220 may control the display 231 to display the indicator in a direction corresponding to an external device having a first importance level or more and less than a second importance level.
  • the color and brightness of the indicator may vary.
  • the processor 220 may display an indicator displayed on the display 231 and an indicator of a different color from the indicator according to the user's preference information on the display 231. .
  • the processor 220 controls the display 231 to display a red indicator on the left side of the second area when the motorcycle approaches from the user's left side, and the external device having a first priority level or more and less than the second priority level is If it is located on the right side, the display 231 may be controlled to display a purple indicator on the right side of the second area.
  • the processor 220 may control the display 231 to continuously display at least one augmented reality object in the first area while displaying the indicator in the second area in the first size.
  • the processor 220 in response to the importance of the external device being greater than or equal to the second importance, displays the indicator in a second size larger than the first size, and displays at least one
  • the display 231 may be controlled to remove at least some of the augmented reality objects according to priority.
  • the processor 220 may control the display 231 so that at least a portion of the indicator displayed in the second size is displayed on at least a portion of the first area.
  • the processor 220 may control the display 231 to display the indicator semi-transparently and overlap with at least one augmented reality object displayed in the first area.
  • the priority of the at least one augmented reality object displayed in the first area may be a priority set in advance in an application providing the augmented reality object or a priority set by a user.
  • FIG. 16 illustrates an example of a screen displayed on the display 231 after acquiring profile information of an external device according to an embodiment.
  • reference numeral 1610 is an example of a screen displayed on the display 231 when the importance of the external device is less than the first importance or when information on the external device is not obtained.
  • the processor 220 may control the display 231 to display at least one augmented reality object in the first area.
  • the processor 220 includes destination information 1611 , information on a moving direction 1612 , time information 1613 indicating an arrival time, and information on shops located nearby 1614 ).
  • the display 231 may be controlled to display an augmented reality object including a.
  • reference numeral 1620 is an example of a screen displayed on the display 231 when the importance of the external device is greater than or equal to the first importance and less than the second importance.
  • the processor 220 may control the display 231 to continuously display the augmented reality object in the first area, and control the display 231 to display the indicator 1625 in the second area.
  • an external device stored as 'Samsung employee Kim XX' is located near the user, and the processor 200 may determine that the importance of the external device is greater than or equal to the first importance and less than the second importance.
  • the processor 200 controls the display 231 to display an augmented reality object including destination information, information on a moving direction, time information indicating an arrival time, and information on shops located around the first area, and , the display 231 may be controlled to display an indicator 1625 indicating that an external device of 'Samsung employee Kim XX' is located in the second area.
  • reference numeral 1630 is an example of a screen displayed on the display 231 when the importance of the external device is greater than or equal to the second importance.
  • the processor 220 may control the display 231 to display the indicator 1635 in the second size and remove at least a portion of the augmented reality object from the first area according to priority. For example, the processor 220 may determine that the importance of the external device of 'Samsung employee Kim XX' is greater than or equal to the second importance.
  • the processor 220 may display the indicator 1635 in the second size on the display 231 .
  • the processor 220 may control the display 231 to display the indicator 1635 on at least a portion of the first area and at least a portion of the second area.
  • the processor 220 controls the display 231 to continuously display the augmented reality object including the destination information 1631 and the movement direction information 1632 in the first area, and time information ( 1613), the augmented reality object including the information 1614 on the shops located around it has a low priority, so that the display 231 may be controlled to be removed.
  • FIG 17 illustrates an example of an indicator displayed on the display 231 according to the importance of an external object, according to an embodiment.
  • the external object may be an object dangerous to the user (eg, a motorcycle or a car approaching the user). Since the user needs to recognize and avoid the external object, the electronic device 200 may notify the user of the presence of the external object through the display 231 and provide a warning message. In an embodiment, the processor 220 may additionally output a notification through at least one of the speaker 232 and the haptic module 233 while displaying the indicator on the display 231 .
  • reference numeral 1710 is an example of an indicator displayed on the display 231 when the importance of the external object is greater than or equal to the first importance and less than the second importance.
  • the processor 220 may control the display 231 to display the indicator 1715 of the first size in the second area when the importance of the external object is greater than or equal to the first importance and less than the second importance.
  • the indicator 1715 may be in the form of a translucent box, and may not include separate characters or pictures.
  • reference numeral 1720 is an example of an indicator displayed on the display 231 when the importance of the external object is greater than or equal to the second importance.
  • the processor 220 may display the indicator 1725 of the second size on the display 231 .
  • the processor 220 may control the display 231 to display the indicator 1725 over at least a portion of the first area and at least a portion of the second area.
  • the indicator 1725 is in the form of a translucent box, and may have a larger area than the indicator 1715 of the first size.
  • the processor 220 may display the indicator 1725 on the display 231 together with the word 'dangerous object approach'.
  • reference numeral 1730 is an example of a screen displayed on the display 231 when the importance of the external object is greater than or equal to the second importance level and the importance is increased more than that of reference numeral 1720 .
  • the processor 220 may determine that a bicycle approaching at a speed of 30 km/h from a position of 5 m from the electronic device 200 is greater than or equal to the second importance. In this case, when the bicycle approaches at 50 km/h from a position of 1 m from the electronic device 200 , the processor 220 may determine that the importance of the bicycle further increases.
  • the processor 220 may display an indicator 1735 larger than the indicator 1725 of the second size on the display 231 .
  • the processor 220 may control the display 231 to display the indicator 1735 in a size corresponding to a half of the display area.
  • the processor 220 may display the indicator 1735 on the display 231 together with the words 'approach a dangerous object' and 'evacuate' and a danger display icon.
  • An electronic device may include a sensor, a display including a first area and a second area, and at least one processor electrically connected to the sensor and the display.
  • the at least one processor acquires information about the external object through the sensor, determines the importance of the external object through the information, and the importance is less than the first importance or the information on the external object is not obtained controlling the display to display at least one augmented reality object or at least one virtual reality object in the first region in response to at least one of not to control the display to display the indicator in a first size in the second area, and in response to the importance being equal to or greater than the second importance, display the indicator in a second size larger than the first size, and at least At least one of the one augmented reality object or the at least one virtual reality object may be removed according to priority.
  • the at least one processor may control the display such that at least a portion of the indicator displayed in the second size is displayed on at least a portion of the first area.
  • the first region is a central region including a center of a display region on which a screen is displayed by the display, and the second region is a region surrounding the first region among the display regions. It may be a peripheral area.
  • the information on the external object includes location information and speed information of the external object
  • the at least one processor obtains the speed information of the electronic device through the sensor, , the importance of the external object may be determined using at least one of the information on the external object and the information on the electronic device.
  • the at least one processor acquires field of view (FOV) information of the electronic device through the sensor, and determines that the external object exists within the FOV of the electronic device
  • the display may be controlled to remove the at least one augmented reality object or the at least one virtual reality object, and the indicator.
  • FOV field of view
  • the at least one processor in response to a transition from a state in which the importance of the external object is greater than or equal to a second importance to a state less than the second importance, is the removed at least one augmented reality
  • the display may be controlled to display the object or at least one virtual reality object and the removed indicator again.
  • the at least one processor displays a pop-up window for selecting whether to display the removed at least one augmented reality object or the at least one virtual reality object again in the first area.
  • the display can be controlled to do so.
  • the information on the external object includes relative direction information in which the external object is located with respect to the electronic device, and the at least one processor is configured to:
  • the display may be controlled to display an image taken from the rear at the upper end of the second region.
  • the information on the external object includes a quantity value indicating the quantity of the external object
  • the at least one processor is configured to: The at least one augmented reality object or the at least one virtual reality object may be removed.
  • At least one of a speaker and a haptic module electrically connected to the at least one processor, wherein the at least one processor determines that the importance of the external object is the second When the importance is greater than 1, a notification may be output through at least one of the speaker or the haptic module.
  • An operation method of an electronic device includes an operation of acquiring information about an external object through a sensor, an operation of determining the importance of the external object through the information, and the importance is less than a first importance or the external object
  • displaying the indicator in the second size on the display may include displaying at least a part of the indicator on at least a part of the first area. there is.
  • the first area of the display is a central area including a center of a display area on which a screen is displayed by the display, and the second area is the display area. It may be a peripheral area surrounding the first area.
  • the information on the external object includes position information and speed information of the external object
  • the electronic device through the sensor may include an operation of acquiring speed information of there is.
  • the method of operating an electronic device includes obtaining field of view (FOV) information of the electronic device through the sensor, and responding to determining that the external object exists within the FOV of the electronic device
  • the method may include removing the at least one augmented reality object, the at least one virtual reality object, and the indicator from the display.
  • the method of operating an electronic device includes, in response to transition from a state in which the importance of the external object is greater than or equal to the second importance to a state less than the second importance, the at least one augmented reality object removed from the display.
  • the operation may include displaying at least one virtual reality object and the removed indicator again.
  • the operation of acquiring information about the external object includes relative direction information in which the external object is located with respect to the electronic device, and the direction When the information is the rear, the operation may include displaying an image photographed from the rear on the upper end of the second area of the display.
  • the method in the operation of acquiring information on the external object, the information on the external object includes a quantity value indicating the quantity of the external object, and the quantity value of the external object When it is equal to or greater than this reference quantity value, the method may include removing the at least one augmented reality object or the at least one virtual reality object from the display.
  • the method of operating an electronic device includes outputting a notification through at least one of a speaker and a haptic module included in the electronic device when the importance of the external object is equal to or greater than the first importance can do.
  • the electronic device 1801 communicates with the electronic device 1802 through a first network 1898 (eg, a short-range wireless communication network) or a second network 1899 . It may communicate with the electronic device 1804 or the server 1808 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 1801 may communicate with the electronic device 1804 through the server 1808 .
  • a first network 1898 eg, a short-range wireless communication network
  • a second network 1899 e.g., a second network 1899
  • the electronic device 1804 or the server 1808 eg, a long-distance wireless communication network
  • the electronic device 1801 may communicate with the electronic device 1804 through the server 1808 .
  • the electronic device 1801 includes a processor 1820 , a memory 1830 , an input module 1850 , a sound output module 1855 , a display module 1860 , an audio module 1870 , and a sensor module ( 1876), interface 1877, connection terminal 1878, haptic module 1879, camera module 1880, power management module 1888, battery 1889, communication module 1890, subscriber identification module 1896 , or an antenna module 1897 .
  • at least one of these components eg, the connection terminal 1878
  • some of these components are integrated into one component (eg, display module 1860). can be
  • the processor 1820 executes software (eg, a program 1840) to execute at least one other component (eg, a hardware or software component) of the electronic device 1801 connected to the processor 1820. It can control and perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 1820 stores commands or data received from other components (eg, the sensor module 1876 or the communication module 1890) into the volatile memory 1832 . may store the command or data stored in the volatile memory 1832 , and store the resulting data in the non-volatile memory 1834 .
  • software eg, a program 1840
  • the processor 1820 stores commands or data received from other components (eg, the sensor module 1876 or the communication module 1890) into the volatile memory 1832 .
  • the processor 1820 stores commands or data received from other components (eg, the sensor module 1876 or the communication module 1890) into the volatile memory 1832 . may store the command or data stored in the volatile memory 1832 , and store the resulting data in the
  • the processor 1820 is the main processor 1821 (eg, a central processing unit or an application processor) or a secondary processor 1823 (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 1821 e.g, a central processing unit or an application processor
  • a secondary processor 1823 e.g, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the main processor 1821 e.g, a central processing unit or an application processor
  • a secondary processor 1823 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • image signal processor e.g., a sensor hub processor, or a communication processor.
  • the electronic device 1801 includes a main processor 1821 and a sub-processor 1823
  • the coprocessor 1823 may be, for example, on behalf of the main processor 1821 while the main processor 1821 is in an inactive (eg, sleep) state, or when the main processor 1821 is active (eg, executing an application). ), together with the main processor 1821, at least one of the components of the electronic device 1801 (eg, the display module 1860, the sensor module 1876, or the communication module 1890) It is possible to control at least some of the related functions or states.
  • the coprocessor 1823 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 1880 or the communication module 1890). there is.
  • the auxiliary processor 1823 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 1801 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 1808).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 1830 may store various data used by at least one component of the electronic device 1801 (eg, the processor 1820 or the sensor module 1876 ).
  • the data may include, for example, input data or output data for software (eg, a program 1840 ) and commands related thereto.
  • the memory 1830 may include a volatile memory 1832 or a non-volatile memory 1834 .
  • the program 1840 may be stored as software in the memory 1830 , and may include, for example, an operating system 1842 , middleware 1844 , or an application 1846 .
  • the input module 1850 may receive a command or data to be used in a component (eg, the processor 1820 ) of the electronic device 1801 from the outside (eg, a user) of the electronic device 1801 .
  • the input module 1850 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 1855 may output a sound signal to the outside of the electronic device 1801 .
  • the sound output module 1855 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver may be used to receive an incoming call. According to an embodiment, the receiver may be implemented separately from or as a part of the speaker.
  • the display module 1860 may visually provide information to the outside (eg, a user) of the electronic device 1801 .
  • the display module 1860 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 1860 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 1870 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 1870 acquires a sound through the input module 1850 or an external electronic device (eg, a sound output module 1855 ) directly or wirelessly connected to the electronic device 1801 . A sound may be output through the electronic device 1802 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output module 1855
  • a sound may be output through the electronic device 1802 (eg, a speaker or headphones).
  • the sensor module 1876 detects an operating state (eg, power or temperature) of the electronic device 1801 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 1876 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1877 may support one or more specified protocols that may be used for the electronic device 1801 to directly or wirelessly connect with an external electronic device (eg, the electronic device 1802).
  • the interface 1877 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 1878 may include a connector through which the electronic device 1801 can be physically connected to an external electronic device (eg, the electronic device 1802 ).
  • the connection terminal 1878 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1879 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 1879 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1880 may capture still images and moving images. According to an embodiment, the camera module 1880 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1888 may manage power supplied to the electronic device 1801 .
  • the power management module 1888 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1889 may supply power to at least one component of the electronic device 1801 .
  • the battery 1889 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1890 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1801 and an external electronic device (eg, the electronic device 1802, the electronic device 1804, or the server 1808). It can support establishment and communication performance through the established communication channel.
  • the communication module 1890 may include one or more communication processors that operate independently of the processor 1820 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 1890 may include a wireless communication module 1892 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1894 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • a corresponding communication module among these communication modules is a first network 1898 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 1899 (eg, legacy).
  • the wireless communication module 1892 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1896 within a communication network, such as the first network 1898 or the second network 1899 .
  • the electronic device 1801 may be identified or authenticated.
  • the wireless communication module 1892 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 1892 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 1892 uses various techniques for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 1892 may support various requirements specified in the electronic device 1801 , an external electronic device (eg, the electronic device 1804 ), or a network system (eg, the second network 1899 ).
  • the wireless communication module 1892 provides a peak data rate (eg, 20 Gbps or more) for realization of eMBB, loss coverage (eg, 164 dB or less) for realization of mMTC, or U-plane latency ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 1897 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 1897 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 1897 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 1898 or the second network 1899 is connected from the plurality of antennas by, for example, the communication module 1890 . can be selected. A signal or power may be transmitted or received between the communication module 1890 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 1897 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a specified high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • a command or data may be transmitted or received between the electronic device 1801 and the external electronic device 1804 through the server 1808 connected to the second network 1899 .
  • Each of the external electronic devices 1802 or 1804 may be the same or a different type of the electronic device 1801 .
  • all or part of operations performed by the electronic device 1801 may be executed by one or more external electronic devices 1802 , 1804 , or 1808 .
  • the electronic device 1801 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1801 .
  • the electronic device 1801 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 1801 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 1804 may include an Internet of things (IoT) device.
  • IoT Internet of things
  • the server 1808 may be an intelligent server using machine learning and/or neural networks. According to an embodiment, the external electronic device 1804 or the server 1808 may be included in the second network 1899 .
  • the electronic device 1801 may be applied to an intelligent service (eg, a smart home, a smart city, a smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a laptop, a desktop, a tablet, or a portable multimedia device
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a smart watch
  • a home appliance device e.g., a smart bracelet
  • first”, “second”, or “first” or “second” may simply be used to distinguish the component from other components in question, and may refer to components in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, for example, and interchangeably with terms such as logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, a program 1840) including
  • a processor eg, processor 1820
  • a device eg, electronic device 1801
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the methods according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed online (eg download or upload), directly between smartphones (eg smartphones).
  • a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. .
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 문서의 일 실시 예에 따른 전자 장치(electronic device)는, 센서, 제1 영역 및 제2 영역을 포함하는 디스플레이, 및 상기 센서, 및 상기 디스플레이와 전기적으로 연결되는 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는, 상기 센서를 통해 외부 물체에 대한 정보를 획득하고, 상기 정보를 통해 상기 외부 물체의 중요도를 판단하고, 상기 중요도가 제1 중요도 미만이거나 상기 외부 물체에 대한 정보가 획득되지 않은 것 중 적어도 하나에 응답하여 상기 제1 영역에 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 표시하도록 상기 디스플레이를 제어하고, 상기 중요도가 상기 제1 중요도 이상이고 제2 중요도 미만인 것에 응답하여 상기 제2 영역에 인디케이터를 제1 크기로 표시하도록 상기 디스플레이를 제어하고, 상기 중요도가 상기 제2 중요도 이상인 것에 응답하여, 상기 인디케이터를 상기 제1 크기보다 큰 제2 크기로 표시하고, 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체 중 적어도 일부를 우선순위에 따라 제거할 수 있다.

Description

외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법
본 개시는 전자 장치의 외부 물체 인식에 따른 디스플레이 표시 기술에 관한 것이다.
증강현실(augmented reality, AR)은 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 기술을 의미한다. 가상현실(virtual reality, VR)은 실제 환경과 유사하나 실제로 존재하지 않는 가상의 환경을 컴퓨터와 같은 전자 장치를 이용하여 인공적으로 만들어내는 기술을 의미한다.
증강현실(AR) 및 가상현실(VR)은 대표적으로 머리 착용형 디스플레이(head mounted display, HMD)를 통해 구현될 수 있다. HMD는 사용자의 머리 부분에 장착하여 눈 앞에 직접 영상을 제시할 수 있는 디스플레이 장치이다.
HMD 디바이스를 착용한 사용자가 실외 또는 실내에서 활동하는 경우, 디스플레이에 표시되는 증강현실 객체 또는 가상현실 객체에 집중하여 외부 물체에 대한 인지도가 떨어질 수 있다. 예를 들어, HMD 디바이스를 착용한 사용자의 주변에서 빠르게 접근하는 위험 물체가 있는 경우, 증강현실 기술을 이용중인 사용자는 위험 물체를 인지하지 못해 사고가 발생할 수 있다.
본 문서의 일 실시 예에 따른 전자 장치(electronic device)는, 센서, 제1 영역 및 제2 영역을 포함하는 디스플레이, 및 상기 센서, 및 상기 디스플레이와 전기적으로 연결되고, 상기 센서를 통해 외부 물체에 대한 정보를 획득하고, 상기 정보를 통해 상기 외부 물체의 중요도를 판단하고, 상기 중요도가 제1 중요도 미만이거나 상기 외부 물체에 대한 정보가 획득되지 않은 것 중 적어도 하나에 응답하여 상기 제1 영역에 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 표시하도록 상기 디스플레이를 제어하고, 상기 중요도가 상기 제1 중요도 이상이고 제2 중요도 미만인 것에 응답하여 상기 제2 영역에 인디케이터를 제1 크기로 표시하도록 상기 디스플레이를 제어하고, 상기 중요도가 상기 제2 중요도 이상인 것에 응답하여, 상기 인디케이터를 상기 제1 크기보다 큰 제2 크기로 표시하고, 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체 중 적어도 일부를 우선순위에 따라 제거하도록 구성되는 적어도 하나의 프로세서를 포함할 수 있다.
본 문서의 일 실시 예에 따른 전자 장치의 동작 방법은, 센서를 통해 외부 물체에 대한 정보를 획득하는 동작, 상기 정보를 통해 상기 외부 물체의 중요도를 판단하는 동작, 상기 중요도가 제1 중요도 미만이거나 상기 외부 물체에 대한 정보가 획득되지 않은 것 중 적어도 하나에 응답하여 디스플레이의 제1 영역에 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 표시하는 동작, 상기 중요도가 상기 제1 중요도 이상이고 제2 중요도 미만인 것에 응답하여 상기 디스플레이의 제2 영역에 인디케이터를 제1 크기로 표시하는 동작, 및 상기 중요도가 상기 제2 중요도 이상인 것에 응답하여 상기 디스플레이에 상기 인디케이터를 상기 제1 크기보다 큰 제2 크기로 표시하고, 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체 중 적어도 일부를 우선순위에 따라 제거하는 동작을 포함할 수 있다.
본 문서에 개시되는 다양한 실시 예에 따르면, 전자 장치는 주변 환경에 대한 정보를 시각적으로 표현하여 외부 물체에 대한 사용자의 인지도를 향상시킬 수 있다. 특히 사용자는 주변에 위치하는 위험 물체를 직관적으로 인지할 수 있고, 따라서 미연의 사고를 방지하여 사용자의 안전을 확보할 수 있다.
본 개시에 따른 전자 장치는 외부 물체의 중요도에 따라 디스플레이에 표시하는 내용을 변화시키면서 사용자의 현실 인식에 도움을 줄 수 있다. 또한 본 개시에 따른 전자 장치는 사용자가 전방 또는 후방에서 접근하는 외부 물체, 다수의 외부 물체에 대해서도 인식할 수 있도록 도울 수 있다. 또한 다양한 상황에서 디스플레이에 서로 다른 화면을 표시함으로써, 사용자가 증강현실 또는 가상현실 기술을 효율적으로 이용할 수 있게 도울 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
도 1a은 일 실시 예에 따른 전자 장치를 나타낸다.
도 1b는 일 실시 예에 따른 전자 장치를 나타낸다.
도 1c는 일 실시 예에 따른 전자 장치를 나타낸다.
도 2는 일 실시 예에 따른 전자 장치의 블록도(block diagram)이다.
도 3은 일 실시 예에 따른, 외부 물체에 연관된 정보를 디스플레이에 표시하는 방법을 도시하는 흐름도(flow chart)이다.
도 4는 일 실시 예에 따른, 외부 물체의 중요도에 따라 디스플레이에 표시되는 화면의 예를 도시한다.
도 5는 일 실시 예에 따른, 외부 물체가 전자 장치의 FOV(Field of View) 내에 존재하는 경우 디스플레이에 영상을 표시하는 방법을 도시하는 흐름도이다.
도 6는 일 실시 예에 따른, 외부 물체가 전자 장치의 FOV 내에 존재하는 경우 디스플레이에 표시되는 화면의 예를 도시한다.
도 7은 일 실시 예에 따른, 외부 물체가 전자 장치의 후방에 위치하는 경우 디스플레이에 영상을 표시하는 방법을 도시하는 흐름도이다.
도 8은 일 실시 예에 따른, 외부 물체가 전자 장치의 후방에 위치하는 경우 디스플레이에 표시되는 화면의 예를 도시한다.
도 9는 일 실시 예에 따라 외부 물체의 수량 값이 기준 수량 값 이상인 경우 디스플레이에 영상을 표시하는 방법을 도시하는 흐름도이다.
도 10은 일 실시 예에 따라 외부 물체의 수량 값이 기준 수량 값 이상인 경우 디스플레이에 표시되는 화면의 예를 도시한다.
도 11은 일 실시 예에 따른, 가상현실(VR) 객체를 표시하는 전자 장치에서 외부 물체의 중요도를 디스플레이에 영상을 표시하는 방법을 도시하는 흐름도이다.
도 12는 일 실시 예에 따른, 가상현실 객체를 표시하는 전자 장치에서 외부 물체의 중요도에 따라 디스플레이에 표시되는 화면의 예를 도시한다.
도 13은 일 실시 예에 따른, 사용자의 선호도를 디스플레이에 표시하는 방법을 도시하는 흐름도이다.
도 14는 일 실시 예에 따른, 사용자의 선호도에 따라 디스플레이에 표시되는 화면의 예를 도시한다.
도 15는 일 실시 예에 따라 외부 기기의 프로파일 정보를 획득하여 디스플레이에 표시하는 방법을 도시하는 흐름도이다.
도 16은 일 실시 예에 따라 외부 기기의 프로파일 정보를 획득하여 디스플레이에 표시되는 화면의 예를 도시한다.
도 17은, 일 실시 예에 따른, 외부 물체의 중요도에 따라 디스플레이에 표시되는 인디케이터의 예를 도시한다.
도 18은, 다양한 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
다양한 실시 예에 따르면, 본 개시의 전자 장치는 웨어러블 전자 장치로, 사용자의 머리에 장착되어 머리의 움직임에 따라 장치의 움직임이 발생하는 HMD(head mounted display) 장치(예: 스마트 글라스)를 포함할 수 있다.
도 1a은 일 실시 예에 따른 전자 장치를 나타낸다.
일 실시 예에 따르면, 전자 장치(100)는 안경의 형태를 갖는 스마트 글라스로, 템플(110) 및 렌즈(120)를 포함할 수 있다.
일 실시 예에서, 전자 장치(100)의 템플(110)은 프로젝터(111) 및 프리즘(미도시)을 포함할 수 있다. 일 실시 예에서, 프로젝터(111)는 프리즘(미도시)을 향해 데이터를 포함하는 빔을 방출하고, 프리즘으로부터 굴절된 빔은 렌즈(120)에 표시될 수 있다.
일 실시 예에서, 프로젝터(111)는 프로세서를 통해 영상을 디스플레이할 수 있다. 일 실시 예에서, 전자 장치(100)를 착용한 사용자는 렌즈(120)를 통해 실제 환경과 프로젝터(111)가 방출하는 데이터 정보를 함께 확인할 수 있다. 이를 통해 전자 장치(100)는 현실 환경에 대한 증강 현실(AR)을 구현할 수 있다.
도 1b는 일 실시 예에 따른 전자 장치를 나타낸다.
일 실시 예에 따르면, 전자 장치(101)는 메인 프레임(130)과 메인 프레임(130)에 연결되어 신체의 일부(예: 머리)에 고정시키기 위한 착용 파트(140), 얼굴에 접촉하는 페이스 폼(150)을 포함할 수 있다.
일 실시 예에 따르면, 메인 프레임(130)은 사용자의 얼굴 중 적어도 일부에 착용될 수 있고, 다양한 구성 요소에 의해 사용자의 얼굴에 지지될 수 있다. 일 실시 예에서, 착용 파트(140)는 탄성 소재로 형성된 밴드의 길이를 조절하여 메인 프레임(130)이 사용자 얼굴의 눈 주위로 밀착되게 할 수 있고, 밴드에는 장시간의 착용을 고려하여 편안한 착용감을 제공하고자 쿠션들이 부착될 수 있다.
일 실시 예에서, 메인 프레임(130)의 후면은 사용자의 얼굴에 접촉되는 부분으로서, 사용자의 얼굴의 굴곡에 대응하는 구조를 가질 수 있고, 탄성체를 적어도 일부 포함할 수 있다. 일 실시 예에서, 상기 탄성체는 페이스 폼(150)이 사용자의 얼굴에 접촉될 시, 편안한 착용감을 제공할 수 있도록 적어도 하나 이상의 쿠션 재질(예: 스폰지)을 사용할 수 있다.
일 실시 예에서, 메인 프레임(130)은 전면에 디스플레이(131)를 포함할 수 있다. 일 실시 예에서, 메인 프레임(130)에는 렌즈 부(132)가 배치될 수 있고, 사용자는 렌즈 부(132)를 통해 디스플레이(131)에 표시되는 영상을 시청할 수 있다. 일 실시 예에서, 디스플레이(131)는 렌즈 부(132)의 왼쪽 렌즈와 오른쪽 렌즈에 대해 각각 다른 영상을 표시할 수 있다. 예를 들어, 디스플레이(131)에 있어서 렌즈 부(132)의 왼쪽 렌즈를 통해 보이는 디스플레이(131)는 사용자의 왼쪽 눈으로 전달할 좌안 영상을 표시하고, 렌즈 부(132)의 오른쪽 렌즈를 통해 보이는 디스플레이(131)는 사용자의 오른쪽 눈으로 전달할 우안 영상을 표시할 수 있다. 디스플레이(131)는 각각 다른 좌안 영상 및 우안 영상을 표시함으로써, 사용자로 하여금 입체감을 느끼게 할 수 있다. 이를 통해 전자 장치(101)는 가상의 3차원 공간 내에 가상 현실(VR) 또는 증강 현실(AR)을 구현할 수 있다.
일 실시 예에서, 전자 장치(101)는 초점 조절 부(133)의 조절에 의해 디스플레이(131)에 표시되는 영상을 선명하게 조절하여 사용자에게 제공할 수 있다. 일 실시 예에서, 초점 조절 부(133)는 휠(wheel) 또는 다이얼(dial) 형태로 구성될 수 있다.
도 1c는 일 실시 예에 따른 전자 장치를 나타낸다.
도 1c를 참조하면, 전자 장치(102)는 외부 전자 장치(199)를 결합할 수 있는 웨어러블 전자 장치일 수 있다.
일 실시 예에서, 메인 프레임(130)은 사용자가 편안한 착용감을 느낄 수 있을 정도로 가벼우면서도 외부 전자 장치(199)를 지지할 수 있는 재료(예: 플라스틱)로 구성될 수 있다. 일 실시 예에서, 메인 프레임(130)의 전면에 외부 전자 장치(199)를 결합할 수 있는 공간이나 구조를 포함하는 안착부(134)를 형성할 수 있다. 메인 프레임(130)의 안착부(134)는 외부 전자 장치(199)의 외형에 대응할 수 있다.
일 실시 예에서, 전자 장치(102)는 메인 프레임(130)에 외부 전자 장치(199)의 단말기를 체결한 상태에서 단말기를 메인 프레임(130)에 더욱 견고하게 지지하도록 결합되는 커버(160)를 포함할 수 있다. 일 실시 예에서, 커버(160)는 메인 프레임(130)에 물리적인 결합(예: 후크)을 하거나, 자석이나 전자석을 이용하여 결합할 수 있다.
도 2는 일 실시 예에 따른 전자 장치(200)의 블록도이다.
도 2를 참조하면, 전자 장치(200)는 센서(210), 프로세서(220), 출력 모듈(230), 무선 통신 모듈(240), 전원(250), 메모리(260)를 포함할 수 있다. 본 문서에서 “모듈”이라 함은 소정 기능을 수행하기 위한 하드웨어 또는 회로(circuitry)를 포함하는 것으로 이해될 수 있다.
일 실시 예에 따르면, 도 2의 전자 장치(200)는 도 1a 내지 도 1c에서 언급한 전자 장치(100), 전자 장치(101), 또는 전자 장치(102)에 해당할 수 있다. 일 실시 예에서, 전자 장치(200)가 도 1a에서 언급한 전자 장치(100)로 참조되는 경우, 디스플레이(231)는 전자 장치(100)의 렌즈(120)로 이해될 수 있다. 일 실시 예에서, 전자 장치(200)가 도 1b에서 언급한 전자 장치(101)로 참조되는 경우, 디스플레이(231)는 전자 장치(101)의 메인 프레임(130)의 전면에 위치한 디스플레이(131)로 이해될 수 있다. 일 실시 예에서, 전자 장치(200)가 도 1c에서 언급한 전자 장치(102)로 참조되는 경우, 디스플레이(231)는 외부 전자 장치(199)의 디스플레이로 이해될 수 있다.
일 실시 예에 따르면, 센서(210)는 시각 센서(211), 오디오 센서(212), 가속도 센서(213)를 포함할 수 있다.
일 실시 예에 따르면, 시각 센서(211)는 카메라, TOF, lidar를 포함할 수 있다. 시각 센서(211)는 전자 장치(200)의 전방 및 후방에 위치할 수 있다. 시각 센서(211)는 전자 장치(200)의 움직임에 따라 변화하는 주변 환경에 대한 정지 영상 및 동영상을 촬영할 수 있다. 프로세서(220)는 시각 센서(211)를 통해 주변 환경의 공간을 인식하고 평면의 변화를 인식하여, 전자 장치(200)를 기준으로 외부 물체의 위치 및 전자 장치(200)와의 거리를 측정할 수 있다.
일 실시 예에 따르면, 오디오 센서(212)는 마이크로폰을 포함할 수 있다. 오디오 센서(212)는 주변의 오디오 레벨을 측정할 수 있고, 프로세서(220)는 오디오 데이터를 외부 물체의 위치 및 외부 물체의 이동 방향을 측정하는 데에 이용할 수 있다. 예를 들면, 프로세서(220)는 오디오 센서(212)를 통해 입력되는 오디오 데이터의 시간 차를 분석하여 외부 물체의 위치 및 방향을 검출할 수 있고, 오디오 데이터의 세기 변화를 통해 외부 물체의 접근 여부를 검출할 수 있다.
일 실시 예에 따르면, 가속도 센서(213)는 전자 장치(200)의 속도 변화나 운동량의 변화를 측정할 수 있다. 예를 들면, 프로세서(220)는 시각 센서(211)와 오디오 센서(212)를 통해 획득한 외부 물체의 위치, 속도 정보와 가속도 센서(213)를 통해 획득한 전자 장치(200)의 이동 속도 정보를 이용하여, 전자 장치(200)에 대한 외부 물체의 상대 위치, 상대 속도를 계산할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 적어도 하나의 프로세서를 포함하는 것으로 이해될 수 있다. 예를 들어, 프로세서(220)는 AP(application processor), ISP(image signal processor), CP(communication processor) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 상기 센서를 통해 획득한 정보를 이용하여 외부 물체의 중요도를 판단할 수 있다. 프로세서(220)는 상기 중요도에 따라 디스플레이(231)에 서로 다른 화면을 표시할 수 있다.
일 실시 예에 따르면, 출력 모듈(230)은 디스플레이(231), 스피커(232), 햅틱 모듈(233)을 포함할 수 있다.
일 실시 예에 따르면, 디스플레이(231)는 제1 영역 및 제2 영역을 포함하는 디스플레이 영역에 영상을 디스플레이할 수 있다. 제1 영역은 상기 디스플레이(231)에 의해 화면이 표시되는 디스플레이 영역의 중심을 포함하는 중심 영역이고, 제2 영역은 상기 디스플레이 영역 중에서 상기 제1 영역을 둘러싸는 주변 영역에 해당할 수 있다. 프로세서(220)는 제1 영역과 제2 영역에 서로 다른 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 프로세서(220)는 제1 영역에는 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있고, 제2 영역에는 인디케이터를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 디스플레이(231)의 제1 영역과 제2 영역은 물리적으로 분리되어 있지 않을 수 있다. 제1 영역과 제2 영역을 구분하는 경계는 시각적으로 표시되지 않을 수 있다. 제1 영역과 제2 영역은 사용자의 설정에 의해 영역의 넓이가 조절될 수 있다.
일 실시 예에 따르면, 스피커(232)는 소리를, 햅틱 모듈(233)은 진동을 출력할 수 있다. 예를 들면, 프로세서(220)는 외부 물체의 중요도가 제1 중요도 이상이라고 판단한 경우, 스피커(232) 및 햅틱 모듈(233) 중 적어도 하나를 통해 추가적인 알림을 출력할 수 있다. 일 실시 예에서, 프로세서(220)는 외부 물체의 중요도가 제2 중요도 이상이라고 판단한 경우, 디스플레이(231)에 인디케이터를 표시하면서 스피커(232)를 통해 경고음을 출력하거나, 또는 햅틱 모듈(233)을 통해 진동을 출력할 수 있다. 스피커(232) 또는 햅틱 모듈(233) 중 적어도 하나의 추가적인 알림을 통해 사용자의 외부 물체에 대한 인지도가 더욱 향상될 수 있다.
일 실시 예에 따르면, 무선 통신 모듈(240)은 Wifi(241) 및/또는 GPS(242)를 포함할 수 있다. 일 실시 예에서, 전자 장치(200)는 Wifi(241)를 통해 무선 네트워크에 접속하여 외부 전자 장치(예: 스마트폰)와 데이터를 주고받을 수 있다. 예를 들면, 사용자의 SNS 정보를 받아 외부 기기의 프로파일 정보를 획득할 수 있다. 일 실시 예에서, 전자 장치(200)는 GPS(242)를 통해 전자 장치(200)의 위치를 계산할 수 있다.
일 실시 예에 따르면, 전원(250)은 전자 장치(200)에 전원을 공급하여 전자 장치(200)를 작동할 수 있다. 전원(250)은 재충전이 가능한 2차 전지일 수 있다.
일 실시 예에 따르면, 메모리(260)는 SLAM(261), 디스플레이 컨트롤러(262)를 포함할 수 있다. 일 실시 예에서 SLAM(261)은 전자 장치(200)의 주변 환경을 인식하여 공간의 지도를 작성하고, 그 공간 내에서 전자 장치(200)의 위치를 파악할 수 있다. 일 실시 예에서, 디스플레이 컨트롤러(262)는 디스플레이(231)에 표시할 비디오 시그널을 생성할 수 있다.
도 3은 일 실시 예에 따른, 외부 물체에 연관된 정보를 디스플레이(231)에 표시하는 방법을 도시하는 흐름도이다. 도 3에서 설명되는 방법은, 도 2에 도시된 전자 장치(200) 또는 프로세서(220)에 의해 실행될 수 있다.
일 실시 예에 따르면, 동작 310에서, 프로세서(220)는 센서(210)를 통해 외부 물체에 대한 정보를 획득할 수 있다. 센서(210)에는 시각 센서(211), 오디오 센서(212), 가속도 센서(213)가 포함될 수 있다.
일 실시 예에 따르면, 프로세서(220)는 시각 센서(211)와 오디오 센서(212)를 통해 외부 물체의 위치 정보, 속도 정보를 획득하고, 가속도 센서(213)를 통해 전자 장치(200)의 속도 정보를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 센서(210)를 통해 전자 장치(200)에 대해 외부 물체가 위치한 상대적인 방향 정보를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 센서(210)를 통해 외부 물체의 수량 값 정보를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 그 외에도 외부 물체에 대한 사용자의 선호도 정보 또는 외부 기기의 프로파일 정보를 획득할 수 있다.
일 실시 예에 따르면, 동작 320에서, 프로세서(220)는 상기 외부 물체에 대한 정보를 이용하여, 외부 물체의 중요도를 판단할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 외부 물체의 위치 정보, 외부 물체의 속도 정보, 전자 장치(200)의 속도 정보 중 적어도 일부를 이용하여, 전자 장치(200)를 기준으로 하는 외부 물체의 상대 위치, 및 상대 속도를 획득할 수 있다. 프로세서(220)는 외부 물체의 상대 위치, 상대 속도 중 적어도 하나의 정보를 이용하여 외부 물체의 중요도를 판단할 수 있다.
일 실시 예에 따르면, 외부 물체의 중요도는 제1 중요도, 제2 중요도를 기준으로 구분될 수 있다. 예를 들면, 외부 물체가 전자 장치(200)로부터 8m의 위치에서, 상대 속도 3km/h로 접근 중이라면, 프로세서(220)는 상기 외부 물체의 중요도가 제1 중요도 미만이라고 판단할 수 있다. 다른 예를 들면, 외부 물체가 전자 장치(200)로부터 4m의 위치에서, 상대 속도 5km/h로 접근 중이라면, 프로세서(220)는 상기 외부 물체의 중요도가 제1 중요도 이상, 제2 중요도 미만이라고 판단할 수 있다. 다른 예를 들면, 외부 물체가 전자 장치(200)로부터 1m의 위치에서, 상대 속도 10km/h로 접근 중이라면, 프로세서(220)는 상기 외부 물체의 중요도가 제2 중요도 이상이라고 판단할 수 있다. 다만 상기의 예들은 하나의 예시로서 통상의 기술자에 의해 구현될 수 있는 다양한 실시 예들이 가능하다.
일 실시 예에 따르면, 동작 330에서, 프로세서(220)는 외부 물체의 중요도가 제1 중요도 이상인지 여부를 판단할 수 있다.
일 실시 예에 따르면, 동작 340에서, 프로세서(220)는 외부 물체의 중요도가 제1 중요도 미만인 것에 응답하여, 제1 영역에 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 프로세서(220)는 외부 물체에 대한 정보가 획득되지 않은 경우에도 제1 영역에 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 이 때, 프로세서(220)는 제2 영역에는 증강현실 객체 또는 가상현실 객체를 표시하지 않도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 디스플레이(231)의 제1 영역에 표시될 수 있는 증강현실 객체 또는 가상현실 객체의 종류는 다양할 수 있다. 예를 들면, 전자 장치(200)에서 네비게이션 애플리케이션을 실행하는 경우, 프로세서(220)는 제1 영역에 목적지 정보, 이동 방향에 대한 정보, 도착 시간을 표시하는 시간 정보, 주위에 위치하는 가게에 대한 정보를 포함하는 적어도 하나의 증강현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 동작 350에서, 프로세서(220)는 제1 중요도 이상인 외부 물체의 중요도가 제2 중요도 이상인지 여부를 판단할 수 있다.
일 실시 예에 따르면, 동작 360에서, 프로세서(220)는 외부 물체의 중요도가 제1 중요도 이상이고 제2 중요도 미만인 것에 응답하여, 제2 영역에 인디케이터를 제1 크기로 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제2 영역에 표시되는 인디케이터를 상기 외부 물체의 방향과 대응하는 방향에 표시하도록 디스플레이(231)를 제어할 수 있다. 프로세서(220)는 디스플레이(231)에 인디케이터의 색상, 밝기를 다양하게 표시할 수 있다.
일 실시 예에 따르면, 제2 영역에 인디케이터를 제1 크기로 표시하면서, 제1 영역에는 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 계속하여 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 동작 370에서, 프로세서(220)는 외부 물체의 중요도가 제2 중요도 이상인 것에 응답하여, 상기 인디케이터를 제1 크기보다 큰 제2 크기로 표시하고, 제1 영역에 표시되고 있는 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체 중 적어도 일부를 우선순위에 따라 제거하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제2 크기로 표시되는 인디케이터의 적어도 일부가 제1 영역의 적어도 일부에 표시되도록 디스플레이(231)를 제어할 수 있다. 따라서, 프로세서(220)는 제1 영역의 적어도 일부와 제2 영역의 적어도 일부에 제2 크기의 인디케이터를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 인디케이터를 반투명하게 표시하여, 제1 영역에 표시하고 있는 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체와 겹쳐서 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 외부 물체의 중요도가 제2 중요도 이상인 경우, 제1 영역에서 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체의 적어도 일부를 우선순위에 따라 제거하도록 디스플레이(231)를 제어할 수 있다. 사용자는 디스플레이(231)를 통해 제공되는 인디케이터의 크기는 증가하고, 증강현실 객체 또는 가상현실 객체의 개수가 감소함에 따라, 주변 환경에 집중할 수 있고, 외부 물체로부터 대피할 수 있다.
일 실시 예에 따르면, 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체의 우선순위는, 증강현실 또는 가상현실 객체를 제공하는 애플리케이션에서 사전에 설정한 우선순위이거나, 사용자가 설정한 우선순위일 수 있다.
일 실시 예에 따르면, 프로세서(220)는 외부 물체의 중요도가 제2 중요도에서 더 높아질수록, 제1 영역에 표시되고 있는 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 더 많이 제거하도록 디스플레이(231)를 제어할 수 있다. 자세한 내용은 도 4에서 후술한다.
도 4는 일 실시 예에 따른, 외부 물체의 중요도에 따라 디스플레이(231)에 표시되는 화면의 예를 도시한다.
도 4에 도시된 화면 중 증강현실 객체(413, 414, 415, 416), 인디케이터(425, 435, 445)는 프로세서(220)가 디스플레이(231)에 표시한 화면이고, 그 외의 배경(예: 빌딩, 도로 등)은 디스플레이(231) 너머의 현실 장면을 의미할 수 있다. 사용자는 투명 또는 반투명한 디스플레이(231)를 통해 현실의 장면을 보면서, 디스플레이(231)에 표시된 증강현실 객체(413, 414, 415, 416) 또는 인디케이터(425, 435, 445) 중 적어도 일부를 제공받을 수 있다.
일 실시 예에 따르면, 참조번호 410은, 외부 물체의 중요도가 제1 중요도 미만이거나, 외부 물체에 대한 정보가 획득되지 않은 경우, 디스플레이(231)에 표시되는 화면의 예시이다. 이 때 디스플레이(231)에 표시되는 화면은 제1 영역(411)과 제2 영역(412)을 포함할 수 있다.
일 실시 예에 따르면, 제1 영역(411)은 화면이 표시되는 디스플레이 영역의 중심을 포함하는 중심 영역이고, 제2 영역(412)은 상기 디스플레이 영역 중에서 제1 영역(411)을 둘러싸는 주변 영역일 수 있다.
일 실시 예에 따르면, 프로세서(220)는 외부 물체의 중요도가 제1 중요도 미만인 경우, 제1 영역(411)에 증강현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 프로세서(220)는 제1 영역(411)에 목적지 정보(413), 이동 방향에 대한 정보(414), 도착 시간을 표시하는 시간 정보(415), 주위에 위치하는 가게들에 대한 정보(416)를 포함하는 증강현실 객체들을 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 외부 물체의 중요도가 제1 중요도 미만인 경우, 제2 영역(412)에는 증강현실 객체를 표시하지 않도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 참조번호 420은, 외부 물체의 중요도가 제1 중요도 이상이고 제2 중요도 미만인 경우, 디스플레이(231)에 표시되는 화면의 예시이다.
일 실시 예에 따르면, 프로세서(220)는 제1 영역(421)에 참조번호 410의 경우와 같은 개수의 증강현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 다른 실시 예에 따르면, 프로세서(220)는 영상(420)에 포함된 증강현실 객체들 중 일부를 포함하지 않는 영상을 표시하도록 디스플레이(231)를 제어할 수도 있다.
일 실시 예에 따르면, 프로세서(220)는 제2 영역(422)의 적어도 일부에 인디케이터(425)를 제1 크기로 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 외부 물체가 사용자의 왼쪽에 위치하는 경우 프로세서(220)는 제2 영역(422)의 왼쪽에 인디케이터(425)를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 디스플레이(231)에 표시되는 인디케이터(425)의 색상, 밝기는 다양할 수 있다. 예를 들면, 인디케이터(425)는 반투명하고 빨간 색의 박스(box) 형태일 수 있다.
일 실시 예에 따르면, 참조번호 430은, 외부 물체의 중요도가 제2 중요도 이상인 경우, 디스플레이(231)에 표시되는 화면의 예시이다.
일 실시 예에 따르면, 프로세서(220)는 디스플레이(231)에 제2 크기로 표시되는 인디케이터(435)를 제2 영역(432)의 적어도 일부 및 제1 영역(431)의 적어도 일부에 표시하도록 디스플레이(231)를 제어할 수 있다. 프로세서(220)는 외부 물체의 중요도가 제2 중요도 이상인 경우, 제1 크기보다 큰 제2 크기로 인디케이터(435)를 표시할 수 있고, 인디케이터(435)의 적어도 일부를 제1 영역(431)의 적어도 일부에 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제1 영역(421)에 표시하고 있는 다수의 증강현실 객체 중 적어도 일부를 우선순위에 따라 제거하여 참조번호 431과 같이 표시하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 프로세서(220)는 목적지 정보(433), 이동 방향에 대한 정보(434)를 포함하는 증강현실 객체는 계속하여 제1 영역(431)에 표시하고, 도착 시간을 표시하는 시간 정보(415), 주위에 위치하는 가게들에 대한 정보(416)를 포함하는 증강현실 객체는 우선순위가 낮아 제거하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 참조번호 440은, 외부 물체의 중요도가 참조번호 430의 경우보다 높은 경우, 디스플레이(231)에 표시되는 화면의 예시이다. 예를 들면, 프로세서(220)는 전자 장치(200)로부터 5m의 위치에서 30km/h로 접근하던 자전거에 대해 제2 중요도 이상이라고 판단할 수 있다. 이 때, 상기 자전거가 전자 장치(200)로부터 1m의 위치에서 50km/h로 접근하는 경우, 프로세서(220)는 상기 자전거의 중요도가 더 증가한 것으로 판단할 수 있다.
일 실시 예에 따르면, 외부 물체의 중요도가 계속하여 증가하면, 프로세서(220)는 인디케이터(445)의 크기를 더욱 크게 표시하도록 디스플레이(231)를 제어하고, 제1 영역(431)에서는 증강현실 객체를 순차적으로 제거할 수 있다. 외부 물체의 중요도가 매우 증가하는 경우, 프로세서(220)는 제1 영역(441)에서 모든 증강현실 객체를 제거하도록 디스플레이(231)를 제어할 수 있다.
도 5는 일 실시 예에 따른, 외부 물체가 전자 장치(200)의 FOV(Field of View) 내에 존재하는 경우 디스플레이(231)에 영상을 표시하는 방법을 도시하는 흐름도이다. 도 5에서 설명되는 방법은, 도 2에 도시된 전자 장치(200) 또는 프로세서(220)에 의해 실행될 수 있다.
일 실시 예에 따르면, 동작 510에서, 프로세서(220)는 센서(210)를 통해 전자 장치(200)의 FOV 정보를 획득하고, 외부 물체가 전자 장치(200)의 FOV 내에 존재하는지 여부를 판단할 수 있다. 외부 물체가 전자 장치(200)의 FOV 내에 존재하는 경우, 외부 물체가 사용자의 정면에 나타났으므로 빠르게 현실을 인식해야 하는 상황이거나, 디스플레이(231)에 표시되는 인디케이터를 통해 사용자가 외부 물체를 인식하고 외부 물체를 향해 시선을 이동한 상황일 수 있다.
일 실시 예에 따르면, 동작 520에서, 프로세서(220)는 외부 물체가 전자 장치(200)의 FOV 내에 존재하는 경우 인디케이터, 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체 중에서 적어도 하나를 제거하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 외부 물체가 사용자의 정면에 갑자기 나타난 경우에는 사용자가 정면에 위치하는 외부 물체를 빠르게 인지하고 대피할 필요가 있으므로, 전자 장치(200)는 디스플레이(231)에 표시되는 증강현실 객체 또는 가상현실 객체와 인디케이터를 모두 제거하여 사용자가 현실에 집중할 수 있도록 할 수 있다.
일 실시 예에 따르면, 사용자가 인디케이터를 통해 외부 물체를 인식하고 외부 물체를 향해 시선을 이동한 경우에는 사용자가 외부 물체를 정확히 인지하고 회피할 필요가 있으므로, 전자 장치(200)는 디스플레이(231)에 표시되는 증강현실 객체 또는 가상현실 객체와 인디케이터를 모두 제거할 수 있다.
일 실시 예에 따르면, 동작 530에서, 프로세서(220)는 상기 외부 물체의 중요도가 제2 중요도 이상인 상태에서 제2 중요도 미만인 상태로 천이되었음을 판단할 수 있다. 외부 물체의 중요도가 제2 중요도 미만인 상태로 천이된 경우에는 사용자가 빠르게 현실을 인식해야 하거나 외부 물체로부터 회피해야 할 필요성이 없을 수 있다.
일 실시 예에 따르면, 동작 540에서, 프로세서(220)는 외부 물체의 중요도가 제2 중요도 미만인 경우 디스플레이(231)에 동작 520에서 제거한 인디케이터를 다시 표시하고, 동작 520에서 제거한 증강현실 객체 또는 가상현실 객체를 다시 표시할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 동작 540에서 제1 영역에 증강현실 객체 또는 가상현실 객체를 다시 표시할지 여부를 선택할 수 있는 팝업창을 표시하도록 디스플레이(231)를 제어할 수 있다. 사용자는 상기 제거한 증강현실 객체 또는 가상현실 객체를 다시 제공받겠다고 선택하거나, 정면에 위치하는 외부 물체에 집중하기 위해서 증강현실 객체 또는 가상현실 객체를 제공받지 않겠다고 선택할 수 있다.
일 실시 예에 따르면, 외부 물체의 중요도가 제2 중요도 이상인 상태에서 제2 중요도 미만인 상태로 천이된 경우에는, 사용자가 외부 물체에 집중해야 하는 상황에서 벗어났다고 볼 수 있으므로, 동작 540과 같이 인디케이터와 증강현실 객체 또는 가상현실 객체를 다시 표시하도록 디스플레이(231)를 제어할 수 있다.
도 6는 일 실시 예에 따른, 외부 물체가 전자 장치(200)의 FOV 내에 존재하는 경우 디스플레이(231)에 표시되는 화면의 예를 도시한다. 일 실시 예에서, 외부 물체는 자동차(611)일 수 있다.
일 실시 예에 따르면, 참조번호 610은, 자동차(611)가 전자 장치(200)의 FOV 내에 존재하는 경우 디스플레이(231)에 표시되는 화면의 예시이다.
일 실시 예에 따르면, 자동차(611)가 사용자의 정면에 갑자기 나타난 경우, 사용자는 빠르게 현실을 인식하고 자동차(611)로부터 회피할 필요가 있으므로, 프로세서(220)는 제1 영역에서 증강현실 객체 또는 가상현실 객체와 인디케이터를 제거하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 프로세서(220)는 제1 영역에서 목적지 정보, 이동 방향에 대한 정보, 도착 시간을 표시하는 시간 정보, 주위에 위치하는 가게들에 대한 정보를 포함하는 증강현실 객체를 제거하도록 디스플레이(231)를 제어할 수 있고, 제1 크기 또는 제2 크기로 표시되고 있던 인디케이터를 제거하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 자동차(611)가 전자 장치(200)의 주변에 위치하여 프로세서(220)가 디스플레이(231)에 인디케이터를 표시하고, 사용자는 디스플레이(231)에 표시된 인디케이터를 보고 자동차(611)의 존재를 인식하여 자동차(611)를 향해 시선을 이동한 경우에는, 사용자가 자동차(611)를 정확히 인지하고 대피할 필요가 있으므로 프로세서(220)는 디스플레이(231)에서 증강현실 객체 또는 가상현실 객체와 인디케이터를 제거할 수 있다.
일 실시 예에 따르면, 참조번호 620은, 자동차(611)의 중요도가 제2 중요도 이상인 상태에서 제2 중요도 미만인 상태로 천이된 경우, 디스플레이(231)에 표시되는 화면의 예시이다.
일 실시 예에 따르면, 프로세서(220)는 제1 영역에 증강현실 객체를 다시 표시하고, 제2 영역에 인디케이터(621)를 다시 표시하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 프로세서(220)는 제1 영역에 목적지 정보(623), 이동 방향에 대한 정보(624), 도착 시간을 표시하는 시간 정보(625), 주위에 위치하는 가게들에 대한 정보(626)를 포함하는 증강현실 객체를 다시 표시하도록 디스플레이(231)를 제어할 수 있고, 제2 영역에 인디케이터(621)를 다시 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 센서(210)를 통해 외부 물체에 대한 정보를 다시 획득하고, 외부 물체에 대한 중요도를 다시 판단하여 제2 영역에 인디케이터(621)를 표시하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 프로세서(220)는 자동차(611)의 중요도가 제1 중요도 이상이고 제2 중요도 미만이라고 판단함에 따라 제2 영역에 인디케이터(621)를 제1 크기로 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 인디케이터(621)는, 프로세서(220)가 자동차(611)가 아닌 다른 외부 물체를 인식함에 따라 디스플레이(231)에 표시한 인디케이터(621)일 수 있다. 예를 들면, 프로세서(220)는 자동차(611)의 중요도가 제1 중요도 미만이라고 판단함에 따라 디스플레이(231)에 인디케이터를 표시하지 않았으나, 다른 외부 물체의 중요도가 제1 중요도 이상이고 제2 중요도 미만이라고 판단함에 따라 제2 영역에 제1 크기의 인디케이터(621)를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 참조번호 630은, 자동차(611)의 중요도가 제2 중요도 이상인 상태에서 제2 중요도 미만인 상태로 천이된 경우, 디스플레이(231)에 표시되는 화면의 또다른 예시이다.
일 실시 예에 따르면, 프로세서(220)는 제2 영역에는 인디케이터(631)를 다시 표시하도록 디스플레이(231)를 제어할 수 있고, 제1 영역에는 증강현실 객체를 다시 표시할지 여부를 사용자가 선택할 수 있는 팝업창(632)을 표시하도록 디스플레이(231)를 제어할 수 있다. 사용자는 팝업창(632)에 대하여 제1 영역에 증강현실 객체를 다시 표시하겠다고 선택하거나, 다시 표시하지 않겠다고 선택할 수 있다.
도 7은 일 실시 예에 따른, 외부 물체가 전자 장치(200)의 후방에 위치하는 경우 디스플레이(231)에 영상을 표시하는 방법을 도시하는 흐름도이다. 도 7에서 설명되는 방법은, 도 2에 도시된 전자 장치(200) 또는 프로세서(220)에 의해 실행될 수 있다.
일 실시 예에 따르면, 동작 710에서, 프로세서(220)는 시각 센서(211), 오디오 센서(212), 가속도 센서(213)를 통해 외부 물체의 위치 정보, 속도 정보, 전자 장치(200)의 속도 정보를 획득하고, 전자 장치(200)에 대해 외부 물체가 위치한 상대적인 방향 정보를 획득할 수 있다.
일 실시 예에 따르면, 동작 720에서, 프로세서(220)는 외부 물체의 위치 정보, 속도 정보, 전자 장치(200)의 속도 정보를 통해, 전자 장치(200)를 기준으로 외부 물체의 상대 위치, 상대 속도를 계산할 수 있고, 상기 상대 위치, 상대 속도 정보를 통해 상기 외부 물체의 중요도를 판단할 수 있다.
일 실시 예에 따르면, 동작 730에서, 프로세서(220)는 외부 물체가 전자 장치(200)의 후방에 위치하는 경우, 제2 영역 상단부에 후방을 촬영한 영상을 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 사용자는 제2 영역 상단부에 표시되는 후방 영상을 통해, 후방에서 접근하는 외부 물체를 직관적으로 인식할 수 있다.
도 8은 일 실시 예에 따른, 외부 물체가 전자 장치(200)의 후방에 위치하는 경우 디스플레이(231)에 표시되는 화면의 예를 도시한다.
일 실시 예에 따르면, 외부 물체는 오토바이로, 오토바이가 사용자의 후방에서 접근하는 상황일 수 있다.
일 실시 예에 따르면, 프로세서(220)는 센서(210)를 통해 오토바이의 위치 정보, 속도 정보를 획득하고, 전자 장치(200)의 속도 정보를 획득하고, 전자 장치(200)에 대해 오토바이가 위치한 상대적인 방향 정보를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 상기 오토바이의 위치 정보, 속도 정보 및 전자 장치(200)의 속도 정보를 이용하여, 오토바이의 중요도를 판단할 수 있다. 예를 들면, 오토바이가 전자 장치(200)로부터 3m의 위치에서, 70km/h의 속도로 사용자를 향해 접근하고 있는 경우, 프로세서(200)는 오토바이의 중요도가 제2 중요도 이상이라고 판단할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 오토바이가 전자 장치(200)의 후방에 위치하므로, 제2 영역 상단부에 후방에서 접근하는 오토바이가 포함된 영상(801)을 표시하도록 디스플레이(231)를 제어할 수 있다. 상기 영상은 전자 장치(200)의 후방에 위치하는 시각 센서(211)를 통해 획득한 영상일 수 있다.
일 실시 예에 따르면, 사용자는 디스플레이(231)에 표시된 후방을 촬영한 영상(801)을 통해 후방에서 외부 물체가 접근한다는 점을 인지할 수 있다. 전자 장치(200)는 디스플레이(231)를 통해 후방 촬영 영상(801)을 제공함으로써 사용자가 직관적으로 후방의 상황을 인식할 수 있도록 도울 수 있다. 사용자는 후방에서 오토바이가 접근하는 사실을 인지하고 대피할 수 있다.
도 9는 일 실시 예에 따라 외부 물체의 수량 값이 기준 수량 값 이상인 경우 디스플레이(231)에 영상을 표시하는 방법을 도시하는 흐름도이다. 도 9에서 설명되는 방법은, 도 2에 도시된 전자 장치(200) 또는 프로세서(220)에 의해 실행될 수 있다.
일 실시 예에 따르면, 동작 910에서, 프로세서(220)는 시각 센서(211), 오디오 센서(212), 가속도 센서(213)를 통해 외부 물체의 위치 정보, 속도 정보, 전자 장치(200)의 속도 정보를 획득하고, 외부 물체의 수량을 나타내는 수량 값을 획득할 수 있다.
일 실시 예에 따르면, 동작 920에서, 프로세서(220)는 외부 물체의 위치 정보, 속도 정보, 전자 장치(200)의 속도 정보를 통해 전자 장치(200)를 기준으로 하는 외부 물체의 상대 위치, 상대 속도를 계산할 수 있고, 상기 상대 위치, 상대 속도 정보를 통해 상기 외부 물체의 중요도를 판단할 수 있다.
일 실시 예에 따르면, 동작 930에서, 프로세서(220)는 외부 물체의 수량 값이 기준 수량 값 이상인 경우, 디스플레이(231)에서 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 제거할 수 있다.
일 실시 예에 따르면, 전자 장치(200)의 주위에 외부 물체가 다수 존재하는 경우, 사용자가 디스플레이(231)에 표시되는 증강현실 객체 또는 가상현실 객체에 방해받지 않고 현실 세계에 집중할 수 있도록, 프로세서(220)는 디스플레이(231)에서 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 제거할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 디스플레이(231)에서 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 제거하면서, 인디케이터는 제거하지 않도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 프로세서(220)는 제1 영역에 증강현실 객체 또는 가상현실 객체를 표시하지 않도록 디스플레이(231)를 제어하고, 제2 영역에는 외부 물체의 개수에 대응하는 인디케이터를 표시하도록 디스플레이(231)를 제어할 수 있다. 다른 예를 들면, 프로세서(220)는 제1 영역에 증강현실 객체 또는 가상현실 객체를 표시하지 않도록 디스플레이(231)를 제어하고, 제1 영역의 적어도 일부 및 제2 영역의 적어도 일부에 표시되는 제2 크기의 인디케이터 및 제2 영역에만 표시되는 제1 크기의 인디케이터를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 사용자는 전자 장치(200)로부터 외부 물체에 대응하는 인디케이터만 제공받고, 증강현실 객체 또는 가상현실 객체는 제공받지 않으므로, 사용자의 주변에 외부 물체가 다수 존재하는 현실에 집중할 수 있다.
도 10은 일 실시 예에 따라 외부 물체의 수량 값이 기준 수량 값 이상인 경우 디스플레이(231)에 표시되는 화면의 예를 도시한다.
일 실시 예에 따르면, 전자 장치(200)의 주변에 6개의 외부 물체가 존재하는 경우, 프로세서(220)는 센서(210)를 통해 외부물체들의 위치 정보, 속도 정보를 획득하고, 전자 장치(200)의 속도 정보를 획득하고, 외부 물체의 수량을 나타내는 수량 값을 획득할 수 있다. 예를 들면, 프로세서(220)는 외부 물체의 수량 값이 6이라는 정보를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 상기 외부 물체의 위치 정보, 속도 정보 및 전자 장치(200)의 속도 정보를 이용하여, 외부 물체들의 중요도를 각각 판단할 수 있다. 예를 들면, 프로세서(200)는 각 외부 물체의 중요도가 제1 중요도 이상이고 제2 중요도 미만이라고 판단할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 외부 물체의 수량 값이 기준 수량 값 이상인지 여부를 판단할 수 있다. 예를 들면, 기준 수량 값은 5일 수 있다. 프로세서(220)는 외부 물체의 수량 값이 6이고 기준 수량 값이 5이므로 외부 물체의 수량 값이 기준 수량 값 이상이라고 판단할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제1 영역에서 증강현실 객체들을 제거하도록 디스플레이(231)를 제어할 수 있다. 프로세서(220)는 제2 영역에는 제1 중요도 이상이고 제2 중요도 미만인 외부 물체들에 대응하여 6개의 인디케이터를 표시하도록 디스플레이(231)를 제어할 수 있다. 프로세서(220)는 제2 영역에 인디케이터마다 서로 다른 크기, 방향으로 표시하도록 디스플레이(231)를 제어할 수 있다.
도 11은 일 실시 예에 따른, 가상현실(VR) 객체를 표시하는 전자 장치(200)에서 외부 물체의 중요도를 디스플레이(231)에 영상을 표시하는 방법을 도시하는 흐름도이다. 도 11은, 도 3에서 설명된 방법을 가상현실 기기에 적용하는 방법이므로 도 3과 공통되는 설명은 생략한다. 일 실시 예에 따르면, 동작 1110, 1120, 1130, 1150은 도 3에 도시된 동작 310, 320, 330, 350에 대응할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 센서(210)를 통해 획득한 외부 물체에 대한 정보를 이용하여 외부 물체의 중요도를 판단할 수 있다. 가상현실 기기를 이용하는 경우에도 사용자 주변에 위치하는 외부 물체를 사용자가 인식할 필요가 있으므로, 도 3에서 설명되는 방법이 적용될 수 있다.
일 실시 예에 따르면, 동작 1140에서, 프로세서(220)는 외부 물체의 중요도가 제1 중요도 미만인 경우, 제1 영역에 적어도 하나의 가상현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 프로세서(220)는 외부 물체에 대한 정보가 획득되지 않는 경우에도 제1 영역에 적어도 하나의 가상현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 이 때, 프로세서(220)는 제2 영역에는 가상현실 객체를 표시하지 않도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 동작 1160에서, 프로세서(220)는 외부 물체의 중요도가 제1 중요도 이상이고 제2 중요도 미만인 경우, 제2 영역에 인디케이터를 제1 크기로 표시하도록 디스플레이(231)를 제어할 수 있다. 사용자는 제2 영역에 표시되는 인디케이터를 통해 주변에 외부 물체가 존재함을 인지할 수 있다.
일 실시 예에 따르면, 동작 1170에서, 프로세서(220)는 외부 물체의 중요도가 제2 중요도 이상인 경우, 디스플레이(231)에 인디케이터를 제1 크기보다 큰 제2 크기로 표시하고, 상기 적어도 하나의 가상현실 객체의 적어도 일부를 우선순위에 따라 제거할 수 있다. 사용자는 디스플레이(231)에 제2 크기로 표시되는 인디케이터를 통해 외부 물체를 인지할 수 있고, 외부 물체로부터 회피하거나 가상현실 기기의 이용을 중지할 수 있다.
도 12는 일 실시 예에 따른, 가상현실 객체를 표시하는 전자 장치(200)에서 외부 물체의 중요도에 따라 디스플레이(231)에 표시되는 화면의 예를 도시한다.
일 실시 예에 따르면, 참조번호 1210은, 외부 물체의 중요도가 제1 중요도 미만이거나 외부 물체에 대한 정보가 획득되지 않는 경우, 디스플레이(231)에 표시되는 화면의 예시이다. 프로세서(220)는 제1 영역에 가상현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, VR기기를 통해 게임 애플리케이션을 실행하는 경우, 프로세서(220)는 제1 영역에 목표물 정보(1211), 게이지 정보(1212), 처리할 목록에 대한 정보(1213)를 포함하는 가상현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 참조번호 1220은, 외부 물체의 중요도가 제1 중요도 이상이고 제2 중요도 미만인 경우, 디스플레이(231)에 표시되는 화면의 예시이다. 프로세서(220)는 제1 영역에는 가상현실 객체를 계속하여 표시하도록 디스플레이(231)를 제어하고, 제2 영역에는 인디케이터(1225)를 표시하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 프로세서(220)는 제1 영역에 목표물 정보(1221), 게이지 정보(1222), 처리할 목록에 대한 정보(1223)를 포함하는 가상현실 객체를 표시하도록 디스플레이(231)를 제어하고, 제2 영역에는 제1 크기의 인디케이터(1225)를 표시하도록 디스플레이(231)를 제어할 수 있다. 외부 물체가 전자 장치(200)의 왼쪽에서 접근하는 경우, 제2 영역 중 왼쪽에 인디케이터(1225)를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 참조번호 1230은, 외부 물체의 중요도가 제2 중요도 이상인 경우, 디스플레이(231)에 표시되는 화면의 예시이다. 프로세서(220)는 디스플레이(231)에 인디케이터(1235)를 제2 크기로 표시하고, 제1 영역에서 적어도 하나의 가상현실 객체의 적어도 일부를 우선순위에 따라 제거할 수 있다. 예를 들면, 프로세서(220)는 제1 영역에 목표물 정보(1231), 게이지 정보(1232)를 포함하는 가상현실 객체는 계속하여 표시하고, 처리할 목록에 대한 정보(1223)를 포함하는 가상현실 객체는 제거하도록 디스플레이(231)를 제어할 수 있다. 프로세서(220)는 디스플레이(231)에 제2 크기로 인디케이터(1235)를 표시할 수 있다. 프로세서(220)는 제2 크기의 인디케이터(1235)를 제1 영역의 적어도 일부와 제2 영역의 적어도 일부에 표시하도록 디스플레이(231)를 제어할 수 있다.
도 13은 일 실시 예에 따른, 사용자의 선호도를 디스플레이(231)에 표시하는 방법을 도시하는 흐름도이다. 도 13에서 설명되는 방법은, 도 2에 도시된 전자 장치(200) 또는 프로세서(220)에 의해 실행될 수 있다.
일 실시 예에 따르면, 동작 1310에서, 프로세서(220)는 센서(210)를 통해 외부 물체의 위치 정보를 획득하고, 외부 물체에 대한 사용자의 선호도 정보를 획득할 수 있다. 외부 물체에 대한 사용자의 선호도 정보는, 사용자가 외부 물체에 대해 사전에 설정한 선호도 정보이거나 사용자가 외부 물체에 접근하는 빈번도를 통해 전자 장치(200)가 정의한 선호도 정보일 수 있다. 예를 들면, 사용자가 특정 브랜드의 게임 스토어를 기준 빈번도 이상 방문하는 경우, 전자 장치(200)는 해당 게임 스토어에 대한 사용자의 선호도가 기준 값 이상이라고 정의할 수 있다.
일 실시 예에 따르면, 동작 1320에서, 프로세서(220)는 외부 물체의 위치 정보와 외부 물체에 대한 사용자의 선호도 정보를 통해 외부 물체의 중요도를 판단할 수 있다. 예를 들면, 상기 특정 브랜드의 게임 스토어가 전자 장치(200)로부터 10m 이내에 위치하고 해당 게임 스토어에 대한 사용자의 선호도가 기준 값 이상인 경우, 프로세서(220)는 해당 게임 스토어의 중요도가 제2 중요도 이상이라고 판단할 수 있다.
일 실시 예에 따르면, 동작 1330에서, 프로세서(220)는 외부 물체의 중요도가 제1 중요도 이상인지 여부를 판단할 수 있다.
일 실시 예에 따르면, 동작 1340에서, 프로세서(220)는 외부 물체의 중요도가 제1 중요도 미만인 것에 응답하여, 제1 영역에 적어도 하나의 증강현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 프로세서(220)는 외부 물체에 대한 정보가 획득되지 않은 경우에도 제1 영역에 적어도 하나의 증강현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 증강현실 객체의 종류는 도 3에서 설명한 것과 같이 다양할 수 있다. 프로세서(220)는 제2 영역에는 증강현실 객체를 표시하지 않도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 동작 1350에서, 프로세서(220)는 제1 중요도 이상인 외부 물체의 중요도가 제2 중요도 이상인지 여부를 판단할 수 있다.
일 실시 예에 따르면, 동작 1360에서, 프로세서(220)는 외부 물체의 중요도가 제1 중요도 이상이고 제2 중요도 미만인 것에 응답하여, 제2 영역에 인디케이터를 제1 크기로 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제1 중요도 이상이고 제2 중요도 미만인 외부 물체와 대응하는 방향에 인디케이터를 표시하도록 디스플레이(231)를 제어할 수 있다. 인디케이터의 색상, 밝기는 다양할 수 있다. 이 때, 프로세서(220)는 외부 물체(예: 오토바이)가 접근하는 경우 디스플레이(231)에 표시하는 인디케이터와 다른 색상의 인디케이터를 디스플레이(231)에 표시할 수 있다. 예를 들면, 프로세서(220)는 오토바이가 사용자의 왼쪽에서 접근하는 경우, 제2 영역 왼쪽에 빨간색의 인디케이터를 표시하도록 디스플레이(231)를 제어하고, 사용자의 선호도가 높은 특정 브랜드의 게임 스토어가 오른쪽에 위치하는 경우, 제2 영역 오른쪽에 초록색의 인디케이터를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제2 영역에 인디케이터를 제1 크기로 표시하면서, 제1 영역에는 적어도 하나의 증강현실 객체를 계속하여 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 동작 1370에서, 프로세서(220)는 외부 물체의 중요도가 제2 중요도 이상인 것에 응답하여, 상기 인디케이터를 제1 크기보다 큰 제2 크기로 표시하고, 제1 영역에서 적어도 하나의 증강현실 객체 중 적어도 일부를 우선순위에 따라 제거하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제2 크기로 표시되는 인디케이터의 적어도 일부가 상기 제1 영역의 적어도 일부에 표시되도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 인디케이터를 반투명하게 표시하여, 제1 영역에서 표시하는 적어도 하나의 증강현실 객체와 겹쳐서 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 제1 영역에 표시되고 있는 적어도 하나의 증강현실 객체의 우선순위는, 증강현실 객체를 제공하는 애플리케이션에서 사전에 설정한 우선순위이거나, 사용자가 설정한 우선순위일 수 있다.
도 14는 일 실시 예에 따른, 사용자의 선호도에 따라 디스플레이(231)에 표시되는 화면의 예를 도시한다.
일 실시 예에 따르면, 사용자가 전자 장치(200)에 'GAME STOP store'에 선호도를 기준 값 이상이라고 설정한 뒤 증강현실 객체를 제공하는 전자 장치(200)를 이용하다가, 'GAME STOP store'의 주변을 지나가는 상황일 수 있다.
일 실시 예에 따르면, 참조번호 1410은, 외부 물체의 중요도가 제1 중요도 미만이거나 외부 물체에 대한 정보가 획득되지 않는 경우, 디스플레이(231)에 표시되는 화면의 예시이다. 프로세서(220)는 제1 영역에 적어도 하나의 증강현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 프로세서(220)는 제1 영역에 목적지 정보(1411), 이동 방향에 대한 정보(1412), 도착 시간을 표시하는 시간 정보(1413), 주위에 위치하는 가게에 대한 정보(1414)를 포함하는 증강현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 참조번호 1420은, 외부 물체의 중요도가 제1 중요도 이상이고 제2 중요도 미만인 경우, 디스플레이(231)에 표시되는 화면의 예시이다. 프로세서(220)는 제1 영역에는 증강현실 객체를 계속하여 표시하도록 디스플레이(231)를 제어하고, 제2 영역에는 인디케이터(1425)를 표시하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 사용자의 주변에 'GAME STOP store'가 위치하고, 프로세서(200)는 'GAME STOP store'의 중요도가 제1 중요도 이상이고 제2 중요도 미만이라고 판단할 수 있다. 프로세서(200)는 제1 영역에는 목적지 정보, 이동 방향에 대한 정보, 도착 시간을 표시하는 시간 정보, 주위에 위치하는 가게에 대한 정보를 포함하는 증강현실 객체를 표시하도록 디스플레이(231)를 제어하고, 제2 영역에는 'GAME STOP store'가 위치함을 나타내는 인디케이터(1425)를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 참조번호 1430은, 외부 물체의 중요도가 제2 중요도 이상인 경우, 디스플레이(231)에 표시되는 화면의 예시이다. 프로세서(220)는 디스플레이(231)에 인디케이터(1435)를 제2 크기로 표시하고, 제1 영역에서 증강현실 객체의 적어도 일부를 우선순위에 따라 제거할 수 있다. 예를 들면, 프로세서(220)는 'GAME STOP store'의 중요도가 제2 중요도 이상이라고 판단할 수 있다. 프로세서(220)는 디스플레이(231)에 인디케이터(1435)를 제2 크기로 표시할 수 있다. 프로세서(220)는 제2 크기의 인디케이터(1435)를 제1 영역의 적어도 일부와 제2 영역의 적어도 일부에 표시하도록 디스플레이(231)를 제어할 수 있다. 프로세서(220)는 제1 영역에 목적지 정보(1431), 이동 방향에 대한 정보(1432)를 포함하는 증강현실 객체는 계속하여 표시하도록 디스플레이(231)를 제어하고, 도착 시간을 표시하는 시간 정보(1413), 주위에 위치하는 가게들에 대한 정보(1414)를 포함하는 증강현실 객체는 우선순위가 낮아 제거하도록 디스플레이(231)를 제어할 수 있다.
도 15는 일 실시 예에 따라 외부 기기의 프로파일 정보를 획득하여 디스플레이(231)에 표시하는 방법을 도시하는 흐름도이다. 도 15에서 설명되는 방법은, 도 2에 도시된 전자 장치(200) 또는 프로세서(220)에 의해 실행될 수 있다.
일 실시 예에 따르면, 동작 1510에서, 프로세서(220)는 센서(210)를 통해 외부 기기의 위치 정보, 속도 정보를 획득하고, UWB를 통해 외부 기기의 프로파일 정보를 획득할 수 있다. 외부 기기의 프로파일 정보는 사용자의 SNS 정보 또는 사전에 저장된 외부 기기에 대한 정보에 해당할 수 있다. 예를 들면, 사용자가 전자 장치(200)에 'Samsung 직원 김XX'로 저장한 외부 기기가 주변에 위치하는 경우, 프로세서(220)는 해당 외부 기기의 프로파일 정보를 획득할 수 있다.
일 실시 예에 따르면, 동작 1520에서, 프로세서(220)는 외부 기기의 위치 정보, 속도 정보 또는 전자 장치나 사용자 계정에 등록된 외부 기기의 프로파일 정보 중 적어도 하나를 통해 외부 기기의 중요도를 판단할 수 있다. 예를 들면, 'Samsung 직원 김XX'로 저장한 외부 기기가 전자 장치(200)로부터 3m 이내에 위치하고, 전자 장치(200)를 향해 5km/h의 속도로 이동하고 있다는 정보를 획득한 경우, 프로세서(220)는 상기 외부 기기의 중요도가 제2 중요도 이상이라고 판단할 수 있다.
일 실시 예에 따르면, 동작 1530에서, 프로세서(220)는 외부 기기의 중요도가 제1 중요도 이상인지 여부를 판단할 수 있다.
일 실시 예에 따르면, 동작 1540에서, 프로세서(220)는 외부 기기의 중요도가 제1 중요도 미만인 것에 응답하여, 제1 영역에 적어도 하나의 증강현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 프로세서(220)는 외부 기기에 대한 정보가 획득되지 않은 경우에도 제1 영역에 적어도 하나의 증강현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 증강현실 객체의 종류는 도 3에서 설명한 것과 같이 다양할 수 있다. 프로세서(220)는 제2 영역에는 증강현실 객체를 표시하지 않도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 동작 1550에서, 프로세서(220)는 제1 중요도 이상인 외부 기기의 중요도가 제2 중요도 이상인지 여부를 판단할 수 있다.
일 실시 예에 따르면, 동작 1560에서, 프로세서(220)는 외부 기기의 중요도가 제1 중요도 이상이고 제2 중요도 미만인 것에 응답하여, 제2 영역에 인디케이터를 제1 크기로 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제1 중요도 이상이고 제2 중요도 미만인 외부 기기와 대응하는 방향에 인디케이터를 표시하도록 디스플레이(231)를 제어할 수 있다. 인디케이터의 색상, 밝기는 다양할 수 있다. 이 때, 프로세서(220)는 외부 물체(예: 오토바이)가 접근하는 경우 디스플레이(231)에 표시하는 인디케이터 및 사용자의 선호도 정보에 따른 인디케이터와 다른 색상의 인디케이터를 디스플레이(231)에 표시할 수 있다. 예를 들면, 프로세서(220)는 오토바이가 사용자의 왼쪽에서 접근하는 경우, 제2 영역 왼쪽에 빨간색의 인디케이터를 표시하도록 디스플레이(231)를 제어하고, 제1 중요도 이상이고 제2 중요도 미만인 외부 기기는 오른쪽에 위치하는 경우, 제2 영역 오른쪽에 보라색의 인디케이터를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제2 영역에 인디케이터를 제1 크기로 표시하면서, 제1 영역에는 적어도 하나의 증강현실 객체를 계속 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 동작 1570에서, 프로세서(220)는 외부 기기의 중요도가 제2 중요도 이상인 것에 응답하여, 상기 인디케이터를 제1 크기보다 큰 제2 크기로 표시하고, 제1 영역에서 적어도 하나의 증강현실 객체 중 적어도 일부를 우선순위에 따라 제거하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제2 크기로 표시되는 인디케이터의 적어도 일부가 상기 제1 영역의 적어도 일부에 표시되도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 인디케이터를 반투명하게 표시하여, 제1 영역에 표시하는 적어도 하나의 증강현실 객체와 겹쳐서 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 제1 영역에 표시되고 있는 적어도 하나의 증강현실 객체의 우선순위는, 증강현실 객체를 제공하는 애플리케이션에서 사전에 설정한 우선순위이거나, 사용자가 설정한 우선순위일 수 있다.
도 16은 일 실시 예에 따라 외부 기기의 프로파일 정보를 획득하여 디스플레이(231)에 표시되는 화면의 예를 도시한다.
일 실시 예에 따르면, 참조번호 1610은, 외부 기기의 중요도가 제1 중요도 미만이거나 외부 기기에 대한 정보가 획득되지 않는 경우, 디스플레이(231)에 표시되는 화면의 예시이다. 프로세서(220)는 제1 영역에 적어도 하나의 증강현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 프로세서(220)는 제1 영역에 목적지 정보(1611), 이동 방향에 대한 정보(1612), 도착 시간을 표시하는 시간 정보(1613), 주위에 위치하는 가게에 대한 정보(1614)를 포함하는 증강현실 객체를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 참조번호 1620은, 외부 기기의 중요도가 제1 중요도 이상이고 제2 중요도 미만인 경우, 디스플레이(231)에 표시되는 화면의 예시이다. 프로세서(220)는 제1 영역에는 증강현실 객체를 계속하여 표시하도록 디스플레이(231)를 제어하고, 제2 영역에는 인디케이터(1625)를 표시하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 사용자의 주변에 'Samsung 직원 김XX'로 저장한 외부 기기가 위치하고, 프로세서(200)는 상기 외부 기기의 중요도가 제1 중요도 이상이고 제2 중요도 미만이라고 판단할 수 있다. 프로세서(200)는 제1 영역에는 목적지 정보, 이동 방향에 대한 정보, 도착 시간을 표시하는 시간 정보, 주위에 위치하는 가게에 대한 정보를 포함하는 증강현실 객체를 표시하도록 디스플레이(231)를 제어하고, 제2 영역에는 'Samsung 직원 김XX'의 외부 기기가 위치함을 나타내는 인디케이터(1625)를 표시하도록 디스플레이(231)를 제어할 수 있다.
일 실시 예에 따르면, 참조번호 1630은, 외부 기기의 중요도가 제2 중요도 이상인 경우, 디스플레이(231)에 표시되는 화면의 예시이다. 프로세서(220)는 인디케이터(1635)를 제2 크기로 표시하고, 제1 영역에서 증강현실 객체의 적어도 일부를 우선순위에 따라 제거하도록 디스플레이(231)를 제어할 수 있다. 예를 들면, 프로세서(220)는 'Samsung 직원 김XX'의 외부 기기의 중요도가 제2 중요도 이상이라고 판단할 수 있다. 프로세서(220)는 디스플레이(231)에 인디케이터(1635)를 제2 크기로 표시할 수 있다. 프로세서(220)는 인디케이터(1635)를 제1 영역의 적어도 일부와 제2 영역의 적어도 일부에 표시하도록 디스플레이(231)를 제어할 수 있다. 프로세서(220)는 제1 영역에 목적지 정보(1631), 이동 방향에 대한 정보(1632)를 포함하는 증강현실 객체는 계속하여 표시하도록 디스플레이(231)를 제어하고, 도착 시간을 표시하는 시간 정보(1613), 주위에 위치하는 가게들에 대한 정보(1614)를 포함하는 증강현실 객체는 우선순위가 낮아 제거하도록 디스플레이(231)를 제어할 수 있다.
도 17은, 일 실시 예에 따른, 외부 물체의 중요도에 따라 디스플레이(231)에 표시되는 인디케이터의 예를 도시한다.
일 실시 예에 따르면, 외부 물체는 사용자에게 위험한 물체(예: 사용자에게 접근하는 오토바이 또는 자동차)일 수 있다. 사용자는 상기 외부 물체를 인식하고 회피할 필요가 있으므로, 전자 장치(200)는 디스플레이(231)를 통해 사용자에게 외부 물체의 존재를 알리고 경고 메시지를 제공할 수 있다. 일 실시 예에서, 프로세서(220)는 디스플레이(231)에 인디케이터를 표시하는 동안, 스피커(232) 및 햅틱 모듈(233) 중 적어도 하나를 통한 알림을 추가적으로 출력할 수 있다.
일 실시 예에 따르면, 참조번호 1710은, 외부 물체의 중요도가 제1 중요도 이상이고 제2 중요도 미만인 경우 디스플레이(231)에 표시되는 인디케이터의 예시이다. 프로세서(220)는 외부 물체의 중요도가 제1 중요도 이상이고 제2 중요도 미만인 경우에는 제2 영역에 제1 크기의 인디케이터(1715)를 표시하도록 디스플레이(231)를 제어할 수 있다. 인디케이터(1715)는 반투명한 박스의 형태일 수 있으며, 별도의 글자나 그림이 포함되지 않을 수 있다.
일 실시 예에 따르면, 참조번호 1720은, 외부 물체의 중요도가 제2 중요도 이상인 경우 디스플레이(231)에 표시되는 인디케이터의 예시이다. 프로세서(220)는 외부 물체의 중요도가 제2 중요도 이상인 경우에는 디스플레이(231)에 제2 크기의 인디케이터(1725)를 표시할 수 있다. 프로세서(220)는 인디케이터(1725)를 제1 영역의 적어도 일부와 제2 영역의 적어도 일부에 걸쳐서 표시하도록 디스플레이(231)를 제어할 수 있다. 인디케이터(1725)는 반투명한 박스의 형태이고, 제1 크기의 인디케이터(1715)보다 면적이 넓을 수 있다. 프로세서(220)는 인디케이터(1725)를 '위험 물체 접근'이라는 글자와 함께 디스플레이(231)에 표시할 수 있다.
일 실시 예에 따르면, 참조번호 1730은, 외부 물체의 중요도가 제2 중요도 이상이고 참조번호 1720의 경우보다 더 중요도가 증가한 경우 디스플레이(231)에 표시되는 화면의 예시이다. 예를 들면, 프로세서(220)는 전자 장치(200)로부터 5m의 위치에서 30km/h로 접근하던 자전거에 대해 제2 중요도 이상이라고 판단할 수 있다. 이 때, 상기 자전거가 전자 장치(200)로부터 1m의 위치에서 50km/h로 접근하는 경우, 프로세서(220)는 상기 자전거의 중요도가 더 증가한 것으로 판단할 수 있다.
일 실시 예에 따르면, 참조번호 1720의 경우보다 더 중요도가 증가한 경우, 프로세서(220)는 디스플레이(231)에 제2 크기의 인디케이터(1725)보다 큰 인디케이터(1735)를 표시할 수 있다. 프로세서(220)는 인디케이터(1735)를 디스플레이 영역의 절반에 해당하는 크기로 표시하도록 디스플레이(231)를 제어할 수 있다. 프로세서(220)는 인디케이터(1735)를 '위험 물체 접근', '대피하세요'라는 글자 및 위험 표시 아이콘과 함께 디스플레이(231)에 표시할 수 있다.
일 실시 예에 따른 전자 장치는, 센서, 제1 영역 및 제2 영역을 포함하는 디스플레이, 및 상기 센서, 및 상기 디스플레이와 전기적으로 연결되는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 센서를 통해 외부 물체에 대한 정보를 획득하고, 상기 정보를 통해 상기 외부 물체의 중요도를 판단하고, 상기 중요도가 제1 중요도 미만이거나 상기 외부 물체에 대한 정보가 획득되지 않은 것 중 적어도 하나에 응답하여 상기 제1 영역에 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 표시하도록 상기 디스플레이를 제어하고, 상기 중요도가 상기 제1 중요도 이상이고 제2 중요도 미만인 것에 응답하여 상기 제2 영역에 인디케이터를 제1 크기로 표시하도록 상기 디스플레이를 제어하고, 상기 중요도가 상기 제2 중요도 이상인 것에 응답하여, 상기 인디케이터를 상기 제1 크기보다 큰 제2 크기로 표시하고, 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체 중 적어도 일부를 우선순위에 따라 제거할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 제2 크기로 표시되는 상기 인디케이터의 적어도 일부가 상기 제1 영역의 적어도 일부에 표시되도록 상기 디스플레이를 제어할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 제1 영역은 상기 디스플레이에 의해 화면이 표시되는 디스플레이 영역의 중심을 포함하는 중심 영역이고, 상기 제2 영역은 상기 디스플레이 영역 중에서 상기 제1 영역을 둘러싸는 주변 영역일 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 외부 물체에 대한 정보는 상기 외부 물체의 위치 정보, 속도 정보를 포함하고, 상기 적어도 하나의 프로세서는, 상기 센서를 통해 상기 전자 장치의 속도 정보를 획득하고, 상기 외부 물체에 대한 정보 및 상기 전자 장치에 대한 정보 중 적어도 하나를 이용하여 상기 외부 물체의 상기 중요도를 판단할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 센서를 통해 상기 전자 장치의 FOV(field of view) 정보를 획득하고, 상기 외부 물체가 전자 장치의 상기 FOV 내에 존재함을 판단하는 것에 응답하여, 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체, 및 상기 인디케이터를 제거하도록 상기 디스플레이를 제어할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 외부 물체의 중요도가 제2 중요도 이상인 상태에서 상기 제2 중요도 미만인 상태로 천이되는 것에 응답하여, 상기 제거된 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체, 및 상기 제거된 인디케이터를 다시 표시하도록 상기 디스플레이를 제어할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 제1 영역에 상기 제거된 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 다시 표시할지 여부를 선택할 수 있는 팝업창을 표시하도록 상기 디스플레이를 제어할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 외부 물체에 대한 정보는 상기 전자 장치에 대해 상기 외부 물체가 위치한 상대적인 방향 정보를 포함하고, 상기 적어도 하나의 프로세서는, 상기 방향 정보가 후방인 경우, 상기 제2 영역의 상단부에 후방을 촬영한 영상을 표시하도록 상기 디스플레이를 제어할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 외부 물체에 대한 정보는 상기 외부 물체의 수량을 나타내는 수량 값을 포함하고, 상기 적어도 하나의 프로세서는, 상기 외부 물체의 수량 값이 기준 수량 값 이상인 경우, 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체를 제거할 수 있다.
일 실시 예에 따른 전자 장치에 있어서, 상기 적어도 하나의 프로세서와 전기적으로 연결되는 스피커 또는 햅틱(haptic) 모듈 중 적어도 하나를 포함하고, 상기 적어도 하나의 프로세서는, 상기 외부 물체의 상기 중요도가 상기 제1 중요도 이상인 경우 상기 스피커 또는 상기 햅틱 모듈 중 적어도 하나를 통해 알림을 출력할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 센서를 통해 외부 물체에 대한 정보를 획득하는 동작, 상기 정보를 통해 상기 외부 물체의 중요도를 판단하는 동작, 상기 중요도가 제1 중요도 미만이거나 상기 외부 물체에 대한 정보가 획득되지 않은 것 중 적어도 하나에 응답하여 디스플레이의 제1 영역에 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 표시하는 동작, 상기 중요도가 상기 제1 중요도 이상이고 제2 중요도 미만인 것에 응답하여 상기 디스플레이의 제2 영역에 인디케이터를 제1 크기로 표시하는 동작, 및 상기 중요도가 상기 제2 중요도 이상인 것에 응답하여 상기 디스플레이에 상기 인디케이터를 상기 제1 크기보다 큰 제2 크기로 표시하고, 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체 중 적어도 일부를 우선순위에 따라 제거하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에 있어서, 상기 디스플레이에 상기 인디케이터를 상기 제2 크기로 표시하는 동작은, 상기 인디케이터의 적어도 일부는 상기 제1 영역의 적어도 일부에 표시하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에 있어서, 상기 디스플레이의 상기 제1 영역은 상기 디스플레이에 의해 화면이 표시되는 디스플레이 영역의 중심을 포함하는 중심 영역이고, 상기 제2 영역은 상기 디스플레이 영역 중에서 상기 제1 영역을 둘러싸는 주변 영역일 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에 있어서, 상기 외부 물체에 대한 정보를 획득하는 동작에서 외부 물체에 대한 정보는 상기 외부 물체의 위치 정보, 속도 정보를 포함하고, 상기 센서를 통해 상기 전자 장치의 속도 정보를 획득하는 동작을 포함하고, 상기 외부 물체의 중요도를 판단하는 동작은 상기 외부 물체에 대한 정보 및 상기 전자 장치에 대한 정보 중 적어도 하나를 이용하여 상기 중요도를 판단하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 센서를 통해 상기 전자 장치의 FOV(field of view) 정보를 획득하는 동작, 및 상기 외부 물체가 전자 장치의 상기 FOV 내에 존재함을 판단하는 것에 응답하여, 상기 디스플레이에서 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체, 및 상기 인디케이터를 제거하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 외부 물체의 중요도가 상기 제2 중요도 이상인 상태에서 상기 제2 중요도 미만인 상태로 천이되는 것에 응답하여, 상기 디스플레이에서 상기 제거된 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체, 및 상기 제거된 인디케이터를 다시 표시하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 디스플레이의 상기 제1 영역에 상기 제거된 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 다시 표시할지 여부를 선택할 수 있는 팝업창을 표시하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에 있어서, 상기 외부 물체에 대한 정보를 획득하는 동작에서 상기 외부 물체에 대한 정보는 상기 전자 장치에 대해 상기 외부 물체가 위치한 상대적인 방향 정보를 포함하고, 상기 방향 정보가 후방인 경우, 상기 디스플레이의 상기 제2 영역의 상단부에 후방을 촬영한 영상을 표시하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에 있어서, 상기 외부 물체에 대한 정보를 획득하는 동작에서 상기 외부 물체에 대한 정보는 상기 외부 물체의 수량을 나타내는 수량 값을 포함하고, 상기 외부 물체의 수량 값이 기준 수량 값 이상인 경우, 상기 디스플레이에서 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체를 제거하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 외부 물체의 상기 중요도가 상기 제1 중요도 이상인 경우 상기 전자 장치에 포함된 스피커 또는 햅틱(haptic) 모듈 중 적어도 하나를 통해 알림을 출력하는 동작을 포함할 수 있다.
도 18은, 다양한 실시 예들에 따른, 네트워크 환경(1800) 내의 전자 장치(1801)의 블록도이다. 도 18을 참조하면, 네트워크 환경(1800)에서 전자 장치(1801)는 제1 네트워크(1898)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1802)와 통신하거나, 또는 제2 네트워크(1899)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1804) 또는 서버(1808)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1801)는 서버(1808)를 통하여 전자 장치(1804)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1801)는 프로세서(1820), 메모리(1830), 입력 모듈(1850), 음향 출력 모듈(1855), 디스플레이 모듈(1860), 오디오 모듈(1870), 센서 모듈(1876), 인터페이스(1877), 연결 단자(1878), 햅틱 모듈(1879), 카메라 모듈(1880), 전력 관리 모듈(1888), 배터리(1889), 통신 모듈(1890), 가입자 식별 모듈(1896), 또는 안테나 모듈(1897)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(1801)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(1878))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(1876), 카메라 모듈(1880), 또는 안테나 모듈(1897))은 하나의 구성요소(예: 디스플레이 모듈(1860))로 통합될 수 있다.
프로세서(1820)는, 예를 들면, 소프트웨어(예: 프로그램(1840))를 실행하여 프로세서(1820)에 연결된 전자 장치(1801)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1820)는 다른 구성요소(예: 센서 모듈(1876) 또는 통신 모듈(1890))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1832)에 저장하고, 휘발성 메모리(1832)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1834)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(1820)는 메인 프로세서(1821)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1823)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(1801)가 메인 프로세서(1821) 및 보조 프로세서(1823)를 포함하는 경우, 보조 프로세서(1823)는 메인 프로세서(1821)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1823)는 메인 프로세서(1821)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1823)는, 예를 들면, 메인 프로세서(1821)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1821)를 대신하여, 또는 메인 프로세서(1821)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1821)와 함께, 전자 장치(1801)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(1860), 센서 모듈(1876), 또는 통신 모듈(1890))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(1823)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(1880) 또는 통신 모듈(1890))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(1823)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(1801) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(1808))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(1830)는, 전자 장치(1801)의 적어도 하나의 구성요소(예: 프로세서(1820) 또는 센서 모듈(1876))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1840)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1830)는, 휘발성 메모리(1832) 또는 비휘발성 메모리(1834)를 포함할 수 있다.
프로그램(1840)은 메모리(1830)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1842), 미들 웨어(1844) 또는 어플리케이션(1846)을 포함할 수 있다.
입력 모듈(1850)은, 전자 장치(1801)의 구성요소(예: 프로세서(1820))에 사용될 명령 또는 데이터를 전자 장치(1801)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(1850)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(1855)은 음향 신호를 전자 장치(1801)의 외부로 출력할 수 있다. 음향 출력 모듈(1855)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(1860)은 전자 장치(1801)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(1860)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(1860)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(1870)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(1870)은, 입력 모듈(1850)을 통해 소리를 획득하거나, 음향 출력 모듈(1855), 또는 전자 장치(1801)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1802))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(1876)은 전자 장치(1801)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(1876)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1877)는 전자 장치(1801)가 외부 전자 장치(예: 전자 장치(1802))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(1877)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1878)는, 그를 통해서 전자 장치(1801)가 외부 전자 장치(예: 전자 장치(1802))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(1878)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1879)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(1879)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1880)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(1880)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1888)은 전자 장치(1801)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(1888)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1889)는 전자 장치(1801)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(1889)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1890)은 전자 장치(1801)와 외부 전자 장치(예: 전자 장치(1802), 전자 장치(1804), 또는 서버(1808)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1890)은 프로세서(1820)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(1890)은 무선 통신 모듈(1892)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1894)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(1898)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(1899)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(1804)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1892)은 가입자 식별 모듈(1896)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(1898) 또는 제2 네트워크(1899)와 같은 통신 네트워크 내에서 전자 장치(1801)를 확인 또는 인증할 수 있다.
무선 통신 모듈(1892)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(1892)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(1892)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(1892)은 전자 장치(1801), 외부 전자 장치(예: 전자 장치(1804)) 또는 네트워크 시스템(예: 제2 네트워크(1899))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(1892)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(1897)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(1897)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(1897)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(1898) 또는 제2 네트워크(1899)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1890)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1890)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(1897)의 일부로 형성될 수 있다.
다양한 실시 예에 따르면, 안테나 모듈(1897)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(1899)에 연결된 서버(1808)를 통해서 전자 장치(1801)와 외부의 전자 장치(1804)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(1802, 또는 1804) 각각은 전자 장치(1801)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(1801)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(1802, 1804, 또는 1808) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1801)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1801)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1801)로 전달할 수 있다. 전자 장치(1801)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(1801)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(1804)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(1808)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(1804) 또는 서버(1808)는 제2 네트워크(1899) 내에 포함될 수 있다. 전자 장치(1801)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시 예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(1801)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1836) 또는 외장 메모리(1838))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1840))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1801))의 프로세서(예: 프로세서(1820))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    센서;
    제1 영역 및 제2 영역을 포함하는 디스플레이; 및
    상기 센서, 및 상기 디스플레이와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 센서를 통해 외부 물체에 대한 정보를 획득하고,
    상기 정보를 통해 상기 외부 물체의 중요도를 판단하고,
    상기 중요도가 제1 중요도 미만이거나 상기 외부 물체에 대한 정보가 획득되지 않은 것 중 적어도 하나에 응답하여 상기 제1 영역에 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 표시하도록 상기 디스플레이를 제어하고,
    상기 중요도가 상기 제1 중요도 이상이고 제2 중요도 미만인 것에 응답하여 상기 제2 영역에 인디케이터를 제1 크기로 표시하도록 상기 디스플레이를 제어하고,
    상기 중요도가 상기 제2 중요도 이상인 것에 응답하여, 상기 인디케이터를 상기 제1 크기보다 큰 제2 크기로 표시하고, 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체 중 적어도 일부를 우선순위에 따라 제거하는, 전자 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제2 크기로 표시되는 상기 인디케이터의 적어도 일부가 상기 제1 영역의 적어도 일부에 표시되도록 상기 디스플레이를 제어하는, 전자 장치.
  3. 청구항 1에 있어서,
    상기 제1 영역은 상기 디스플레이에 의해 화면이 표시되는 디스플레이 영역의 중심을 포함하는 중심 영역이고, 상기 제2 영역은 상기 디스플레이 영역 중에서 상기 제1 영역을 둘러싸는 주변 영역인, 전자 장치.
  4. 청구항 1에 있어서,
    상기 외부 물체에 대한 정보는 상기 외부 물체의 위치 정보, 속도 정보를 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 센서를 통해 상기 전자 장치의 속도 정보를 획득하고,
    상기 외부 물체에 대한 정보 및 상기 전자 장치의 속도 정보 중 적어도 하나를 이용하여 상기 외부 물체의 상기 중요도를 판단하는, 전자 장치.
  5. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 센서를 통해 상기 전자 장치의 FOV(field of view) 정보를 획득하고,
    상기 외부 물체가 상기 전자 장치의 상기 FOV 내에 존재함을 판단하는 것에 응답하여, 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체, 및 상기 인디케이터를 제거하도록 상기 디스플레이를 제어하는, 전자 장치.
  6. 청구항 5에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 외부 물체의 중요도가 제2 중요도 이상인 상태에서 상기 제2 중요도 미만인 상태로 천이되는 것에 응답하여, 상기 제거된 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체, 및 상기 제거된 인디케이터를 다시 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  7. 청구항 6에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 영역에 상기 제거된 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 다시 표시할지 여부를 선택할 수 있는 팝업창을 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  8. 청구항 1에 있어서,
    상기 외부 물체에 대한 정보는 상기 전자 장치에 대해 상기 외부 물체가 위치한 상대적인 방향 정보를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 방향 정보가 후방인 경우, 상기 제2 영역의 상단부에 후방을 촬영한 영상을 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  9. 청구항 1에 있어서,
    상기 외부 물체에 대한 정보는 상기 외부 물체의 수량을 나타내는 수량 값을 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 외부 물체의 수량 값이 기준 수량 값 이상인 경우, 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체를 제거하는, 전자 장치.
  10. 전자 장치의 동작 방법에 있어서,
    센서를 통해 외부 물체에 대한 정보를 획득하는 동작;
    상기 정보를 통해 상기 외부 물체의 중요도를 판단하는 동작;
    상기 중요도가 제1 중요도 미만이거나 상기 외부 물체에 대한 정보가 획득되지 않은 것 중 적어도 하나에 응답하여 디스플레이의 제1 영역에 적어도 하나의 증강현실 객체 또는 적어도 하나의 가상현실 객체를 표시하는 동작;
    상기 중요도가 상기 제1 중요도 이상이고 제2 중요도 미만인 것에 응답하여 상기 디스플레이의 제2 영역에 인디케이터를 제1 크기로 표시하는 동작; 및
    상기 중요도가 상기 제2 중요도 이상인 것에 응답하여 상기 디스플레이에 상기 인디케이터를 상기 제1 크기보다 큰 제2 크기로 표시하고, 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체 중 적어도 일부를 우선순위에 따라 제거하는 동작을 포함하는, 전자 장치의 동작 방법.
  11. 청구항 10에 있어서,
    상기 디스플레이에 상기 인디케이터를 상기 제2 크기로 표시하는 동작에서, 상기 인디케이터의 적어도 일부는 상기 제1 영역의 적어도 일부에 표시하는, 전자 장치의 동작 방법.
  12. 청구항 10에 있어서,
    상기 외부 물체에 대한 정보를 획득하는 동작에서, 외부 물체에 대한 정보는 상기 외부 물체의 위치 정보, 속도 정보를 포함하고,
    상기 센서를 통해 상기 전자 장치의 속도 정보를 획득하는 동작을 포함하고,
    상기 외부 물체의 중요도를 판단하는 동작은, 상기 외부 물체에 대한 정보 및 상기 전자 장치의 속도 정보 중 적어도 하나를 이용하여 상기 중요도를 판단하는 동작을 포함하는, 전자 장치의 동작 방법.
  13. 청구항 10에 있어서,
    상기 센서를 통해 상기 전자 장치의 FOV(field of view) 정보를 획득하는 동작; 및
    상기 외부 물체가 전자 장치의 상기 FOV 내에 존재함을 판단하는 것에 응답하여, 상기 디스플레이에서 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체, 및 상기 인디케이터를 제거하는 동작을 포함하는, 전자 장치의 동작 방법.
  14. 청구항 10에 있어서,
    상기 외부 물체에 대한 정보를 획득하는 동작에서, 상기 외부 물체에 대한 정보는 상기 전자 장치에 대해 상기 외부 물체가 위치한 상대적인 방향 정보를 포함하고,
    상기 방향 정보가 후방인 경우, 상기 디스플레이의 상기 제2 영역의 상단부에 후방을 촬영한 영상을 표시하는 동작을 포함하는, 전자 장치의 동작 방법.
  15. 청구항 10에 있어서,
    상기 외부 물체에 대한 정보를 획득하는 동작에서, 상기 외부 물체에 대한 정보는 상기 외부 물체의 수량을 나타내는 수량 값을 포함하고,
    상기 외부 물체의 수량 값이 기준 수량 값 이상인 경우, 상기 디스플레이에서 상기 적어도 하나의 증강현실 객체 또는 상기 적어도 하나의 가상현실 객체를 제거하는 동작을 포함하는, 전자 장치의 동작 방법.
PCT/KR2021/011661 2020-09-24 2021-08-31 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법 WO2022065722A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/188,536 US20230230334A1 (en) 2020-09-24 2023-03-23 Electronic device and method for displaying notification about external object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0124151 2020-09-24
KR1020200124151A KR20220040884A (ko) 2020-09-24 2020-09-24 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/188,536 Continuation US20230230334A1 (en) 2020-09-24 2023-03-23 Electronic device and method for displaying notification about external object

Publications (1)

Publication Number Publication Date
WO2022065722A1 true WO2022065722A1 (ko) 2022-03-31

Family

ID=80846777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/011661 WO2022065722A1 (ko) 2020-09-24 2021-08-31 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법

Country Status (3)

Country Link
US (1) US20230230334A1 (ko)
KR (1) KR20220040884A (ko)
WO (1) WO2022065722A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472380A (zh) * 2023-12-28 2024-01-30 江西铜锐信息技术有限公司 一种前端表单生成方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043527A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치
WO2024049175A1 (ko) * 2022-09-01 2024-03-07 삼성전자 주식회사 Hmd(head mounted display) 장치를 착용 중, 디스플레이 방법 및 그 장치
WO2024075924A1 (ko) * 2022-10-07 2024-04-11 삼성전자주식회사 알림 정보를 제공하기 위한 전자 장치 및 방법
WO2024096392A1 (ko) * 2022-11-02 2024-05-10 삼성전자주식회사 적어도 하나의 객체에 대한 연속적인 빔포밍을 수행하는 웨어러블 장치 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150078920A (ko) * 2013-12-31 2015-07-08 주식회사 케이티 컨텐츠를 제공하는 장치 및 방법
US20170076606A1 (en) * 2015-09-11 2017-03-16 Sony Corporation System and method to provide driving assistance
KR20190063000A (ko) * 2017-11-29 2019-06-07 주식회사 오경컴텍 에이알기반 재해자 위치표시시스템 및 방법
KR20190094673A (ko) * 2018-02-05 2019-08-14 롯데정보통신 주식회사 증강현실 기능을 갖는 스노우고글 시스템
KR20190126258A (ko) * 2019-08-23 2019-11-11 엘지전자 주식회사 차량용 전자 장치 및 그의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150078920A (ko) * 2013-12-31 2015-07-08 주식회사 케이티 컨텐츠를 제공하는 장치 및 방법
US20170076606A1 (en) * 2015-09-11 2017-03-16 Sony Corporation System and method to provide driving assistance
KR20190063000A (ko) * 2017-11-29 2019-06-07 주식회사 오경컴텍 에이알기반 재해자 위치표시시스템 및 방법
KR20190094673A (ko) * 2018-02-05 2019-08-14 롯데정보통신 주식회사 증강현실 기능을 갖는 스노우고글 시스템
KR20190126258A (ko) * 2019-08-23 2019-11-11 엘지전자 주식회사 차량용 전자 장치 및 그의 동작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472380A (zh) * 2023-12-28 2024-01-30 江西铜锐信息技术有限公司 一种前端表单生成方法及系统
CN117472380B (zh) * 2023-12-28 2024-03-22 江西铜锐信息技术有限公司 一种前端表单生成方法及系统

Also Published As

Publication number Publication date
KR20220040884A (ko) 2022-03-31
US20230230334A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
WO2022065722A1 (ko) 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법
WO2020111594A1 (en) Electronic device, augmented reality device for providing augmented reality service, and method of operating same
WO2022059968A1 (ko) 증강 현실 콘텐츠를 제공하는 전자 장치 및 그의 동작 방법
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2023132459A1 (ko) Ar 객체를 표시하는 전자 장치 및 그 방법
WO2022154440A1 (ko) 오디오 데이터를 처리하는 전자 장치 및 그 동작 방법
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2020004941A1 (ko) 디스플레이에서 출력된 광을 렌즈로 전달할 수 있는 반사 부재 및 반투명 반사 부재를 포함하는 전자 장치
WO2024085436A1 (ko) 진동을 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2024071694A1 (ko) 위험을 감지하는 전자 장치, 그의 동작 방법 및 프로그램을 저장하는 저장 매체
WO2024071718A1 (ko) 증강현실 기능을 지원하는 전자 장치 및 이의 동작 방법
WO2023229199A1 (ko) 전자 장치의 화면 표시 모드를 결정하는 동작 방법 및 전자 장치
WO2024071681A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2023048466A1 (ko) 전자 장치 및 컨텐츠 표시 방법
WO2024043519A1 (ko) 복수의 디스플레이들을 제어하는 방법 및 이를 지원하는 전자 장치
WO2023085569A1 (ko) Ar 이미지의 휘도를 제어하는 방법 및 장치
WO2022211514A1 (ko) 증강 현실 이미지를 제공하는 방법 및 이를 지원하는 헤드 마운티드 디스플레이 장치
WO2024063253A1 (ko) 카메라로부터 획득한 이미지 내에 포함된 복수의 영역들 각각의 해상도들을 제어하기 위한 전자 장치 및 그 방법
WO2024010220A1 (ko) 거리 센서 활성화 방법 및 전자 장치
WO2024076058A1 (ko) 센서를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
WO2024049005A1 (ko) 비네팅 기능을 수행하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2024034837A1 (ko) 깊이 맵을 획득하기 위한 전자 장치 및 방법
WO2024101747A1 (ko) 카메라를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
WO2023003224A1 (ko) 증강 현실 또는 가상 현실을 제공하는 전자 장치 및 전자 장치의 동작 방법
WO2023075204A1 (ko) 전자 장치 및 이를 이용한 공간 매핑 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21872752

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21872752

Country of ref document: EP

Kind code of ref document: A1