WO2023080443A1 - 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체 - Google Patents

멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체 Download PDF

Info

Publication number
WO2023080443A1
WO2023080443A1 PCT/KR2022/014167 KR2022014167W WO2023080443A1 WO 2023080443 A1 WO2023080443 A1 WO 2023080443A1 KR 2022014167 W KR2022014167 W KR 2022014167W WO 2023080443 A1 WO2023080443 A1 WO 2023080443A1
Authority
WO
WIPO (PCT)
Prior art keywords
multimedia content
image
display
color
processor
Prior art date
Application number
PCT/KR2022/014167
Other languages
English (en)
French (fr)
Inventor
유상아
신기영
이은빈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210170075A external-priority patent/KR20230066248A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP22773099.1A priority Critical patent/EP4202617A4/en
Publication of WO2023080443A1 publication Critical patent/WO2023080443A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Definitions

  • the following descriptions relate to a wearable device, method, and non-transitory computer readable storage medium for displaying multimedia content.
  • the electronic device may be a wearable device worn by a user.
  • the electronic device may be AR glasses.
  • the wearable device may include at least one camera, a display, a memory configured to store instructions, and a processor.
  • the processor may be configured to receive an input for displaying multimedia content within a display area of the display when the instructions are executed.
  • the processor may be configured to identify whether brightness of an environment around the wearable device is greater than or equal to a reference brightness based on the reception.
  • the processor may be configured to identify whether the multimedia content includes at least one region having a designated color, based on identifying that the brightness is greater than or equal to the reference brightness.
  • the processor executes the instructions, based on identifying that the multimedia content includes the at least one region, the processor determines, through the at least one camera, the environment corresponding to the location where the multimedia content is to be displayed. It may be configured to obtain a first image for a portion. When executing the instructions, the processor may be configured to acquire a second image in which a color of the first image is inverted. The processor, upon executing the instructions, may be configured to display the multimedia content through the display as superimposed on the second image displayed at the location.
  • a method for operating a wearable device that includes at least one camera and a display may include receiving an input for displaying multimedia content within a display area of the display.
  • the method may include an operation of identifying whether brightness of an environment around the wearable device is greater than or equal to a reference brightness, based on the reception.
  • the method may include an operation of identifying whether the multimedia content includes at least one area having a designated color, based on identifying that the brightness is greater than or equal to the reference brightness.
  • the method may include, based on identifying that the multimedia content includes the at least one area, a first image of a portion of the environment corresponding to a location where the multimedia content is to be displayed, through the at least one camera. It may include an operation of obtaining.
  • the method may include obtaining a second image in which a color of the first image is inverted.
  • the method may include displaying the multimedia content through the display as superimposed on the second image displayed at the location.
  • a non-transitory computer-readable storage medium storing one or more programs is described.
  • the one or more programs when executed by one or more processors of a wearable device including at least one camera and a display, cause the wearable device to receive an input to present multimedia content within a display area of the display may contain instructions.
  • the one or more programs when executed by the one or more processors of the wearable device, cause the wearable device to identify, based on the reception, whether a brightness of an environment around the wearable device is equal to or greater than a reference brightness; may include When the one or more programs are executed by the one or more processors of the wearable device, whether the multimedia content includes at least one area having a designated color based on identifying that the brightness is greater than or equal to the reference brightness may include instructions that cause the wearable device to identify.
  • the one or more programs when executed by the one or more processors of the wearable device, based on identifying that the multimedia content includes the at least one area, through the at least one camera, the multimedia content may include instructions that cause the wearable device to obtain a first image of the portion of the environment corresponding to a location to be displayed.
  • the one or more programs may include instructions that, when executed by the one or more processors of the wearable device, cause the wearable device to obtain a second image in which a color of the first image is reversed.
  • the one or more programs when executed by the one or more processors of the wearable device, display the multimedia content through the display as superimposed on the second image displayed at the location. It may include instructions that result in a wearable device.
  • FIG. 1 depicts an exemplary environment including a wearable device.
  • 2A is a simplified block diagram of a wearable device.
  • 2B is a perspective view illustrating an exemplary wearable device.
  • FIG. 3 is a flowchart illustrating a method of displaying multimedia content through a display of a wearable device.
  • 5 shows example inputs for presenting multimedia content.
  • FIG. 6 and 7 illustrate exemplary characteristics of at least one region having a designated color included in multimedia content displayed through a display of a wearable device.
  • FIG. 8 illustrates exemplary messages inquiring whether to display a second image for compensating at least one area.
  • FIG. 9 shows an example of a method for generating a second image.
  • FIG. 10 shows an example of a method of displaying a second image.
  • FIG. 11 illustrates an example of a method of displaying multimedia content superimposed on a second image.
  • FIG. 12 shows an example of a method of rendering a second image and multimedia content.
  • 13A shows an example of a method for adjusting the opacity of multimedia content.
  • 13B illustrates an example of a method of displaying a reflective layer superimposed on multimedia content superimposed on a second image.
  • FIG. 14 is a flowchart illustrating a method of identifying whether to display multimedia content superimposed on a second image based on the size of at least one region.
  • 15 is a flowchart illustrating a method of identifying whether to display multimedia content superimposed on a second image based on the position of at least one region.
  • 16 is a flowchart illustrating a method of changing a color of a second image.
  • 17 shows exemplary second images having changed colors.
  • FIG. 18 is a flowchart illustrating a method of displaying multimedia content superimposed on a portion of a second image.
  • FIG. 19 illustrates exemplary multimedia content displayed superimposed on a portion of a second image.
  • 20 is a flowchart illustrating a method of processing a second image and multimedia content superimposed on the second image according to movement of an external object.
  • 21 illustrates an example of a method of processing a second image and multimedia content superimposed on the second image according to the movement of an external object.
  • 22 is a flowchart illustrating a method of identifying a color of a second visual object displayed under at least one first visual object associated with multimedia content.
  • FIG. 23 illustrates exemplary second visual objects displayed under at least one first visual object associated with multimedia content.
  • FIG. 1 illustrates an example of an exemplary environment including a wearable device.
  • a wearable device 110 may be included in an environment 100 .
  • the wearable device 110 may be used to provide an augmented reality service.
  • the wearable device 110 may include at least one transparent display. Because the at least one transparent display is configured to transmit external light directed to the first side of the at least one transparent display through the second side of the at least one transparent display, the at least one transparent display may You can display virtual objects along with external objects (e.g. physical objects) within the real-world.
  • the virtual object may be referred to as a visual object in terms of being viewed by a user.
  • the wearable device 110 to track the camera used to recognize the external object, the eye of the user wearing the wearable device 110 It may include the camera used, or a combination thereof.
  • the wearable device 110 may include a communication circuit.
  • the communication circuit may be used to obtain information about the external object from an external electronic device (eg, a server or a smartphone) or to obtain information for displaying the virtual object from an external electronic device. .
  • the wearable device 110 in the environment 100 may receive a user input in order to control a screen (eg, multimedia content) displayed on the display of the wearable device 110 . Since the screen is displayed together with an external object shown in the display area 115 of the display, the user input may be defined as another input distinct from a touch input on the display.
  • the user input may be a gesture input caused by a part of the user's body wearing the wearable device 110 or an eye gaze input caused by the gaze of the user wearing the wearable device 110. .
  • FIG. 2A is a simplified block diagram of a wearable device. Functional components indicated by the block diagram may be included in the wearable device 110 shown in FIG. 1 .
  • the wearable device 110 may include a processor 210, a memory 220, a camera 230, a communication circuit 240, and/or a display 250.
  • the processor 210 may control overall operations of the wearable device 110 .
  • the processor 210 may write data to the memory 220 and read data written to the memory 220 .
  • the processor 210 may obtain an image through the camera 230 .
  • the processor 210 may transmit a signal to another electronic device or receive a signal from another electronic device through the communication circuit 240 .
  • the processor 210 may display information through the display 250 .
  • the processor 210 may include multiple processors (eg, the wearable device 110 may include at least one processor).
  • the processor 210 includes an application processor (AP) for controlling upper layers such as application programs, a communication processor (CP) for controlling communication, and a display controller for controlling a screen displayed on the display 250. (display controller) (eg, display driving circuit (display driving integrated circuitry)) and the like.
  • AP application processor
  • CP communication processor
  • display controller eg, display driving circuit (display driving integrated circuitry)
  • the processor 210 may be configured to implement procedures and/or methods proposed in this disclosure.
  • the memory 220 may store instructions, commands, control command codes, control data, or user data for controlling the wearable device 110 .
  • the memory 220 may store a software application, an operating system (OS), middleware, and/or a device driver.
  • OS operating system
  • middleware middleware
  • device driver a software application
  • the memory 220 may include one or more of volatile memory and non-volatile memory.
  • the volatile memory includes dynamic RAM (DRAM), static RAM (SRAM), synchronous DRAM (SDRAM), phase-change RAM (PRAM), magnetic RAM (MRAM), resistive RAM (RRAM), ferroelectric RAM (FeRAM), and the like. can do.
  • the nonvolatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable ROM (EEPROM), flash memory, and the like.
  • the memory 220 may further include a nonvolatile medium such as a hard disk drive (HDD), a solid state disk (SSD), an embedded multimedia card (eMMC), or a universal flash storage (UFS). there is.
  • a nonvolatile medium such as a hard disk drive (HDD), a solid state disk (SSD), an embedded multimedia card (eMMC), or a universal flash storage (UFS).
  • HDD hard disk drive
  • SSD solid state disk
  • eMMC embedded multimedia card
  • UFS universal flash storage
  • the memory 220 may be operably or operatively coupled with the processor 210 .
  • the memory 220 may store one or more programs. For example, when the one or more programs are executed by the processor 210 of the wearable device 110, the wearable device 110 executes at least some of the operations of the wearable device 110 illustrated through the following descriptions. ).
  • the one or more programs may be obtained from an external electronic device (eg, a server or a smart phone).
  • the one or more programs stored in the non-volatile memory of the external electronic device may be provided to the wearable device 110 from the external electronic device in response to an input to the wearable device 110 .
  • the one or more programs stored in the non-volatile memory of the external electronic device may be provided to the wearable device 110 from the external electronic device in response to an input to the external electronic device.
  • the camera 230 may be used to obtain an image of an environment shown in a display area of the display 250 (eg, the display area 115 shown in FIG. 1 ).
  • a camera 230 may be positioned facing the environment to obtain an image of the environment as seen within the viewing area of the display 250 .
  • the field of view (FOV) of the camera 230 disposed toward the environment is wider than the display area of the display 250 in order to acquire an image of the environment seen within the display area of the display 250. It may be configured to cover, or may be configured to cover an area corresponding to the display area of the display 250.
  • the field of view of the camera 230 disposed toward the environment is larger than the area covered by the field of view of the user wearing the wearable device 110 in order to obtain an image of the environment shown in the display area of the display 250. It may be configured to cover a wide area or may be configured to cover an area corresponding to the area covered by the user's field of view.
  • the camera 230 disposed toward the environment may include a plurality of cameras to obtain an image of the environment shown in the display area of the display 250 . In one embodiment, the plurality of cameras may be configured as a pair of cameras to obtain a stereoscopic image.
  • a direction in which the first camera included in the pair of cameras faces may be the same as a direction in which a second camera included in the pair of cameras faces in order to obtain a stereoscopic image.
  • the field of view of the first camera and the field of view of the second camera may have a disparity.
  • the camera 230 disposed toward the environment may include a component for obtaining depth information. However, it is not limited thereto.
  • the camera 230 may be further used to track eyes of a user wearing the wearable device 110 .
  • the camera 230 may be disposed toward the user's eyes such that the field of view of the camera 230 covers an area including the eyes of the user wearing the wearable device 110 .
  • the camera that tracks the user's eyes may be different from the camera positioned to face the environment.
  • the camera 230 may include a plurality of cameras including at least one camera used to track the user's eyes and at least one camera used to acquire images of the environment.
  • the camera 230 may be operably or operatively coupled with the processor 210 .
  • the communication circuit 240 includes various communication functions (eg, cellular communication, Bluetooth, NFC, Wi -Fi, etc.) may be provided. In other words, the communication circuit 240 may establish communication between the wearable device 110 and the at least one external device.
  • various communication functions eg, cellular communication, Bluetooth, NFC, Wi -Fi, etc.
  • Communication circuitry 240 may be operatively coupled with processor 210 .
  • the display 250 may include at least one transparent display so that a user wearing the wearable device 110 can see the real world.
  • the display 250 may be configured to allow external light directed to a first face to pass through a second face different from the first face and to display information on the second face. can
  • the second surface may be opposite to the first surface.
  • the display 250 may display a graphical user interface (GUI) so that a user may interact with the wearable device 110 .
  • GUI graphical user interface
  • display 250 may be divided into different areas or regions.
  • display 250 may include a plurality of displays.
  • Display 250 may be operatively coupled with processor 210 .
  • the processor 210 displays multimedia content along with external objects in the real world viewed within a display area of the display 250 (e.g., display area 115 as shown in FIG. 1). 250) can be displayed on the display area.
  • the multimedia content may be displayed on the display area of the display 250 based on data received through the communication circuit 240 from another electronic device.
  • the multimedia content may be displayed on the display area of the display 250 based on data processed by the processor 210 independently of (or regardless of) the other electronic device.
  • the multimedia content may include information related to the external object shown within the display area of the display 250 . When the multimedia content includes information related to the external object, the multimedia content may be displayed as associated with the external object.
  • the multimedia content when the multimedia content includes information related to the external object, the multimedia content is displayed in proximity to the external object or as at least partially overlapped with the external object. ) can be displayed.
  • the multimedia content may include information independent from the external object shown within the display area of the display 250 .
  • the processor 210 may obtain recognition information about an external object in the real world shown in the display area of the display 250 .
  • the processor 210 transmits information about an image including a visual object corresponding to the external object acquired through the camera 230 to another electronic device (eg, a smartphone, a server, etc.) through a communication circuit 240. and may obtain recognition information on the external object from the other electronic device through the communication circuit 240 .
  • the processor 210 may acquire recognition information on the external object by recognizing the image including the visual object corresponding to the external object in a stand alone state.
  • the processor 210 may obtain recognition information about the external object by recognizing the image including the visual object corresponding to the external object without use of another electronic device. can be obtained However, it is not limited thereto.
  • FIG. 2B is a perspective view illustrating an exemplary wearable device.
  • the exemplary wearable device may be the wearable device 110 shown in FIG. 2A.
  • the display 250 including the first display 250-1 and the second display 250-2 includes a liquid crystal display (LCD), a digital mirror device (DMD), and a liquid crystal on LCD (LCoS). silicon), organic light emitting diode (OLED), or micro LED.
  • the wearable device 110 is a light source (not shown in FIG. 2B) that emits light toward a display area of the display 250. city) may be included.
  • the wearable device 110 may not include the light source. However, it is not limited thereto.
  • the wearable device 110 may further include a first transparent member 270-1 and a second transparent member 270-2.
  • each of the first transparent member 270-1 and the second transparent member 270-2 may be formed of a glass plate, a plastic plate, or a polymer.
  • each of the first transparent member 270-1 and the second transparent member 270-2 may be transparent or translucent.
  • the waveguide 272 may include at least one of at least one diffractive element (eg, a diffractive optical element (DOE) or a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror).
  • the at least one diffractive element or the reflective element may be used to direct light to a user's eye.
  • the at least one diffractive element may include an input optical member and/or an output optical member.
  • the input optical member may mean an input grating area used as an input end of light
  • the output optical member may mean an output grating area used as an output end of light.
  • the reflective element may include a total reflection optical element or a total reflection waveguide for total internal reflection (TIR).
  • the camera 230 in the wearable device 110 includes at least one first camera 230-1, at least one second camera 230-2, and/or at least one third camera. (230-3).
  • At least one first camera 230 - 1 may be used for motion recognition or spatial recognition of three degrees of freedom (3DoF) or six degrees of freedom (6DoF).
  • at least one first camera 230 - 1 may be used for head tracking or hand detection.
  • at least one first camera 230 - 1 may be configured as a global shutter (GS) camera.
  • at least one first camera 230-1 may be configured as a stereo camera.
  • at least one first camera 230-1 may be used for gesture recognition.
  • At least one second camera 230 - 2 may be used to detect and track pupils.
  • at least one second camera 230-2 may be configured as a GS camera.
  • at least one second camera 230 - 2 may be used to identify a user input defined by the user's line of sight.
  • At least one third camera 230-3 is referred to as a high resolution (HR) or photo video (PV) camera, and provides an auto focusing (AF) function or an optical image stabilization (OIS) function. can do.
  • at least one third camera 230 - 3 may be configured as a GS camera or a remote shutter (RS) camera.
  • the wearable device 110 may further include an LED unit 274 .
  • the LED unit 274 may be used to assist in tracking pupils through at least one second camera 230-2.
  • the LED unit 274 may be composed of an IR LED.
  • the LED unit 274 may be used to compensate for brightness when illumination around the wearable device 110 is low.
  • the wearable device 110 may further include a first PCB 276-1 and a second PCB 276-2.
  • each of the first PCB 276-1 and the second PCB 276-2 is configured to transmit electrical signals to components of the wearable device 110, such as the camera 230 or the display 250.
  • the wearable device 110 may further include an interposer disposed between the first PCB 276-1 and the second PCB 276-2.
  • the wearable device may include a display (eg, a transparent display) configured to transmit external light directed to the first surface through the second surface in order to provide an augmented reality service.
  • a display eg, a transparent display
  • the multimedia content displayed through the display may include an area having a certain color (or may be referred to as a predetermined, predefined, specific, specified, or set color).
  • the wearable device displays the area having the certain color through the display, at least one light emitting element or device for the area (eg, included in the wearable device or a display of the wearable device)
  • the area may be expressed without light emission of at least one light emitting element). Since the area is expressed without light emission of the at least one light emitting element, an external object can be seen through the area. Since the external object visible (or visible) through the area reduces the quality of the multimedia content, a method for enhancing the display of the area may be required.
  • FIG. 3 is a flowchart illustrating a method of displaying multimedia content through a display of a wearable device. Such a method may be executed, for example, by the wearable device 110 shown in FIG. 1, the wearable device 110 shown in FIG. 2A or 2B, or the processor 210 shown in FIG. 2A. there is. In some embodiments, one or more of the actions shown in FIG. 3 may be omitted or one or more of the actions shown in FIG. 3 may be performed in a different order than shown.
  • 5 shows example inputs for presenting multimedia content.
  • FIG. 6 and 7 illustrate exemplary characteristics of at least one region having a designated color included in multimedia content displayed through a display of a wearable device.
  • FIG. 8 illustrates exemplary messages inquiring whether to display a second image for compensating at least one area.
  • FIG. 9 shows an example of a method for generating a second image.
  • FIG. 10 shows an example of a method of displaying a second image.
  • FIG. 11 illustrates an example of a method of displaying multimedia content superimposed on a second image.
  • FIG. 12 shows an example of a method of rendering a second image and multimedia content.
  • 13A shows an example of a method for adjusting the opacity of multimedia content.
  • 13B illustrates an example of a method of displaying a reflective layer superimposed on multimedia content superimposed on a second image.
  • the multimedia content may be configured with visual information.
  • the multimedia content may include at least one of an image including at least one visual object or at least one text.
  • the multimedia content may be an image 400 .
  • the image 400 may include a static image or a dynamic image (eg, video), or the image 400 may be included in a video corresponding to the multimedia content.
  • the image 400 may be acquired through communication with an external electronic device.
  • the image 400 may be acquired by processing of the processor 210 without communication with an external electronic device. However, it is not limited thereto.
  • image 400 may relate to an external object within the environment viewed via display 250 .
  • the processor 210 may obtain an image of the external object through the camera 230 and acquire an image 400 related to the external object based on the recognition of the image.
  • the image 400 may include explanatory information or attribute information about the external object.
  • the recognition of the image may be executed within the wearable device 110, within an electronic device distinct from the wearable device 110, or based on interworking between the wearable device 110 and the electronic device. there is. However, it is not limited thereto.
  • image 400 may be independent of the environment shown through display 250 .
  • the multimedia content may be an emoji graphic object 410 .
  • the emoji graphic object 410 may represent a user of the wearable device 110 .
  • the emoji graphic object 410 may have a shape set to suit the user's intention according to manipulation.
  • the emoji graphic object 410 may have a shape set based on recognizing an image of the user of the wearable device 110 .
  • the emoji graphic object 410 may be obtained based on feature points extracted from a visual object in the image corresponding to the user (or the user's face).
  • the emoji graphic object 410 may represent a service provider provided through the wearable device 110 . However, it is not limited thereto.
  • the emoji graphical object 410 may be configured with a two dimensional (2D) visual object or a three dimensional (3D) visual object.
  • emoji graphical object 410 is as associated with an external object 420 (eg, an air conditioner) in the environment shown within the viewing area of display 250. , can be displayed.
  • the emoji graphical object 410 may take a gesture indicating the external object 420 .
  • the emoji graphical object 410 may be adjacent to the external object 420 .
  • the emoji graphical object 410 may be associated with visual information 425 derived from the emoji graphical object 410 .
  • the emoji graphic object 410 and the visual information 425 may be adjacent to each other or connected to each other.
  • the visual information 425 includes information about an external object (eg, the external object 420) identified by a user input and shown within the representation of the display 250, or control of the external object.
  • information about a function executed under the control of the emoji graphic object 410 may be included.
  • the input may be defined in various ways.
  • the input may be an input 510 for executing a software application used to display multimedia content.
  • processor 210 may receive, at operation 302 , input 510 for an executable object 500 for a software application used to display the multimedia content.
  • the software application may be used to play the multimedia content in order to provide a video streaming service.
  • the input received in operation 302 may include input 510 .
  • the input may be an input 520 for selecting one of a plurality of multimedia contents displayed on a graphical user interface (GUI) of a software application.
  • GUI graphical user interface
  • the processor 210 in operation 302, selects one of the executable objects 535 displayed in the GUI 530 to play the plurality of multimedia contents, respectively.
  • Input 520 may be received.
  • selecting one of the plurality of executable objects 535 means displaying the multimedia content
  • the input received in operation 302 includes the input 520. can do.
  • the GUI 530 may be displayed through a display 250 (eg, a head-up display (HUD) arrangement) of the wearable device, and an executable object provided in the GUI is multimedia content It may be selected through an input (eg, a gesture input) for selecting ,
  • the input may be an input received from an external electronic device (eg, through a GUI provided by an external object such as a smartphone).
  • the selection may be communicated with the wearable device and received as an input for displaying the multimedia content.
  • the input may be an input 540 for selecting an external object shown in the display area of the display 250 .
  • the processor 210 may receive an input 540 selecting an external object 550 in operation 302 .
  • the input received in operation 302 may include the input 540. .
  • the input may include gesture input (eg, for selecting an object displayed or shown within the display area within display 250), touch input (eg, a GUI of a software application displayed on a touch screen). for selecting multimedia content displayed on the screen), or voice input (eg, voice recognition performed to identify multimedia content or objects presented within the voice input).
  • gesture input eg, for selecting an object displayed or shown within the display area within display 250
  • touch input eg, a GUI of a software application displayed on a touch screen
  • voice input eg, voice recognition performed to identify multimedia content or objects presented within the voice input.
  • the input identifies that a specified condition is satisfied in the wearable device 110 in relation to the display of the multimedia content or other electronic devices distinguished from the wearable device 110. It may be to receive a signal specified in relation to the display of the multimedia content from the device. However, it is not limited thereto.
  • the processor 210 may identify whether or not the brightness of the environment around the wearable device 110 is equal to or greater than the reference brightness based on receiving the input.
  • the environment may refer to a scene displayed within a display area of the display 250 .
  • the environment may refer to an area where the multimedia content is to be displayed. However, it is not limited thereto.
  • the brightness of the environment around wearable device 110 may be identified through various methods.
  • the processor 210 based on receiving the input, acquires the image of the environment shown in the display area of the display 250 through the camera 230, and the obtained image
  • the brightness of the environment may be identified based on data indicating the brightness.
  • the data may be luma data. However, it is not limited thereto.
  • the processor 210 obtains sensing data through the illuminance sensor of the wearable device 110 based on receiving the input, and determines the brightness of the environment based on the obtained sensing data. can be identified. In one embodiment, the processor 210 may identify the brightness of the environment based on the data representing the brightness of the image and the sensing data.
  • the reference brightness may be set to a value for identifying whether an external object is displayed through at least one area in the multimedia content having a designated color, which will be described with reference to operation 306. there is.
  • the reference brightness identifies whether external light having an intensity greater than or equal to a specified intensity through the at least one region is received by the eyes of the user of the wearable device 110, which will be described with reference to operation 306. It can be set to a value for However, it is not limited thereto.
  • the processor 210 may execute operation 306 on a condition that the brightness is greater than or equal to the reference brightness and may execute operation 314 on a condition that the brightness is less than the reference brightness. In one embodiment, operations 306 and 314 may be performed based on the brightness of the environment and without specification of a reference brightness.
  • the processor 210 may alternatively or additionally (at operation 304) determine whether the brightness of the multimedia content (eg, the brightness of a portion of the current image of the multimedia content) is less than or equal to another reference brightness. Whether or not, based on receiving the input, may be identified, detected, or determined. For example, the result may be the same as when the result of operation 304 is positive and the same as when the result of operation 304 is negative.
  • the other reference brightness may be set to a value for identifying whether one or more areas in the multimedia content have a specific color.
  • the other reference brightness may be set to a value according to the identified brightness of the environment. For example, the other reference brightness may be set to a higher value in a bright environment than in a low brightness environment.
  • the processor 210 identifies (or determines, or detects) whether the multimedia content includes the at least one region having the specified color, based on the identification that the brightness is greater than or equal to the reference brightness. can, etc.)
  • the designated color may be a color expressed by the display 250 without light emission under the control of the processor 210 .
  • the designated color may be black.
  • at least one first light emitting element disposed for the at least one area having the designated color among the plurality of light emitting elements Unlike at least one second light emitting element disposed for the remaining area of the multimedia content having a color distinct from the designated color among the light emitting elements of , it may be inactivated.
  • the multimedia content 600 which is the multimedia content, has at least one area 610 having the designated color (or substantially the same color as the designated color) and distinguishable from the designated color.
  • a state of the plurality of light emitting elements in the display 250 may be expressed as a state 640.
  • the at least one first light emitting element for at least one region 610 of the plurality of light emitting elements does not emit light
  • the remaining one of the plurality of light emitting elements ( The at least one second light emitting element for 620) may emit light. Deactivation of the at least one first light emitting device or non-emitting of the at least one first light emitting device may reduce the quality of the multimedia content 600 displayed through the display 250 .
  • multimedia content 600 may be displayed with environment 650 , which is the environment viewed within the display area of display 250 .
  • the environment 650 includes at least one external object shown in the display area of the display 250 and may be an environment around the wearable device 110 .
  • the multimedia content 600 may be displayed through the display 250 in a state in which the environment 650 is viewed within the display area of the display 250 .
  • the multimedia content 600 may be overlapped and displayed on at least a portion of the environment 650 shown within the display area of the display 250 .
  • the multimedia content 600 superimposed on the at least a portion of the environment 650 viewed within the display area of the display 250, such as the display state 660, may be provided through the display 250.
  • At least one region 670 within environment 650 may be visible through at least one region 610 . Since the at least one region 670 in the environment 650 viewed through the at least one region 610 is disparate or heterogeneous with respect to the multimedia content 600, the multimedia displayed through the display 250 The quality of the content 600 may be reduced by at least one region 610 .
  • the display 250 is configured to transmit external light directed to a first side of the display 250 through a second side of the display 250 (eg, the external light may pass from the second surface to the second surface), and the at least one first light-emitting device for the at least one area 610 having the designated color is deactivated while displaying the multimedia content 600.
  • the intensity of light reaching the user's eyes through the at least one region 610 is the reference intensity as in the state 700.
  • the reference intensity may be an intensity of light that a user of the wearable device 110 can view.
  • the intensity of light reaching the user's eyes through the remaining region 620 may be less than the reference intensity.
  • the processor 210 executes operation 308 on the condition that the multimedia content includes the at least one area, and executes operation 316 on the condition that the multimedia content does not include the at least one area. can run
  • the processor 210 based on the identification that the multimedia content includes the at least one area, via the camera 230, to at least a portion of the environment viewed within the display area of the display 250.
  • a first image may be obtained.
  • the processor 210 may obtain, based on the identification, the first image of the portion of the environment corresponding to a location within the display area where the multimedia content is to be displayed.
  • the processor 210 may obtain a first image for at least a portion of the environment corresponding to the at least one area of the multimedia content.
  • the first image is displayed together with the multimedia content, displayed through a display 250, or displayed superimposed on the environment or a part of the environment, and the at least part of the environment is displayed on the
  • the at least one region of multimedia content may correspond to a portion of the environment over which it overlaps.
  • operation 308 may be executed based on user input.
  • the processor 210 may display a message 800 through the display 250 based on the identification that the multimedia content includes the at least one region.
  • message 800 may be displayed to identify whether to execute operations 308-312.
  • the message 800 may include text for inquiring whether to generate a second image (eg, a compensation image) in operation 310 .
  • message 800 may include an executable object 805 indicating executing operations 308-312 and an executable object refraining from executing operations 308-312. 810 (where performing or refraining from performing an action may indicate performing or not performing the action, not performing the action, or not performing the action).
  • processor 210 can execute operation 308 based on receiving user input 815 for executable object 805 .
  • message 800 may be displayed based on the identification in operation 304 that the brightness is greater than or equal to the reference brightness. If message 800 is displayed based on the identification that the brightness is equal to or greater than the reference brightness, processor 210 may execute operation 306 or refrain from executing operation 306 in response to user input to message 800. can
  • the processor 210 may display a message 850 through the display 250 based on the identification that the multimedia content includes the at least one area. For example, message 850 may be displayed to identify whether to execute operations 308-312. For example, the message 850 may include text for inquiring whether to generate a second image (eg, a compensation image) in operation 310 . For example, message 850 may include executable object 855 indicating executing operations 308-312 and executable object 860 indicating refraining from executing operations 308-312. there is. For example, processor 210 can execute operation 308 based on receiving user input 865 for executable object 855 .
  • operation 308 may be automatically performed in response to identifying that the multimedia content includes at least one region having the designated (or specific) color.
  • the first image may include a scene corresponding to the environment 650 shown in FIG. 6 .
  • the image 900 that is the first image may include visual objects respectively corresponding to external objects in the environment 650 shown in FIG. 6 .
  • the processor 210 may obtain a second image in which the color of the first image is converted or inverted, based on obtaining the first image. (hereinafter, converting a color includes inverting a color). For example, in response to obtaining the first image, the processor 210 may process the first image to obtain the second image, in which the color of the first image is inverted.
  • the image 950 as the second image may be an image in which the color of the image 900 is reversed.
  • an area 960 in the image 950 corresponding to an area 910 in the image 900 configured with black may be configured with white (eg, The color of region 960 in image 950 is inverted compared to the color of region 910 of image 900.
  • the processor 210 may display the multimedia content superimposed on the second image.
  • the second image may be displayed at a position identified based on the position of the field of view of the camera 230 when the first image is acquired.
  • the second image may include at least one external object located within the field of view of the camera 230 at the time of acquiring the first image, and at least one external object in the second image corresponding to the at least one external object. It can be displayed at the position completely overlapping with the visual object of.
  • the second image displayed at the location may be aligned with the part of the environment corresponding to the scene at the time of acquiring the first image.
  • the second image may be displayed superimposed on the part of the environment corresponding to a scene at the time of acquiring the first image.
  • the processor 210 may provide a background layer having a reference color through the display 250 by displaying the second image aligned with the part of the environment (eg, the second image). 2 The colors of the image may be inverted compared to the colors of the first image).
  • processor 210 may display image 950 such that image 950 aligns with environment 650 . Since the image 950 is aligned with the environment 650 and the environment 650 is viewed through the display 250, the background layer 1000 having the reference color may be presented through the display 250.
  • the periphery 1010 of the background layer 1000 may have a blur effect.
  • the processor 210 may apply a blur effect to edges 1020 of the image 950 after obtaining the image 950 and before displaying the image 950 through the display 250.
  • a blur effect applied to the edges of the image 950 may provide a blur effect at the edges 1010 of the background layer 1000 .
  • the blur effect may be provided at the edges 1010 for harmony between the multimedia content superimposed on the background layer 1000 and an external object shown through an area around the multimedia content.
  • the blur effect may be provided at the edges 1010 to minimize or prevent the background layer 1000 from being visible when the multimedia content is superimposed on the background layer 1000 .
  • the multimedia content may be superimposed on the second image arranged to provide a background layer such as the background layer 1000 .
  • a background layer such as the background layer 1000 .
  • An intensity of external light may be less than the reference intensity.
  • the at least one region 670 of the environment 650 is configured to display the multimedia content. It may not be visible through the at least one area within. For example, referring to FIG.
  • the processor 210 generates a background layer 1000 provided by displaying a second image 950 based on controlling the display 250 in a state 640 . Overlapping on top, it is possible to display the multimedia content 600 .
  • the multimedia content 600 displayed overlapping on the background layer 1000 may be provided through the display 250 as in the display state 1100 .
  • at least one area 670 in environment 650 is at least one area in environment 650 in display state 660 shown in FIG. 670), it may not be visible through at least one area 610.
  • FIG. 1100 at least one area 670 in environment 650 is at least one area in environment 650 in display state 660 shown in FIG. 670
  • the background layer 1000 is external Since at least a portion of the light is reflected, absorbed, or blocked, the intensity of light reaching the user's eye through the at least one region 610 may be less than the reference intensity as in state 750 .
  • the processor 210 may enhance the quality of the multimedia content displayed through the display 250 by displaying the multimedia content as an overlap on the second image.
  • the color of the background layer 1000 may be changed according to the color of the environment 650 or the color of at least one area 670 of the environment 650 .
  • the processor 210 identifies the color of the environment 650 or the color of at least one region 670 of the environment 650 at each specified time interval, and based on the identified color, the background layer ( 1000) can be changed.
  • the background layer ( 1000) can be changed.
  • displaying the multimedia content as an overlap on the second image is based on rendering the second image and the multimedia content on a virtual plane(s) located in a virtual 3D space. and can be executed.
  • the processor 120 converts the first image, which is a 2D (dimensional) image, into a 3D image (or stereoscopic image) 1200 based on obtaining the first image. ) can be converted to
  • the camera 230 includes the plurality of cameras defined through the description of FIG. 2A or 2B to obtain a 3D image
  • the processor 120 may perform a first image through the plurality of cameras. may be obtained, respectively, and a 3D image 1200 may be obtained based on the first images.
  • the processor 120 may obtain depth information when acquiring the first image, and obtain a 3D image 1200 converted from the first image based on the depth information. However, it is not limited thereto. Meanwhile, the processor 120 identifies the position of the first virtual plane 1210 based on the position of the 3D image 1200 on the virtual 3D space, and displays the second image 950 on the first virtual plane 1210. ) can be rendered. Meanwhile, the processor 120 may render the multimedia content 600 on the second virtual plane 1220 (eg, the second virtual plane 1220 is the location of the first virtual plane 1210). may be based on). The processor 210 corresponds to the display area of the display 250 with the second image 950 rendered on the first virtual plane 1210 and the multimedia content 600 rendered on the second virtual plane 1220.
  • the third virtual plane 1230 By projecting on the third virtual plane 1230 on the virtual 3D space, it is possible to display the multimedia content 600 superimposed on the second image 950 (eg, the third virtual plane ( 1230) may be based on the location of the first virtual plane 1210 and/or the location of the second virtual plane 1220). For example, as a result of this, the third virtual plane 1230 may be viewed by the user of the wearable device. Through the display of the multimedia content 600 superimposed on the second image 950 overlapping a part of the environment corresponding to the location where the multimedia content 600 is to be displayed, it can be viewed by the user of the wearable device. . However, it is not limited thereto.
  • displaying the multimedia content superimposed on the second image may be executed by constructing the second image 950 and the multimedia content 600 in a virtual 3D space or on different virtual layers or virtual planes.
  • the positions of the different virtual layers relative to each other may depend on the size of the multimedia content 600 displayed via the display 250 (eg, the multimedia content 600 within the FOV of a user wearing the wearable device). size) and/or the location of the multimedia content 600 on the display 250 (eg, the location of the multimedia content 600 within the user's FOV wearing the wearable device).
  • the processor 210 may adjust the opacity of the multimedia content before displaying the multimedia content superimposed on the second image.
  • the processor 210 may acquire multimedia content 1300 by adjusting the opacity of the multimedia content 600 .
  • the opacity of the multimedia content 1300 may be greater than that of the multimedia content 600 (eg, increased opacity).
  • the processor 210 may display the multimedia content 1300 superimposed on the second image.
  • the processor 210 may further display a reflective layer superimposed on the multimedia content superimposed on the second image.
  • the reflective layer may include blue or purple, which is robust to light reflection.
  • the processor 210 displays the multimedia content 600 displayed using the controlled display 250, such as the state 640, superimposed on the background layer 1000.
  • a reflective layer 1350 may be further displayed.
  • the multimedia content 600 between the background layer 1000 and the reflection layer 1350 may be provided, such as a display state 1360 .
  • the reflective layer 1350 can partially transparent the multimedia content 600 to be viewed through the reflective layer 1350 .
  • the processor 210 may display the multimedia content based on the identification that the brightness is less than the reference brightness. For example, the processor 210 may refrain from executing operation 306 and display the multimedia content. For example, the processor 210 may display the multimedia content without displaying the second image.
  • the processor 210 may display the multimedia content based on identification that the multimedia content does not include the at least one area. For example, the processor 210 may refrain from executing operations 308 to 312 and display the multimedia content. For example, the processor 210 may display the multimedia content without displaying the second image.
  • FIG. 3 The description of FIG. 3 described above includes an example in which the processor 210 in the wearable device 110 executes operations 302 to 312, but this is for convenience of description. At least some of operations 302 to 312 of FIG. 3 may be executed by an external electronic device (eg, a smart phone, a tablet, a personal computer (PC), a server, etc.) connected to the wearable device 110 . However, it is not limited thereto.
  • an external electronic device eg, a smart phone, a tablet, a personal computer (PC), a server, etc.
  • the wearable device 110 may prevent or minimize at least a part of the external environment from being displayed through the displayed multimedia content by displaying the multimedia content superimposed on the second image.
  • FIG. 14 is a flowchart illustrating a method of identifying whether to display multimedia content superimposed on a second image based on the size of at least one region. This method may be executed by the wearable device 110 shown in FIG. 1 , the wearable device 110 shown in FIG. 2A or 2B , or the processor 210 shown in FIG. 2A .
  • the processor 210 may identify that the multimedia content includes the at least one region having the designated color. For example, the processor 210 may identify that the multimedia content includes the at least one region according to the identification in operation 306 . In some embodiments, one or more of the actions shown in FIG. 14 may be omitted, or one or more of the actions shown in FIG. 14 may be performed in a different order than shown.
  • the processor 210 may identify whether the ratio of the size of the at least one area to the size of the multimedia content is greater than or equal to a reference value, based on the identification. For example, when the size of the at least one area is relatively small, since the reduction in quality of the multimedia content due to the at least one area is relatively small, the processor 210 determines that the ratio is greater than or equal to the reference value. acknowledgment can be identified. For example, the processor 210 may execute operation 1404 to reduce resource consumption of the wearable device 110 by executing operations 308 and 310 .
  • the processor 210 may execute operation 1406 on the condition that the ratio is greater than or equal to the reference value, and may execute operation 1408 on the condition that the ratio is less than the reference value.
  • the processor 210 may display the multimedia content superimposed on the second image based on identifying that the ratio is greater than or equal to the reference value. For example, the processor 210 acquires the second image by executing operations 308 and 310 based on identifying that the ratio is greater than or equal to the reference value, and overlaps the multimedia on the second image. content can be displayed.
  • the processor 210 may display the multimedia content based on identifying that the ratio is less than the reference value. For example, the processor 210 may display the multimedia content without displaying the second image.
  • the wearable device 110 through execution of operation 1404, acquires the first image and the second image and adaptively displays the multimedia content superimposed on the second image.
  • the wearable device 110 may optimize resource use efficiency of the wearable device 110 through such adaptive execution.
  • FIG. 15 is a flowchart illustrating a method of identifying whether to display multimedia content superimposed on a second image based on the position of at least one region. This method may be executed by the wearable device 110 shown in FIG. 1 , the wearable device 110 shown in FIG. 2A or 2B , or the processor 210 shown in FIG. 2A . In some embodiments, one or more of the actions shown in FIG. 15 may be omitted, or one or more of the actions shown in FIG. 15 may be performed in a different order than shown.
  • the processor 210 may identify that the multimedia content includes the at least one region having the designated color. For example, the processor 210 may identify that the multimedia content includes the at least one region according to the identification in operation 306 .
  • the processor 210 may identify whether the position of the at least one region is within a center region within the display region of the display 250 based on the identification.
  • the center area may be an attention area of a user wearing the wearable device 110 .
  • the center area may be an area within the display area of the display 250 that the user frequently looks at.
  • the processor may identify whether the location of the at least one area is within the center area.
  • the processor 210 may execute operation 1504 to reduce resource consumption of the wearable device 110 by executing operations 308 and 310 .
  • the processor 210 may execute operation 1506 on the condition that the location of the at least one region is within the center area, and may execute operation 1508 on the condition that the location of the at least one area is outside the center area.
  • the processor 210 may display the multimedia content superimposed on the second image based on identifying that the location of the at least one region is within the center region. For example, the processor 210 acquires the second image by executing operations 308 and 310 based on identifying that the location of the at least one region is within the center region, and It is possible to display the multimedia content by overlapping on.
  • the processor 210 may display the multimedia content based on identifying that the location of the at least one area is outside the center area. For example, the processor 210 may display the multimedia content without displaying the second image.
  • the wearable device 110 through execution of operation 1504, acquires the first image and the second image and adaptively displays the multimedia content superimposed on the second image.
  • the wearable device 110 may optimize resource use efficiency of the wearable device 110 through such adaptive execution.
  • FIG. 16 is a flowchart illustrating a method of changing a color of a second image. This method may be executed by the wearable device 110 shown in FIG. 1 , the wearable device 110 shown in FIG. 2A or 2B , or the processor 210 shown in FIG. 2A . In some embodiments, one or more of the actions shown in FIG. 16 may be omitted, or one or more of the actions shown in FIG. 16 may be performed in a different order than shown.
  • 17 shows exemplary second images having changed colors.
  • the processor 210 may obtain the second image.
  • operation 1602 may correspond to operation 310 of FIG. 3 .
  • the processor 210 may change the color of the second image based on the color temperature of the first image.
  • the second image is for compensating for a part of the external environment (eg, at least one region 670) being viewed through the at least one region (eg, at least one region 610).
  • processor 210 can estimate the color temperature of the portion of the external environment by identifying the color temperature of the first image in response to acquiring the first image.
  • the processor 210 may change the color of the second image based on the estimated color temperature. For example, when the color temperature corresponds to the color temperature of blue light, the processor 210 blends red with the second image to obtain the color of the second image. can be changed.
  • the processor 210 may change the color of the second image by blending blue with the second image.
  • the processor 210 may display the multimedia content as an overlap on the second image having the changed color.
  • the second image having the changed color displayed through the display 250 may form the background layer.
  • the color of the background layer may be changed from the reference color by the second image having the changed color.
  • the color of the background layer 1000 may be changed based on the second image having the changed color. For example, when the color temperature is within a first range, the background layer 1000 having the reference color may be changed to a background layer 1700 having a first color distinct from the reference color. For example, when the color temperature is within a second range distinct from the first range, the background layer 1000 having the reference color has a second color distinct from the reference color and the first color.
  • the background layer 1000 having the reference color may include the reference color, the first color, and the It can be changed to a background layer 1760 having a third color distinct from the second color.
  • the background layer 1000 having the reference color may include the reference color, the first color, and the It can be changed to a background layer 1760 having a third color distinct from the second color.
  • the wearable device 110 adaptively changes the color of the second image according to the color temperature of the environment in which the wearable device 110 is located, thereby displaying the multimedia displayed through the display 250.
  • the quality of content can be enhanced.
  • FIG. 18 is a flowchart illustrating a method of displaying multimedia content superimposed on a portion of a second image. This method may be executed by the wearable device 110 shown in FIG. 1 , the wearable device 110 shown in FIG. 2A or 2B , or the processor 210 shown in FIG. 2A . In some embodiments, one or more of the actions shown in FIG. 18 may be omitted, or one or more of the actions shown in FIG. 18 may be performed in a different order than shown.
  • FIG. 19 illustrates exemplary multimedia content displayed superimposed on a portion of a second image.
  • the processor 210 may obtain a part of the second image corresponding to the at least one region in response to acquiring the second image in operation 310. For example, referring to FIG. 19 , the processor 210 identifies at least one region 610 in the multimedia content 600 and displays a second image 950 corresponding to the at least one region 610. At least one area 1910 can be identified. The processor 210 may acquire at least one area 1910 as a part of the second image 950 .
  • the processor 210 may display the multimedia content in an overlapping manner on the acquired part of the second image.
  • the processor 210 may provide a background layer 1920 by displaying at least one area 1910 that is the acquired part of the second image 950 .
  • the color of at least one region 1930 corresponding to the at least one region 1910 in the background layer 1920 may be the reference color.
  • the processor 210 based on controlling the display 250 as in the state 640, superimposes the multimedia content 600 on the background layer 1920 provided by the display of the at least one region 1910. ) can be displayed.
  • the multimedia content 600 displayed overlapping on the background layer 1920 may be provided through the display 250 as in the display state 1940 .
  • at least one region 670 in environment 650 may not be visible through at least one region 610 , such as in display state 1100 .
  • operations 1802 and 1804 may be executed on condition that the multimedia content is a static image.
  • the processor 210 may execute operations 1802 to 1804 on the condition that the multimedia content is the static image, and may execute operations 310 and 312 on the condition that the multimedia content is not the static image.
  • the wearable device 110 may reduce resource consumption by displaying the second image by acquiring the part of the second image.
  • FIG. 20 is a flowchart illustrating a method of processing a second image and multimedia content superimposed on the second image according to movement of an external object. This method may be executed by the wearable device 110 shown in FIG. 1 , the wearable device 110 shown in FIG. 2A or 2B , or the processor 210 shown in FIG. 2A . In some embodiments, one or more of the actions shown in FIG. 20 may be omitted, or one or more of the actions shown in FIG. 20 may be performed in a different order than shown.
  • 21 illustrates an example of a method of processing a second image and multimedia content superimposed on the second image according to the movement of an external object.
  • the processor 210 may display the multimedia content superimposed on the second image.
  • operation 2002 may correspond to operation 312 of FIG. 3 .
  • the processor 210 identifies whether there is an external object moving within the part of the environment including the wearable device 110 that is obscured by displaying the multimedia content superimposed on the second image. can do. For example, since a user wearing the wearable device 110 cannot identify the movement of the external object by the display of the multimedia content, the user knows that he or she is in an unexpected situation. may not be aware of it.
  • Processor 210 acquires images through camera 230 while displaying the multimedia content superimposed on the second image in order to prevent such non-recognition, and based on the acquired images, It is possible to identify whether the moving (or moving) external object exists.
  • the processor 210 executes operation 2006 on the condition that the moving or moving external object exists, and operates operation 2004 while displaying the multimedia content superimposed on the second image on the condition that the external object does not exist. can keep running.
  • the processor 210 may stop displaying the second image based on identifying that the external object exists. For example, the formation or provision of the background layer may be stopped by stopping the display of the second image. For example, referring to FIG. 21 , the processor 210 displays the second image 950 on the background layer 1000 provided by the display of the second image 950 based on controlling the display 250 as in the state 640. While displaying the multimedia content 600 as an overlap on , it is possible to identify that the external object exists. The processor 210 may stop displaying the second image 950 based on the identification. The background layer 1000 is removed as in state 2100 by stopping the display of the second image 950, and at least one area 670 in the environment 650 (not shown in FIG. 21) It may be exposed through at least one area 610 .
  • the processor 210 may reduce the opacity of the multimedia content based on identifying that the external object exists. For example, the processor 210 may reduce the opacity of the multimedia content so that the user wearing the wearable device 110 can more easily recognize the external object. For example, referring to FIG. 21 , the processor 210 reduces the opacity of the multimedia content 600 in a state in which the second image is removed (or a state in which the background layer 1000 is removed), thereby displaying State 2120 may be provided. Within the display state 2120, the user may recognize an external object 2130 being moved.
  • FIG. 20 illustrates an example of executing operation 2008 after executing operation 2006, operations 2006 and 2008 may be executed concurrently, operation 2006 may be executed after operation 2008 is executed, or operations 2006 and 2008 may be executed. Any one of them can be executed.
  • the processor 210 may identify whether the movement of the external object is stopped while stopping displaying the second image and/or displaying the multimedia content having the reduced opacity. there is. For example, the processor 210 determines whether the movement of the external object is stopped or whether the external object moves out of the field of view of the camera 230, based on the images acquired through the camera 230. can be identified. The processor 210 may continue to execute operation 2012 on a condition in which the movement of the external object is stopped, and execute operation 2010 in a condition in which the movement of the external object is maintained.
  • the processor 210 resumes displaying the second image and restores the opacity of the multimedia content based on identifying that the movement of the external object is stopped. For example, the processor 210 may resume displaying the second image and restore the opacity of the multimedia content in order to enhance the display quality of the multimedia content.
  • the wearable device 110 while displaying the multimedia content superimposed on the second image, the user wearing the wearable device 110 detects an external object moving around the wearable device 110. To be able to recognize, operation 2004 may be executed. For example, the wearable device 110 may execute operation 2004 so that the user can view the multimedia content in a safe environment.
  • FIG. 22 is a flowchart illustrating a method of identifying a color of a second visual object displayed under at least one first visual object associated with multimedia content. This method may be executed by the wearable device 110 shown in FIG. 1 , the wearable device 110 shown in FIG. 2A or 2B , or the processor 210 shown in FIG. 2A . In some embodiments, one or more of the actions shown in FIG. 22 may be omitted, or one or more of the actions shown in FIG. 22 may be performed in a different order than shown.
  • FIG. 23 illustrates exemplary second visual objects displayed under at least one first visual object associated with multimedia content.
  • the processor 210 sets a color of at least one first visual object to be displayed in association with the multimedia content.
  • the at least one first visual object may be visual information related to the multimedia content.
  • the processor 210 identifies a color of the at least one first visual object to be displayed in association with the multimedia content based on identifying an event related to the multimedia content while displaying the multimedia content. can do.
  • the processor 210 determines the color of a second visual object to be displayed under the at least one first visual object based on the color of the at least one first visual object or the color of the multimedia content. can identify.
  • the second visual object may be a visual object displayed below the at least one first visual object in order to enhance the display quality of the at least one first visual object.
  • the second visual object may be a background of the at least one first visual object. However, it is not limited thereto.
  • the processor 210 determines that the at least one first visual object has at least one designated color (where the at least one designated color is different from the designated color described in combination with at least one region in the multimedia content). identifying the color of the second visual object based on the color of the multimedia content among the color of the at least one first visual object and the color of the multimedia content on a condition having only), and the at least one Of the at least one first visual object of the color of the at least one first visual object and the color of the multimedia content, on the condition that the first visual object of has a different color distinct from the at least one designated color. Based on the color, the color of the second visual object may be identified.
  • the at least one designated color is a color for which the visibility of the at least one first visual object is guaranteed, independently (or irrespective of) whether the color of the second visual object is identified as a color.
  • the at least one designated color may be black and white. However, it is not limited thereto.
  • the processor 210 sets the color of the second visual object to harmonize with the multimedia content. It can be identified based on the color of the multimedia content. For example, since the visibility of the at least one first visual object having a different color is not guaranteed, the processor 210 may enhance the visibility of the at least one first visual object.
  • the color of the second visual object may be identified as a complementary color of the color of the first visual object.
  • the processor 210 in response to identifying an event for displaying at least one first visual object 2301 having only the at least one designated color, at least one first visual object 2301
  • the color of the second visual object 2300 to be displayed under the first visual object 2301 may be identified as the color 2302 identified based on the color of the multimedia content 600 .
  • the processor 210 displays the at least one first visual object 2303 under the at least one first visual object 2303 in response to identifying an event for displaying the at least one first visual object 2303 having a different color.
  • the color of the to-be second visual object 2300 may be identified as an identified color 2304 based on the color of at least one first visual object 2303 .
  • the processor 210 displays the at least one first visual object associated with the multimedia content, superimposed on the second visual object having the color identified in operation 2204. can be displayed.
  • the wearable device 110 is based on detecting an event for displaying the at least one first visual object related to the multimedia content while displaying the multimedia content superimposed on the second image. to identify the color of the second visual object to be displayed under the at least one first visual object based on the color of the at least one first visual object, or to identify the color of the at least one visual object based on the color of the multimedia content. By identifying the color of the second visual object to be displayed under the first visual object of, visibility of the at least one first visual object may be enhanced or the second visual object in harmony with the multimedia content may be displayed.
  • An electronic device, method, and non-transitory computer readable storage medium displays multimedia content superimposed on a second image obtained by inverting a color of a first image acquired through a camera, thereby providing information of the multimedia content. quality can be enhanced.
  • a wearable device may include at least one camera, a display, a memory configured to store instructions, and a processor.
  • the processor may be configured to execute the instructions to obtain a user request to present multimedia content within a display area of the display.
  • the processor may be configured to execute the instructions to identify whether brightness of an environment around the wearable device is greater than or equal to a reference brightness based on the user request.
  • the processor may be configured to execute the instructions to identify whether the multimedia content includes at least one area having a predetermined color, based on the brightness equal to or greater than the reference brightness. .
  • the processor based on the multimedia content including the at least one region, through the at least one camera, controls a portion of the environment corresponding to a location where the multimedia content is to be displayed. 1 may be configured to execute the above instructions to create an image. According to one embodiment, the processor may be configured to execute the instructions to generate a second image in which a color of the first image is inverted. According to one embodiment, the processor may be configured to execute the instructions to present the multimedia content, overlaid on the second image displayed at the location, via the display.
  • the color(s) of the first image may be inverted in the second image.
  • the processor may be configured to execute the instructions to refrain from identifying whether the multimedia content includes the at least one region based on the brightness being less than the reference brightness. .
  • the processor is configured to execute the instructions to refrain from generating the first image and the second image based on the multimedia content not including the at least one region.
  • the processor is configured to execute the instructions to identify the brightness of the environment based on data representing the brightness of an image obtained through the at least one camera, in response to the user request. It can be. According to an embodiment, the processor may be configured to execute the instructions to identify whether the brightness of the environment identified based on the data is greater than or equal to the reference brightness.
  • the wearable device may further include an illuminance sensor.
  • the processor upon executing the instructions, in response to the user request, further (or alternatively) based on data obtained via the ambient light sensor, to identify the brightness of the environment. , may be configured to execute the instructions.
  • the processor performs the instructions to identify whether the brightness of the identified environment is equal to or greater than the reference brightness based further (or alternatively) on the data obtained via the ambient light sensor. can be configured to execute them.
  • the processor may be configured to execute the instructions to identify a first virtual plane defined on a virtual three dimensional (3D) space based on the first image. .
  • the processor may be configured to execute the instructions to render the second image on the first virtual plane.
  • the processor may be configured to execute the instructions to render the multimedia content on a second virtual plane defined on the virtual 3D space and distinct from the first virtual plane.
  • the processor by projecting the rendered second image and the rendered multimedia content on a third virtual plane corresponding to the display area of the display 250 and defined on the virtual 3D space, It may be configured to execute the instructions to display the multimedia content, superimposed on a second image.
  • the processor may, based on the brightness less than the reference brightness and/or the multimedia content not including the at least one area, first light emitting elements for the at least one area and the designated first light emitting devices for the at least one area. and to execute the instructions to display the multimedia content by emitting light from second light emitting elements of the second light emitting elements for at least one other region of the multimedia content having a color distinct from the color.
  • the processor may be further configured to execute the instructions to adjust opacity of the multimedia content.
  • the processor may be further configured to execute the instructions to display the multimedia content with the adjusted opacity through the display, superimposing on the second image displayed at the location. there is.
  • the processor may be further configured to execute the instructions to change a color of the second image based on a color temperature of the first image. According to an embodiment, the processor may be further configured to execute the instructions to display the multimedia content superimposed on the second image having the changed color.
  • the processor may be further configured to execute the instructions to extract a portion of the second image corresponding to the at least one region after the second image is generated.
  • the processor is configured to display the multimedia content as an overlap on the extracted part of the second image displayed at at least one location in the display area corresponding to the at least one area. It may be further configured to execute the above instructions.
  • the processor is configured to display the at least one image of the multimedia content as an overlap on the extracted location of the second image displayed within at least one location in the display area corresponding to the at least one area. It may be further configured to execute the above instructions to display one region.
  • the processor may be configured to execute the instructions to identify whether the multimedia content is a static image based on the user request. According to an embodiment, the processor may be configured to execute the instructions to display the multimedia content, superimposed on the extracted part of the second image, based on the multimedia content being the static image. there is. According to an embodiment, the processor may be configured to execute the instructions to display the multimedia content superimposed on the second image based on the multimedia content other than the static image.
  • the processor based on at least one image obtained through the at least one camera while the multimedia content superimposed on the second image is displayed, the superimposed on the second image It may be further configured to execute the instructions to identify whether there is an external object moving within the portion of the environment that is obscured by displaying the multimedia content. According to one embodiment, the processor may be further configured to execute the instructions to stop displaying the second image based on the identification of the external object. According to one embodiment, while the display of the second image is stopped, the display of the multimedia content may be maintained.
  • the processor may be further configured to, based on the identification of the external object, execute the instructions to reduce opacity of the multimedia content presented through the display. For example, the external object moving within the part of the environment can be seen through the display area, according to the reduction in the opacity of the multimedia content.
  • the processor stops displaying the second image and moves the external object based on at least one image acquired through the at least one camera while displaying the multimedia content. It may be further configured to execute the above instructions to identify whether or not it is interrupted. According to an embodiment, the processor, based on the cessation of the movement of the external object, resumes displaying the second image at the location to display the multimedia content superimposed on the second image. It may be further configured to execute instructions.
  • the user request may include an input for executing a software application used to reproduce the multimedia content.
  • the processor while the multimedia content superimposed on the second image is displayed, the processor performs the instructions to identify a color of at least one first visual object to be displayed in association with the multimedia content. It can be further configured to run. According to an embodiment, the processor determines a color of a second visual object to be displayed under the at least one first visual object based on the color of the at least one first visual object or the color of the multimedia content. It may be further configured to execute the instructions to identify. According to one embodiment, the processor executes the instructions to display the at least one first visual object associated with the multimedia content, superimposed on a second visual object having the identified color, More can be configured.
  • the processor may select the multimedia among the color of the at least one first visual object and the color of the multimedia content on a condition that the at least one first visual object has only at least one designated color. and execute the instructions to identify the color of the second visual object based on the color of content.
  • the processor determines the color of the at least one first visual object and the color of the multimedia content on a condition that the at least one visual object has a different color distinct from the at least one designated color. and execute the instructions to identify the color of the second visual object based on the color of the at least one first visual object of a color.
  • the processor is configured to execute the instructions to identify a ratio of a size of the at least one region to a size of the multimedia content, based on the multimedia content comprising the at least one region. It can be.
  • the processor may be configured to execute the instructions to display the multimedia content superimposed on the second image based on the ratio equal to or greater than a reference ratio.
  • the processor based on the ratio less than the reference ratio, to refrain from generating the first image and the second image, and to display the multimedia content without displaying the second image It may be configured to execute the above instructions.
  • the intensity of light penetrating the at least one area is greater than or equal to a reference intensity while displaying the multimedia content that does not overlap on the second image, and the multimedia content superimposed on the second image While displaying , it may be less than the reference intensity.
  • the size of the second image may be greater than or equal to the size of the multimedia content.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish that component from other corresponding components, and may refer to that component in other respects (eg, importance or order) is not limited.
  • a (eg, first) component is said to be “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of this document may be implemented as software including one or more instructions stored in a storage medium readable by a machine.
  • the processor of the device may call at least one command among one or more commands stored from a storage medium and execute it. This enables the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • Computer program products are distributed in the form of machine-readable storage media (e.g. CD-ROM (compact disc read only memory)) or through application stores (e.g. Play Store). ) or directly between two user devices (eg smart phones), online distribution (eg download or upload).
  • online distribution at least part of the computer program product may be temporarily stored or temporarily created in a storage medium readable by a device such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

웨어러블 장치(wearable device)가 기술된다. 상기 웨어러블 장치는, 적어도 하나의 카메라와, 디스플레이와, 인스트럭션들을 저장하도록 구성된 메모리와, 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 웨어러블 장치 주변의 환경의 밝기가 기준 밝기 이상이고, 상기 디스플레이의 표시 영역 내에서 표시될 멀티미디어 콘텐트가 지정된 색상을 가지는 적어도 하나의 영역을 포함하는 조건 상에서, 상기 멀티미디어 콘텐트가 표시될 위치에 대응하는 상기 환경의 일부의 색상이 반전된, 상기 환경의 상기 일부에 대한 이미지를 획득하도록 구성될 수 있다. 상기 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 획득된 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시하도록 구성될 수 있다.

Description

멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
아래의 설명들은, 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체(non-transitory computer readable storage medium)에 관한 것이다.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내에 있는 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 의해 착용될 수 있는 웨어러블 장치일 수 있다. 예를 들면, 상기 전자 장치는, AR 안경(glass)일 수 있다.
웨어러블 장치(wearable device)가 기술된다(described). 상기 웨어러블 장치는, 적어도 하나의 카메라와, 디스플레이와, 인스트럭션들을 저장하도록 구성된 메모리와, 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 인스트럭션들이 실행될 시, 상기 디스플레이의 표시 영역 내에서 멀티미디어 콘텐트를 표시하기 위한 입력을 수신하도록 구성될 수 있다. 상기 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 수신에 기반하여, 상기 웨어러블 장치 주변의 환경의 밝기가 기준 밝기 이상인지 여부를 식별하도록 구성될 수 있다. 상기 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 밝기가 상기 기준 밝기 이상임을 식별하는 것에 기반하여, 상기 멀티미디어 콘텐트가 지정된 색상을 가지는 적어도 하나의 영역을 포함하는지 여부를 식별하도록 구성될 수 있다. 상기 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함함을 식별하는 것에 기반하여, 상기 적어도 하나의 카메라를 통해, 상기 멀티미디어 콘텐트가 표시될 위치에 대응하는 상기 환경의 일부에 대한 제1 이미지를 획득하도록 구성될 수 있다. 상기 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 제1 이미지의 색상이 반전된, 제2 이미지를 획득하도록 구성될 수 있다. 상기 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 위치에서 표시된 상기 제2 이미지 상에 중첩으로(as superimposed on), 상기 멀티미디어 콘텐트를 상기 디스플레이를 통해 표시하도록, 구성될 수 있다.
적어도 하나의 카메라 및 디스플레이를 포함하는 웨어러블 장치를 동작하기 위한 방법이 기술된다. 상기 방법은, 상기 디스플레이의 표시 영역 내에서 멀티미디어 콘텐트를 표시하기 위한 입력을 수신하는 동작을 포함할 수 있다. 상기 방법은, 상기 수신에 기반하여, 상기 웨어러블 장치 주변의 환경의 밝기가 기준 밝기 이상인지 여부를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 밝기가 상기 기준 밝기 이상임을 식별하는 것에 기반하여, 상기 멀티미디어 콘텐트가 지정된 색상을 가지는 적어도 하나의 영역을 포함하는지 여부를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함함을 식별하는 것에 기반하여, 상기 적어도 하나의 카메라를 통해, 상기 멀티미디어 콘텐트가 표시될 위치에 대응하는 상기 환경의 일부에 대한 제1 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 이미지의 색상이 반전된, 제2 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 위치에서 표시된 상기 제2 이미지 상에 중첩으로(as superimposed on), 상기 멀티미디어 콘텐트를 상기 디스플레이를 통해 표시하는 동작을 포함할 수 있다.
하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체가 기술된다. 상기 하나 이상의 프로그램들은, 적어도 하나의 카메라 및 디스플레이를 포함하는 웨어러블 장치의 하나 이상의 프로세서들에 의해 실행될 시, 상기 디스플레이의 표시 영역 내에서 멀티미디어 콘텐트를 표시하기 위한 입력을 수신하도록 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 상기 하나 이상의 프로세서들에 의해 실행될 시, 상기 수신에 기반하여, 상기 웨어러블 장치 주변의 환경의 밝기가 기준 밝기 이상인지 여부를 식별하도록 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 상기 하나 이상의 프로세서들에 의해 실행될 시, 상기 밝기가 상기 기준 밝기 이상임을 식별하는 것에 기반하여, 상기 멀티미디어 콘텐트가 지정된 색상을 가지는 적어도 하나의 영역을 포함하는지 여부를 식별하도록 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 상기 하나 이상의 프로세서들에 의해 실행될 시, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함함을 식별하는 것에 기반하여, 상기 적어도 하나의 카메라를 통해, 상기 멀티미디어 콘텐트가 표시될 위치에 대응하는 상기 환경의 일부에 대한 제1 이미지를 획득하도록 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 상기 하나 이상의 프로세서들에 의해 실행될 시, 상기 제1 이미지의 색상이 반전된, 제2 이미지를 획득하도록 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 상기 하나 이상의 프로세서들에 의해 실행될 시, 상기 위치에서 표시된 상기 제2 이미지 상에 중첩으로(as superimposed on), 상기 멀티미디어 콘텐트를 상기 디스플레이를 통해 표시하도록, 상기 웨어러블 장치를 야기하는 인스트럭션들을 포함할 수 있다.
도 1은 웨어러블 장치를 포함하는 예시적인(exemplary) 환경을 도시한다.
도 2a는 웨어러블 장치의 간소화된(simplified) 블록도이다.
도 2b는 예시적인 웨어러블 장치를 도시하는 투시도이다.
도 3은 웨어러블 장치의 디스플레이를 통해 멀티미디어 콘텐트를 표시하는 방법을 도시하는 흐름도이다.
도 4는 예시적인 멀티미디어 콘텐트들을 도시한다.
도 5는 멀티미디어 콘텐트를 표시하기 위한 예시적인 입력들을 도시한다.
도 6 및 도 7은 웨어러블 장치의 디스플레이를 통해 표시되는 멀티미디어 콘텐트 내에 포함된 지정된 색상을 가지는 적어도 하나의 영역의 예시적인 특성들을 도시한다.
도 8은 적어도 하나의 영역을 보상하기 위한 제2 이미지를 표시할 것인지를 문의하는 예시적인 메시지들을 도시한다.
도 9는 제2 이미지를 생성하는 방법의 예를 도시한다.
도 10은 제2 이미지를 표시하는 방법의 예를 도시한다.
도 11은 제2 이미지 상에 중첩으로 멀티미디어 콘텐트를 표시하는 방법의 예를 도시한다.
도 12는 제2 이미지 및 멀티미디어 콘텐트를 랜더링하는 방법의 예를 도시한다.
도 13a는 멀티미디어 콘텐트의 불투명도를 조정하는 방법의 예를 도시한다.
도 13b는 제2 이미지 상에 중첩된 멀티미디어 콘텐트 상에 중첩으로 반사 레이어를 표시하는 방법의 예를 도시한다.
도 14는 적어도 하나의 영역의 사이즈에 기반하여 제2 이미지 상에 중첩으로 멀티미디어 콘텐트를 표시할 것인지 여부를 식별하는 방법을 도시하는 흐름도이다.
도 15는 적어도 하나의 영역의 위치에 기반하여 제2 이미지 상에 중첩으로 멀티미디어 콘텐트를 표시할 것인지 여부를 식별하는 방법을 도시하는 흐름도이다.
도 16은 제2 이미지의 색상을 변경하는 방법을 도시하는 흐름도이다.
도 17은 변경된 색상을 가지는 예시적인 제2 이미지들을 도시한다.
도 18은 제2 이미지의 일부 상에 중첩으로 멀티미디어 콘텐트를 표시하는 방법을 도시하는 흐름도이다.
도 19는 제2 이미지의 일부 상에 중첩으로 표시되는 예시적인 멀티미디어 콘텐트를 도시한다.
도 20은 외부 객체의 이동에 따라 제2 이미지 및 제2 이미지 상에 중첩된 멀티미디어 콘텐트를 처리하는 방법을 도시하는 흐름도이다.
도 21은 외부 객체의 이동에 따라 제2 이미지 및 제2 이미지 상에 중첩된 멀티미디어 콘텐트를 처리하는 방법의 예를 도시한다.
도 22는 멀티미디어 콘텐트와 연계된 적어도 하나의 제1 시각적 객체 아래에 표시되는 제2 시각적 객체의 색상을 식별하는 방법을 도시하는 흐름도이다.
도 23은 멀티미디어 콘텐트와 연계된 적어도 하나의 제1 시각적 객체 아래에 표시되는 예시적인 제2 시각적 객체들을 도시한다.
도 1은 웨어러블 장치를 포함하는 예시적인 환경의 예를 도시한다.
도 1을 참조하면, 웨어러블 장치(110)는, 환경(100) 내에, 포함될 수 있다.
웨어러블 장치(110)는, 증강 현실(augmented reality) 서비스(service)를 제공하기 위해 이용될 수 있다. 상기 증강 현실 서비스를 제공하기 위해, 웨어러블 장치(110)는, 적어도 하나의 투명한(transparent) 디스플레이를 포함할 수 있다. 상기 적어도 하나의 투명한 디스플레이는 상기 적어도 하나의 투명한 디스플레이의 제1 면으로 향하는 외부 광을 상기 적어도 하나의 투명한 디스플레이의 제2 면을 통해 투과하도록 구성되기 때문에, 상기 적어도 하나의 투명한 디스플레이는 실제 세계(real-world) 내에 있는 외부 객체(예: 물리적 객체)와 함께 가상 객체를 표시할 수 있다. 본 문서에서, 상기 가상 객체는, 사용자에 의해 시인된다는 측면에서, 시각적 객체로 참조될 수도 있다. 일 실시예에서, 상기 증강 현실 서비스를 제공하기 위해, 웨어러블 장치(110)는, 상기 외부 객체를 인식하기 위해 이용되는 카메라, 웨어러블 장치(110)를 착용한 사용자의 시선(eye)을 추적하기 위해 이용되는 카메라, 또는 그들의 조합(a combination thereof)을 포함할 수 있다. 일 실시예에서, 상기 증강 현실 서비스를 제공하기 위해, 웨어러블 장치(110)는, 통신 회로를 포함할 수 있다. 상기 통신 회로는, 상기 외부 객체에 대한 정보를 외부 전자 장치(예: 서버 또는 스마트폰)로부터 획득하기 위해 이용되거나, 상기 가상 객체를 표시하기 위한 정보를 외부 전자 장치로부터 획득하기 위해 이용될 수 있다.
일 실시예에서, 환경(100) 내의 웨어러블 장치(110)는, 웨어러블 장치(110)의 상기 디스플레이 상에서 표시되는 화면(예: 멀티미디어 콘텐트)을 제어하기 위해, 사용자 입력을 수신할 수 있다. 상기 화면은, 상기 디스플레이의 표시 영역(115) 안에서 보여지는 외부 객체와 함께 표시되기 때문에, 상기 사용자 입력은, 상기 디스플레이에 대한 터치 입력과 구별되는 다른 입력으로 정의될 수 있다. 예를 들면, 상기 사용자 입력은, 웨어러블 장치(110)를 착용한 사용자의 신체의 일부에 의해 야기되는 제스쳐 입력 또는 웨어러블 장치(110)를 착용한 사용자의 시선에 의해 야기되는 아이 게이즈 입력일 수 있다. 하지만, 이에 제한되지 않는다.
도 2a는 웨어러블 장치의 간소화된 블록도이다. 상기 블록도에 의해 나타내어지는(indicated) 기능적 구성들은, 도 1에 도시된 웨어러블 장치(110) 내에 포함될 수 있다.
도 2a를 참조하면, 웨어러블 장치(110)는, 프로세서(210), 메모리(220), 카메라(230), 통신 회로(240), 및/또는 디스플레이(250)를 포함할 수 있다.
프로세서(210)는 웨어러블 장치(110)의 전반적인 동작들을 제어할 수 있다. 예를 들면, 프로세서(210)는 메모리(220)에 데이터를 기록할 수 있고, 메모리(220)에 기록된 데이터를 읽을 수 있다. 예를 들면, 프로세서(210)는, 카메라(230)를 통해 이미지를 획득할 수 있다. 예를 들면, 프로세서(210)는, 통신 회로(240)를 통해 다른 전자 장치에게 신호를 송신하거나 다른 전자 장치로부터 신호를 수신할 수 있다. 예를 들면, 프로세서(210)는, 디스플레이(250)를 통해 정보를 표시할 수 있다. 실시예들에 따라, 프로세서(210)는 다수의 프로세서들을 포함할 수 있다(예를 들면, 웨어러블 장치(110)는 적어도 하나의 프로세서를 포함할 수 있다). 예를 들면, 프로세서(210)는 응용 프로그램 등 상위 계층을 제어하는 AP(application processor), 통신을 위한 제어를 수행하는 CP(communication processor), 디스플레이(250)에 표시되는 화면을 제어하기 위한 디스플레이 컨트롤러(display controller)(예: 디스플레이 구동 회로(display driving integrated circuitry)) 등을 포함할 수 있다.
프로세서(210)는 본 개시에서 제안하는 절차 및/또는 방법들을 구현하도록 설정될 수 있다.
메모리(220)는 웨어러블 장치(110)를 제어하는 인스트럭션(instruction), 명령어(command), 제어 명령어 코드(control command code), 제어 데이터, 또는 사용자 데이터를 저장할 수 있다. 예를 들면, 메모리(220)는 소프트웨어 어플리케이션(software application), OS(operating system), 미들웨어(middleware), 및/또는 디바이스 드라이버(device driver)를 저장할 수 있다.
메모리(220)는 휘발성 메모리(volatile memory) 또는 불휘발성 메모리(non-volatile memory) 중 하나 또는 그 이상을 포함할 수 있다. 상기 휘발성 메모리는 DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous DRAM), PRAM(phase-change RAM), MRAM(magnetic RAM), RRAM(resistive RAM), FeRAM(ferroelectric RAM) 등을 포함할 수 있다. 상기 불휘발성 메모리는 ROM(read only memory), PROM(programmable ROM), EPROM(electrically programmable ROM), EEPROM(electrically erasable ROM), 플래시 메모리(flash memory) 등을 포함할 수 있다.
메모리(220)는 하드 디스크 드라이브(HDD, hard disk drive), 솔리드 스테이트 디스크(SSD, solid state disk), eMMC(embedded multimedia card), UFS(universal flash storage)와 같은 불휘발성 매체를 더 포함할 수 있다.
메모리(220)는 프로세서(210)와 작동적으로(operably 또는 operatively) 결합될(coupled with) 수 있다. 메모리(220)는, 하나 이상의 프로그램들을 저장할 수 있다. 예를 들면, 상기 하나 이상의 프로그램들은, 웨어러블 장치(110)의 프로세서(210)에 의해 실행될 시, 아래의 설명들을 통해 예시되는 웨어러블 장치(110)의 동작들 중 적어도 일부를 실행하도록 웨어러블 장치(110)를 야기하는 인스트럭션들을 포함할 수 있다.
예를 들면, 상기 하나 이상의 프로그램들은, 외부 전자 장치(예: 서버 또는 스마트폰)로부터 획득될 수 있다. 예를 들면, 상기 외부 전자 장치의 비휘발성 메모리 내에 저장된 상기 하나 이상의 프로그램들은, 웨어러블 장치(110)에 대한 입력에 응답하여, 상기 외부 전자 장치로부터 웨어러블 장치(110)에게 제공될 수 있다. 예를 들면, 상기 외부 전자 장치의 상기 비휘발성 메모리 내에 저장된 상기 하나 이상의 프로그램들은, 상기 외부 전자 장치에 대한 입력에 응답하여, 상기 외부 전자 장치로부터 웨어러블 장치(110)에게 제공될 수 있다. 하지만, 이에 제한되지 않는다.
카메라(230)는, 디스플레이(250)의 표시 영역(예: 도 1 내에서 도시된 표시 영역(115)) 안에서 보여지는 환경에 대한 이미지를 획득하기 위해 이용될 수 있다. 카메라(230)는, 디스플레이(250)의 표시 영역 안에서 보여지는 상기 환경에 대한 이미지를 획득하기 위해, 상기 환경을 향해 배치될 수 있다. 상기 환경을 향해 배치되는 카메라(230)의 시야(field of view, FOV)는, 디스플레이(250)의 표시 영역 안에서 보여지는 환경에 대한 이미지를 획득하기 위해, 디스플레이(250)의 표시 영역보다 넓은 영역을 커버하도록 구성되거나, 디스플레이(250)의 표시 영역에 대응하는 영역을 커버하도록 구성될 수 있다. 상기 환경을 향해 배치되는 카메라(230)의 시야는, 디스플레이(250)의 표시 영역 안에서 보여지는 환경에 대한 이미지를 획득하기 위해, 웨어러블 장치(110)를 착용한 사용자의 시야에 의해 커버되는 영역보다 넓은 영역을 커버하도록 구성되거나, 사용자의 시야에 의해 커버되는 영역에 대응하는 영역을 커버하도록 구성될 수 있다. 상기 환경을 향해 배치되는 카메라(230)는, 디스플레이(250)의 표시 영역 안에서 보여지는 상기 환경에 대한 이미지를 획득하기 위해, 복수의 카메라들을 포함할 수 있다. 일 실시예에서, 상기 복수의 카메라들은, 입체(stereoscopic) 이미지를 획득하기 위해, 카메라들의 쌍(pair)으로 구성될 수 있다. 상기 카메라들의 쌍에 포함된 제1 카메라가 향하는 방향은, 입체 이미지를 획득하기 위해, 상기 카메라들의 쌍에 포함된 제2 카메라가 향하는 방향과 동일할 수 있다. 입체 이미지를 획득하기 위해, 상기 제1 카메라의 시야와 상기 제2 카메라의 시야는 디스패리티(disparity)를 가질 수 있다. 일 실시예에서, 상기 환경을 향해 배치되는 카메라(230)는, 깊이 정보를 획득하기 위한 구성요소를 포함할 수 있다. 하지만, 이에 제한되지 않는다.
카메라(230)는 웨어러블 장치(110)를 착용한 사용자의 눈을 추적하기 위해 더 이용될 수 있다. 예를 들면, 카메라(230)는, 카메라(230)의 시야가 웨어러블 장치(110)를 착용한 사용자의 눈을 포함하는 영역을 커버하도록, 사용자의 눈을 향해 배치될 수 있다. 사용자의 눈들을 추적하는 상기 카메라는, 환경을 향하도록 배치된 상기 카메라와 다를 수 있다. 예를 들면, 카메라(230)는, 사용자의 눈들을 추적하기 위해 이용되는 적어도 하나의 카메라 및 환경의 이미지를 획득하기 위해 이용되는 적어도 하나의 카메라를 포함하는 복수의 카메라들을 포함할 수 있다.
카메라(230)는 프로세서(210)와 작동적으로(operably 또는 operatively) 결합될(coupled with) 수 있다.
통신 회로(240)는 웨어러블 장치(110)와 적어도 하나의 외부 장치(external device, 예: 스마트폰, 서버 등) 사이의 통신을 위한 다양한 통신 기능(예를 들면, 셀룰러 통신, 블루투스, NFC, Wi-Fi 등)들을 구비할 수 있다. 다시 말해, 통신 회로(240)는 웨어러블 장치(110)와 상기 적어도 하나의 외부 장치 사이의 통신을 설정할 수 있다.
통신 회로(240)는 작동적으로 프로세서(210)와 결합될 수 있다.
디스플레이(250)는, 웨어러블 장치(110)를 착용한 사용자가 실제 세계(real-world)를 볼 수 있도록, 적어도 하나의 투명한 디스플레이를 포함할 수 있다. 예를 들면, 디스플레이(250)는, 제1 면으로 향하는 외부 광을 상기 제1 면과 다른 제2 면을 통해 투과하도록(go through) 구성되고, 상기 제2 면 상에 정보를 표시하도록 구성될 수 있다. 예를 들면, 상기 제2 면은, 상기 제1 면에 반대일 수 있다. 디스플레이(250)는 사용자가 웨어러블 장치(110)와 상호작용할(interaction) 수 있도록 GUI(graphical user interface)를 표시할 수 있다. 어떤 실시예들에서, 디스플레이(250)는, 서로 다른 영역(area or region)들로 분할될 수 있다. 어떤 실시예들에서, 디스플레이(250)는, 복수의 디스플레이들을 포함할 수 있다.
디스플레이(250)는 작동적으로 프로세서(210)와 결합될 수 있다.
일 실시예에서, 프로세서(210)는, 디스플레이(250)의 표시 영역(예: 도 1 내에서 도시된 표시 영역(115)) 안에서 보여지는 실제 세계 내에 있는 외부 객체와 함께, 멀티미디어 콘텐트를 디스플레이(250)의 상기 표시 영역 상에서 표시할 수 있다. 일 실시예에서, 상기 멀티미디어 콘텐트는, 다른 전자 장치로부터 통신 회로(240)를 통해 수신된 데이터에 기반하여, 디스플레이(250)의 상기 표시 영역 상에서 표시될 수 있다. 일 실시예에서, 상기 멀티미디어 콘텐트는, 상기 다른 전자 장치와 독립적으로(또는 관계없이), 프로세서(210)에 의해 처리된 데이터에 기반하여, 디스플레이(250)의 상기 표시 영역 상에서 표시될 수도 있다. 일 실시예에서, 상기 멀티미디어 콘텐트는, 디스플레이(250)의 표시 영역 안에서 보여지는 상기 외부 객체와 관련된 정보를 포함할 수 있다. 상기 멀티미디어 콘텐트가 상기 외부 객체와 관련된 정보를 포함하는 경우, 상기 멀티미디어 콘텐트는, 상기 외부 객체와 연계로(as associated with) 표시될 수 있다. 예를 들면, 상기 멀티미디어 콘텐트가 상기 외부 객체와 관련된 정보를 포함하는 경우, 상기 멀티미디어 콘텐트는 상기 외부 객체에 인접하여(in proximity to) 표시되거나 상기 외부 객체에 적어도 일부 중첩되도록(as at least partially overlapped) 표시될 수 있다. 일 실시예에서, 상기 멀티미디어 콘텐트는, 디스플레이(250)의 표시 영역 안에서 보여지는 상기 외부 객체와 무관한(independent from) 정보를 포함할 수도 있다.
일 실시예에서, 프로세서(210)는, 디스플레이(250)의 표시 영역 안에서 보여지는 실제 세계 내에 있는 외부 객체에 대한 인식 정보를 획득할 수 있다. 프로세서(210)는, 카메라(230)를 통해 획득되는 상기 외부 객체에 대응하는 시각적 객체를 포함하는 이미지에 대한 정보를 통신 회로(240)를 통해 다른 전자 장치(예: 스마트폰, 서버 등)에게 송신하고, 상기 다른 전자 장치로부터 통신 회로(240)를 통해 상기 외부 객체에 대한 인식 정보를 획득할 수 있다. 프로세서(210)는, 독립한(stand alone) 상태 내에서, 상기 외부 객체에 대응하는 상기 시각적 객체를 포함하는 상기 이미지를 인식함으로써, 상기 외부 객체에 대한 인식 정보를 획득할 수 있다. 예를 들면, 프로세서(210)는, 상기 다른 전자 장치의 이용 없이(without use of another electronic device) 상기 외부 객체에 대응하는 상기 시각적 객체를 포함하는 상기 이미지를 인식함으로써 상기 외부 객체에 대한 인식 정보를 획득할 수 있다. 하지만, 이에 제한되지 않는다.
도 2b는 예시적인 웨어러블 장치를 도시하는 투시도이다. 예를 들면, 상기 예시적인 웨어러블 장치는, 도 2a 내에서 도시된 웨어러블 장치(110)일 수 있다.
도 2b를 참조하면, 웨어러블 장치(110)의 프레임(260)은, 사용자의 신체의 일부 상에 착용되는 물리적 구조를 가질 수 있다. 예를 들면, 프레임(260)은, 웨어러블 장치(110)가 착용될 시, 디스플레이(250) 내의 제1 디스플레이(250-1)(또는 제1 표시 영역(250-1))가 사용자의 우안 앞에 위치되고 디스플레이(250) 내의 제2 디스플레이(250-2)(또는 제2 표시 영역(250-2)가 사용자의 좌안 앞에 위치되도록, 구성될 수 있다. 어떤 실시예들에서, 제1 디스플레이(250-1) 및 제2 디스플레이(250-2)는, 사용자의 눈들 앞에서 연속적인 표시를 제공하도록 연결될 수 있다(예를 들면, 제1 디스플레이(250-1) 및 제2 디스플레이(250-2)를 연결하도록 사용자의 코의 브릿지 앞에 디스플레이 부분을 가질 수 있음).
일 실시예에서, 제1 디스플레이(250-1) 및 제2 디스플레이(250-2)를 포함하는 디스플레이(250)는, LCD(liquid crystal display), DMD(digital mirror device), LCoS(liquid crystal on silicon), OLED(organic light emitting diode), 또는 마이크로 LED를 포함할 수 있다. 일 실시예에서, 디스플레이(250)가 LCD, DMD, 또는 LCoS로 구성되는 경우, 웨어러블 장치(110)는 디스플레이(250)의 표시 영역을 향해 빛을 방출하는(emit) 광원(도 2b 내에서 미도시)을 포함할 수 있다. 일 실시예에서, 디스플레이(250)가 OLED 또는 마이크로 LED로 구성되는 경우, 웨어러블 장치(110)는, 상기 광원을 포함하지 않을 수 있다. 하지만, 이에 제한되지 않는다.
일 실시예에서, 웨어러블 장치(110)는, 제1 투명 부재(270-1) 및 제2 투명 부재(270-2)를 더 포함할 수 있다. 예를 들면, 제1 투명 부재(270-1) 및 제2 투명 부재(270-2) 각각은, 글래스 플레이트, 플라스틱 플레이트, 또는 폴리머로 형성될 수 있다. 예를 들면, 제1 투명 부재(270-1) 및 제2 투명 부재(270-2) 각각은, 투명하거나 반투명할 수 있다.
일 실시예에서, 웨어러블 장치(110)는, 웨이브가이드(waveguide)(272)를 포함할 수 있다. 예를 들면, 웨이브가이드(272)는 디스플레이(250)에 의해 생성된 광원을 웨어러블 장치(110)를 착용한 사용자의 눈으로 전달하기 위해, 이용될 수 있다. 예를 들면, 웨이브가이드(272)는, 글래스, 플라스틱, 또는 폴리머로 형성될 수 있다. 예를 들면, 웨이브가이드(272)는, 다각형 또는 곡면 형상의 격자 구조로 구성되는(configured with) 나노 패턴을 웨이브가이드(272) 내에서 또는 웨이브가이드(272)의 표면에서 포함할 수 있다. 예를 들면, 웨이브가이드(272)의 일 단으로 입사된 광은, 상기 나노 패턴을 통해 사용자에게 제공될 수 있다. 일 실시예에서, 웨이브가이드(272)는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들면, 상기 적어도 하나의 회절 요소 또는 상기 반사 요소는, 광을 사용자의 눈으로 유도하기 위해 이용될 수 있다. 일 실시예에서, 상기 적어도 하나의 회절 요소는, 입력 광학 부재 및/또는 출력 광학 부재를 포함할 수 있다. 일 실시예에서, 상기 입력 광학 부재는 광의 입력단으로 이용되는 입력 그레이팅 영역(input grating area)를 의미할 수 있으며, 상기 출력 광학 부재는 광의 출력단으로 이용되는 출력 그레이팅 영역(output grating area)를 의미할 수 있다. 일 실시예에서, 상기 반사 요소는 전반사(total internal reflection, TIR)를 위한 전반사 광학 소자 또는 전반사 웨이브가이드를 포함할 수 있다.
일 실시예에서, 웨어러블 장치(110) 내의 카메라(230)는, 적어도 하나의 제1 카메라(230-1), 적어도 하나의 제2 카메라(230-2), 및/또는 적어도 하나의 제3 카메라(230-3)를 포함할 수 있다.
일 실시예에서, 적어도 하나의 제1 카메라(230-1)는, 3DoF(three degrees of freedom) 또는 6DoF(six degrees of freedom)의 움직임 인식 또는 공간 인식을 위해 이용될 수 있다. 예를 들면, 적어도 하나의 제1 카메라(230-1)는 헤드 트랙킹(head tracking) 또는 손 검출(hand detection)을 위해 이용될 수 있다. 예를 들면, 적어도 하나의 제1 카메라(230-1)는 GS(global shutter) 카메라로 구성될 수 있다. 예를 들면, 적어도 하나의 제1 카메라(230-1)는 스테레오 카메라로 구성될 수 있다. 예를 들면, 적어도 하나의 제1 카메라(230-1)는 제스쳐 인식을 위해 이용될 수 있다.
일 실시예에서, 적어도 하나의 제2 카메라(230-2)는, 눈동자(pupil)를 검출하고 추적하기 위해 이용될 수 있다. 예를 들면, 적어도 하나의 제2 카메라(230-2)는 GS 카메라로 구성될 수 있다. 예를 들면, 적어도 하나의 제2 카메라(230-2)는 사용자의 시선에 의해 정의되는 사용자 입력을 식별하기 위해 이용될 수 있다.
일 실시예에서, 적어도 하나의 제3 카메라(230-3)는, HR(high resolution) 또는 PV(photo video) 카메라로 참조되고, AF(auto focusing) 기능 또는 OIS(optical image stabilization) 기능을 제공할 수 있다. 일 실시예에서, 적어도 하나의 제3 카메라(230-3)는 GS 카메라 또는 RS(remote shutter) 카메라로 구성될 수 있다.
일 실시예에서, 웨어러블 장치(110)는, LED 부(274)를 더 포함할 수 있다. 예를 들면, LED 부(274)는 적어도 하나의 제2 카메라(230-2)를 통해 눈동자를 추적하는 것을 보조하기 위해, 이용될 수 있다. 예를 들면, LED 부(274)는, IR LED로 구성될 수 있다. 예를 들면, LED 부(274)는, 웨어러블 장치(110) 주변의 조도가 낮을 시, 밝기를 보상하기 위해 이용될 수 있다.
일 실시예에서, 웨어러블 장치(110)는, 제1 PCB(276-1) 및 제2 PCB(276-2)를 더 포함할 수 있다. 예를 들면, 제1 PCB(276-1) 및 제2 PCB(276-2) 각각은, 카메라(230) 또는 디스플레이(250)와 같은 웨어러블 장치(110)의 구성 요소에게 전기 신호를 전달하기 위해 이용될 수 있다. 일 실시예에서, 웨어러블 장치(110)는, 제1 PCB(276-1) 및 제2 PCB(276-2) 사이에 배치되는 인터포저(interposer)를 더 포함할 수 있다. 하지만, 이에 제한되지 않는다.
웨어러블 장치는, 증강 현실 서비스를 제공하기 위해, 제1 면으로 향하는 외부 광을 제2 면을 통해 투과하도록 구성된 디스플레이(예: 투명한(transparent) 디스플레이)를 포함할 수 있다.
한편, 상기 디스플레이를 통해 표시되는 멀티미디어 콘텐트는, 어떤(certain) 색상(또는 미리 결정된, 미리 정의된, 특정, 특정된, 또는 설정된 색상 등으로 참조될 수 있음)을 가지는 영역을 포함할 수 있다. 상기 웨어러블 장치는, 상기 어떤 색상을 가지는 영역을 상기 디스플레이를 통해 표시할 시, 상기 영역을 위한 적어도 하나의 발광 소자(at least one emitting element or device)(예: 웨어러블 장치 또는 웨어러블 장치의 디스플레이 내에 포함된 적어도 하나의 발광 소자)의 발광 없이, 상기 영역을 표현할 수 있다. 상기 영역은 상기 적어도 하나의 발광 소자의 발광 없이 표현되기 때문에, 외부 객체가 상기 영역을 통해 보일 수 있다. 상기 영역을 통해 보여지는(또는 시인가능한) 상기 외부 객체는 상기 멀티미디어 콘텐트의 품질을 감소시키기 때문에, 상기 영역의 표시를 강화하기 위한 방안이 요구될 수 있다.
도 3은 웨어러블 장치의 디스플레이를 통해 멀티미디어 콘텐트를 표시하는 방법을 도시하는 흐름도이다. 이러한 방법은, 예를 들면, 도 1 내에서 도시된 웨어러블 장치(110), 도 2a 또는 도 2b 내에서 도시된 웨어러블 장치(110), 또는 도 2a 내에서 도시된 프로세서(210)에 의해 실행될 수 있다. 어떤 실시예들에서, 도 3 내에서 도시된 동작들의 하나 이상은, 생략될 수 있거나 도 3 내에서 도시된 하나 이상의 동작들은 도시된 순서와 다른 순서로 수행될 수 있다.
도 4는 예시적인 멀티미디어 콘텐트들을 도시한다.
도 5는 멀티미디어 콘텐트를 표시하기 위한 예시적인 입력들을 도시한다.
도 6 및 도 7은 웨어러블 장치의 디스플레이를 통해 표시되는 멀티미디어 콘텐트 내에 포함된 지정된 색상을 가지는 적어도 하나의 영역의 예시적인 특성을 도시한다.
도 8은 적어도 하나의 영역을 보상하기 위한 제2 이미지를 표시할 것인지를 문의하는 예시적인 메시지들을 도시한다.
도 9는 제2 이미지를 생성하는 방법의 예를 도시한다.
도 10은 제2 이미지를 표시하는 방법의 예를 도시한다.
도 11은 제2 이미지 상에 중첩으로 멀티미디어 콘텐트를 표시하는 방법의 예를 도시한다.
도 12는 제2 이미지 및 멀티미디어 콘텐트를 랜더링하는 방법의 예를 도시한다.
도 13a는 멀티미디어 콘텐트의 불투명도를 조정하는 방법의 예를 도시한다.
도 13b는 제2 이미지 상에 중첩된 멀티미디어 콘텐트 상에 중첩으로 반사 레이어를 표시하는 방법의 예를 도시한다.
도 3을 참조하면, 동작 302에서, 프로세서(210)는, 멀티미디어 콘텐트를 표시하기 위한 입력을 수신할 수 있다.
상기 멀티미디어 콘텐트는, 시각적 정보로 구성될(configured with) 수 있다. 예를 들면, 상기 멀티미디어 콘텐트는, 적어도 하나의 시각적 객체를 포함하는 이미지 또는 적어도 하나의 텍스트 중 적어도 하나를 포함할 수 있다. 예를 들어, 도 4를 참조하면, 상기 멀티미디어 콘텐트는, 이미지(400)일 수 있다. 예를 들면, 이미지(400)는, 정적 이미지 또는 동적 이미지(예: 비디오)를 포함할 수 있거나, 이미지(400)는 상기 멀티미디어 콘텐트에 대응하는 비디오 내에 포함될 수 있다. 일 실시예에서, 이미지(400)는, 외부 전자 장치와의 통신을 통해 획득될 수 있다. 일 실시예에서, 이미지(400)는, 외부 전자 장치와의 통신 없이, 프로세서(210)의 처리에 의해 획득될 수 있다. 하지만, 이에 제한되지 않는다.
일 실시예에서, 이미지(400)는, 디스플레이(250)를 통해 보여지는 환경 내의 외부 객체와 관련될 수 있다. 예를 들면, 프로세서(210)는, 상기 외부 객체에 대한 이미지를 카메라(230)를 통해 획득하고, 상기 이미지의 인식에 기반하여 상기 외부 객체와 관련된 이미지(400)를 획득할 수 있다. 예를 들면, 이미지(400)는, 상기 외부 객체에 대한 설명 정보 또는 속성 정보를 포함할 수 있다. 한편, 상기 이미지의 인식은, 웨어러블 장치(110) 내에서 실행되거나, 웨어러블 장치(110)와 구별되는 전자 장치 내에서 실행되거나, 웨어러블 장치(110) 및 상기 전자 장치 사이의 연동에 기반하여 실행될 수 있다. 하지만, 이에 제한되지 않는다. 일 실시예에서, 이미지(400)는, 디스플레이(250)를 통해 보여지는 상기 환경과 독립적일 수 있다.
상기 멀티미디어 콘텐트는, 이모지 그래픽적 객체(410)일 수 있다. 예를 들면, 이모지 그래픽적 객체(410)는, 웨어러블 장치(110)의 사용자를 나타낼(represent) 수 있다. 예를 들면, 이모지 그래픽적 객체(410)는, 조작(manipulation)에 따라, 상기 사용자의 의도에 적합하게 설정된 형상을 가질 수 있다. 예를 들면, 이모지 그래픽적 객체(410)는, 웨어러블 장치(110)의 상기 사용자에 대한 이미지를 인식하는 것에 기반하여 설정된 형상을 가질 수 있다. 예를 들면, 이모지 그래픽적 객체(410)는, 상기 사용자(또는 상기 사용자의 얼굴)에 대응하는 상기 이미지 내의 시각적 객체로부터 추출된 특징점들에 기반하여 획득될 수 있다. 예를 들면, 이모지 그래픽적 객체(410)는, 웨어러블 장치(110)를 통해 제공되는 서비스 제공자를 나타낼 수 있다. 하지만, 이에 제한되지 않는다. 일 실시예에서, 이모지 그래픽적 객체(410)는, 2D(two dimensional) 시각적 객체 또는 3D(three dimensional) 시각적 객체로 구성될(configured with) 수 있다. 일 실시예에서, 이모지 그래픽적 객체(410)는, 디스플레이(250)의 표시 영역 안에서 보여지는 상기 환경 내의 외부 객체(420)(예: 에어 컨디셔너(conditioner))와 연계로(as associated with), 표시될 수 있다. 예를 들면, 이모지 그래픽적 객체(410)는, 외부 객체(420)를 나타내는(indicate) 제스쳐를 취할 수 있다. 예를 들면, 이모지 그래픽적 객체(410)는, 외부 객체(420)에 인접할 수 있다. 하지만, 이에 제한되지 않는다. 일 실시예에서, 이모지 그래픽적 객체(410)는, 이모지 그래픽적 객체(410)로부터 파생되는 시각적 정보(425)와 연계될 수 있다. 예를 들면, 이모지 그래픽적 객체(410)와 시각적 정보(425)는, 서로 인접하거나, 서로 연결될 수 있다. 하지만, 이에 제한되지 않는다. 예를 들면, 시각적 정보(425)는, 사용자 입력에 의해 식별되고, 디스플레이(250)의 표시 안에서 보여지는 외부 객체(예: 외부 객체(420))에 대한 정보를 포함하거나, 상기 외부 객체의 제어 또는 이모지 그래픽적 객체(410)의 제어에 따라 실행되는 기능에 대한 정보를 포함할 수 있다. 하지만, 이에 제한되지 않는다.
다시 도 3을 참조하면, 상기 입력은, 다양하게 정의될 수 있다. 예를 들어, 도 5를 참조하면, 상기 입력은, 멀티미디어 콘텐트를 표시하기 위해 이용되는 소프트웨어 어플리케이션을 실행하기 위한 입력(510)일 수 있다. 예를 들면, 프로세서(210)는, 동작 302에서, 상기 멀티미디어 콘텐트를 표시하기 위해 이용되는 소프트웨어 어플리케이션을 위한 실행가능한(executable object) 객체(500)에 대한 입력(510)을 수신할 수 있다. 예를 들면, 상기 소프트웨어 어플리케이션은, 비디오 스트리밍 서비스를 제공하기 위해, 상기 멀티미디어 콘텐트를 재생하기 위해 이용될 수 있다. 예를 들면, 상기 소프트웨어 어플리케이션을 실행한다는 것은 상기 멀티미디어 콘텐트를 표시할 예정임을 의미할 수 있기 때문에, 동작 302에서 수신되는 상기 입력은, 입력(510)을 포함할 수 있다.
예를 들면, 상기 입력은, 소프트웨어 어플리케이션의 GUI(graphical user interface) 상에서 표시되는, 복수의 멀티미디어 콘텐트들 중 하나의 멀티미디어 콘텐트를 선택하는 입력(520)일 수 있다. 예를 들면, 프로세서(210)는, 동작 302에서, GUI(530) 내에서 표시되는, 상기 복수의 멀티미디어 콘텐트들을 각각 재생하기 위한 실행가능한 객체들(535) 중 하나의 실행가능한 객체를 선택하기 위한 입력(520)을 수신할 수 있다. 예를 들면, 복수의 실행가능한 객체들(535) 중 하나의 실행가능한 객체를 선택한다는 것은, 상기 멀티미디어 콘텐트를 표시함을 의미하기 때문에, 동작 302에서 수신되는 상기 입력은, 입력(520)을 포함할 수 있다. 예를 들면, GUI(530)는, 상기 웨어러블 장치의 디스플레이(250) (예: HUD(head-up display) 배열(arrangement)를 통해 표시될 수 있고, 상기 GUI 안에서 제공되는 실행가능한 객체는 멀티미디어 콘텐트를 선택하는 입력(예: 제스쳐 입력)을 통해 선택될 수 있다. 다른 예를 들면, 상기 입력은 외부 전자 장치로부터 수신되는 입력일 수 있다(예: 스마트폰과 같은 외부 객체에 의해 제공되는 GUI를 통해 제공되는 멀티미디어 콘텐트가 외부 전자 장치에서 선택될 시,). 예를 들면, 상기 선택은, 상기 웨어러블 장치와 통신되고, 멀티미디어 콘텐트를 디스플레이하기 위한 입력으로 수신될 수 있다.
예를 들면, 상기 입력은, 디스플레이(250)의 표시 영역 안에서 보여지는 외부 객체를 선택하기 위한 입력(540)일 수 있다. 예를 들면, 프로세서(210)는, 동작 302에서, 외부 객체(550)를 선택하는 입력(540)을 수신할 수 있다. 예를 들면, 외부 객체(550)를 선택한다는 것은, 외부 객체(550)와 관련된 멀티미디어 콘텐트를 표시할 예정임을 의미하기 때문에, 동작 302에서 수신되는 상기 입력은, 입력(540)을 포함할 수 있다.
어떤 실시예들에서, 상기 입력은, 제스쳐 입력(예: 디스플레이(250) 내의 상기 표시 영역 안에서 표시되거나 보여지는 객체를 선택하기 위한), 터치 입력(예: 터치스크린 상에 출력된 소프트웨어 어플리케이션의 GUI 상에서 표시되는 멀티미디어 콘텐트를 선택하기 위한), 또는 음성 입력(예: 음성 입력 내에서 나타내어지는 멀티미디어 콘텐트 또는 객체를 식별하기 위해 수행되는 음성 인식)일 수 있다.
도 5 내에서 도시하지 않았으나, 예를 들면, 상기 입력은, 상기 멀티미디어 콘텐트의 표시와 관련하여 웨어러블 장치(110) 내에서 지정된 조건을 만족함을 식별하는 것 또는 웨어러블 장치(110)와 구별되는 다른 전자 장치로부터 상기 멀티미디어 콘텐트의 표시와 관련하여 지정된 신호를 수신하는 것일 수도 있다. 하지만, 이에 제한되지 않는다.
다시 도 3을 참조하면, 동작 304에서, 프로세서(210)는, 상기 입력을 수신하는 것에 기반하여, 웨어러블 장치(110) 주변의 환경의 밝기가 기준 밝기 이상인지 여부를 식별할 수 있다. 일 실시예에서, 상기 환경은, 디스플레이(250)의 표시 영역 안에서 보여지는 장면(scene)을 의미할 수 있다. 일 실시예에서, 상기 환경은, 상기 멀티미디어 콘텐트가 표시될 영역을 의미할 수 있다. 하지만, 이에 제한되지 않는다.
웨어러블 장치(110) 주변의 상기 환경의 상기 밝기는 다양한 방법들을 통해 식별될 수 있다.
일 실시예에서, 프로세서(210)는, 상기 입력을 수신하는 것에 기반하여, 디스플레이(250)의 표시 영역 안에서 보여지는 상기 환경에 대한 이미지를 카메라(230)를 통해 획득하고, 상기 획득된 이미지의 밝기를 나타내는(indicate) 데이터에 기반하여 상기 환경의 상기 밝기를 식별할 수 있다. 예를 들어, 상기 이미지가 YUV 속성, YUV 포맷(format), 또는 YUV 모델(model)에 기반하여 인코딩된 경우, 상기 데이터는, 루마(luma)에 대한 데이터일 수 있다. 하지만, 이에 제한되지 않는다.
일 실시예에서, 프로세서(210)는, 상기 입력을 수신하는 것에 기반하여, 웨어러블 장치(110)의 조도 센서를 통해 센싱 데이터를 획득하고, 상기 획득된 센싱 데이터에 기반하여 상기 환경의 상기 밝기를 식별할 수 있다. 일 실시예에서, 프로세서(210)는, 상기 이미지의 밝기를 나타내는 상기 데이터 및 상기 센싱 데이터에 기반하여, 상기 환경의 상기 밝기를 식별할 수도 있다.
한편, 일 실시예에서, 상기 기준 밝기는, 동작 306의 참조를 통해 설명될, 지정된 색상을 가지는 상기 멀티미디어 콘텐트 내의 적어도 하나의 영역을 통해 외부 객체가 보여지는지 여부를 식별하기 위한 값으로 설정될 수 있다. 일 실시예에서, 상기 기준 밝기는, 동작 306의 참조를 통해 설명될, 상기 적어도 하나의 영역을 통해 지정된 세기 이상의 세기를 가지는 외부 광이 웨어러블 장치(110)의 사용자의 눈으로 수신되는지 여부를 식별하기 위한 값으로 설정될 수 있다. 하지만, 이에 제한되지 않는다.
일 실시예에서, 프로세서(210)는, 상기 밝기가 상기 기준 밝기 이상인 조건 상에서 동작 306을 실행하고 상기 밝기가 상기 기준 밝기 미만인 조건 상에서 동작 314를 실행할 수 있다. 일 실시예에서, 동작 306 및 동작 314가 상기 환경의 밝기에 기반하여, 기준 밝기의 특정(specification) 없이 수행될 수 있다.
어떤 실시예들에서, 프로세서(210)는 (동작 304에) 대안적으로 또는 부가적으로, 상기 멀티미디어 콘텐트의 밝기(예: 멀티미디어 콘텐트의 현재 이미지의 어떤 부분의 밝기)가 다른 기준 밝기 이하인지인지 여부를, 상기 입력을 수신하는 것에 기반하여, 식별하거나, 검출하거나, 결정할 수 있다. 예를 들면, 결과는, 동작 304의 결과가 긍정인 경우와 동일하고 동작 304의 결과가 부정인 경우와 동일할 수 있다. 상기 다른 기준 밝기는 멀티미디어 콘텐트 안의 하나 이상의 영역들이 특정 색상을 가지는지 여부를 식별하는 값으로 설정될 수 있다. 예를 들면, 상기 다른 기준 밝기는 상기 환경의 식별된 밝기에 따른 값으로 설정될 수 있다. 예를 들면, 상기 다른 기준 밝기는, 낮은 밝기 환경보다 밝은 환경 내에서 보다 높은 값으로 설정될 수 있다.
동작 306에서, 프로세서(210)는, 상기 밝기가 상기 기준 밝기 이상이라는 식별에 기반하여, 상기 멀티미디어 콘텐트가 상기 지정된 색상을 가지는 상기 적어도 하나의 영역을 포함하는지 여부를 식별할(또는 결정하거나, 검출할 등) 수 있다.
상기 지정된 색상은, 프로세서(210)의 제어에 따라, 발광 없이 디스플레이(250)에 의해 표현되는 색상일 수 있다. 예를 들면, 상기 지정된 색상은 블랙(black)일 수 있다. 하지만, 이에 제한되지 않는다. 예를 들면, 상기 멀티미디어 콘텐트를 디스플레이(250)를 통해 표시하는 동안, 상기 복수의 발광 소자들 중 상기 지정된 색상을 가지는 상기 적어도 하나의 영역을 위해 배치된 적어도 하나의 제1 발광 소자는, 상기 복수의 발광 소자들 중 상기 지정된 색상과 구별되는 색상을 가지는 상기 멀티미디어 콘텐트의 남은 영역을 위해 배치된 적어도 하나의 제2 발광 소자와 달리, 비활성화될 수 있다. 예를 들어, 도 6을 참조하면, 상기 멀티미디어 콘텐트인 멀티미디어 콘텐트(600)는, 상기 지정된 색상(또는 실질적으로 상기 지정된 색상과 동일한 색상)을 가지는 적어도 하나의 영역(610) 및 상기 지정된 색상과 구별되는 색상 또는 색상들을 가지는 남은 영역(620)을 포함할 수 있다. 멀티미디어 콘텐트(600)를 디스플레이(250)를 통해 표시할 시, 디스플레이(250) 내의 상기 복수의 발광 소자들의 상태는, 상태(640)와 같이, 표현될 수 있다. 예를 들면, 상태(640) 내에서, 상기 복수의 발광 소자들 중 적어도 하나의 영역(610)을 위한 상기 적어도 하나의 제1 발광 소자는 발광되지 않고, 상기 복수의 발광 소자들 중 남은 영역(620)을 위한 상기 적어도 하나의 제2 발광 소자는 발광될 수 있다. 상기 적어도 하나의 제1 발광 소자가 비활성화되는 것 또는 상기 적어도 하나의 제1 발광 소자가 발광되지 않는 것은 디스플레이(250)를 통해 표시되는 멀티미디어 콘텐트(600)의 품질을 감소시킬 수 있다. 예를 들면, 멀티미디어 콘텐트(600)는, 디스플레이(250)의 상기 표시 영역 안에서 보여지는 상기 환경인 환경(650)과 함께 표시될 수 있다. 예를 들면, 환경(650)는, 디스플레이(250)의 상기 표시 영역 안에서 보여지는 적어도 하나의 외부 객체를 포함하는 환경으로, 웨어러블 장치(110) 주변의 환경일 수 있다. 예를 들면, 멀티미디어 콘텐트(600)는, 디스플레이(250)의 상기 표시 영역 안에서 환경(650)이 보여지는 상태 내에서, 디스플레이(250)를 통해 표시될 수 있다. 예를 들면, 멀티미디어 콘텐트(600)는, 디스플레이(250)의 상기 표시 영역 안에서 보여지는 환경(650)의 적어도 일부 상에 중첩으로, 표시될 수 있다. 디스플레이(250)의 상기 표시 영역 안에서 보여지는 환경(650)의 상기 적어도 일부 상에 중첩된 멀티미디어 콘텐트(600)는, 표시 상태(660)와 같이, 디스플레이(250)를 통해 제공될 수 있다. 예를 들면, 표시 상태(660) 내에서, 환경(650) 내의 적어도 하나의 영역(670)은 적어도 하나의 영역(610)을 통해 보여질 수 있다. 적어도 하나의 영역(610)을 통해 보여지는 환경(650) 내의 적어도 하나의 영역(670)은, 멀티미디어 콘텐트(600)에 대하여 이질적이기(disparate 또는 heterogeneous) 때문에, 디스플레이(250)를 통해 표시되는 멀티미디어 콘텐트(600)의 품질은 적어도 하나의 영역(610)에 의해 감소될 수 있다.
예를 들어, 도 7을 참조하면, 디스플레이(250)는 디스플레이(250)의 제1 면으로 향하는 외부 광을 디스플레이(250)의 제2 면을 통해 투과하도록 구성되고(예를 들면, 상기 외부 광은 상기 제2 면으로부터 상기 제2 면으로 통과할 수 있음), 상기 지정된 색상을 가지는 적어도 하나의 영역(610)을 위한 상기 적어도 하나의 제1 발광 소자는 멀티미디어 콘텐트(600)를 표시하는 동안 비활성화되기(또는 상기 적어도 하나의 제1 발광 소자는 아무런 발광을 하지 않기) 때문에, 적어도 하나의 영역(610)을 통해 사용자의 눈에 도달하는 광의 세기(intensity)는 상태(700)와 같이, 기준 세기 이상일 수 있다. 예를 들면, 상기 기준 세기는 웨어러블 장치(110)의 사용자가 시인할 수 있는 광의 세기일 수 있다. 한편, 도 7 내에서 도시하지 않았으나, 상태(700) 내에서, 남은 영역(620)을 통해 사용자의 눈에 도달하는 광의 세기는 기준 세기 미만일 수 있다.
다시 도 3을 참조하면, 프로세서(210)는, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함하는 조건 상에서 동작 308을 실행하고, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함하지 않는 조건 상에서 동작 316을 실행할 수 있다.
동작 308에서, 프로세서(210)는, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함한다는 식별에 기반하여, 카메라(230)를 통해, 디스플레이(250)의 표시 영역 안에서 보여지는 상기 환경의 적어도 일부에 대한 제1 이미지를 획득할 수 있다. 일 실시예에서, 프로세서(210)는, 상기 식별에 기반하여, 상기 멀티미디어 콘텐트가 표시될 상기 표시 영역 내의 위치에 대응하는 상기 환경의 일부에 대한 상기 제1 이미지를 획득할 수 있다. 일 실시예에서, 프로세서(210)는, 상기 멀티미디어 콘텐트의 상기 적어도 하나의 영역에 대응하는 상기 환경의 적어도 일부를 위한 제1 이미지를 획득할 수 있다. 예를 들면, 상기 제1 이미지는, , 상기 멀티미디어 콘텐트와 함께 표시되거나, 디스플레이(250)를 통해 표시되거나, 상기 환경 또는 상기 환경의 일부 상에 중첩으로 표시되고, 상기 환경의 상기 적어도 일부는 상기 멀티미디어 콘텐트의 상기 적어도 하나의 영역이 중첩된 상기 환경의 일부에 대응할 수 있다.
일 실시예에서, 동작 308은, 사용자 입력에 기반하여, 실행될 수 있다. 예를 들어, 도 8을 참조하면, 프로세서(210)는, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함한다는 상기 식별에 기반하여, 디스플레이(250)를 통해 메시지(800)를 표시할 수 있다. 예를 들면, 메시지(800)는, 동작 308 내지 동작 312를 실행할 것인지 여부를 식별하기 위해 표시될 수 있다. 예를 들면, 메시지(800)는, 동작 310에서 제2 이미지(예: 보상 이미지)를 생성할 것인지 여부를 문의하기 위한 텍스트를 포함할 수 있다. 예를 들면, 메시지(800)는, 동작 308 내지 동작 312를 실행함을 나타내는(indicate) 실행가능한 객체(805) 및 동작 308 내지 동작 312를 실행하는 것을 삼가함(refrain from)을 나타내는 실행가능한 객체(810)를 포함할 수 있다(여기서, 동작의 실행 또는 수행을 삼가함은 동작을 수행하거나 실행하지 않는 것, 동작이 실행되지 않는 것 또는, 동작이 실행되지 않음을 나타낼 수 있음). 예를 들면, 프로세서(210)는, 실행가능한 객체(805)에 대한 사용자 입력(815)을 수신하는 것에 기반하여, 동작 308을 실행할 수 있다. 일 실시예에서, 메시지(800)는, 동작 304에서 상기 밝기가 상기 기준 밝기 이상이라는 식별에 기반하여, 표시될 수도 있다. 메시지(800)가 상기 밝기가 상기 기준 밝기 이상이라는 식별에 기반하여 표시되는 경우, 프로세서(210)는, 메시지(800)에 대한 사용자 입력에 따라 동작 306을 실행하거나 동작 306을 실행하는 것을 삼가할 수 있다.
예를 들면, 프로세서(210)는, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함한다는 상기 식별에 기반하여, 디스플레이(250)를 통해 메시지(850)를 표시할 수 있다. 예를 들면, 메시지(850)는, 동작 308 내지 동작 312를 실행할 것인지 여부를 식별하기 위해 표시될 수 있다. 예를 들면, 메시지(850)는, 동작 310에서 제2 이미지(예: 보상 이미지)를 생성할 것인지 여부를 문의하기 위한 텍스트를 포함할 수 있다. 예를 들면, 메시지(850)는, 동작 308 내지 동작 312를 실행함을 나타내는 실행가능한 객체(855) 및 동작 308 내지 동작 312를 실행하는 것을 삼가함을 나타내는 실행가능한 객체(860)를 포함할 수 있다. 예를 들면, 프로세서(210)는, 실행가능한 객체(855)에 대한 사용자 입력(865)을 수신하는 것에 기반하여, 동작 308을 실행할 수 있다.
본 개시는, 사용자 입력에 기반하여 실행되는 동작 308에 한정되지 않는다. 예를 들면, 동작 308은, 상기 멀티미디어 콘텐트가 상기 지정된(또는 특정) 색상을 가지는 적어도 하나의 영역을 포함함을 식별하는 것에 응답하여, 자동으로 수행될 수 있다.
다시 도 3을 참조하면, 상기 제1 이미지는, 도 6 내에서 도시된 환경(650)에 대응하는 장면을 포함할 수 있다. 예를 들어, 도 9를 참조하면, 상기 제1 이미지인 이미지(900)는, 도 6 내에서 도시된 환경(650) 내의 외부 객체들에 각각 대응하는 시각적 객체들을 포함할 수 있다.
다시 도 3을 참조하면, 동작 310에서, 프로세서(210)는, 상기 제1 이미지를 획득하는 것에 기반하여, 상기 제1 이미지의 색상이 반전된(converted 또는 inverted), 제2 이미지를 획득할 수 있다(이하에서, 색상을 변환(convert)함은 색상을 반전(invert)함을 포함함). 예를 들면, 프로세서(210)는, 상기 제1 이미지를 획득하는 것에 응답하여, 상기 제1 이미지를 처리함으로써 상기 제1 이미지의 색상이 반전된, 상기 제2 이미지를 획득할 수 있다. 예를 들어, 도 9를 참조하면, 상기 제2 이미지인 이미지(950)는, 이미지(900)의 색상이 반전된 이미지일 수 있다. 예를 들면, 블랙(black)으로 구성된(configured with) 이미지(900) 내의 영역(910)에 대응하는 이미지(950) 내의 영역(960)은 화이트(white)로 구성될 수 있다(예를 들면, 이미지(950) 내의 영역(960)의 색상이 이미지(900)의 영역(910)의 색상과 비교하여 반전됨).
다시 도 3을 참조하면, 동작 312에서, 프로세서(210)는, 상기 제2 이미지를 획득하는 것에 기반하여, 상기 제2 이미지 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시할 수 있다. 일 실시예에서, 상기 제2 이미지는 상기 제1 이미지를 획득할 시의 카메라(230)의 시야의 위치에 기반하여 식별되는 위치에서 표시될 수 있다. 예를 들면, 상기 제2 이미지는, 상기 제1 이미지를 획득할 시의 카메라(230)의 시야 안에 위치된 적어도 하나의 외부 객체가 상기 적어도 하나의 외부 객체에 대응하는 상기 제2 이미지 내의 적어도 하나의 시각적 객체와 완전히 중첩되는 상기 위치에서 표시될 수 있다. 예를 들면, 상기 위치에 표시된 상기 제2 이미지는 상기 제1 이미지를 획득할 시의 장면에 대응하는 상기 환경의 상기 일부와 정렬될(aligned with) 수 있다. 예를 들면, 상기 제2 이미지는, 상기 제1 이미지를 획득하는 시간에서의 장면(scene)에 대응하는 상기 환경의 상기 일부 상에 중첩으로 표시될 수 있다. 예를 들면, 프로세서(210)는, 상기 환경의 상기 일부와 정렬된 상기 제2 이미지를 표시함으로써, 기준 색상을 가지는 배경 레이어를 디스플레이(250)를 통해 제공할 수 있다(예를 들면, 상기 제2 이미지의 색상들은 상기 제1 이미지의 색상들과 비교하여 반전될 수 있음). 예를 들어, 도 10을 참조하면, 프로세서(210)는, 이미지(950)가 환경(650)과 정렬되도록, 이미지(950)를 표시할 수 있다. 이미지(950)는 환경(650)과 정렬되고 환경(650)은 디스플레이(250)를 통해 보여지기 때문에, 상기 기준 색상을 가지는 배경 레이어(1000)가 디스플레이(250)를 통해 제공될 수 있다. 일 실시예에서, 배경 레이어(1000)의 가장자리(periphery)들(1010)은 블러(blur) 효과를 가질 수 있다. 예를 들면, 프로세서(210)는, 이미지(950)를 획득한 후 이미지(950)를 디스플레이(250)를 통해 표시하기 전, 이미지(950)의 가장자리들(1020)에 블러 효과를 적용할 수 있다. 이미지(950)의 가장자리들에 적용된 블러 효과는 배경 레이어(1000)의 가장자리들(1010)에서 블러 효과를 제공할 수 있다. 예를 들면, 상기 블러 효과는, 배경 레이어(1000) 상에 중첩된 상기 멀티미디어 콘텐트와 상기 멀티미디어 콘텐트 주변의 영역을 통해 보여지는 외부 객체 사이의 조화를 위해, 가장자리들(1010)에서 제공될 수 있다. 예를 들면, 상기 블러 효과는, 상기 멀티미디어 콘텐트가 배경 레이어(1000) 상에 중첩될 시 배경 레이어(1000)가 보여지는 것을 최소화하거나 방지하기 위해, 가장자리들(1010)에서 제공될 수 있다. 하지만, 이에 제한되지 않는다.
다시 도 3을 참조하면, 상기 멀티미디어 콘텐트는, 배경 레이어(1000)와 같은 배경 레이어를 제공하도록 배치된 상기 제2 이미지 상에 중첩될 수 있다. 예를 들면, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트는 상기 제2 이미지에 기반하여 형성되는 상기 배경 레이어 상에서 표시되기 때문에, 상기 멀티미디어 콘텐트 내의 상기 적어도 하나의 영역을 통해 사용자의 눈에 도달하는 외부 광의 세기는 상기 기준 세기 미만일 수 있다. 예를 들면, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트는 상기 제2 이미지에 기반하여 형성되는 상기 배경 레이어 상에서 표시되기 때문에, 환경(650)의 적어도 하나의 영역(670)은, 상기 멀티미디어 콘텐트 내의 상기 적어도 하나의 영역을 통해 보여지지 않을 수 있다. 예를 들어, 도 11을 참조하면, 프로세서(210)는, 상태(640)와 같이 디스플레이(250)를 제어하는 것에 기반하여, 제2 이미지(950)의 표시에 의해 제공되는 배경 레이어(1000) 상에 중첩으로, 멀티미디어 콘텐트(600)를 표시할 수 있다. 배경 레이어(1000) 상에 중첩으로 표시된 멀티미디어 콘텐트(600)는, 표시 상태(1100)와 같이, 디스플레이(250)를 통해 제공될 수 있다. 예를 들면, 표시 상태(1100) 내에서, 환경(650) 내의 적어도 하나의 영역(670)은, 도 6 내에서 도시된 표시 상태(660) 내에서의 환경(650) 내의 적어도 하나의 영역(670)과 달리, 적어도 하나의 영역(610)을 통해 보여지지 않을 수 있다. 예를 들어, 도 7을 참조하면, 상태(640)과 같이 제어되는 디스플레이(250)를 이용하여 배경 레이어(1000) 상에 중첩으로 멀티미디어 콘텐트(600)를 표시할 시 배경 레이어(1000)는 외부 광의 적어도 일부를 반사하거나 흡수하거나 차단하기 때문에, 적어도 하나의 영역(610)을 통해 사용자의 눈에 도달하는 광의 세기는 상태(750)와 같이 상기 기준 세기 미만일 수 있다. 다시 말해, 프로세서(210)는, 상기 제2 이미지 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시함으로써, 디스플레이(250)를 통해 표시되는 상기 멀티미디어 콘텐트의 품질을 강화할 수 있다.
일 실시예에서, 배경 레이어(1000)의 색상은, 환경(650)의 색상 또는 환경(650)의 적어도 하나의 영역(670)의 색상에 따라, 변경될 수 있다. 예를 들면, 프로세서(210)는, 환경(650)의 색상 또는 환경(650)의 적어도 하나의 영역(670)의 색상을 지정된 시간 간격마다 식별하고, 상기 식별된 색상에 기반하여, 배경 레이어(1000)의 색상을 변경할 수 있다. 하지만, 이에 제한되지 않는다.
다시 도 3을 참조하면, 상기 제2 이미지 상에 중첩으로 상기 멀티미디어 콘텐트를 표시하는 것은, 가상 3D 공간 상에 위치된 가상 평면(들) 상에 상기 제2 이미지 및 상기 멀티미디어 콘텐트를 랜더링하는 것에 기반하여 실행될 수 있다. 예를 들어, 도 12를 참조하면, 프로세서(120)는, 상기 제1 이미지를 획득하는 것에 기반하여, 2D(dimensional) 이미지인 상기 제1 이미지를 3D 이미지(또는 입체(stereoscopic) 이미지)(1200)로 변환할 수 있다. 예를 들어, 카메라(230)가 3D 이미지를 획득하기 위해 도 2a 또는 도 2b의 설명을 통해 정의된 상기 복수의 카메라들을 포함하는 경우, 프로세서(120)는, 상기 복수의 카메라들을 통해 제1 이미지들을 각각 획득하고, 상기 제1 이미지들에 기반하여 3D 이미지(1200)를 획득할 수 있다. 예를 들면, 프로세서(120)는, 상기 제1 이미지를 획득할 시 깊이 정보를 획득하고, 상기 깊이 정보에 기반하여 상기 제1 이미지로부터 변환된 3D 이미지(1200)를 획득할 수 있다. 하지만, 이에 제한되지 않는다. 한편, 프로세서(120)는, 가상 3D 공간 상의 3D 이미지(1200)의 위치에 기반하여, 제1 가상 평면(1210)의 위치를 식별하고, 제1 가상 평면(1210) 상에 제2 이미지(950)를 랜더링할 수 있다. 한편, 프로세서(120)는, 제2 가상 평면(1220) 상에 멀티미디어 콘텐트(600)를 랜더링할 수 있다(예를 들면, 제2 가상 평면(1220)은, 제1 가상 평면(1210)의 위치에 기반될 수 있음). 프로세서(210)는, 제1 가상 평면(1210) 상에 랜더링된 제2 이미지(950) 및 제2 가상 평면(1220) 상에 랜더링된 멀티미디어 콘텐트(600)를 디스플레이(250)의 표시 영역에 대응하는 가상 3D 공간 상의 제3 가상 평면(1230)에 투사함(project)으로써, 제2 이미지(950) 상에 중첩된 멀티미디어 콘텐트(600)를 표시할 수 있다(예를 들면, 제3 가상 평면(1230)의 위치는, 제1 가상 평면(1210)의 위치 및/또는 제2 가상 평면(1220)의 위치에 기반될 수 있다). 예를 들면, 이러한 결과로, 제3 가상 평면(1230)은, 상기 웨어러블 장치의 사용자에 의해 보여질 수 있다. 멀티미디어 콘텐트(600)이 표시될 위치에 대응하는 환경의 일부에 중첩하는 제2 이미지(950) 상에 중첩된 멀티미디어 콘텐트(600)이 보여지는 것을 통해, 상기 웨어러블 장치의 사용자에 의해 보여질 수 있다. 하지만, 이에 제한되지 않는다.
예를 들면, 상기 제2 이미지 상에 중첩으로 멀티미디어 콘텐트를 표시하는 것은 제2 이미지(950) 및 멀티미디어 콘텐트(600)를 가상 3D 공간 내에서 또는 서로 다른 가상 레이어 또는 가상 평면들 상에서 구축함으로써 실행될 수 있다. 어떤 예들(examples)에서, 서로에 대하여 상이한 가상 레이어의 위치들은 디스플레이(250)를 통해 표시되는 멀티미디어 콘텐트(600)의 크기(예: 웨어러블 장치를 착용한 사용자의 FOV 내에서의 멀티미디어 콘텐트(600)의 사이즈) 및/또는 디스플레이(250) 상에서의 멀티미디어 콘텐트(600)의 위치(예: 웨어러블 장치를 착용한 사용자의 FOV 내에서 멀티미디어 콘텐트(600)의 위치)에 기반될 수 있다.
한편, 다시 도 3을 참조하면, 프로세서(210)는, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시하기 전, 상기 멀티미디어 콘텐트의 불투명도를 조정할 수 있다. 예를 들어, 도 13a를 참조하면, 프로세서(210)는, 멀티미디어 콘텐트(600)의 불투명도를 조정함으로써 멀티미디어 콘텐트(1300)를 획득할 수 있다. 예를 들면, 멀티미디어 콘텐트(1300)의 불투명도는 멀티미디어 콘텐트(600)의 불투명도보다 클 수 있다(예: 증가된 불투명도). 프로세서(210)는, 조정된 불투명도를 가지는 멀티미디어 콘텐트(1300)를 획득한 후, 상기 제2 이미지 상에 중첩된 멀티미디어 콘텐트(1300)를 표시할 수 있다.
한편, 다시 도 3을 참조하면, 프로세서(210)는, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트 상에 중첩된 반사 레이어를 더 표시할 수 있다. 예를 들면, 상기 반사 레이어는, 광의 반사에 강건한 특성을 가지는 블루 또는 퍼플을 포함할 수 있다. 예를 들어, 도 13b를 참조하면, 프로세서(210)는, 배경 레이어(1000) 상에 중첩된, 상태(640)와 같이 제어되는 디스플레이(250)를 이용하여 표시되는, 멀티미디어 콘텐트(600) 상에 중첩으로, 반사 레이어(1350)를 더 표시할 수 있다. 예를 들면, 배경 레이어(1000) 및 반사 레이어(1350) 사이의 멀티미디어 콘텐트(600)는, 표시 상태(1360)와 같이, 제공될 수 있다. 예를 들면, 반사 레이어(1350)는, 반사 레이어(1350)를 통해 보여지도록 멀티미디어 콘텐트(600)를 부분적으로 투명하게 할 수 있다.
한편, 동작 314에서, 프로세서(210)는, 상기 밝기가 상기 기준 밝기 미만이라는 식별에 기반하여, 상기 멀티미디어 콘텐트를 표시할 수 있다. 예를 들면, 프로세서(210)는, 동작 306을 실행하는 것을 삼가하고(refrain from) 상기 멀티미디어 콘텐트를 표시할 수 있다. 예를 들면, 프로세서(210)는, 상기 제2 이미지의 표시 없이, 상기 멀티미디어 콘텐트를 표시할 수 있다.
한편, 동작 316에서, 프로세서(210)는, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함하지 않는다는 식별에 기반하여, 상기 멀티미디어 콘텐트를 표시할 수 있다. 예를 들면, 프로세서(210)는, 동작 308 내지 동작 312를 실행하는 것을 삼가하고 상기 멀티미디어 콘텐트를 표시할 수 있다. 예를 들면, 프로세서(210)는, 상기 제2 이미지의 표시 없이, 상기 멀티미디어 콘텐트를 표시할 수 있다.
상술한 도 3의 설명들은, 웨어러블 장치(110) 내의 프로세서(210)가 동작 302 내지 동작 312를 실행하는 예를 포함하고 있으나, 이는 설명의 편의를 위한 것이다. 도 3의 동작 302 내지 동작 312 중 적어도 일부는, 웨어러블 장치(110)와 연결된 외부 전자 장치(예: 스마트폰, 테블릿, PC(personal computer), 서버 등)에 의해 실행될 수도 있다. 하지만, 이에 제한되지 않는다.
상술한 바와 같이, 웨어러블 장치(110)는, 상기 제2 이미지 상에 중첩으로 상기 멀티미디어 콘텐트를 표시함으로써, 상기 표시된 멀티미디어 콘텐트를 통해 외부 환경의 적어도 일부가 보여지는 것을 방지하거나, 최소화할 수 있다.
도 14는 적어도 하나의 영역의 사이즈에 기반하여 제2 이미지 상에 중첩으로 멀티미디어 콘텐트를 표시할 것인지 여부를 식별하는 방법을 도시하는 흐름도이다. 이러한 방법은 도 1 내에서 도시된 웨어러블 장치(110), 도 2a 또는 도 2b 내에서 도시된 웨어러블 장치(110), 또는 도 2a 내에서 도시된 프로세서(210)에 의해 실행될 수 있다.
도 14를 참조하면, 동작 1402에서, 프로세서(210)는, 상기 멀티미디어 콘텐트가 상기 지정된 색상을 가지는 상기 적어도 하나의 영역을 포함함을 식별할 수 있다. 예를 들면, 프로세서(210)는, 동작 306에서의 상기 식별에 따라, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함함을 식별할 수 있다. 어떤 실시예들에서, 도 14 내에서 도시된 동작들의 하나 이상은, 생략되거나, 도 14 내에서 도시된 동작들의 하나 이상은 도시된 순서와 다른 순서로 수행될 수 있다.
동작 1404에서, 프로세서(210)는, 상기 식별에 기반하여, 상기 적어도 하나의 영역의 사이즈 대 상기 멀티미디어 콘텐트의 사이즈의 비율이 기준 값 이상인지 여부를 식별할 수 있다. 예를 들면, 상기 적어도 하나의 영역의 사이즈가 상대적으로 작은 경우, 상기 적어도 하나의 영역으로 인하여 상기 멀티미디어 콘텐트의 품질의 감소는 상대적으로 작기 때문에, 프로세서(210)는, 상기 비율이 상기 기준 값 이상인지 여부를 식별할 수 있다. 예를 들면, 프로세서(210)는, 동작 308 및 동작 310의 실행에 의한 웨어러블 장치(110)의 자원 소비를 감소시키기 위해, 동작 1404를 실행할 수 있다.
프로세서(210)는, 상기 비율이 상기 기준 값 이상인 조건 상에서 동작 1406을 실행하고, 상기 비율이 상기 기준 값 미만인 조건 상에서 동작 1408을 실행할 수 있다.
동작 1406에서, 프로세서(210)는, 상기 비율이 상기 기준 값 이상임을 식별하는 것에 기반하여, 상기 제2 이미지 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시할 수 있다. 예를 들면, 프로세서(210)는, 상기 비율이 상기 기준 값 이상임을 식별하는 것에 기반하여, 동작 308 및 동작 310을 실행함으로써 상기 제2 이미지를 획득하고, 상기 제2 이미지 상에 중첩으로 상기 멀티미디어 콘텐트를 표시할 수 있다.
동작 1408에서, 프로세서(210)는, 상기 비율이 상기 기준 값 미만임을 식별하는 것에 기반하여, 상기 멀티미디어 콘텐트를 표시할 수 있다. 예를 들면, 프로세서(210)는, 상기 제2 이미지의 표시 없이, 상기 멀티미디어 콘텐트를 표시할 수 있다.
상술한 바와 같이, 웨어러블 장치(110)는, 동작 1404의 실행을 통해, 상기 제1 이미지 및 상기 제2 이미지를 획득하고 상기 제2 이미지 상에 중첩으로 상기 멀티미디어 콘텐트를 표시하는 것을 적응적으로 실행할 수 있다. 웨어러블 장치(110)는, 이러한 적응적 실행을 통해, 웨어러블 장치(110)의 자원 사용의 효율성을 최적화할 수 있다.
도 15는 적어도 하나의 영역의 위치에 기반하여 제2 이미지 상에 중첩으로 멀티미디어 콘텐트를 표시할 것인지 여부를 식별하는 방법을 도시하는 흐름도이다. 이러한 방법은 도 1 내에서 도시된 웨어러블 장치(110), 도 2a 또는 도 2b 내에서 도시된 웨어러블 장치(110), 또는 도 2a 내에서 도시된 프로세서(210)에 의해 실행될 수 있다. 어떤 실시예들에서, 도 15 내에서 도시된 동작들의 하나 이상은, 생략되거나, 도 15 내에서 도시된 동작들의 하나 이상은 도시된 순서와 다른 순서로 수행될 수 있다.
도 15를 참조하면, 동작 1502에서, 프로세서(210)는, 상기 멀티미디어 콘텐트가 상기 지정된 색상을 가지는 상기 적어도 하나의 영역을 포함함을 식별할 수 있다. 예를 들면, 프로세서(210)는, 동작 306에서의 상기 식별에 따라, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함함을 식별할 수 있다.
동작 1504에서, 프로세서(210)는, 상기 식별에 기반하여, 상기 적어도 하나의 영역의 위치가 디스플레이(250)의 표시 영역 내의 센터 영역 내인지 여부를 식별할 수 있다. 예를 들면, 상기 센터 영역은, 웨어러블 장치(110)를 착용한 사용자의 주목 영역(attention area)일 수 있다. 예를 들면, 상기 센터 영역은, 상기 사용자가 자주 바라보는 디스플레이(250)의 상기 표시 영역 내의 영역일 수 있다. 예를 들면, 상기 적어도 하나의 영역이 상기 센터 영역과 구별되는 상기 표시 영역 내의 코너 영역 내에서 위치되는 경우, 상기 적어도 하나의 영역으로 인하여 상기 멀티미디어 콘텐트의 품질의 감소는 상대적으로 작기 때문에, 프로세서(210)는, 상기 적어도 하나의 영역의 상기 위치가 상기 센터 영역 내인지 여부를 식별할 수 있다. 예를 들면, 프로세서(210)는, 동작 308 및 동작 310의 실행에 의한 웨어러블 장치(110)의 자원 소비를 감소시키기 위해, 동작 1504를 실행할 수 있다.
프로세서(210)는, 상기 적어도 하나의 영역의 위치가 상기 센터 영역 내인 조건 상에서 동작 1506을 실행하고, 상기 적어도 하나의 영역의 위치가 상기 센터 영역 밖인 조건 상에서 동작 1508을 실행할 수 있다.
동작 1506에서, 프로세서(210)는, 상기 적어도 하나의 영역의 위치가 상기 센터 영역 내임을 식별하는 것에 기반하여, 상기 제2 이미지 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시할 수 있다. 예를 들면, 프로세서(210)는, 상기 적어도 하나의 영역의 위치가 상기 센터 영역 내임을 식별하는 것에 기반하여, 동작 308 및 동작 310을 실행함으로써 상기 제2 이미지를 획득하고, 상기 제2 이미지 상에 중첩으로 상기 멀티미디어 콘텐트를 표시할 수 있다.
동작 1508에서, 프로세서(210)는, 상기 적어도 하나의 영역의 위치가 상기 센터 영역 밖임을 식별하는 것에 기반하여, 상기 멀티미디어 콘텐트를 표시할 수 있다. 예를 들면, 프로세서(210)는, 상기 제2 이미지의 표시 없이, 상기 멀티미디어 콘텐트를 표시할 수 있다.
상술한 바와 같이, 웨어러블 장치(110)는, 동작 1504의 실행을 통해, 상기 제1 이미지 및 상기 제2 이미지를 획득하고 상기 제2 이미지 상에 중첩으로 상기 멀티미디어 콘텐트를 표시하는 것을 적응적으로 실행할 수 있다. 웨어러블 장치(110)는, 이러한 적응적 실행을 통해, 웨어러블 장치(110)의 자원 사용의 효율성을 최적화할 수 있다.
도 16은 제2 이미지의 색상을 변경하는 방법을 도시하는 흐름도이다. 이러한 방법은 도 1 내에서 도시된 웨어러블 장치(110), 도 2a 또는 도 2b 내에서 도시된 웨어러블 장치(110), 또는 도 2a 내에서 도시된 프로세서(210)에 의해 실행될 수 있다. 어떤 실시예들에서, 도 16 내에서 도시된 동작들의 하나 이상은, 생략되거나, 도 16 내에서 도시된 동작들의 하나 이상은 도시된 순서와 다른 순서로 수행될 수 있다.
도 17은 변경된 색상을 가지는 예시적인 제2 이미지들을 도시한다.
도 16을 참조하면, 동작 1602에서, 프로세서(210)는, 상기 제2 이미지를 획득할 수 있다. 예를 들면, 동작 1602는, 도 3의 동작 310에 대응할 수 있다.
동작 1604에서, 프로세서(210)는, 상기 제1 이미지의 색 온도에 기반하여 상기 제2 이미지의 색상을 변경할 수 있다. 예를 들면, 상기 제2 이미지는, 상기 적어도 하나의 영역(예: 적어도 하나의 영역(610))을 통해 외부 환경의 일부(예: 적어도 하나의 영역(670))가 보여지는 것을 보상하기 위한 이미지이기 때문에, 프로세서(210)는, 상기 제1 이미지를 획득하는 것에 응답하여 상기 제1 이미지의 색 온도를 식별함으로써 상기 외부 환경의 일부의 색 온도를 추정할 수 있다. 프로세서(210)는, 상기 추정된 색 온도에 기반하여 상기 제2 이미지의 색상을 변경할 수 있다. 예를 들어, 상기 색 온도가 블루 라이트(blue light)의 색 온도에 대응하는 경우, 프로세서(210)는, 상기 제2 이미지에 레드(red)를 블랜딩(blend)함으로써, 상기 제2 이미지의 색상을 변경할 수 있다. 예를 들어, 상기 색 온도가 레드 라이트의 색 온도에 대응하는 경우, 프로세서(210)는, 상기 제2 이미지에 블루를 블랜딩함으로써, 상기 제2 이미지의 색상을 변경할 수 있다. 하지만, 이에 제한되지 않는다.
동자 1606에서, 프로세서(210)는, 상기 변경된 색상을 가지는 상기 제2 이미지 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시할 수 있다. 예를 들면, 디스플레이(250)를 통해 표시되는, 상기 변경된 색상을 가지는 상기 제2 이미지는, 상기 배경 레이어를 형성할 수 있다. 예를 들면, 상기 배경 레이어의 색상은, 상기 변경된 색상을 가지는 상기 제2 이미지에 의해, 상기 기준 색상으로부터 변경될 수 있다. 예를 들어, 도 17을 참조하면, 배경 레이어(1000)의 색상은, 상기 변경된 색상을 가지는 상기 제2 이미지에 기반하여, 변경될 수 있다. 예를 들어, 상기 색 온도가 제1 범위 내에 있는 경우, 상기 기준 색상을 가지는 배경 레이어(1000)는, 상기 기준 색상과 구별되는 제1 색상을 가지는 배경 레이어(1700)로 변경될 수 있다. 예를 들면, 상기 색 온도가 상기 제1 범위와 구별되는 제2 범위 내에 있는 경우, 상기 기준 색상을 가지는 배경 레이어(1000)는, 상기 기준 색상 및 상기 제1 색상과 구별되는 제2 색상을 가지는 배경 레이어(1730)로 변경될 수 있다. 예를 들면, 상기 색 온도가 상기 제1 범위 및 상기 제2 범위와 구별되는 제3 범위 내에 있는 경우, 상기 기준 색상을 가지는 배경 레이어(1000)는, 상기 기준 색상, 상기 제1 색상, 및 상기 제2 색상과 구별되는 제3 색상을 가지는 배경 레이어(1760)로 변경될 수 있다. 하지만, 이에 제한되지 않는다.
상술한 바와 같이, 웨어러블 장치(110)는, 웨어러블 장치(110)가 위치된 환경의 색 온도에 따라, 상기 제2 이미지의 색상을 적응적으로 변경함으로써, 디스플레이(250)를 통해 표시되는 상기 멀티미디어 콘텐트의 품질을 강화할 수 있다.
도 18은 제2 이미지의 일부 상에 중첩으로 멀티미디어 콘텐트를 표시하는 방법을 도시하는 흐름도이다. 이러한 방법은 도 1 내에서 도시된 웨어러블 장치(110), 도 2a 또는 도 2b 내에서 도시된 웨어러블 장치(110), 또는 도 2a 내에서 도시된 프로세서(210)에 의해 실행될 수 있다. 어떤 실시예들에서, 도 18 내에서 도시된 동작들의 하나 이상은, 생략되거나, 도 18 내에서 도시된 동작들의 하나 이상은 도시된 순서와 다른 순서로 수행될 수 있다.
도 19는 제2 이미지의 일부 상에 중첩으로 표시되는 예시적인 멀티미디어 콘텐트를 도시한다.
도 18을 참조하면, 동작 1802에서, 프로세서(210)는, 동작 310에서 상기 제2 이미지를 획득하는 것에 응답하여, 상기 적어도 하나의 영역에 대응하는 상기 제2 이미지의 일부를 획득할 수 있다. 예를 들어, 도 19를 참조하면, 프로세서(210)는, 멀티미디어 콘텐트(600) 내의 적어도 하나의 영역(610)을 식별하고, 적어도 하나의 영역(610)에 대응하는 제2 이미지(950) 내의 적어도 하나의 영역(1910)을 식별할 수 있다. 프로세서(210)는, 적어도 하나의 영역(1910)을 제2 이미지(950)의 일부로 획득할 수 있다.
다시 도 18을 참조하면, 동작 1804에서, 프로세서(210)는, 상기 제2 이미지의 상기 획득된 일부 상에 중첩으로 상기 멀티미디어 콘텐트를 표시할 수 있다. 예를 들어, 도 19를 참조하면, 프로세서(210)는, 제2 이미지(950)의 상기 획득된 일부인 적어도 하나의 영역(1910)을 표시함으로써, 배경 레이어(1920)를 제공할 수 있다. 예를 들면, 배경 레이어(1920) 내의 적어도 하나의 영역(1910)에 대응하는 적어도 하나의 영역(1930)의 색상은 상기 기준 색상일 수 있다. 프로세서(210)는, 상태(640)와 같이 디스플레이(250)를 제어하는 것에 기반하여, 적어도 하나의 영역(1910)의 표시에 의해 제공되는 배경 레이어(1920) 상에 중첩으로, 멀티미디어 콘텐트(600)를 표시할 수 있다. 배경 레이어(1920) 상에 중첩으로 표시된 멀티미디어 콘텐트(600)는, 표시 상태(1940)와 같이, 디스플레이(250)를 통해 제공될 수 있다. 예를 들면, 표시 상태(1940) 내에서, 환경(650) 내의 적어도 하나의 영역(670)은, 표시 상태(1100)와 같이, 적어도 하나의 영역(610)을 통해 보여지지 않을 수 있다.
일 실시예에서, 동작 1802 및 동작 1804는, 상기 멀티미디어 콘텐트가 정적 이미지인 조건 상에서 실행될 수 있다. 예를 들면, 프로세서(210)는, 상기 멀티미디어 콘텐트가 상기 정적 이미지인 조건 상에서 동작 1802 내지 동작 1804를 실행하고, 상기 멀티미디어 콘텐트가 상기 정적 이미지가 아닌 조건 상에서 동작 310 및 동작 312를 실행할 수 있다. 하지만, 이에 제한되지 않는다.
상술한 바와 같이, 웨어러블 장치(110)는, 상기 제2 이미지의 상기 일부를 획득함으로써, 상기 제2 이미지의 표시에 의한 자원의 소비를 감소시킬 수 있다.
도 20은 외부 객체의 이동에 따라 제2 이미지 및 제2 이미지 상에 중첩된 멀티미디어 콘텐트를 처리하는 방법을 도시하는 흐름도이다. 이러한 방법은 도 1 내에서 도시된 웨어러블 장치(110), 도 2a 또는 도 2b 내에서 도시된 웨어러블 장치(110), 또는 도 2a 내에서 도시된 프로세서(210)에 의해 실행될 수 있다. 어떤 실시예들에서, 도 20 내에서 도시된 동작들의 하나 이상은, 생략되거나, 도 20 내에서 도시된 동작들의 하나 이상은 도시된 순서와 다른 순서로 수행될 수 있다.
도 21은 외부 객체의 이동에 따라 제2 이미지 및 제2 이미지 상에 중첩된 멀티미디어 콘텐트를 처리하는 방법의 예를 도시한다.
도 20을 참조하면, 동작 2002에서, 프로세서(210)는, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시할 수 있다. 예를 들면, 동작 2002는 도 3의 동작 312에 대응할 수 있다.
동작 2004에서, 프로세서(210)는, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시함으로써 가려지는, 웨어러블 장치(110)를 포함하는 환경의 일부 내에서 이동되는 외부 객체가 존재하는지 여부를 식별할 수 있다. 예를 들면, 웨어러블 장치(110)를 착용한 사용자는 상기 멀티미디어 콘텐트의 표시에 의해, 상기 외부 객체의 이동을 식별할 수 없기 때문에, 상기 사용자는, 자신이 예상치 못한 상황(unexpected situation) 내에 있음을 인식하지 못할 수 있다. 프로세서(210)는, 이러한 미인식을 방지하기 위해, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시하는 동안, 카메라(230)를 통해 이미지들을 획득하고, 상기 획득된 이미지들에 기반하여, 이동되는(또는 이동하는) 상기 외부 객체가 존재하는지 여부를 식별할 수 있다. 프로세서(210)는, 이동하거나 이동되는 상기 외부 객체가 존재하는 조건 상에서 동작 2006을 실행하고, 상기 외부 객체가 존재하지 않는 조건 상에서 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시하는 동안 동작 2004를 실행하는 것을 유지할 수 있다.
동작 2006에서, 프로세서(210)는, 상기 외부 객체가 존재함을 식별하는 것에 기반하여, 상기 제2 이미지를 표시하는 것을 중단할 수 있다. 예를 들면, 상기 제2 이미지의 표시의 중단에 의해, 상기 배경 레이어의 형성 또는 제공은 중단될 수 있다. 예를 들어, 도 21을 참조하면, 프로세서(210)는, 상태(640)와 같이 디스플레이(250)를 제어하는 것에 기반하여 제2 이미지(950)의 표시에 의해 제공되는 배경 레이어(1000) 상에 중첩으로 멀티미디어 콘텐트(600)를 표시하는 동안, 상기 외부 객체가 존재함을 식별할 수 있다. 프로세서(210)는, 상기 식별에 기반하여, 제2 이미지(950)를 표시하는 것을 중단할 수 있다. 배경 레이어(1000)는, 제2 이미지(950)의 표시의 중단에 의해, 상태(2100)와 같이 제거되고, 환경(650) 내의 적어도 하나의 영역(670)(도 21 내에서 미도시)은 적어도 하나의 영역(610)을 통해 노출될 수 있다.
다시 도 20을 참조하면, 동작 2008에서, 프로세서(210)는, 상기 외부 객체가 존재함을 식별하는 것에 기반하여, 상기 멀티미디어 콘텐트의 불투명도를 감소시킬 수 있다. 예를 들면, 프로세서(210)는, 웨어러블 장치(110)를 착용한 상기 사용자가 상기 외부 객체를 보다 쉽게 인지할 수 있도록, 상기 멀티미디어 콘텐트의 불투명도를 감소시킬 수 있다. 예를 들어, 도 21을 참조하면, 프로세서(210)는, 상기 제2 이미지가 제거된 상태(또는 배경 레이어(1000)가 제거된 상태) 내에서 멀티미디어 콘텐트(600)의 불투명도를 감소시킴으로써, 표시 상태(2120)를 제공할 수 있다. 표시 상태(2120) 내에서, 사용자는, 이동되고 있는 외부 객체(2130)를 인지할 수 있다.
도 20은 동작 2006을 실행한 후 동작 2008을 실행하는 예를 도시하고 있으나, 동작 2006 및 동작 2008은 동시에 실행될 수도 있고, 동작 2008이 실행된 후 동작 2006이 실행될 수도 있다, 또는 동작 2006 및 동작 2008 중 어느 하나가 실행될 수 있다.
동작 2010에서, 프로세서(210)는, 상기 제2 이미지를 표시하는 것을 중단하고 및/또는 상기 감소된 불투명도를 가지는 상기 멀티미디어 콘텐트를 표시하는 동안, 상기 외부 객체의 이동이 중단되는지 여부를 식별할 수 있다. 예를 들면, 프로세서(210)는, 카메라(230)를 통해 획득되는 상기 이미지들에 기반하여, 상기 외부 객체의 이동이 중단되는지 여부 또는 상기 외부 객체가 카메라(230)의 시야 밖으로 벗어나는지 여부를 식별할 수 있다. 프로세서(210)는, 상기 외부 객체의 이동이 중단되는 조건 상에서 동작 2012를 실행하고, 상기 외부 객체의 이동이 유지되는 조건 상에서 동작 2010을 실행하는 것을 유지할 수 있다.
동작 2012에서, 프로세서(210)는, 상기 외부 객체의 이동이 중단됨을 식별하는 것에 기반하여, 상기 제2 이미지를 표시하는 것을 재개하고 상기 멀티미디어 콘텐트의 불투명도를 복원할 수 있다. 예를 들면, 프로세서(210)는, 상기 멀티미디어 콘텐트의 표시의 품질을 강화하기 위해, 상기 제2 이미지를 표시하는 것을 재개하고 상기 멀티미디어 콘텐트의 불투명도를 복원할 수 있다.
상술한 바와 같이, 웨어러블 장치(110)는, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시하는 동안 웨어러블 장치(110)를 착용한 상기 사용자가 웨어러블 장치(110) 주변에서 이동되는 외부 객체를 인식할 수 있도록, 동작 2004를 실행할 수 있다. 예를 들면, 웨어러블 장치(110)는, 상기 사용자가 안전한 환경 내에서 상기 멀티미디어 콘텐트를 볼 수 있도록, 동작 2004를 실행할 수 있다.
도 22는 멀티미디어 콘텐트와 연계된 적어도 하나의 제1 시각적 객체 아래에 표시되는 제2 시각적 객체의 색상을 식별하는 방법을 도시하는 흐름도이다. 이러한 방법은 도 1 내에서 도시된 웨어러블 장치(110), 도 2a 또는 도 2b 내에서 도시된 웨어러블 장치(110), 또는 도 2a 내에서 도시된 프로세서(210)에 의해 실행될 수 있다. 어떤 실시예들에서, 도 22 내에서 도시된 동작들의 하나 이상은, 생략되거나, 도 22 내에서 도시된 동작들의 하나 이상은 도시된 순서와 다른 순서로 수행될 수 있다.
도 23은 멀티미디어 콘텐트와 연계된 적어도 하나의 제1 시각적 객체 아래에 표시되는 예시적인 제2 시각적 객체들을 도시한다.
도 22를 참조하면, 동작 2202에서, 프로세서(210)는, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시하는 동안, 상기 멀티미디어 콘텐트와 연계로 표시될 적어도 하나의 제1 시각적 객체의 색상을 식별할 수 있다. 예를 들면, 상기 적어도 하나의 제1 시각적 객체는, 상기 멀티미디어 콘텐트와 관련된 시각적 정보일 수 있다. 하지만, 이에 제한되지 않는다. 예를 들면, 프로세서(210)는, 상기 멀티미디어 콘텐트를 표시하는 동안 상기 멀티미디어 콘텐트와 관련된 이벤트를 식별하는 것에 기반하여, 상기 멀티미디어 콘텐트와 연계로 표시될 상기 적어도 하나의 제1 시각적 객체의 색상을 식별할 수 있다.
동작 2204에서, 프로세서(210)는, 상기 적어도 하나의 제1 시각적 객체의 상기 색상 또는 상기 멀티미디어 콘텐트의 색상에 기반하여, 상기 적어도 하나의 제1 시각적 객체의 아래에서 표시될 제2 시각적 객체의 색상을 식별할 수 있다. 예를 들면, 상기 제2 시각적 객체는, 상기 적어도 하나의 제1 시각적 객체의 표시의 품질을 강화하기 위해, 상기 적어도 하나의 제1 시각적 객체 아래에서 표시되는 시각적 객체일 수 있다. 예를 들면, 상기 제2 시각적 객체는, 상기 적어도 하나의 제1 시각적 객체의 배경일 수 있다. 하지만, 이에 제한되지 않는다.
일 실시예에서, 프로세서(210)는, 상기 적어도 하나의 제1 시각적 객체가 적어도 하나의 지정된 색상(여기서의 적어도 하나의 지정된 색상은 멀티미디어 콘텐트 내의 적어도 하나의 영역과 조합하여 설명된 지정된 색상과 다를 수 있음)만을 가지는 조건 상에서 상기 적어도 하나의 제1 시각적 객체의 상기 색상 및 상기 멀티미디어 콘텐트의 상기 색상 중 상기 멀티미디어 콘텐트의 상기 색상에 기반하여 상기 제2 시각적 객체의 상기 색상을 식별하고, 상기 적어도 하나의 제1 시각적 객체가 상기 적어도 하나의 지정된 색상과 구별되는 다른 색상을 가지는 조건 상에서, 상기 적어도 하나의 제1 시각적 객체의 상기 색상 및 상기 멀티미디어 콘텐트의 상기 색상 중 상기 적어도 하나의 제1 시각적 객체의 상기 색상에 기반하여 상기 제2 시각적 객체의 상기 색상을 식별할 수 있다. 예를 들면, 상기 적어도 하나의 지정된 색상은, 상기 제2 시각적 객체의 상기 색상이 어떤 색상으로 식별되는지 여부와 독립적으로(또는 무관하게), 상기 적어도 하나의 제1 시각적 객체의 시인성이 보장되는 색상일 수 있다. 예를 들면, 상기 적어도 하나의 지정된 색상은, 블랙 및 화이트일 수 있다. 하지만, 이에 제한되지 않는다. 예를 들면, 상기 적어도 하나의 지정된 색상만을 가지는 상기 적어도 하나의 제1 시각적 객체의 시인성은 보장되기 때문에, 프로세서(210)는, 상기 멀티미디어 콘텐트와의 조화를 위해, 상기 제2 시각적 객체의 색상을 상기 멀티미디어 콘텐트의 상기 색상에 기반하여 식별할 수 있다. 예를 들면, 상기 다른 색상을 가지는 상기 적어도 하나의 제1 시각적 객체의 시인성은 보장되지 않기 때문에, 프로세서(210)는, 상기 적어도 하나의 제1 시각적 객체의 시인성을 강화하기 위해, 상기 적어도 하나의 제1 시각적 객체의 색상의 보색으로 상기 제2 시각적 객체의 상기 색상을 식별할 수 있다. 예를 들어, 도 23을 참조하면, 프로세서(210)는, 상기 적어도 하나의 지정된 색상만을 가지는 적어도 하나의 제1 시각적 객체(2301)를 표시하기 위한 이벤트를 식별하는 것에 응답하여, 적어도 하나의 제1 시각적 객체(2301) 아래에서 표시될 제2 시각적 객체(2300)의 상기 색상을 멀티미디어 콘텐트(600)의 색상에 기반하여 식별된 색상(2302)로 식별할 수 있다. 예를 들면, 프로세서(210)는, 상기 다른 색상을 가지는 적어도 하나의 제1 시각적 객체(2303)를 표시하기 위한 이벤트를 식별하는 것에 응답하여, 적어도 하나의 제1 시각적 객체(2303) 아래에서 표시될 제2 시각적 객체(2300)의 상기 색상을 적어도 하나의 제1 시각적 객체(2303)의 색상에 기반하여 식별된 색상(2304)로 식별할 수 있다.
다시 도 22를 참조하면, 동작 2206에서, 프로세서(210)는, 동작 2204에서 식별된 상기 색상을 가지는 상기 제2 시각적 객체 상에 중첩으로, 상기 멀티미디어 콘텐트와 연계된 상기 적어도 하나의 제1 시각적 객체를 표시할 수 있다.
상술한 바와 같이, 웨어러블 장치(110)는, 상기 멀티미디어 콘텐트를 상기 제2 이미지 상에 중첩으로 표시하는 동안 상기 멀티미디어 콘텐트와 관련된 상기 적어도 하나의 제1 시각적 객체를 표시하기 위한 이벤트를 검출하는 것에 기반하여, 상기 적어도 하나의 제1 시각적 객체의 색상에 기반하여 상기 적어도 하나의 제1 시각적 객체 아래에서 표시될 상기 제2 시각적 객체의 색상을 식별하거나, 상기 멀티미디어 콘텐트의 상기 색상에 기반하여 상기 적어도 하나의 제1 시각적 객체 아래에서 표시될 상기 제2 시각적 객체의 색상을 식별함으로써, 상기 적어도 하나의 제1 시각적 객체의 시인성을 강화하거나 상기 멀티미디어 콘텐트와 조화하는 상기 제2 시각적 객체를 표시할 수 있다.
일 실시예에 따른 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체는, 카메라를 통해 획득된 제1 이미지의 색상을 반전한 제2 이미지 상에 중첩된 멀티미디어 콘텐트를 표시함으로써, 상기 멀티미디어 콘텐트의 품질을 강화할 수 있다.
상술한 바와 같은, 웨어러블 장치(wearable device)는, 적어도 하나의 카메라와, 디스플레이와, 인스트럭션들을 저장하도록 구성된 메모리와, 프로세서를 포함할 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 디스플레이의 표시 영역 내에서 멀티미디어 콘텐트를 표시하기 위한 사용자 요청을 획득하기 위해 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 사용자 요청에 기반하여, 상기 웨어러블 장치 주변의 환경의 밝기가 기준 밝기 이상인지 여부를 식별하기 위해 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 기준 밝기 이상인 상기 밝기에 기반하여, 상기 멀티미디어 콘텐트가 미리 결정된 색상을 가지는 적어도 하나의 영역을 포함하는지 여부를 식별하기 위해 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 적어도 하나의 영역을 포함하는 상기 멀티미디어 콘텐트에 기반하여, 상기 적어도 하나의 카메라를 통해, 상기 멀티미디어 콘텐트가 표시될 위치에 대응하는 상기 환경의 일부에 대한 제1 이미지를 생성하기 위해 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 제1 이미지의 색상이 반전된, 제2 이미지를 생성하기 위해 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 위치에서 표시된 상기 제2 이미지 상에 중첩된, 상기 멀티미디어 콘텐트를 상기 디스플레이를 통해 표시하기 위해 상기 인스트럭션들을 실행하도록, 구성될 수 있다.
일 실시예에 따르면, 상기 제1 이미지의 상기 색상(들)은, 상기 제2 이미지 내에서 반전될(inverted) 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 기준 밝기 미만인 상기 밝기에 기반하여, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함하는지 여부를 식별하는 것을 삼가하기 위해, 상기 인스트럭션들을 실행하도록 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 적어도 하나의 영역을 포함하지 않는 상기 멀티미디어 콘텐트에 기반하여, 상기 제1 이미지 및 상기 제2 이미지를 생성하는 것을 삼가하기 위해, 상기 인스트럭션들을 실행하도록 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 사용자 요청에 응답하여, 상기 적어도 하나의 카메라를 통해 획득되는 이미지의 밝기를 나타내는 데이터에 기반하여 상기 환경의 밝기를 식별하기 위해, 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 데이터에 기반하여 식별된 상기 환경의 상기 밝기가 상기 기준 밝기 이상인지 여부를 식별하기 위해 상기 인스트럭션들을 실행하도록 구성될 수 있다.
일 실시예에 따르면, 상기 웨어러블 장치는, 조도 센서를 더 포함할 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 인스트럭션들을 실행할 시, 상기 사용자 요청에 응답하여, 상기 조도 센서를 통해 획득되는 데이터에 더(또는 대안적으로) 기반하여, 상기 환경의 밝기를 식별하기 위해, 상기 인스트럭션들을 실행하도록, 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 조도 센서를 통해 획득된 상기 데이터에 더(또는 대안적으로) 기반하여 식별된 상기 환경의 상기 밝기가 상기 기준 밝기 이상인지 여부를 식별하기 위해, 상기 인스트럭션들을 실행하도록, 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 제1 이미지에 기반하여, 가상(virtual) 3D(three dimensional) 공간 상에 정의된 제1 가상 평면을 식별하기 위해, 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 제1 가상 평면 상에 상기 제2 이미지를 랜더링하기 위해, 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 가상 3D 공간 상에서 정의되고 상기 제1 가상 평면과 구별되는 제2 가상 평면 상에 상기 멀티미디어 콘텐트를 랜더링하기 위해 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 디스플레이(250)의 표시 영역에 대응하고, 상기 가상 3D 공간 상에서 정의되는 제3 가상 평면에 상기 랜더링된 제2 이미지 및 상기 랜더링된 멀티미디어 콘텐트를 투사함으로써, 상기 제2 이미지 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시하기 위해, 상기 인스트럭션들을 실행하도록 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 기준 밝기 미만인 상기 밝기 및/또는 상기 적어도 하나의 영역을 포함하지 않는 상기 멀티미디어 콘텐트에 기반하여, 상기 적어도 하나의 영역을 위한 제1 발광 소자들 및 상기 지정된 색상과 구별되는 색상을 가지는 상기 멀티미디어 콘텐트의 적어도 하나의 다른 영역을 위한 제2 발광 소자들 중 상기 제2 발광 소자들로부터 광을 발광함으로써 상기 멀티미디어 콘텐트를 표시하기 위해 상기 인스트럭션들을 실행하도록 더 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 멀티미디어 콘텐트의 불투명도(opacity)를 조정하기 위해 상기 인스트럭션들을 실행하도록 더 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 위치에서 표시된 상기 제2 이미지 상에 중첩으로, 상기 조정된 불투명도를 가지는 상기 멀티미디어 콘텐트를 상기 디스플레이를 통해 표시하기 위해 상기 인스트럭션들을 실행하도록, 더 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 제1 이미지의 색 온도에 기반하여, 상기 제2 이미지의 색상을 변경하기 위해, 상기 인스트럭션들을 실행하도록 더 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 변경된 색상을 가지는 상기 제2 이미지 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시하기 위해, 상기 인스트럭션들을 실행하도록 더 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 제2 이미지가 생성된 후, 상기 적어도 하나의 영역에 대응하는 상기 제2 이미지의 일부를 추출하기 위해 상기 인스트럭션들을 실행하도록 더 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 적어도 하나의 영역에 대응하는 상기 표시 영역 내의 적어도 하나의 위치에서 표시되는 상기 제2 이미지의 상기 추출된 일부 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시하기 위해 상기 인스트럭션들을 실행하도록, 더 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 적어도 하나의 영역에 대응하는 상기 표시 영역 내의 적어도 하나의 위치 내에서 표시되는 상기 제2 이미지의 상기 추출된 위치 상에 중첩으로, 상기 멀티미디어 콘텐트의 상기 적어도 하나의 영역을 표시하기 위해, 상기 인스트럭션들을 실행하도록 더 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 사용자 요청에 기반하여, 상기 멀티미디어 콘텐트가 정적 이미지(static image)인지 여부를 식별하기 위해 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 정적 이미지인 상기 멀티미디어 콘텐트에 기반하여, 상기 제2 이미지의 상기 추출된 일부 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시하기 위해 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 정적 이미지가 아닌 상기 멀티미디어 콘텐트에 기반하여, 상기 제2 이미지 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시하기 위해 상기 인스트럭션들을 실행하도록, 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트가 표시되는 동안 상기 적어도 하나의 카메라를 통해 획득되는 적어도 하나의 이미지에 기반하여, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시함으로써 가려지는 상기 환경의 일부 내에서 이동되는 외부 객체가 존재하는지 여부를 식별하기 위해 상기 인스트럭션들을 실행하도록 더 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 외부 객체의 식별에 기반하여, 상기 제2 이미지를 표시하는 것을 중단하기 위해 상기 인스트럭션들을 실행하도록, 더 구성될 수 있다. 일 실시예에 따르면, 상기 제2 이미지의 표시가 중단되는 동안, 상기 멀티미디어 콘텐트의 표시는 유지될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 외부 객체의 상기 식별에 기반하여, 상기 디스플레이를 통해 표시된 상기 멀티미디어 콘텐트의 불투명도를 감소시키기 위해 상기 인스트럭션들을 실행하도록, 더 구성될 수 있다. 예를 들면, 상기 환경의 상기 일부 내에서 이동되는 상기 외부 객체는 상기 멀티미디어 콘텐트의 상기 불투명도의 상기 감소에 따라, 상기 표시 영역을 통해 보여질 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 제2 이미지를 표시하는 것을 중단하고 상기 멀티미디어 콘텐트를 표시하는 동안 상기 적어도 하나의 카메라를 통해 획득되는 적어도 하나의 이미지에 기반하여, 상기 외부 객체의 이동이 중단되는지 여부를 식별하기 위해 상기 인스트럭션들을 실행하도록 더 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 외부 객체의 이동의 중단에 기반하여, 상기 제2 이미지를 상기 위치에서 표시하는 것을 재개함으로써 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시하기 위해 상기 인스트럭션들을 실행하도록, 더 구성될 수 있다.
일 실시예에 따르면, 상기 사용자 요청은, 상기 멀티미디어 콘텐트를 재생하기 위해 이용되는 소프트웨어 어플리케이션을 실행하기 위한 입력을 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트가 표시되는 동안, 상기 멀티미디어 콘텐트와 연계로 표시될 적어도 하나의 제1 시각적 객체의 색상을 식별하기 위해 상기 인스트럭션들을 실행하도록 더 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 적어도 하나의 제1 시각적 객체의 상기 색상 또는 상기 멀티미디어 콘텐트의 색상에 기반하여, 상기 적어도 하나의 제1 시각적 객체의 아래에서 표시될 제2 시각적 객체의 색상을 식별하기 위해 상기 인스트럭션들을 실행하도록 더 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 식별된 색상을 가지는 제2 시각적 객체 상에 중첩으로, 상기 멀티미디어 콘텐트와 연계된, 상기 적어도 하나의 제1 시각적 객체를 표시하기 위해 상기 인스트럭션들을 실행하도록, 더 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 적어도 하나의 제1 시각적 객체가 적어도 하나의 지정된 색상만을 가지는 조건 상에서, 상기 적어도 하나의 제1 시각적 객체의 상기 색상 및 상기 멀티미디어 콘텐트의 상기 색상 중 상기 멀티미디어 콘텐트의 상기 색상에 기반하여 상기 제2 시각적 객체의 상기 색상을 식별하기 위해 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 적어도 하나의 시각적 객체가 상기 적어도 하나의 지정된 색상과 구별되는 다른 색상을 가지는 조건 상에서, 상기 적어도 하나의 제1 시각적 객체의 상기 색상 및 상기 멀티미디어 콘텐트의 상기 색상 중 상기 적어도 하나의 제1 시각적 객체의 상기 색상에 기반하여 상기 제2 시각적 객체의 상기 색상을 식별하기 위해 상기 인스트럭션들을 실행하도록, 구성될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 적어도 하나의 영역을 포함하는 상기 멀티미디어 콘텐트에 기반하여, 상기 적어도 하나의 영역의 사이즈 대 상기 멀티미디어 콘텐트의 사이즈의 비율을 식별하기 위해 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 기준 비율 이상인 상기 비율에 기반하여, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시하기 위해 상기 인스트럭션들을 실행하도록 구성될 수 있다. 일 실시예에 따르면, 상기 프로세서는, 상기 기준 비율 미만인 상기 비율에 기반하여, 상기 제1 이미지 및 상기 제2 이미지를 생성하는 것을 삼가하고, 상기 제2 이미지의 표시 없이 상기 멀티미디어 콘텐트를 표시하기 위해 상기 인스트럭션들을 실행하도록, 구성될 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 영역을 관통하는 광의 세기는, 상기 제2 이미지 상에 중첩되지 않은 상기 멀티미디어 콘텐트를 표시하는 동안, 기준 세기 이상이고, 상기 제2 이미지 상에 중첩된 상기 멀티미디어를 표시하는 동안, 상기 기준 세기 미만일 수 있다.
일 실시예에 따르면, 상기 제2 이미지의 사이즈는, 상기 멀티미디어 콘텐트의 사이즈보다 크거나 같을 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)에 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: CD-ROM(compact disc read only memory))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어
Figure PCTKR2022014167-appb-img-000001
)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 웨어러블 장치(wearable device)에 있어서,
    적어도 하나의 카메라;
    디스플레이;
    인스트럭션들을 저장하도록 구성된 메모리; 및
    프로세서를 포함하고, 상기 프로세서는, 상기 인스트럭션들이 실행될 시,
    상기 디스플레이의 표시 영역 내에서 멀티미디어 콘텐트를 표시하기 위한 입력을 수신하고,
    상기 수신에 기반하여, 상기 웨어러블 장치 주변의 환경의 밝기가 기준 밝기 이상인지 여부를 식별하고,
    상기 밝기가 상기 기준 밝기 이상임을 식별하는 것에 기반하여, 상기 멀티미디어 콘텐트가 지정된 색상을 가지는 적어도 하나의 영역을 포함하는지 여부를 식별하고,
    상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함함을 식별하는 것에 기반하여, 상기 적어도 하나의 카메라를 통해, 상기 멀티미디어 콘텐트가 표시될 위치에 대응하는 상기 환경의 일부에 대한 제1 이미지를 획득하고,
    상기 제1 이미지의 색상이 반전된, 제2 이미지를 획득하고,
    상기 위치에서 표시된 상기 제2 이미지 상에 중첩으로(as superimposed on), 상기 멀티미디어 콘텐트를 상기 디스플레이를 통해 표시하도록, 구성되는,
    웨어러블 장치.
  2. 청구항 1에 있어서, 상기 프로세서는, 상기 인스트럭션들이 실행될 시,
    상기 밝기가 상기 기준 밝기 미만임을 식별하는 것에 응답하여, 상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함하는지 여부를 식별하는 것을 삼가하고, 상기 멀티미디어 콘텐트를 상기 디스플레이를 통해 표시하고,
    상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함하지 않음을 식별하는 것에 응답하여, 상기 제1 이미지 및 상기 제2 이미지를 획득하는 것을 삼가하고, 상기 디스플레이를 통해 상기 멀티미디어 콘텐트를 표시하도록, 더 구성되는,
    웨어러블 장치.
  3. 청구항 1에 있어서, 상기 프로세서는, 상기 인스트럭션들을 실행할 시,
    상기 입력의 상기 수신에 응답하여, 상기 적어도 하나의 카메라를 통해 획득되는 이미지의 밝기를 나타내는 데이터에 기반하여, 상기 환경의 밝기를 식별하고,
    상기 식별된 밝기가 상기 기준 밝기 이상인지 여부를 식별하도록, 구성되는,
    웨어러블 장치.
  4. 청구항 3에 있어서,
    조도 센서를 더 포함하고,
    상기 프로세서는, 상기 인스트럭션들을 실행할 시,
    상기 입력의 상기 수신에 응답하여, 상기 조도 센서를 통해 획득되는 데이터에 더 기반하여, 상기 환경의 밝기를 식별하도록, 구성되는,
    웨어러블 장치.
  5. 청구항 1에 있어서, 상기 프로세서는, 상기 인스트럭션들을 실행할 시,
    상기 제1 이미지에 기반하여, 가상(virtual) 3D(three dimensional) 공간 상에 위치된 제1 가상 평면을 식별하고,
    상기 제1 가상 평면 상에 상기 제2 이미지를 랜더링하고,
    제2 가상 평면 상에 상기 멀티미디어 콘텐트를 랜더링하고,
    디스플레이(250)의 표시 영역에 대응하는 상기 가상 3D 공간 상의 제3 가상 평면에 상기 랜더링된 제2 이미지 및 상기 랜더링된 멀티미디어 콘텐트를 투사함으로써, 상기 제2 이미지 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시하도록, 구성되는,
    웨어러블 장치.
  6. 청구항 1에 있어서, 상기 프로세서는, 상기 인스트럭션들을 실행할 시,
    상기 멀티미디어 콘텐트의 불투명도(opacity)를 조정하고, 상기 위치에서 표시된 상기 제2 이미지 상에 중첩으로, 상기 조정된 불투명도를 가지는 상기 멀티미디어 콘텐트를 상기 디스플레이를 통해 표시하거나, 및/또는
    상기 제1 이미지의 색 온도에 기반하여, 상기 제2 이미지의 색상을 변경하고, 상기 변경된 색상을 가지는 상기 제2 이미지 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시하도록, 더 구성되는,
    웨어러블 장치.
  7. 청구항 1에 있어서, 상기 프로세서는, 상기 인스트럭션들을 실행할 시,
    상기 제2 이미지를 획득한 후, 상기 적어도 하나의 영역에 대응하는 상기 제2 이미지의 일부를 획득하고,
    상기 적어도 하나의 영역에 대응하는 상기 표시 영역 내의 적어도 하나의 위치에서 표시되는 상기 제2 이미지의 일부 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시하도록, 더 구성되는,
    웨어러블 장치.
  8. 청구항 7에 있어서, 상기 프로세서는, 상기 인스트럭션들을 실행할 시,
    상기 입력을 수신하는 것에 기반하여, 상기 멀티미디어 콘텐트가 정적 이미지(static image)인지 여부를 식별하고,
    상기 멀티미디어 콘텐트가 상기 정적 이미지임을 식별하는 것에 기반하여, 상기 제2 이미지의 일부 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시하고,
    상기 멀티미디어 콘텐트가 상기 정적 이미지가 아님을 식별하는 것에 기반하여, 상기 제2 이미지 상에 중첩으로, 상기 멀티미디어 콘텐트를 표시하도록, 구성되는,
    웨어러블 장치.
  9. 청구항 1에 있어서, 상기 프로세서는, 상기 인스트럭션들을 실행할 시,
    상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시하는 동안 상기 적어도 하나의 카메라를 통해 획득되는 적어도 하나의 이미지에 기반하여, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시함으로써 가려지는 상기 환경의 일부 내에서 이동되는 외부 객체가 존재하는지 여부를 식별하고,
    상기 외부 객체가 존재함을 식별하는 것에 기반하여, 상기 제2 이미지를 표시하는 것을 중단하거나 및/또는 상기 디스플레이를 통해 표시되는 상기 멀티미디어 콘텐트의 불투명도를 감소시키도록, 더 구성되는,
    웨어러블 장치.
  10. 청구항 9에 있어서, 상기 프로세서는, 상기 인스트럭션들을 실행할 시,
    상기 제2 이미지를 표시하는 것을 중단하고 상기 멀티미디어 콘텐트를 표시하는 동안 상기 적어도 하나의 카메라를 통해 획득되는 적어도 하나의 이미지에 기반하여, 상기 외부 객체의 이동이 중단되는지 여부를 식별하고,
    상기 외부 객체의 이동이 중단됨을 식별하는 것에 기반하여, 상기 제2 이미지를 상기 위치에서 표시하는 것을 재개함으로써 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시하도록, 더 구성되는,
    웨어러블 장치.
  11. 청구항 1에 있어서, 상기 프로세서는, 상기 인스트럭션들을 실행할 시,
    상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시하는 동안, 상기 멀티미디어 콘텐트와 연계로 표시될 적어도 하나의 제1 시각적 객체의 색상을 식별하고,
    상기 적어도 하나의 제1 시각적 객체의 상기 색상 또는 상기 멀티미디어 콘텐트의 색상에 기반하여, 상기 적어도 하나의 제1 시각적 객체의 아래에서 표시될 제2 시각적 객체의 색상을 식별하고,
    상기 식별된 색상을 가지는 제2 시각적 객체 상에 중첩으로, 상기 멀티미디어 콘텐트와 연계된, 상기 적어도 하나의 제1 시각적 객체를 표시하도록, 더 구성되는,
    웨어러블 장치.
  12. 청구항 11에 있어서, 상기 프로세서는, 상기 인스트럭션들을 실행할 시,
    상기 적어도 하나의 제1 시각적 객체가 적어도 하나의 지정된 색상만을 가지는 조건 상에서, 상기 적어도 하나의 제1 시각적 객체의 상기 색상 및 상기 멀티미디어 콘텐트의 상기 색상 중 상기 멀티미디어 콘텐트의 상기 색상에 기반하여 상기 제2 시각적 객체의 상기 색상을 식별하고,
    상기 적어도 하나의 시각적 객체가 상기 적어도 하나의 지정된 색상과 구별되는 다른 색상을 가지는 조건 상에서, 상기 적어도 하나의 제1 시각적 객체의 상기 색상 및 상기 멀티미디어 콘텐트의 상기 색상 중 상기 적어도 하나의 제1 시각적 객체의 상기 색상에 기반하여 상기 제2 시각적 객체의 상기 색상을 식별하도록, 구성되는,
    웨어러블 장치.
  13. 청구항 1에 있어서, 상기 프로세서는, 상기 인스트럭션들을 실행할 시,
    상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함함을 식별하는 것에 기반하여, 상기 적어도 하나의 영역의 사이즈 대 상기 멀티미디어 콘텐트의 사이즈의 비율을 식별하고,
    상기 비율이 기준 비율 이상임을 식별하는 것에 기반하여, 상기 제2 이미지 상에 중첩된 상기 멀티미디어 콘텐트를 표시하고,
    상기 비율이 상기 기준 비율 미만임을 식별하는 것에 기반하여, 상기 제1 이미지 및 상기 제2 이미지를 획득하는 것을 삼가하고, 상기 멀티미디어 콘텐트를 표시하도록, 구성되는,
    웨어러블 장치.
  14. 청구항 1에 있어서, 상기 프로세서는, 상기 인스트럭션들이 실행될 시,
    상기 제2 이미지 상에 중첩으로 상기 멀티미디어 콘텐트를 표시하기 전, 상기 디스플레이를 통해 상기 위치 내의 상기 멀티미디어 콘텐트를 표시하고,
    상기 적어도 하나의 영역을 관통하는 광의 세기는,
    상기 제2 이미지 상에 중첩되는 것 없이 상기 멀티미디어 콘텐트가 표시되는 동안, 기준 세기 이상이고,
    상기 제2 이미지 상에 중첩된 상기 멀티미디어를 표시하는 동안, 상기 기준 세기 미만인,
    웨어러블 장치.
  15. 적어도 하나의 카메라 및 디스플레이를 포함하는 웨어러블 장치를 동작하기 위한 방법에 있어서,
    상기 디스플레이의 표시 영역 내에서 멀티미디어 콘텐트를 표시하기 위한 입력을 수신하는 동작과,
    상기 수신에 기반하여, 상기 웨어러블 장치 주변의 환경의 밝기가 기준 밝기 이상인지 여부를 식별하는 동작과,
    상기 밝기가 상기 기준 밝기 이상임을 식별하는 것에 기반하여, 상기 멀티미디어 콘텐트가 지정된 색상을 가지는 적어도 하나의 영역을 포함하는지 여부를 식별하는 동작과,
    상기 멀티미디어 콘텐트가 상기 적어도 하나의 영역을 포함함을 식별하는 것에 기반하여, 상기 적어도 하나의 카메라를 통해, 상기 멀티미디어 콘텐트가 표시될 위치에 대응하는 상기 환경의 일부에 대한 제1 이미지를 획득하는 동작과,
    상기 제1 이미지의 색상이 반전된, 제2 이미지를 획득하는 동작과,
    상기 위치에서 표시된 상기 제2 이미지 상에 중첩으로(as superimposed on), 상기 멀티미디어 콘텐트를 상기 디스플레이를 통해 표시하는 동작을 포함하는,
    방법.
PCT/KR2022/014167 2021-11-06 2022-09-22 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체 WO2023080443A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP22773099.1A EP4202617A4 (en) 2021-11-06 2022-09-22 PORTABLE DEVICE, METHOD, AND NON-TRANSITORY COMPUTER-READABLE STORAGE MEDIUM FOR DISPLAYING MULTIMEDIA CONTENT

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210151835 2021-11-06
KR10-2021-0151835 2021-11-06
KR1020210170075A KR20230066248A (ko) 2021-11-06 2021-12-01 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
KR10-2021-0170075 2021-12-01

Publications (1)

Publication Number Publication Date
WO2023080443A1 true WO2023080443A1 (ko) 2023-05-11

Family

ID=85122756

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014167 WO2023080443A1 (ko) 2021-11-06 2022-09-22 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체

Country Status (2)

Country Link
EP (1) EP4202617A4 (ko)
WO (1) WO2023080443A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242678A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
KR20150084925A (ko) * 2012-11-13 2015-07-22 퀄컴 인코포레이티드 증강 현실 디바이스들의 전력 성능을 증가시키기 위한 가상 물체 디스플레이 특성들의 수정
KR20190071021A (ko) * 2017-12-13 2019-06-24 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 구동 방법
US20190206362A1 (en) * 2018-01-03 2019-07-04 Boe Technology Group Co., Ltd. Method and device for adjusting display brightness value
KR20190101323A (ko) * 2019-08-12 2019-08-30 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL236243A (en) * 2014-12-14 2016-08-31 Elbit Systems Ltd Visual enhancement of color icons is shown

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242678A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
KR20150084925A (ko) * 2012-11-13 2015-07-22 퀄컴 인코포레이티드 증강 현실 디바이스들의 전력 성능을 증가시키기 위한 가상 물체 디스플레이 특성들의 수정
KR20190071021A (ko) * 2017-12-13 2019-06-24 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 구동 방법
US20190206362A1 (en) * 2018-01-03 2019-07-04 Boe Technology Group Co., Ltd. Method and device for adjusting display brightness value
KR20190101323A (ko) * 2019-08-12 2019-08-30 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4202617A4 *

Also Published As

Publication number Publication date
EP4202617A4 (en) 2023-12-20
EP4202617A1 (en) 2023-06-28

Similar Documents

Publication Publication Date Title
WO2018155892A1 (en) Method for displaying virtual image, storage medium and electronic device therefor
WO2019039771A1 (en) ELECTRONIC DEVICE FOR STORING DEPTH INFORMATION IN RELATION TO AN IMAGE BASED ON DEPTH INFORMATION PROPERTIES OBTAINED USING AN IMAGE, AND ITS CONTROL METHOD
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2019164092A1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
WO2019059562A1 (ko) 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치
WO2019151817A1 (en) Apparatus and method for tracking a focal point in a head mounted display system
WO2022108076A1 (ko) 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치
WO2021256651A1 (ko) 증강 현실 글라스 및 그 동작 방법
WO2020040367A1 (ko) 웨어러블 장치 및 그 제어 방법
WO2021025509A1 (en) Apparatus and method for displaying graphic elements according to object
WO2022215895A1 (ko) 복수의 카메라를 포함하는 웨어러블 전자 장치
WO2022164094A1 (ko) Hmd(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 hmd
WO2022010192A1 (ko) 웨어러블 디바이스 및 그 동작 방법
EP3744087A1 (en) Electronic device for adjusting position of content displayed on display based on ambient illuminance and method for operating same
WO2023080443A1 (ko) 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2022075686A1 (ko) 전자 장치 및 그 동작 방법
WO2022145888A1 (ko) 증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치
WO2021242008A1 (en) Electronic device and operating method thereof
WO2022010193A1 (ko) 이미지 개선을 위한 전자장치 및 그 전자장치의 카메라 운용 방법
WO2022146018A1 (ko) 전자 장치 및 그의 제어 방법
WO2020004941A1 (ko) 디스플레이에서 출력된 광을 렌즈로 전달할 수 있는 반사 부재 및 반투명 반사 부재를 포함하는 전자 장치
WO2018155733A1 (ko) 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
WO2019245102A1 (ko) 컨텐츠를 표시하는 방법 및 전자 장치
WO2024029720A1 (ko) 증강 현실에서 사용자를 인증하는 장치 및 방법
WO2023038243A1 (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022773099

Country of ref document: EP

Effective date: 20220928

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22773099

Country of ref document: EP

Kind code of ref document: A1