WO2019112147A1 - 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법 - Google Patents

미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법 Download PDF

Info

Publication number
WO2019112147A1
WO2019112147A1 PCT/KR2018/009749 KR2018009749W WO2019112147A1 WO 2019112147 A1 WO2019112147 A1 WO 2019112147A1 KR 2018009749 W KR2018009749 W KR 2018009749W WO 2019112147 A1 WO2019112147 A1 WO 2019112147A1
Authority
WO
WIPO (PCT)
Prior art keywords
mirror
display
depth value
subject
mirror display
Prior art date
Application number
PCT/KR2018/009749
Other languages
English (en)
French (fr)
Inventor
김도형
정민규
박형걸
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/764,515 priority Critical patent/US11257467B2/en
Publication of WO2019112147A1 publication Critical patent/WO2019112147A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the embodiments disclosed herein relate to a method for controlling the depth of an object in a mirror display system.
  • the mirror display may include an optical mirror and a display.
  • the mirror display can provide augmented reality (AR) to the user by simultaneously displaying a mirror image represented by light reflection and an object generated through computer graphics.
  • AR augmented reality
  • the mirror display can provide users with efficient information and various multimedia services through augmented reality.
  • the mirror image projected by the optical mirror of the mirror display may have a perspective (or depth) depending on the distance between the optical mirror and the subject.
  • the display of the mirror display can display the object without reflecting the perspective on the mirror. If the depth of the object differs from the depth of the mirror, the user of the mirror display may experience a visual inconvenience that the immersion or understanding of the screen displayed on the mirror display is reduced.
  • Various embodiments of the present invention are directed to an apparatus and method for controlling depth of an object along a depth of a mirror in a mirror display system.
  • a mirror display system includes a sensor module, a mirror display including an optical mirror and a display, and at least one control circuit electrically connected to the sensor module and the mirror display, The at least one control circuit determines, through the sensor module, an angle of incidence formed by the light reflected from the subject and the normal line of the optical mirror based on the direction of the user's gaze, and calculates a distance value between the subject and the mirror display Determining a depth value of the subject on the mirror display based on the incident angle and the distance value and displaying, through the display, an object having a depth value corresponding to the depth value of the subject have.
  • a method of a mirror display system is characterized in that, through a sensor module of the mirror display system, light reflected from a subject and light reflected by the optical mirror Determining an angle of incidence formed by the normal of the object on the mirror display, determining an angle of incidence between the object and the mirror display through the sensor module, determining an angle of incidence of the object on the mirror display based on the angle of incidence and the distance value Determining an object having a depth value corresponding to a depth value of the object through a display, and displaying an object having a depth value corresponding to the depth value of the object.
  • a mirror display system includes a sensor module, a mirror display including an optical mirror and a display, and at least one control circuit electrically connected to the sensor module and the mirror display, At least one control circuit determines, through the sensor module, a reflection angle formed by the light reflected by the optical mirror and the normal of the optical mirror, based on the direction of the user ' s visual line illuminated by the optical mirror, Determining an angle of incidence formed by the light reflected from the subject and a normal line of the optical mirror based on the reflection angle to determine a distance value between the subject and the mirror display and based on the incident angle and the distance value, Determining a depth value of the subject on the display, Over, it can be set to display the object with the depth value corresponding to the depth value of the subject.
  • the mirror display system determines the depth of the object based on the distance between the mirror screen and the object displayed on the optical mirror, thereby providing the user with a visual environment in which the perspective of the mirror image matches the perspective of the object can do.
  • the mirror display system can provide various augmented reality services to the user by matching the perspective of the mirror image and the object.
  • Figure 1 illustrates a mirror display system in accordance with various embodiments.
  • Figure 2 illustrates the structure of a mirror display in accordance with various embodiments.
  • Figure 3 illustrates the operation of determining the depth value of an object in accordance with various embodiments.
  • FIG. 4 shows an operational flow diagram of a mirror display system for determining depth values of an object in accordance with various embodiments.
  • FIG. 5 illustrates an operation for displaying an object having a depth on a display in accordance with various embodiments.
  • Figure 6 illustrates the operation of sensing a gesture according to depth values according to various embodiments.
  • Figure 7 illustrates an operational flow diagram of a mirror display system that senses gestures according to depth values according to various embodiments.
  • Figure 8 illustrates the operation of changing the color or intensity of an object according to depth values according to various embodiments.
  • FIG. 9 shows an operational flow diagram of a mirror display system for changing the operating mode of a mirror display according to specified conditions according to various embodiments.
  • Figure 1 illustrates a mirror display system in accordance with various embodiments.
  • a mirror display system 100 may include a sensor module 110, a mirror display 120, and at least one control circuit 130. According to one embodiment, the mirror display system 100 may omit at least one of the components shown in FIG. 1, or may include at least one additional component.
  • the mirror display system 110 may further include an input device for receiving user input, a communication module for performing communication with an external device, or at least one memory for storing multimedia service data.
  • the sensor module 110 senses the user 10 located at the front of the mirror display 120 and detects the distance between the user 10 and the mirror display 120 (e.g., the first distance 15 ), The position of the user 10, or the gaze direction of the user 10 (or the direction of the face).
  • the sensor module 110 may measure the distance between the subject and the mirror display 120, or the position of the subject.
  • the subject may include a body part or other object of the user 10 through which the user 10 views through the optical mirror of the mirror display 120. For example, in FIG. 1, if the user 10 views the shoulder of the user 10 through the optical mirror of the mirror display 120, the subject may refer to the shoulder.
  • the sensor module 110 may be one or more.
  • the sensor module 110 may include at least one of, for example, an infrared sensor, a light detection and ranging (LIDAR) sensor, a radio detecting and ranging (RADAR) sensor, or a camera sensor.
  • the sensor module 110 may be attached to one side of the mirror display 120 or embedded in the mirror display 120.
  • the mirror display 120 may perform both mirroring and display functions.
  • the user 10 may be imaged into the mirror image 20 through an optical mirror included in the mirror display 120 by reflection of light.
  • the mirror display 120 may display an object 30 that is formed by computer graphics through a display included in the mirror display 120.
  • the mirror display 120 may provide an augmented reality by displaying the object 30 with the mirror image 20.
  • the mirror image 20 imaged by the optical mirror of the mirror display 120 may have a perspective (or depth) depending on the distance between the user 10 and the mirror display 120.
  • the mirror image 20 may be positioned within the optical mirror by a second distance 25 corresponding (e.g., the same or similar) to the length of the first distance 15 between the user 10 and the mirror display 120 You can have a perspective.
  • the at least one control circuit 130 may comprise a form of a server, an engine, a device, a device, a terminal, or a user equipment (UE). At least one control circuit 130 may comprise software or hardware modules. For example, at least one control circuit 130 may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays Microprocessors, microprocessors, microprocessors, microprocessors, and microprocessors. 1 illustrates an example in which at least one control circuit 130 is disposed outside the mirror display 120, at least one control circuit 130 may be embedded within the mirror display 120, 120, respectively.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • Microprocessors microprocessors, microprocessors, microprocessors, and microprocessors. 1 illustrates an example in which at least one control circuit
  • At least one control circuit 130 may perform the overall function of the mirror display system 100. For example, at least one control circuit 130 may determine the distance (first distance 15) between the user 10 and the display through the sensor module 110, the location of the user 10, The direction of the line of sight can be determined. In another example, at least one control circuit 130 determines the angle formed by the light reflected from the subject and the normal to the optical mirror of the mirror display 120, based on the viewing direction of the user 10, You can decide. In this document, the angle formed by the light reflected from the subject and the normal line of the optical mirror can be referred to as an incident angle. The magnitude of the incident angle may be equal to the magnitude of the light reflected by the optical mirror and the magnitude of the reflection angle formed by the normal of the optical mirror. At least one control circuit 130 may determine a depth value of another subject based at least on the determined incident angle. Alternatively, at least one control circuit 130 may display the computer-generated object 30 on the display based on the measured depth value.
  • Figure 2 illustrates the structure of a mirror display in accordance with various embodiments.
  • the mirror display 120 includes an optical mirror 112 on its front side and a display 114 on its rear side.
  • the optical mirror 112 may include a half mirror that reflects a portion of the light and the remaining portion is transmissive.
  • Half mirrors may include, for example, nickel, aluminum, or titanium on the glass surface. At least a portion of the light coming from the outside can pass through the half mirror.
  • the display 114 may be a liquid crystal display (LCD), an organic electro luminescence (EL), a thin film transistor-liquid crystal display (TFT LCD), an organic light emitting diode an organic light-emitting diode (OLED), and a plasma display panel (PDP).
  • LCD liquid crystal display
  • EL organic electro luminescence
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light emitting diode
  • PDP plasma display panel
  • the mirror display 120 may include a display 114 on its front side and an optical mirror 112 on its rear side.
  • Display 114 may include a transparent display.
  • the optical mirror 112 may comprise a mirror film comprising a reflective medium.
  • Display 114 may include an OLED or a TFT LCD.
  • the mirror display 120 may include an LCD display, and the LCD display may include a mirror film that performs the function of an optical mirror.
  • the LCD display may include a back light for supplying light, a polarizer for reflecting or transmitting the light supplied from the back light according to polarization, and a liquid crystal display panel for controlling the polarization of light.
  • the polarizing plate may include a mirror film that performs the function of an optical mirror.
  • the display 114 may include a 3D display.
  • At least one control circuit 130 may adjust the depth of the object (e.g., the object 30 in FIG. 1) displayed by the display 114 via the three-dimensional display.
  • at least one control circuit 130 may be used to determine the depth of an object through autostereoscopic use of both eyes of the user 10 without using stereoscopic or three- Can be adjusted.
  • Figure 3 illustrates the operation of determining the depth value of an object in accordance with various embodiments. 3 shows an example in which the user 10 views the subject 60 through the mirror display 120.
  • the mirror display system 100 includes a first distance 15 value indicating the distance between the user 10 and the mirror display 120 via the sensor module 110 and a second distance 15 indicating the distance between the subject 60 and the mirror display 120. [ 120) between the first distance 65 and the second distance 65.
  • the mirror display system 100 may determine a depth value 25 of the mirror image 20 and a depth value 75 of the mirror image 70 that are reflected in the mirror display 120 in accordance with the determined distance values.
  • the mirror display system 100 may utilize the angle of incidence 330 to determine a depth value 350 of the mirror image 70 along the viewing direction of the user 10.
  • the incident angle 330 may be an angle formed by the direction of the light 340 reflected from the subject 60 and the normal of the mirror display 120. Since the incident angle 330 is the same as the reflection angle 310, the mirror display system 100 can determine the incident angle 330 through the reflection angle 310.
  • the angle of reflection 310 may be an angle formed by the direction of light reflected from the optical mirror and entering the eye of the user 10 and the normal of the mirror display 120.
  • the mirror display system 100 can determine the angle of reflection 310 by sensing the direction of the user's eyes (or head).
  • the mirror display system 100 determines the depth value 350 of the mirror image 70 along the viewing direction of the user 10 using the second distance 65 value and the angle of incidence 330 .
  • the angle of the depth value 350 is equal to the angle of incidence 330
  • the length of the depth value may be equal to the length of the light 340 reflected from the subject 60.
  • the mirror display system 100 may display the object 80 on a display based on the determined depth value 350.
  • the depth value of the object 80 may be the same or similar to the depth value 350 of the mirror image 70.
  • FIG. 4 shows an operational flow diagram of a mirror display system for determining depth values of an object in accordance with various embodiments. The operations described below may be implemented by the mirror display system 100 or by at least one control circuit 130.
  • At the operation 405 of the method 400 at least one control circuit 130 determines, based on the viewing direction of the user 10, an angle of incidence formed by the light reflected from the subject 60 and the normal of the optical mirror (330).
  • the angle of incidence 330 may be determined based on the angle of reflection 310 formed by the light reflected by the optical mirror and the normal of the optical mirror.
  • At operation 410, at least one control circuit 130 may determine the value of the distance (e.g., second distance 65 in FIG. 3) between the subject 60 and the mirror display 120. For example, at least one control circuit 130 may determine a distance value via the sensor module 110.
  • a depth value e.g., depth value 350 in FIG. 3
  • At operation 425, at least one control circuit 130 may display an object 80 having a depth value corresponding to the determined depth value through the display.
  • the depth value of the object 80 may be the same as or similar to the depth value of the subject 60.
  • the at least one control circuit 130 may use a spectacular or no-observer to control the depth of the object 80.
  • the spectacles may include, for example, a polarizing scheme using light polarization or a time division scheme in which a screen corresponding to the left eye and a screen corresponding to the right eye are alternately displayed.
  • the non-transparency may include, for example, a parallax barrier scheme in which the mirror display 120 includes a barrier for providing a three-dimensional effect on one side of the display 114, A lenticular method including a semicircular lens on one surface of the display 114 may be used.
  • At operation 430 at least one control circuit 130 may correct for an error in the distance value between the subject 60 and the mirror display 120. For example, at least one control circuit 130 may compensate for errors in consideration of the position of the sensor module 110.
  • the mirror display system 100 more accurately measures the depth value on the mirror that is imaged onto the optical mirror 112 and adjusts the depth value of the object displayed through the display 114 to the depth value on the mirror
  • the user can provide the user 10 with a sense of unity between the mirror image and the object.
  • FIG. 5 illustrates an operation for displaying an object having a depth on a display in accordance with various embodiments.
  • At least one control circuit 130 may include an object having a depth through a three-dimensional display 520 (e.g., display 114) included in the mirror display 120 (e.g., (E.g., object 30 or object 80 of FIG. 3). For example, at least one control circuit 130 may determine the perspective (or depth) of the object displayed on the three-dimensional display 520 by the distance difference between the left eye 510a and the right eye 510b of the user 10, Can be applied to the user 10 to be displayed differently.
  • a three-dimensional display 520 e.g., display 114 included in the mirror display 120 (e.g., (E.g., object 30 or object 80 of FIG. 3).
  • at least one control circuit 130 may determine the perspective (or depth) of the object displayed on the three-dimensional display 520 by the distance difference between the left eye 510a and the right eye 510b of the user 10, Can be applied to the user 10 to be displayed differently.
  • At least one control circuit 130 controls the three-dimensional display 520 to change the position of the object shown by the left eye 510a and the right eye 510b of the user 10 .
  • at least one control circuit 130 may be configured to provide a spectacular or no-viewing optics such that the position of the object viewed by the user 10 is displayed on a first location 536, which represents the front of the three- So that the three-dimensional display 520 can be controlled.
  • the at least one control circuit 130 may display the position of the object on a second location 534 that represents the back surface of the three-dimensional display 520, Dimensional display 520 to be displayed on the third position 532.
  • Figure 6 illustrates the operation of sensing a gesture according to depth values according to various embodiments.
  • the mirror display system 100 may display a mirror image 620 through the optical mirror of the mirror display 120 where the user 610 is illuminated by reflection of light.
  • the mirror display system 100 is capable of sensing the direction of the user's 610 through the sensor module 110 and displaying an object 680 having a depth value based on the sensed viewing direction have.
  • the object 680 may include information about the multimedia service provided to the user 610. For example, if the mirror display system 100 is deployed in a clothing store, the object 680 may include information about the garment or accessory that the user 610 recommends. As another example, the object 680 may include information about beauty, information about the interior, information about healthcare, or information about the game.
  • the mirror display system 100 may sense a user input for selecting an object 680.
  • the mirror display system 100 may sense a user input in which the user 610 selects the object 680 without touching the mirror display 120.
  • the mirror display system 100 may sense a gesture of the user 610 via a sensor module (e.g., sensor module 110).
  • the gesture may include an operation in which the user 610 points to the same coordinates as the plane coordinates (x-axis and y-axis) at which the object 680 is displayed.
  • the mirror display system 100 can determine whether the depth value of the subject (e.g., the hand of the user 610) pointing to the object 680 is equal to the depth value of the object 680. [ If the depth value of the subject is equal to the depth value of the object 680, the mirror display system 100 may control the object 680 to move or change in response to the gesture operation of the user 610.
  • Figure 7 illustrates an operational flow diagram of a mirror display system that senses gestures according to depth values according to various embodiments.
  • FIG. 7 may include operations in which operation 425 of FIG. 4 is more specifically implemented.
  • At least one control circuit 130 may sense a user's gesture.
  • at least one control circuit 130 may sense a gesture of a user pointing to an object displayed on the mirror display 120 through the sensor module.
  • At operation 710, at least one control circuit 130 may determine whether the depth value of the subject, representing the sensed gesture, is equal to the depth value of the object. According to one embodiment, the at least one control circuit 130 may determine the depth value of the subject, which indicates the sensed gesture, based on the distance between the subject and the mirror display 120 and the angle of incidence of the light reflected from the subject. If the depth value of the object is not equal to the depth value of the object, then at least one control circuit 130 may repeatedly implement operation 705 and operation 710. If the depth value of the subject equals the depth value of the object, then at least one control circuit 130 may implement the operation 715. [
  • At least one control circuit 130 may control the movement of the object in response to the sensed gesture. In another example, at least one control circuit 130 may control the shape, color, or size of the object to change in response to the sensed gesture.
  • the mirror display system 100 can more accurately detect user input for selecting an object without touch input, thereby providing convenience of user operation.
  • Figure 8 illustrates the operation of changing the color or intensity of an object according to depth values according to various embodiments.
  • the mirror display system 100 may display an object 880 generated by computer graphics through the mirror display 120.
  • the mirror display system 100 may change the color, contrast, or brightness of the object 880 based on the depth value. For example, if the depth value of the object 880 is greater than the depth value of the other objects (i.e., the object 880 is positioned ahead of the other objects) The color, contrast, or brightness of the object 880 as shown in FIG. In another example, if the depth value of the object 880 is less than the depth value of the other objects (i.e., the object 880 is located behind the other objects) The color, contrast, or brightness of the image can be blurred.
  • FIG. 9 shows an operational flow diagram of a mirror display system for changing the operating mode of a mirror display according to specified conditions according to various embodiments.
  • the mirror display 120 may operate in either a first mode or a second mode.
  • the first mode may refer to an operation mode in which the mirror display 120 determines the depth value of the object using the viewing direction of the user and the incident angle of the light reflected from the subject.
  • the mirror display system 100 can display the object based on the perspective of the mirror image by more clearly measuring the depth value on the mirror.
  • the second mode may mean an operating mode that controls the mirror display 120 to place the object on the front of the other mirror images. In the second mode, the mirror display system 100 may preferentially provide an object associated with the service to the user by placing an object associated with the multimedia service on the front side.
  • At operation 905 of method 900 at least one control circuit 130 can determine whether the mirror display 120 meets a specified condition.
  • the specified conditions may include cases where it is required to control the depth of an object when receiving user input. When it is required to control the depth of an object, for example, it may include a case of providing an augmented reality service that displays an object having a depth value corresponding to a depth value on a mirror. If the specified condition is not met, at least one control circuit 130 may implement operation 910. [ If the specified condition is met, at least one control circuit 130 may implement operation 915.
  • At operation 910, at least one control circuit 130 may control the mirror display 120 to operate in the first mode.
  • the at least one control circuit 130 may control the display so that the depth value of the displayed object has the largest value.
  • at least one control circuit 130 can control the object to be displayed in front of the mirror images that are projected through the optical mirror.
  • At operation 915 at least one control circuit 130 may control the mirror display 120 to operate in the second mode.
  • the at least one control circuit 130 can control the depth value of the object displayed through the display to be determined based on the depth value of the mirror images projected through the optical mirror.
  • the mirror display system 100 provides an environment in which the user can more easily check the information of the object by controlling the importance of the information contained in the object or the depth of the object according to user input .
  • a sensor module e.g., sensor module 110 of FIG. 1, an optical mirror (e.g., optical mirror 112 of FIG. 2)
  • a mirror display e.g., mirror display 120 of FIG. 1 that includes a display (e.g., display 114 of FIG.
  • At least one control circuit E.g., at least one control circuit (130) of Figure 1), wherein the at least one control circuit is operable, via the sensor module, to cause the light reflected from the subject and the light reflected by the optical mirror Determining an incident angle formed by the normal and determining a distance value between the subject and the mirror display and determining a depth value of the subject on the mirror display based on the incident angle and the distance value, It may be set through a display period, to display the object with the depth value corresponding to the depth value of the subject.
  • the at least one control circuit determines a reflection angle formed by the light reflected by the optical mirror and the normal of the optical mirror based on the viewing direction, and determines the incident angle equal to the reflection angle . ≪ / RTI >
  • the at least one control circuit may be configured to correct an error for the distance value, based on the position of the sensor module.
  • the display includes a three-dimensional (3D) display panel, and the at least one control circuit may be configured to display the object via the 3D display using a binocular parallax scheme.
  • the sensor module may include at least one of an ultrasonic sensor, an infrared sensor, a lidar sensor, a radar sensor, or a camera sensor.
  • the at least one control circuit senses the gesture of the user, and if the depth value of the subject operating the gesture is equal to the depth value of the object, .
  • the at least one control circuit controls the object to be displayed in front of or behind the object, based on whether the depth value of the object is greater than the depth value of the object, And to change the color or intensity of the object based on the depth value.
  • the at least one control circuit is configured to control the operation mode of the mirror display to place the object at the front of the mirror display, if the mirror display system meets a specified condition, And a second mode for controlling the depth value of the object using the incident angle.
  • the method of the mirror display system is characterized in that, through the sensor module of the mirror display system, the light reflected from the subject and the normal of the optical mirror form, based on the viewing direction of the user, Determining an incident angle, determining a distance value between the subject and the mirror display through the sensor module, determining a depth value of the subject on the mirror display based on the incident angle and the distance value, Displaying an object having a depth value corresponding to the depth value of the subject through the display.
  • the operation of determining the depth value of the subject includes an operation of determining a reflection angle formed by the light reflected by the optical mirror and the normal line of the optical mirror based on the viewing direction, And determining the same incident angle.
  • the method may further include correcting an error for the distance value based on the position of the sensor module.
  • the act of displaying the object may include displaying the object using a binocular disparity scheme.
  • the method further comprises: detecting a gesture of the user, and controlling the movement of the object based on the gesture if the depth value of the subject operating the gesture is equal to the depth value of the object Operation.
  • the operation of displaying the object includes an operation of controlling the object to be displayed in front of or behind the object, based on whether the depth value of the object is larger than the depth value of the object, And changing the color or intensity of the object based on the depth value of the object.
  • the method further comprises, when the mirror display system meets a specified condition, controlling the operating mode of the mirror display to place the object on the front of the mirror display in a first mode, To a second mode for controlling the depth value of the object by using the second mode.
  • a sensor module e.g., sensor module 110 of FIG. 1, an optical mirror (e.g., optical mirror 112 of FIG. 2)
  • a mirror display e.g., mirror display 120 of FIG. 1 that includes a display (e.g., display 114 of FIG.
  • At least one control circuit E.g., at least one control circuit (130) of Figure 1), said at least one control circuit being operable, via said sensor module, to determine, based on a viewing direction of the user, And determines an angle of incidence formed by the light reflected from the subject and the normal line of the optical mirror on the basis of the angle of reflection, Determining a depth value of the subject on the mirror display based on the incident angle and the distance value, and determining, via the display, an object having a depth value corresponding to the depth value of the subject, . ≪ / RTI >
  • the at least one control circuit may be configured to correct an error for the distance value, based on the position of the sensor module.
  • the at least one control circuit senses the gesture of the user, and if the depth value of the subject operating the gesture is equal to the depth value of the object, .
  • the at least one control circuit controls the object to be displayed in front of or behind the object, based on whether the depth value of the object is greater than the depth value of the object, And to change the color or intensity of the object based on the depth value.
  • the at least one control circuit controls the operation mode of the mirror display to be arranged in front of the mirror display in a first mode when the mirror display system satisfies a specified condition And a second mode for controlling the depth value of the object using the distance value and the incident angle.
  • the mirror display system can be various types of devices.
  • the mirror display system can include, for example, at least one of a portable communication device (e.g., a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device e.g., a smart phone
  • the mirror display system according to the embodiment of this document is not limited to the above-mentioned devices.
  • first component is "(functionally or communicatively) connected” or “connected” to another (second) component, May be connected directly to the component, or may be connected through another component (e.g., a third component).
  • module includes units comprised of hardware, software, or firmware and may be used interchangeably with terms such as, for example, logic, logic blocks, components, or circuits.
  • a module may be an integrally constructed component or a minimum unit or part thereof that performs one or more functions.
  • the module may be configured as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may be implemented in software, including instructions stored on machine-readable storage media, such as a machine (e.g., a computer) And may include an electronic device in accordance with the disclosed embodiments as an apparatus operable in accordance with the called instruction.
  • the instruction When the instruction is executed by a processor, the processor may directly or indirectly cause other components
  • the instructions may include code generated or executed by a compiler or an interpreter.
  • a device readable storage medium may be a non-transitory storage medium Quot; non-temporal " means that the storage medium does not contain a signal and is not tangible It does not distinguish that data is stored semi-permanently or temporarily on the storage medium.
  • a method according to various embodiments disclosed herein may be provided in a computer program product.
  • a computer program product can be traded between a seller and a buyer as a product.
  • a computer program product may be distributed in the form of a machine-readable storage medium (eg, compact disc read only memory (CD-ROM)) or distributed online through an application store (eg PlayStore TM ).
  • an application store eg PlayStore TM
  • at least a portion of the computer program product may be temporarily stored, or temporarily created, on a storage medium such as a manufacturer's server, a server of an application store, or a memory of a relay server.
  • Each of the components may be comprised of a single entity or a plurality of entities, and some subcomponents of the aforementioned subcomponents may be omitted, or other subcomponents may be various May be further included in the embodiment.
  • some components e.g., modules or programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

미러 디스플레이 시스템이 개시된다. 미러 디스플레이 시스템은 센서 모듈, 광학 거울 및 디스플레이를 포함하는 미러 디스플레이, 및 상기 센서 모듈 및 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로를 포함하고, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈을 통해, 상기 광학 거울에 의해 비춰지는 사용자의 시선 방향을 나타내는 제1 각도 값을 결정하고, 상기 센서 모듈을 통해, 상기 광학 거울에 의해 비춰지는 피사체와 상기 미러 디스플레이 간 거리 값을 결정하고, 상기 제1 각도 값 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고, 상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하도록 설정될 수 있다.

Description

미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법
본 문서에서 개시되는 실시 예들은, 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법과 관련된다.
미러 디스플레이는 광학 거울과 디스플레이를 포함할 수 있다. 미러 디스플레이는 빛의 반사에 의해 나타나는 거울 상(mirror image)과 컴퓨터 그래픽을 통해 생성된 객체(object)를 동시에 표시함으로써 사용자에게 증강 현실(augmented reality, AR)을 제공할 수 있다. 미러 디스플레이는 증강 현실을 통해 효율적인 정보 및 다양한 멀티미디어 서비스를 사용자에게 제공할 수 있다.
미러 디스플레이의 광학 거울에 의해 비춰지는 거울 상은 광학 거울과 피사체(subject) 간 거리에 따라서 원근감(또는 깊이(depth))을 가질 수 있다. 반면에, 미러 디스플레이의 디스플레이는 거울 상의 원근감을 반영하지 못한 채로 객체를 표시할 수 있다. 객체의 깊이와 거울 상의 깊이가 상이하면, 미러 디스플레이의 사용자는 미러 디스플레이에 표시되는 화면에 대한 몰입도 또는 이해도가 감소하는 시각적 불편함을 경험할 수 있다.
본 발명의 다양한 실시 예들은 미러 디스플레이 시스템에서 거울 상의 깊이에 따라서 객체의 깊이를 제어하기 위한 장치 및 그에 관한 방법을 제안하고자 한다.
본 문서에 개시되는 일 실시 예에 따른 미러 디스플레이 시스템은, 센서 모듈, 광학 거울 및 디스플레이를 포함하는 미러 디스플레이, 및 상기 센서 모듈 및 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로를 포함하고, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈을 통해, 사용자의 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하고, 상기 피사체와 상기 미러 디스플레이 간 거리 값을 결정하고, 상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고, 상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하도록 설정될 수 있다.
본 문서에 개시되는 일 실시 예에 따른 미러 디스플레이 시스템의 방법은, 상기 미러 디스플레이 시스템의 센서 모듈을 통해, 광학 거울에 의해 비춰지는 사용자의 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하는 동작, 상기 센서 모듈을 통해, 상기 피사체와 미러 디스플레이 간 거리 값을 결정하는 동작, 상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하는 동작, 및 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하는 동작을 포함할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 미러 디스플레이 시스템은, 센서 모듈, 광학 거울 및 디스플레이를 포함하는 미러 디스플레이, 및 상기 센서 모듈 및 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로를 포함하고, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈을 통해, 상기 광학 거울에 의해 비춰지는 사용자의 시선 방향에 기반하여, 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하고, 상기 반사각에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하고, 상기 피사체와 상기 미러 디스플레이 간 거리 값을 결정하고, 상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고, 상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하도록 설정될 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 미러 디스플레이 시스템은 광학 거울에 비춰지는 피사체와 미러 디스플레이 간 거리에 기반하여 피사체의 깊이를 결정함으로써, 거울 상과 객체의 원근감이 일치되는 시각적 환경을 사용자에게 제공할 수 있다.
또한, 본 문서에 개시되는 실시 예들에 따르면, 미러 디스플레이 시스템은 거울 상과 객체의 원근감을 일치시킴으로써, 다양한 증강 현실 서비스를 사용자에게 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시 예들에 따른 미러 디스플레이 시스템을 도시한다.
도 2는 다양한 실시 예들에 따른 미러 디스플레이의 구조를 도시한다.
도 3은 다양한 실시 예들에 따라 객체의 깊이 값을 결정하는 동작을 도시한다.
도 4는 다양한 실시 예들에 따라 객체의 깊이 값을 결정하는 미러 디스플레이 시스템의 동작 흐름도를 도시한다.
도 5는 다양한 실시 예들에 따라 디스플레이 상에서 깊이를 가지는 객체를 표시하는 동작을 도시한다.
도 6은 다양한 실시 예들에 따른 깊이 값에 따라 제스처를 감지하는 동작을 도시한다.
도 7은 다양한 실시 예들에 따른 깊이 값에 따라 제스처를 감지하는 미러 디스플레이 시스템의 동작 흐름도를 도시한다.
도 8은 다양한 실시 예들에 따른 깊이 값에 따라 객체의 색상 또는 명암을 변경하는 동작을 도시한다.
도 9는 다양한 실시 예들에 따른 지정된 조건에 따라 미러 디스플레이의 동작 모드를 변경하는 미러 디스플레이 시스템의 동작 흐름도를 도시한다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 다양한 실시 예들에 따른 미러 디스플레이 시스템을 도시한다.
도 1을 참조하면, 미러 디스플레이 시스템(100)은 센서 모듈(110), 미러 디스플레이(120), 및 적어도 하나의 제어 회로(130)를 포함할 수 있다. 일 실시 예에 따르면, 미러 디스플레이 시스템(100)은 도 1에 도시된 구성 요소들 중 적어도 하나를 생략하거나, 추가적인 구성 요소를 적어도 하나 포함할 수 있다. 예를 들어, 미러 디스플레이 시스템(110) 사용자 입력을 수신하는 입력 장치, 외부 장치와 통신을 수행하기 위한 통신 모듈, 또는 멀티미디어 서비스 데이터를 저장하는 적어도 하나의 메모리를 더 포함할 수 있다.
일 실시 예에 따르면, 센서 모듈(110)은 미러 디스플레이(120)의 전면에 위치하는 사용자(10)를 감지하고, 사용자(10)와 미러 디스플레이(120) 간 거리(예: 제1 거리(15)), 사용자(10)의 위치, 또는 사용자(10)의 시선 방향(또는 얼굴의 방향)을 측정할 수 있다. 다른 예를 들어, 센서 모듈(110)은 피사체와 미러 디스플레이(120) 간 거리, 또는 피사체의 위치를 측정할 수 있다. 본 문서에서, 피사체는 사용자(10)가 미러 디스플레이(120)의 광학 거울을 통해 바라보는 사용자(10)의 신체 일부 또는 다른 물체를 포함할 수 있다. 예를 들어, 도 1에서, 사용자(10)가 미러 디스플레이(120)의 광학 거울을 통해 사용자(10)의 어깨를 바라보면, 피사체는 어깨를 의미할 수 있다.
일 실시 예에 따르면, 센서 모듈(110)은 하나 또는 그 이상일 수 있다. 센서 모듈(110)은 예를 들어, 적외선 센서, LIDAR(light detection and ranging) 센서, RADAR(radio detecting and ranging) 센서, 또는 카메라 센서 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 센서 모듈(110)은 미러 디스플레이(120)의 일 면(one side)에 부착되거나, 미러 디스플레이(120)에 내장될 수 있다.
일 실시 예에 따르면, 미러 디스플레이(120)는 거울 기능과 디스플레이 기능을 함께 수행할 수 있다. 예를 들어, 사용자(10)는 빛의 반사에 의하여 미러 디스플레이(120)에 포함되는 광학 거울을 통해 거울 상(20)으로 비춰질 수 있다. 다른 예를 들어, 미러 디스플레이(120)는 미러 디스플레이(120)에 포함되는 디스플레이를 통해 컴퓨터 그래픽으로 형성되는 객체(30)를 표시할 수 있다. 미러 디스플레이(120)는 객체(30)를 거울 상(20)과 함께 표시함으로써 증강 현실을 제공할 수 있다. 미러 디스플레이(120)의 광학 거울에 의해 비춰지는 거울 상(20)은 사용자(10)와 미러 디스플레이(120)간 거리에 따라서 원근감(또는 깊이)을 가질 수 있다. 예를 들어, 거울 상(20)은 사용자(10)와 미러 디스플레이(120) 간 제1 거리(15)의 길이와 대응하는(예: 동일 또는 유사한) 제2 거리(25)만큼 광학 거울 내에서 원근감을 가질 수 있다.
일 실시 예에 따르면, 적어도 하나의 제어 회로(130)는 서버, 엔진, 디바이스, 기구, 단말, 또는 UE(user equipment)의 형태를 포함할 수 있다. 적어도 하나의 제어 회로(130)는 소프트웨어 또는 하드웨어 모듈을 포함할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 및 마이크로 프로세서(microprocessors) 중 적어도 하나를 포함할 수 있다. 도 1은 적어도 하나의 제어 회로(130)가 미러 디스플레이(120)의 외부에 배치되는 예를 도시하였지만, 적어도 하나의 제어 회로(130)는 미러 디스플레이(120)의 내부에 내장되거나, 미러 디스플레이(120)와 결합될 수 있다.
일 실시 예에 따르면, 적어도 하나의 제어 회로(130)는 미러 디스플레이 시스템(100)의 전반적인 기능을 수행할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 센서 모듈(110)을 통해 사용자(10)와 디스플레이 간 거리(제1 거리(15)), 사용자(10)의 위치, 또는 사용자(10)의 시선 방향을 결정할 수 있다. 다른 예를 들어, 적어도 하나의 제어 회로(130)는 사용자(10)의 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 미러 디스플레이(120)의 광학 거울에 대한 법선(normal)이 형성하는 각을 결정할 수 있다. 본 문서에서 피사체로부터 반사되는 빛과 광학 거울의 법선이 형성하는 각도는 입사각으로 지칭될 수 있다. 입사각의 크기는 광학 거울에 의해 반사되는 빛과 광학 거울의 법선이 형성하는 반사각의 크기와 동일할 수 있다. 적어도 하나의 제어 회로(130)는 결정된 입사각에 적어도 기반하여 다른 피사체의 깊이 값을 결정할 수 있다. 다른 예를 들어, 적어도 하나의 제어 회로(130)는 측정된 깊이 값에 기반하여 컴퓨터 그래픽으로 생성된 객체(30)를 디스플레이를 통해 표시할 수 있다.
도 2는 다양한 실시 예들에 따른 미러 디스플레이의 구조를 도시한다.
도 2를 참조하면, 미러 디스플레이(120)는 전면에 광학 거울(112)을 포함하고, 후면에 디스플레이(114)를 포함할 수 있다. 일 실시 예에 따르면, 광학 거울(112)은 빛의 일부를 반사하고, 나머지 일부는 투과할 수 있는 하프 미러를 포함할 수 있다. 하프 미러는 예를 들어, 유리 표면에 니켈, 알루미늄, 또는 티타늄을 포함할 수 있다. 외부로부터 들어오는 빛의 적어도 일부는 하프 미러를 통과할 수 있다. 일 실시 예에 따르면, 디스플레이(114)는 액정 디스플레이(liquid crystal display, LCD), 유기EL(organic electro luminescence), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 및 플라즈마 디스플레이 패널(plasma display panel, PDP), 중에서 적어도 하나를 포함할 수 있다.
도 2는 광학 거울(112)이 디스플레이(114)의 전면에 배치되는 예를 도시하였지만, 다른 예가 미러 디스플레이(120)에 적용될 수 있다. 예를 들어, 미러 디스플레이(120)는 전면에 디스플레이(114)를 포함하고, 후면에 광학 거울(112)을 포함할 수 있다. 디스플레이(114)는 투명 디스플레이를 포함할 수 있다. 광학 거울(112)은 반사 매질을 포함하는 미러 필름을 포함할 수 있다. 디스플레이(114)는 OLED 또는 TFT LCD를 포함할 수 있다. 다른 예를 들어, 미러 디스플레이(120)는 LCD 디스플레이를 포함하고, LCD 디스플레이는 광학 거울의 기능을 수행하는 미러 필름을 포함할 수 있다. LCD 디스플레이는 빛을 공급하는 백 라이트(back light), 백 라이트로부터 공급되는 빛을 편파(polarization)에 따라 반사 또는 투과시키는 편광판(polarizer), 그리고 빛의 편파를 조절하는 액정 표시 패널을 포함할 수 있다. 편광판은 광학 거울의 기능을 수행하는 미러 필름을 포함할 수 있다.
일 실시 예에 따르면, 디스플레이(114)는 3차원 디스플레이(3D display)를 포함할 수 있다. 적어도 하나의 제어 회로(130)는 3차원 디스플레이를 통해 디스플레이(114)에 의해 표시되는 객체(예: 도 1의 객체(30))의 깊이를 조절할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 3차원 안경을 이용하는 안경식(stereoscopic) 또는 3차원 안경을 이용하지 않고 사용자(10)의 양쪽 눈을 이용하는 무안경식(autostereoscopic)을 통해 객체의 깊이를 조절할 수 있다.
도 3은 다양한 실시 예들에 따라 객체의 깊이 값을 결정하는 동작을 도시한다. 도 3은 사용자(10)가 미러 디스플레이(120)를 통해 피사체(60)를 바라보는 예를 도시한다.
도 3을 참조하면, 미러 디스플레이 시스템(100)은 센서 모듈(110)을 통해 사용자(10)와 미러 디스플레이(120) 간 거리를 나타내는 제1 거리(15) 값 및 피사체(60)와 미러 디스플레이(120) 간 거리를 나타내는 제2 거리(65) 값을 결정할 수 있다. 미러 디스플레이 시스템(100)은 결정된 거리 값들에 따라서 미러 디스플레이(120)에 비춰지는 거울 상(20)의 깊이 값(25) 및 거울 상(70)의 깊이 값(75)을 결정할 수 있다.
일 실시 예에 따르면, 미러 디스플레이 시스템(100)은 사용자(10)의 시선 방향에 따른 거울 상(70)의 깊이 값(350)을 결정하기 위하여, 입사각(330)을 이용할 수 있다. 입사각(330)은 피사체(60)로부터 반사되는 빛(340)의 방향과 미러 디스플레이(120)의 법선(normal)이 형성하는 각도를 의미할 수 있다. 입사각(330)은 반사각(310)과 동일하므로, 미러 디스플레이 시스템(100)은 반사각(310)을 통해 입사각(330)을 결정할 수 있다. 반사각(310)은 광학 거울로부터 반사되어 사용자(10)의 눈으로 들어가는 빛의 방향과 미러 디스플레이(120)의 법선이 형성하는 각도를 의미할 수 있다. 미러 디스플레이 시스템(100)은 사용자(10)의 시선 방향(또는 머리 방향)을 감지함으로써 반사각(310)을 결정할 수 있다.
일 실시 예에 따르면, 미러 디스플레이 시스템(100)은 제2 거리(65) 값과 입사각(330)을 이용하여 사용자(10)의 시선 방향에 따른 거울 상(70)의 깊이 값(350)을 결정할 수 있다. 예를 들어, 깊이 값(350)의 각도는 입사각(330)과 동일하고, 깊이 값의 길이는 피사체(60)로부터 반사되는 빛(340)의 길이와 동일할 수 있다.
일 실시 예에 따르면, 미러 디스플레이 시스템(100)은 결정된 깊이 값(350)에 기반하여 객체(80)를 디스플레이를 통해 표시할 수 있다. 객체(80)의 깊이 값은 거울 상(70)의 깊이 값(350)과 동일 또는 유사할 수 있다.
도 4는 다양한 실시 예들에 따라 객체의 깊이 값을 결정하는 미러 디스플레이 시스템의 동작 흐름도를 도시한다. 이하 서술되는 동작들은 미러 디스플레이 시스템(100) 또는 적어도 하나의 제어 회로(130)에 의해 구현될 수 있다.
도 4를 참조하면, 방법 400의 동작 405에서, 적어도 하나의 제어 회로(130)는 사용자(10)의 시선 방향에 기반하여, 피사체(60)로부터 반사되는 빛과 광학 거울의 법선이 형성하는 입사각(330)을 결정할 수 있다. 일 실시 예에 따르면, 입사각(330)은 광학 거울에 반사되는 빛과 광학 거울의 법선이 형성하는 반사각(310)에 기반하여 결정될 수 있다.
동작 410에서, 적어도 하나의 제어 회로(130)는 피사체(60)와 미러 디스플레이(120) 간 거리(예: 도 3의 제2 거리(65)) 값을 결정할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 센서 모듈(110)을 통해 거리 값을 결정할 수 있다.
동작 420에서, 적어도 하나의 제어 회로(130)는 입사각(330) 및 거리 값에 기반하여 미러 디스플레이(120) 상에서 피사체(60)의 깊이 값(예: 도 3의 깊이 값(350))을 결정할 수 있다.
동작 425에서, 적어도 하나의 제어 회로(130)는 결정된 깊이 값에 대응하는 깊이 값을 가지는 객체(80)를 디스플레이를 통해 표시할 수 있다. 예를 들어 객체(80)의 깊이 값은 피사체(60)의 깊이 값과 동일하거나 유사할 수 있다. 일 실시 예에 따르면, 적어도 하나의 제어 회로(130)는 객체(80)의 깊이를 제어하기 위하여 안경식 또는 무안경식을 이용할 수 있다. 안경식은 예를 들어, 빛의 편광을 이용하는 편광 방식 또는 왼쪽 눈에 대응하는 화면과 오른쪽 눈에 대응하는 화면을 교대로 표시하는 시분할 방식을 포함할 수 있다. 무안경식은 예를 들어, 미러 디스플레이(120)가 디스플레이(114)의 일면에 3차원 효과를 제공하기 위한 베리어(barrier)를 포함하는 패럴렉스 베이러(parallax barrier) 방식, 또는 미러 디스플레이(120)가 디스플레이(114)의 일면에 반원 형태의 렌즈를 포함하는 렌티큘라 방식을 이용할 수 있다.
일 실시 예에 따르면, 동작 430에서 적어도 하나의 제어 회로(130)는 피사체(60)와 미러 디스플레이(120) 간 거리 값에 대한 오차를 보정할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 센서 모듈(110)의 위치를 고려하여 오차를 보정할 수 있다.
상술한 방법 400을 통해, 미러 디스플레이 시스템(100)은 광학 거울(112)에 비춰지는 거울 상의 깊이 값을 보다 명확히 측정하고, 디스플레이(114)를 통해 표시되는 객체의 깊이 값을 거울 상의 깊이 값에 기반하여 제어함으로써, 거울 상과 객체 간 일체감을 사용자(10)에게 제공할 수 있다.
도 5는 다양한 실시 예들에 따라 디스플레이 상에서 깊이를 가지는 객체를 표시하는 동작을 도시한다.
도 5를 참조하면, 적어도 하나의 제어 회로(130)는 미러 디스플레이(120)에 포함되는 3차원 디스플레이(520)(예: 디스플레이(114))를 통해 깊이를 가지는 객체(예: 도 1의 객체(30) 또는 도 3의 객체(80))를 표시할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 사용자(10)의 왼쪽 눈(510a)과 오른쪽 눈(510b)들 간 거리 차이에 의하여 3차원 디스플레이(520) 상에서 표시되는 객체의 원근감(또는 깊이)이 사용자(10)에게 다르게 보여지도록 제어하는 양안 시차 원리를 적용할 수 있다.
일 실시 예에 따르면, 적어도 하나의 제어 회로(130)는 사용자(10)의 왼쪽 눈(510a)과 오른쪽 눈(510b)에 의해 보여지는 객체의 위치가 변경되도록 3차원 디스플레이(520)을 제어할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 사용자(10)에 의해 보여지는 객체의 위치가 3차원 디스플레이(520)의 전면을 나타내는 제1 위치(536) 상에 표시되도록 안경식 또는 무안경식을 이용하여 3차원 디스플레이(520)를 제어할 수 있다. 유사한 원리로, 적어도 하나의 제어 회로(130)는 객체의 위치가 3차원 디스플레이(520)의 후면을 나타내는 제2 위치(534) 상에 표시되거나, 3차원 디스플레이(520)와 동일한 깊이를 나타내는 제3 위치(532) 상에 표시되도록 3차원 디스플레이(520)를 제어할 수 있다.
도 6은 다양한 실시 예들에 따른 깊이 값에 따라 제스처를 감지하는 동작을 도시한다.
도 6의 참조 번호 601을 참조하면, 미러 디스플레이 시스템(100)은 사용자(610)가 빛의 반사에 의해 비춰지는 거울 상(620)을 미러 디스플레이(120)의 광학 거울을 통해 표시할 수 있다. 일 실시 예에 따르면, 미러 디스플레이 시스템(100)은 센서 모듈(110)을 통해 사용자(610)의 시선 방향을 감지하고, 감지된 시선 방향에 기반하여 깊이 값을 가지는 객체(680)를 표시할 수 있다. 일 실시 예에 따르면, 객체(680)는 사용자(610)에게 제공되는 멀티미디어 서비스에 관한 정보를 포함할 수 있다. 예를 들어, 미러 디스플레이 시스템(100)이 의류 매장에 배치되면, 객체(680)는 사용자(610)에게 추천되는 의류 또는 액세서리에 관한 정보를 포함할 수 있다. 다른 예를 들어, 객체(680)는 뷰티(beauty)에 관한 정보, 인테리어에 관한 정보, 헬스 케어에 관한 정보 또는 게임에 관한 정보를 포함할 수 있다.
도 6의 참조 번호 602를 참조하면, 미러 디스플레이 시스템(100)은 객체(680)를 선택하는 사용자 입력을 감지할 수 있다. 일 실시 예에 따르면, 미러 디스플레이 시스템(100)은 사용자(610)가 미러 디스플레이(120)를 터치하지 않고 객체(680)를 선택하는 사용자 입력을 감지할 수 있다. 예를 들어, 미러 디스플레이 시스템(100)은 센서 모듈(예: 센서 모듈(110))을 통해 사용자(610)의 제스처를 감지할 수 있다. 제스처는 사용자(610)가 객체(680)가 표시되는 평면 좌표(x 축 및 y축)와 동일한 좌표를 가리키는 동작을 포함할 수 있다. 미러 디스플레이 시스템(100)은 객체(680)를 가리키는 피사체(예: 사용자(610)의 손)의 깊이 값이 객체(680)의 깊이 값과 동일한지 여부를 확인할 수 있다. 피사체의 깊이 값이 객체(680)의 깊이 값과 동일하면, 미러 디스플레이 시스템(100)은 사용자(610)의 제스처 동작에 응답하여 객체(680)가 이동하거나, 변경되도록 제어할 수 있다.
도 7은 다양한 실시 예들에 따른 깊이 값에 따라 제스처를 감지하는 미러 디스플레이 시스템의 동작 흐름도를 도시한다. 도 7은 도 4의 동작 425가 보다 구체적으로 구현되는 동작을 포함할 수 있다.
도 7을 참조하면, 동작 705에서, 적어도 하나의 제어 회로(130)는 사용자의 제스처를 감지할 수 있다. 예를 들어, 적어도 하나의 제어 회로(130)는 미러 디스플레이(120) 상에 표시되는 객체를 가리키는 사용자의 제스처를 센서 모듈을 통해 감지할 수 있다.
동작 710에서, 적어도 하나의 제어 회로(130)는 감지된 제스처를 나타내는 피사체의 깊이 값이 객체의 깊이 값과 동일한지 여부를 확인할 수 있다. 일 실시 예에 따르면, 적어도 하나의 제어 회로(130)는 감지된 제스처를 나타내는 피사체의 깊이 값을 피사체와 미러 디스플레이(120) 간 거리 값 및 피사체로부터 반사되는 빛의 입사각에 기반하여 결정할 수 있다. 피사체의 깊이 값이 객체의 깊이 값과 동일하지 않으면, 적어도 하나의 제어 회로(130)는 동작 705 및 동작 710을 반복적으로 구현할 수 있다. 피사체의 깊이 값이 객체의 깊이 값과 동일하면, 적어도 하나의 제어 회로(130)는 동작 715를 구현할 수 있다.
동작 715에서, 적어도 하나의 제어 회로(130)는 감지된 제스처에 응답하여 객체가 이동하도록 제어할 수 있다. 다른 예를 들어, 적어도 하나의 제어 회로(130)는 감지된 제스처에 응답하여 객체의 모양, 색상, 또는 크기가 변경되도록 제어할 수 있다.
상술한 방법을 통해, 미러 디스플레이 시스템(100)은 터치 입력 없이 객체를 선택하는 사용자 입력을 보다 정확하게 감지함으로써, 사용자 조작의 편의성을 제공할 수 있다.
도 8은 다양한 실시 예들에 따른 깊이 값에 따라 객체의 색상 또는 명암을 변경하는 동작을 도시한다.
도 8의 참조 번호 801을 참조하면, 미러 디스플레이 시스템(100)은 컴퓨터 그래픽에 의해 생성되는 객체(880)를 미러 디스플레이(120)를 통해 표시할 수 있다. 미러 디스플레이 시스템(100)은 객체(880)의 색상, 대비, 또는 명도를 깊이 값에 기반하여 변경할 수 있다. 예를 들어, 객체(880)의 깊이 값이 다른 피사체들의 깊이 값보다 크다면(즉, 객체(880)가 다른 피사체들보다 전방에 위치한다면), 미러 디스플레이 시스템(100)은 참조 번호 802에 도시된 바와 같이 객체(880)의 색상, 대비, 또는 명도를 진하게 변경할 수 있다. 다른 예를 들어, 객체(880)의 깊이 값이 다른 피사체들의 깊이 값보다 작다면(즉, 객체(880)가 다른 피사체들보다 후방에 위치한다면), 미러 디스플레이 시스템(100)은 객체(880)의 색상, 대비, 또는 명도를 흐리게 변경할 수 있다.
도 9는 다양한 실시 예들에 따른 지정된 조건에 따라 미러 디스플레이의 동작 모드를 변경하는 미러 디스플레이 시스템의 동작 흐름도를 도시한다.
미러 디스플레이(120)는 제1 모드 또는 제2 모드로 동작할 수 있다. 제1 모드는 미러 디스플레이(120)가 사용자의 시선 방향 및 피사체로부터 반사되는 빛의 입사각을 이용하여 객체의 깊이 값을 결정하는 동작 모드를 의미할 수 있다. 제1 모드에서, 미러 디스플레이 시스템(100)은 거울 상의 깊이 값을 보다 명확하게 측정함으로써, 거울 상이 가지는 원근감에 기반하여 객체를 표시할 수 있다. 제2 모드는 미러 디스플레이(120)가 객체를 다른 거울 상들의 전면에 배치하도록 제어하는 동작 모드를 의미할 수 있다. 제2 모드에서, 미러 디스플레이 시스템(100)은 멀티 미디어 서비스와 관련된 객체를 전면에 배치함으로써, 사용자에게 서비스와 관련된 객체를 우선적으로 제공할 수 있다.
도 9를 참조하면, 방법 900의 동작 905에서, 적어도 하나의 제어 회로(130)는 미러 디스플레이(120)가 지정된 조건을 만족하는 지 여부를 확인할 수 있다. 본 문서에서, 지정된 조건은, 사용자 입력을 수신하는 경우, 객체의 깊이를 제어할 필요가 요구되는 경우를 포함할 수 있다. 객체의 깊이를 제어할 필요가 요구되는 경우는 예를 들어, 거울 상의 깊이 값에 대응하는 깊이 값의 객체를 표시하는 증강 현실 서비스를 제공하는 경우를 포함할 수 있다. 지정된 조건이 만족되지 않으면, 적어도 하나의 제어 회로(130)는 동작 910을 구현할 수 있다. 지정된 조건이 만족되면, 적어도 하나의 제어 회로(130)는 동작 915를 구현할 수 있다.
동작 910에서, 적어도 하나의 제어 회로(130)는 미러 디스플레이(120)가 제1 모드로 동작하도록 제어할 수 있다. 제1 모드에서, 적어도 하나의 제어 회로(130)는 디스플레이를 통해 표시되는 객체의 깊이 값이 가장 큰 값을 가지도록 제어할 수 있다. 다시 말해, 적어도 하나의 제어 회로(130)는 객체가 광학 거울을 통해 비춰지는 거울 상들보다 전면에 표시되도록 제어할 수 있다.
동작 915에서, 적어도 하나의 제어 회로(130)는 미러 디스플레이(120)가 제2 모드로 동작하도록 제어할 수 있다. 제2 모드에서, 적어도 하나의 제어 회로(130)는 디스플레이를 통해 표시되는 객체의 깊이 값이 광학 거울을 통해 비춰지는 거울 상들의 깊이 값에 기반하여 결정되도록 제어할 수 있다.
상술한 방법을 통해, 미러 디스플레이 시스템(100)은 객체에 포함되는 정보의 중요도 또는 사용자 입력에 따라 객체의 깊이가 변경되도록 제어함으로써, 사용자가 객체의 정보를 보다 용이하게 확인할 수 있는 환경을 제공할 수 있다.
상술한 바와 같이, 미러 디스플레이 시스템(예: 도 1의 미러 디스플레이 시스템(100))은, 센서 모듈(예: 도 1의 센서 모듈(110), 광학 거울(예: 도 2의 광학 거울(112)) 및 디스플레이(예: 도 2의 디스플레이(114))를 포함하는 미러 디스플레이(예: 도 1의 미러 디스플레이(120)), 및 상기 센서 모듈 및 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로(예: 도 1의 적어도 하나의 제어 회로(130))를 포함하고, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈을 통해, 사용자의 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하고, 상기 피사체와 상기 미러 디스플레이 간 거리 값을 결정하고, 상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고, 상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 시선 방향에 기반하여 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하고, 상기 반사각과 동일한 상기 입사각을 결정하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈의 위치에 기반하여, 상기 거리 값에 대한 오차를 보정하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 디스플레이는 3차원(3D) 디스플레이 패널을 포함하고, 상기 적어도 하나의 제어 회로는, 양안 시차 방식을 이용하여, 상기 3D 디스플레이를 통해 상기 객체를 표시하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 센서 모듈은 초음파 센서, 적외선 센서, 라이다 센서, 레이더 센서 또는 카메라 센서 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 사용자의 제스처를 감지하고, 상기 제스처를 동작하는 피사체의 깊이 값이 상기 객체의 깊이 값과 동일하면, 상기 제스처에 기반하여 상기 객체가 이동하도록 제어할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 객체의 깊이 값이 상기 피사체의 깊이 값 보다 큰지 여부에 기반하여, 상기 객체가 상기 피사체의 전방 또는 후방에 표시되도록 제어하고, 상기 객체의 깊이 값에 기반하여 상기 객체의 색상 또는 명암을 변경하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 미러 디스플레이 시스템이 지정된 조건을 만족하면, 상기 미러디스플레이의 동작 모드를 객체를 미러 디스플레이의 전면에 배치하도록 제어하는 제1 모드에서 상기 거리 값 및 상기 입사각을 이용하여 상기 객체의 깊이 값을 제어하는 제2 모드로 변경하도록 설정될 수 있다.
상술한 바와 같이, 미러 디스플레이 시스템의 방법은, 상기 미러 디스플레이 시스템의 센서 모듈을 통해, 광학 거울에 의해 비춰지는 사용자의 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하는 동작, 상기 센서 모듈을 통해, 상기 피사체와 미러 디스플레이 간 거리 값을 결정하는 동작, 상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하는 동작, 및 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 피사체의 깊이 값을 결정하는 동작은, 상기 시선 방향에 기반하여 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하는 동작, 및 상기 반사각과 동일한 상기 입사각을 결정하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 센서 모듈의 위치에 기반하여, 상기 거리 값에 대한 오차를 보정하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 객체를 표시하는 동작은, 양안 시차 방식을 이용하여 상기 객체를 표시하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 사용자의 제스처를 감지하는 동작, 및 상기 제스처를 동작하는 피사체의 깊이 값이 상기 객체의 깊이 값과 동일하면, 상기 제스처에 기반하여 상기 객체가 이동하도록 제어하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 객체를 표시하는 동작은, 상기 객체의 깊이 값이 상기 피사체의 깊이 값 보다 큰지 여부에 기반하여, 상기 객체가 상기 피사체의 전방 또는 후방에 표시되도록 제어하는 동작, 및 상기 객체의 깊이 값에 기반하여 상기 객체의 색상 또는 명암을 변경하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 미러 디스플레이 시스템이 지정된 조건을 만족하면, 상기 미러디스플레이의 동작 모드를 상기 객체를 미러 디스플레이의 전면에 배치하도록 제어하는 제1 모드에서 상기 거리 값 및 상기 입사각을 이용하여 상기 객체의 깊이 값을 제어하는 제2 모드로 변경하는 동작을 더 포함할 수 있다.
상술한 바와 같이, 미러 디스플레이 시스템(예: 도 1의 미러 디스플레이 시스템(100))은, 센서 모듈(예: 도 1의 센서 모듈(110), 광학 거울(예: 도 2의 광학 거울(112)) 및 디스플레이(예: 도 2의 디스플레이(114))를 포함하는 미러 디스플레이(예: 도 1의 미러 디스플레이(120)), 및 상기 센서 모듈 및 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로(예: 도 1의 적어도 하나의 제어 회로(130))를 포함하고, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈을 통해, 상기 광학 거울에 의해 비춰지는 사용자의 시선 방향에 기반하여, 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하고, 상기 반사각에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하고, 상기 피사체와 상기 미러 디스플레이 간 거리 값을 결정하고, 상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고, 상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 센서 모듈의 위치에 기반하여, 상기 거리 값에 대한 오차를 보정하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 사용자의 제스처를 감지하고, 상기 제스처를 동작하는 피사체의 깊이 값이 상기 객체의 깊이 값과 동일하면, 상기 제스처에 기반하여 상기 객체가 이동하도록 제어할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 객체의 깊이 값이 상기 피사체의 깊이 값 보다 큰지 여부에 기반하여, 상기 객체가 상기 피사체의 전방 또는 후방에 표시되도록 제어하고, 상기 객체의 깊이 값에 기반하여 상기 객체의 색상 또는 명암을 변경하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제어 회로는, 상기 미러 디스플레이 시스템이 지정된 조건을 만족하면, 상기 미러디스플레이의 동작 모드를 상기 객체를 상기 미러 디스플레이의 전면에 배치하도록 제어하는 제1 모드에서 상기 거리 값 및 상기 입사각을 이용하여 상기 객체의 깊이 값을 제어하는 제2 모드로 변경하도록 설정될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 미러 디스플레이 시스템은 다양한 형태의 장치가 될 수 있다. 미러 디스플레이 시스템은, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시 예에 따른 미러 디스플레이 시스템은 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 애플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 애플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (15)

  1. 미러 디스플레이 시스템에 있어서,
    센서 모듈;
    광학 거울 및 디스플레이를 포함하는 미러 디스플레이; 및
    상기 센서 모듈 및 상기 미러 디스플레이와 전기적으로 연결되는 적어도 하나의 제어 회로를 포함하고, 상기 적어도 하나의 제어 회로는,
    상기 센서 모듈을 통해, 사용자의 시선 방향을 획득하고,
    상기 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하고,
    상기 센서 모듈을 통해, 상기 피사체와 상기 미러 디스플레이 간 거리 값을 획득하고,
    상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하고,
    상기 디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하도록 설정되는, 미러 디스플레이 시스템.
  2. 청구항 1에 있어서, 상기 적어도 하나의 제어 회로는,
    상기 시선 방향에 기반하여 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하고,
    상기 반사각과 동일한 상기 입사각을 결정하도록 설정되는, 미러 디스플레이 시스템.
  3. 청구항 1에 있어서, 상기 적어도 하나의 제어 회로는,
    상기 센서 모듈의 위치에 기반하여, 상기 거리 값에 대한 오차를 보정하도록 설정되는, 미러 디스플레이 시스템.
  4. 청구항 1에 있어서, 상기 디스플레이는,
    3차원(3D) 디스플레이 패널을 포함하고,
    상기 적어도 하나의 제어 회로는,
    양안 시차 방식을 이용하여, 상기 3D 디스플레이를 통해 상기 객체를 표시하도록 설정되는, 미러 디스플레이 시스템.
  5. 청구항 1에 있어서, 상기 센서 모듈은,
    초음파 센서, 적외선 센서, 라이다(ridar) 센서, 레이더(radar) 센서 또는 카메라 센서 중 적어도 하나를 포함하는, 미러 디스플레이 시스템.
  6. 청구항 1에 있어서, 상기 적어도 하나의 제어 회로는,
    상기 사용자의 신체의 적어도 일부에 대한 제스처를 감지하고,
    상기 신체의 적어도 일부에 대응하는 깊이 값이 상기 객체의 깊이 값과 동일하면, 상기 제스처에 기반하여 상기 객체가 이동하도록 제어하는, 미러 디스플레이 시스템.
  7. 청구항 1에 있어서, 상기 적어도 하나의 제어 회로는,
    상기 피사체의 깊이 값에 기반하여, 상기 객체가 상기 피사체의 전방 또는 후방에 표시되도록 제어하고,
    상기 객체의 깊이 값에 기반하여 상기 객체의 색상, 대비, 또는 명암을 변경하도록 설정되는, 미러 디스플레이 시스템.
  8. 청구항 1에 있어서, 상기 적어도 하나의 제어 회로는,
    상기 미러 디스플레이 시스템이 지정된 조건을 만족하면, 상기 미러디스플레이의 동작 모드를 객체를 미러 디스플레이의 전면에 배치하도록 제어하는 제1 모드에서 상기 거리 값 및 상기 입사각을 이용하여 상기 객체의 깊이 값을 제어하는 제2 모드로 변경하도록 설정되는, 미러 디스플레이 시스템.
  9. 미러 디스플레이 시스템의 방법에 있어서,
    상기 미러 디스플레이 시스템의 센서 모듈을 통해, 광학 거울에 의해 비춰지는 사용자의 시선 방향을 획득하는 동작;
    상기 시선 방향에 기반하여, 피사체로부터 반사되는 빛과 상기 광학 거울의 법선이 형성하는 입사각을 결정하는 동작;
    상기 센서 모듈을 통해, 상기 피사체와 미러 디스플레이 간 거리 값을 획득하는 동작;
    상기 입사각 및 상기 거리 값에 기반하여, 상기 미러 디스플레이 상에서 상기 피사체의 깊이 값을 결정하는 동작; 및
    디스플레이를 통해, 상기 피사체의 깊이 값에 대응하는 깊이 값을 가지는 객체를 표시하는 동작을 포함하는, 방법.
  10. 청구항 9에 있어서, 상기 피사체의 깊이 값을 결정하는 동작은,
    상기 시선 방향에 기반하여 상기 광학 거울에 의해 반사되는 빛과 상기 광학 거울의 법선이 형성하는 반사각을 결정하는 동작; 및
    상기 반사각과 동일한 상기 입사각을 결정하는 동작을 포함하는, 방법.
  11. 청구항 9에 있어서,
    상기 센서 모듈의 위치에 기반하여, 상기 거리 값에 대한 오차를 보정하는 동작을 더 포함하는, 방법.
  12. 청구항 9에 있어서, 상기 객체를 표시하는 동작은,
    양안 시차 방식을 이용하여 상기 객체를 표시하는 동작을 포함하는, 방법.
  13. 청구항 9에 있어서,
    상기 사용자의 신체의 적어도 일부에 대한 제스처를 감지하는 동작; 및
    상기 신체의 적어도 일부에 대응하는 깊이 값이 상기 객체의 깊이 값과 동일하면, 상기 제스처에 기반하여 상기 객체가 이동하도록 제어하는 동작을 포함하는, 방법.
  14. 청구항 9에 있어서, 상기 객체를 표시하는 동작은,
    상기 피사체의 깊이 값에 기반하여, 상기 객체가 상기 피사체의 전방 또는 후방에 표시되도록 제어하는 동작; 및
    상기 객체의 깊이 값에 기반하여 상기 객체의 색상, 대비, 또는 명암을 변경하는 동작을 포함하는, 방법.
  15. 청구항 9에 있어서,
    상기 미러 디스플레이 시스템이 지정된 조건을 만족하면, 상기 미러디스플레이의 동작 모드를 상기 객체를 미러 디스플레이의 전면에 배치하도록 제어하는 제1 모드에서 상기 거리 값 및 상기 입사각을 이용하여 상기 객체의 깊이 값을 제어하는 제2 모드로 변경하는 동작을 더 포함하는, 방법.
PCT/KR2018/009749 2017-12-07 2018-08-23 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법 WO2019112147A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/764,515 US11257467B2 (en) 2017-12-07 2018-08-23 Method for controlling depth of object in mirror display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0167595 2017-12-07
KR1020170167595A KR102366242B1 (ko) 2017-12-07 2017-12-07 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법

Publications (1)

Publication Number Publication Date
WO2019112147A1 true WO2019112147A1 (ko) 2019-06-13

Family

ID=66751520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/009749 WO2019112147A1 (ko) 2017-12-07 2018-08-23 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법

Country Status (3)

Country Link
US (1) US11257467B2 (ko)
KR (1) KR102366242B1 (ko)
WO (1) WO2019112147A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11526324B2 (en) * 2022-03-24 2022-12-13 Ryland Stefan Zilka Smart mirror system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140119999A (ko) * 2013-04-01 2014-10-13 한국전자통신연구원 깊이값 조정을 통한 입체영상 제공 시스템 및 방법
KR20160148769A (ko) * 2015-06-16 2016-12-27 엘지디스플레이 주식회사 공간 터치 기능을 갖는 입체 영상 표시 장치
KR101728775B1 (ko) * 2015-01-28 2017-04-21 경북대학교 산학협력단 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR101732890B1 (ko) * 2015-08-19 2017-05-08 한국전자통신연구원 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치
KR20170096420A (ko) * 2016-02-16 2017-08-24 삼성전자주식회사 대화형 3차원 디스플레이 장치 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008017051A2 (en) * 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US8340379B2 (en) * 2008-03-07 2012-12-25 Inneroptic Technology, Inc. Systems and methods for displaying guidance data based on updated deformable imaging data
JP5210102B2 (ja) 2008-09-22 2013-06-12 セーレン株式会社 仮想試着装置
US8554307B2 (en) * 2010-04-12 2013-10-08 Inneroptic Technology, Inc. Image annotation in image-guided medical procedures
KR20120029228A (ko) 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US8743051B1 (en) * 2011-09-20 2014-06-03 Amazon Technologies, Inc. Mirror detection-based device functionality
US8670816B2 (en) * 2012-01-30 2014-03-11 Inneroptic Technology, Inc. Multiple medical device guidance
US20130260360A1 (en) 2012-03-27 2013-10-03 Sony Corporation Method and system of providing interactive information
KR102079097B1 (ko) 2013-04-09 2020-04-07 삼성전자주식회사 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US10330931B2 (en) * 2013-06-28 2019-06-25 Microsoft Technology Licensing, Llc Space carving based on human physical data
US9952042B2 (en) * 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9726948B2 (en) * 2013-08-05 2017-08-08 Sharp Kabushiki Kaisha Image display device
KR102209008B1 (ko) * 2014-02-17 2021-01-28 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
JP6320143B2 (ja) * 2014-04-15 2018-05-09 株式会社東芝 健康情報サービスシステム
CN106461958B (zh) 2014-06-05 2019-01-01 夏普株式会社 镜面显示器系统
JP6402991B2 (ja) * 2014-10-02 2018-10-10 セイコーエプソン株式会社 画像表示装置
JP6952713B2 (ja) * 2016-01-19 2021-10-20 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 反射を利用する拡張現実システムおよび方法
US10871655B2 (en) * 2016-02-12 2020-12-22 Maxell, Ltd. Image display apparatus for vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140119999A (ko) * 2013-04-01 2014-10-13 한국전자통신연구원 깊이값 조정을 통한 입체영상 제공 시스템 및 방법
KR101728775B1 (ko) * 2015-01-28 2017-04-21 경북대학교 산학협력단 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR20160148769A (ko) * 2015-06-16 2016-12-27 엘지디스플레이 주식회사 공간 터치 기능을 갖는 입체 영상 표시 장치
KR101732890B1 (ko) * 2015-08-19 2017-05-08 한국전자통신연구원 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치
KR20170096420A (ko) * 2016-02-16 2017-08-24 삼성전자주식회사 대화형 3차원 디스플레이 장치 및 방법

Also Published As

Publication number Publication date
US11257467B2 (en) 2022-02-22
US20200372878A1 (en) 2020-11-26
KR102366242B1 (ko) 2022-02-23
KR20190067545A (ko) 2019-06-17

Similar Documents

Publication Publication Date Title
US10845606B1 (en) Eye tracking for a head mounted display including a pancake lens block
US9154677B2 (en) Camera accessory for angled camera viewing
WO2021112406A1 (en) Electronic apparatus and method for controlling thereof
WO2017082539A1 (ko) 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
WO2017135788A1 (en) Portable image device with external dispaly
WO2013105715A1 (en) Device and method for controlling rotation of displayed image
EP2943836A1 (en) Head mount display device providing eye gaze calibration and control method thereof
US20200012101A1 (en) Head-mounted display
CA2913650A1 (en) Virtual object orientation and visualization
EP3039507A1 (en) Portable device displaying augmented reality image and method of controlling therefor
KR20170094255A (ko) 가상 포커스 피드백
US10528128B1 (en) Head-mounted display devices with transparent display panels for eye tracking
US10885819B1 (en) In-vehicle augmented reality system
WO2015105236A1 (en) A head mounted display and method of controlling thereof
US20220100269A1 (en) Sensor-Based Eye-Tracking Using a Holographic Optical Element
WO2011120129A1 (en) Interactive input system and information input method therefor
KR102051202B1 (ko) 가상 오브젝트의 처리가 가능한 스마트 안경
JP3372926B2 (ja) ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム
KR20120062541A (ko) 시선 벡터를 이용한 디스플레이 시스템
WO2019135550A1 (en) Electronic device for controlling image display based on scroll input and method thereof
WO2018182159A1 (ko) 가상 오브젝트의 처리가 가능한 스마트 안경
WO2019112147A1 (ko) 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법
WO2017176025A1 (en) Apparatus and method of portable image device for generating application images
CN112153319B (zh) 基于视频通信技术的ar信息显示方法和装置
TWI603225B (zh) 液晶顯示器顯示視角的調整方法和裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18887081

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18887081

Country of ref document: EP

Kind code of ref document: A1