WO2021157804A1 - 증강 현실 구현 방법 및 이를 수행하는 장치 - Google Patents

증강 현실 구현 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
WO2021157804A1
WO2021157804A1 PCT/KR2020/011664 KR2020011664W WO2021157804A1 WO 2021157804 A1 WO2021157804 A1 WO 2021157804A1 KR 2020011664 W KR2020011664 W KR 2020011664W WO 2021157804 A1 WO2021157804 A1 WO 2021157804A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
image
user
detecting
camera
Prior art date
Application number
PCT/KR2020/011664
Other languages
English (en)
French (fr)
Inventor
고재용
Original Assignee
모션퀸㈜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모션퀸㈜ filed Critical 모션퀸㈜
Publication of WO2021157804A1 publication Critical patent/WO2021157804A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators

Definitions

  • the following embodiments relate to a method for implementing augmented reality and an apparatus for performing the same.
  • Augmented reality refers to mixing real images and virtual images including virtual objects by inserting images such as computer graphics into the real environment. It refers to technology that allows users to interact with virtual objects in real time.
  • augmented reality is a technology for generating a mixture of real and virtual images by inserting virtual graphics (objects) into real images obtained from a camera.
  • Augmented reality has a feature that can provide additional information using virtual graphics on an image acquired in the real world.
  • Such augmented reality has been recognized for its usefulness in fields such as educational materials, directions, and games, and is being used as a user interface.
  • Embodiments may provide augmented reality implementation technology for displaying the undistorted real world by tracking the position of the user's eyes.
  • embodiments may provide augmented reality implementation technology that displays an object even when it comes into contact with the object.
  • embodiments may provide augmented reality implementation technology for interacting with an object based on the direction of the user's gaze.
  • An augmented reality providing method includes: acquiring a first image of at least a portion of a target area; determining whether an electronic device is in contact with the target area; based on the first image detecting the location of the electronic device; and generating a third image corresponding to the area obscured by the electronic device from the user's field of view based on the previously stored second image of the target area and the location of the electronic device and displaying the third image on the electronic device.
  • the detecting may include detecting the position of the electronic device based on a visual marker disposed behind a translucent printed material positioned in the target area.
  • the detecting may include detecting the position of the electronic device based on a minute hole punched in the surface of the printed matter located in the target area.
  • the detecting may include using the minute hole as a pinhole lens to obtain a transmission image of a region behind the printed material that is covered by the printed material, and detecting the position of the electronic device based on the transmitted image. may include the step of
  • the transmitted image may include a visual marker for detecting the position of the electronic device.
  • the detecting may include detecting a location of a projector that projects an image on the target area, and detecting a location of the electronic device based on the location of the projector.
  • a method of providing augmented reality includes: acquiring a first image of a target area; detecting a position of a user's eye and a position of an electronic device; generating a second image corresponding to an area covered by the electronic device in the user's field of view based on the location of the electronic device; and displaying the second image on the electronic device.
  • the detecting may include detecting a relative position of the eye with respect to the electronic device.
  • the detecting may include detecting the position of the eye based on an image captured by a front camera of the electronic device.
  • the detecting may include detecting the location based on a marker attached to the user.
  • the detecting may include detecting the location of the electronic device based on the first image captured by the electronic device in real time.
  • Augmented reality providing method includes the steps of obtaining a first image obtained by photographing an object disposed in a target area, obtaining a second image obtained by photographing the user's eyes, and based on the second image and detecting a position viewed by the user in the target area, and providing content corresponding to the position in the first image to the user.
  • An electronic device providing augmented reality includes a camera for acquiring a first image of at least a part of a target area, determining whether the electronic device is in contact with the target area, and adding the first image to the first image.
  • a processor configured to detect a location of the electronic device based on a previously stored second image of the target area and a third image corresponding to an area obscured by the electronic device from a user's field of view based on the location of the electronic device and a display device that generates the third image.
  • the processor may detect the position of the electronic device based on a visual marker disposed behind the translucent printed material located in the target area.
  • the processor may detect the position of the electronic device based on a minute hole punched in the surface of the printed matter located in the target area.
  • the processor may use the minute hole as a pinhole lens to obtain a transmitted image of a region behind the printed material that is covered by the printed material, and detect the position of the electronic device based on the transmitted image.
  • the transmitted image may include a visual marker for detecting the position of the electronic device.
  • the processor may detect a position of a projector that projects an image on the target area, and detect the position of the electronic device based on the position of the projector.
  • An electronic device for providing augmented reality includes a first camera that acquires a first image of a target area, a second camera that acquires a second image of a user, and based on the first image detect the position of the electronic device, detect the position of the user's eye based on the second image, and detect the electronic device in the field of view of the user based on the first image, the position of the eye, and the position of the electronic device and a processor for generating a third image corresponding to the area obscured by the device.
  • the processor may detect a relative position of the eye with respect to the electronic device.
  • the processor may detect the position of the eye based on an image captured by the front camera of the electronic device.
  • the processor may detect the location based on a marker attached to the user.
  • the processor may detect the location of the electronic device based on the first image captured by the electronic device in real time.
  • Augmented reality providing apparatus includes a first camera for acquiring a first image of an object disposed in a target area, a second camera for acquiring a second image of a user's eyes, and the second camera and a processor that detects a location viewed by the user in the target area based on the second image and provides the user with content corresponding to the location in the first image.
  • FIG. 1 is a diagram for explaining an augmented reality system according to an embodiment.
  • 2A and 2B are diagrams for explaining a coordinate system for implementing augmented reality.
  • 3A to 3G are diagrams for explaining an operation of displaying the real world by the electronic device shown in FIG. 1 .
  • FIG. 4 is a diagram illustrating a marker for tracking a user's eyes by the electronic device shown in FIG. 1 .
  • 5A to 5D are diagrams for explaining an operation of providing an augmented reality in which the electronic device shown in FIG. 1 can interact with a printed matter.
  • 6A to 6H are diagrams for explaining an operation method when the electronic device shown in FIG. 1 comes into contact with a target.
  • FIG. 7A and 7C are diagrams for explaining an operation of providing an augmented reality in which the electronic device shown in FIG. 1 can interact with an image projected by a projector.
  • FIG. 8A and 8C are diagrams for explaining an operation in which the electronic device shown in FIG. 1 provides augmented reality that interacts with an object based on a user's gaze direction.
  • FIG. 9 is a diagram schematically illustrating the electronic device shown in FIG. 1 .
  • first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the components from other components, and the essence, order, or order of the components are not limited by the terms.
  • a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but another component is between each component. It will be understood that may also be “connected”, “coupled” or “connected”.
  • FIG. 1 is a diagram for explaining an augmented reality system according to an embodiment.
  • the electronic device 100 may implement Augmented Reality (AR).
  • AR Augmented Reality
  • the electronic device 100 is a device capable of implementing augmented reality, and is mounted on various computing devices and/or systems, such as, for example, a smart phone, a smart pad, a wearable device, a tablet computer, a personal computer, a laptop computer, and a smart home appliance.
  • various computing devices and/or systems such as, for example, a smart phone, a smart pad, a wearable device, a tablet computer, a personal computer, a laptop computer, and a smart home appliance.
  • the electronic device 100 may provide the user with augmented reality capable of interacting with the real world.
  • the electronic device 100 may provide an interface through which a user can interact with an object of the real world displayed on the electronic device 100 by projecting the real world onto the display.
  • the electronic device 100 may display the real world without distortion.
  • the electronic device 100 may display an area covered by the electronic device 100 from the user's field of view as it is based on the position of the user's eyes.
  • the electronic device 100 may display a region covered by the electronic device 100 so that the user does not feel a sense of alienation from the external region.
  • the electronic device 100 may provide augmented reality while in contact with or close to an object.
  • the electronic device 100 may display the object and/or virtual object by tracking the position of the electronic device 100 and/or the user's eyes in a state in which the object is not captured in real time.
  • the electronic device 100 may provide augmented reality by tracking the user's gaze.
  • the electronic device 100 may provide an interface through which the user's gaze can be tracked in real time to interact with the user's gaze area.
  • 2A and 2B are diagrams for explaining a coordinate system for implementing augmented reality.
  • the electronic device 100 recognizes a fixed space in which the electronic device 100 moves using a built-in camera and/or an IMU (Inertial Measurement Unit) sensor, and the 6-degree of freedom of the phone within the space. ) to calculate the movement and direction of
  • a coordinate system of a fixed space in which the electronic device 100 and/or a user exists is defined as a world coordinate system (WCS), and a coordinate system fixed with respect to the electronic device 100 is defined as a local coordinate system (LCS).
  • WCS world coordinate system
  • LCS local coordinate system
  • the augmented reality provided by the electronic device 100 may detect the surrounding visual marker 200 through a camera built in the electronic device 100 .
  • the markers 200 may be landmarks, map points, feature points, keypoints, or characteristic spots.
  • the electronic device 100 detects the 3D position of the visual marker 200 based on a computer vision algorithm, and the position of the electronic device 100 in the WCS based on the detected position of the visual marker 200 . (position) and/or orientation (orientation) may be calculated. In this case, the LSC may also be defined according to a position and/or an orientation of the electronic device 100 .
  • the electronic device 100 may set the WCS based on an image captured by the camera, and may acquire the shape and 3D position of a surrounding object. For example, the electronic device 100 may detect the marker 200 using a computer vision algorithm, calculate a 3D position of the marker 200, and obtain a point cloud.
  • the electronic device 100 performs a polygon mesh, a triangular mesh, a Non-Uniform Rational Basis (NURB) model, or a three-dimensional surface of a CAD model through a surface reconstruction process for points of the point cloud. can form.
  • the electronic device 100 may determine a color calculated from camera images on the surface.
  • the electronic device 100 may have a built-in camera and a depth sensor.
  • the electronic device 100 may obtain not only red, green, and blue (RGB) information of each point included in the photographing area but also depth information by using a camera and a depth sensor. That is, the electronic device 100 may detect RGBD (red, green, blue, depth) information of each point included in the photographing area.
  • RGBD red, green, blue, depth
  • W-RGBD information 3D location information and graphic information of all points detected by the electronic device 100 on the WCS with respect to the surrounding real world.
  • the electronic device 100 may use a Simultaneous Localization and Mapping (SLAM) algorithm to obtain W-RGBD information.
  • the electronic device 100 may additionally acquire W-RGBD information using a visual inertial odometry (VIO) algorithm using an IMU sensor.
  • VIO visual inertial odometry
  • the SLAM algorithm may be a continuous odometry and mapping (COM) algorithm.
  • the electronic device 100 may detect a change in the position and posture of the electronic device 100 without using a camera based on the IMU sensor information. For example, the electronic device 100 detects a three-dimensional position change and/or a rotation angle change in which the LCS of the electronic device 100 moves from the WCS through dead reckoning navigation for double integrating the IMU sensor values. can be detected. In this case, the electronic device 100 may need to know the initial position in advance. The electronic device 100 may compensate for errors in position and posture changes due to errors in IMU sensor information by identifying the position of the electronic device 100 using a camera. The electronic device 100 may detect a change in position and attitude by replacing the IMU sensor with a radio antenna sensor.
  • the electronic device 100 may detect the LCS by tracking the location of the electronic device 100 based on the visual marker fixed to the WCS, and may display content fixed to the WCS based on the detected LCS.
  • the electronic device 100 may track the location using the front auxiliary camera. Even when there is no pre-installed visual marker, the electronic device 100 may track the location by using the ceiling and/or wall of the space as the visual marker.
  • the electronic device 100 may track a location using radio waves. For example, the electronic device 100 may track a movement by using an object reflecting the radio wave as a marker in a space where a fixed radio wave exists.
  • the electronic device 100 may track the movement using a time of flight (TOF) of a depth sensor and/or a TOF of a radio wave signal of a wifi router.
  • TOF time of flight
  • the electronic device 100 may track a motion using a location tracking method using ultra-wideband (UWB).
  • UWB ultra-wideband
  • FIG. 3A to 3C are diagrams for explaining an operation in which the electronic device shown in FIG. 1 displays the real world
  • FIG. 4 is a diagram illustrating a marker for tracking the user's eyes by the electronic device shown in FIG. 1 . am.
  • the mobile AR Since the conventional mobile AR displays an image within the field of view (FOV) captured by the camera on the screen of the smartphone as it is, the user may feel a sense of alienation between the displayed screen and the real world.
  • the mobile AR may refer to a device such as a smartphone that implements augmented reality without a separate wearable device.
  • the entire image captured by the camera is displayed on the screen that appears small to the user's eye, and zooms out as if zoomed out larger than when viewing the real world directly.
  • the real world is closer to the camera, it may appear enlarged as if it was zoomed in on the screen than when the user directly viewed it.
  • the electronic device 100 may display the real world on the screen so that the user feels that the electronic device 100 providing augmented reality is a transparent glass plate or a transparent display. That is, the electronic device 100 may minimize the sense of heterogeneity between the image displayed on the electronic device 100 and the real world. Also, the electronic device 100 may display an augmented virtual object whose position and direction are determined on the WCS or the LCS together.
  • the electronic device 100 may provide an interface through which a user can interact with objects in the real world. For example, the user may interact with the object by touching the object displayed on the touch screen of the electronic device 100 .
  • the conventional smart phone displays the real world within the camera's field of view (C-FOV (Camera-Field of View)) captured by the camera 310 as it is on the screen, so the user's eyes 300
  • An image in the C-FOV of the field of view that the user sees when the camera 310 is positioned may be displayed on the screen.
  • a user extends an arm holding a smartphone in front to observe an image displayed on a screen, and the total field of view (E-FOV) that the user's eye 300 can see may be wider than the field of view of the camera 310 .
  • the user sees the entire image in the C-FOV through the area in which the silhouette of the screen is projected to the eye 300 (ie, the area inside the rectangle having P1, P2, P3, and P4 as vertices). That is, since the smartphone displays the image of the C-FOV in the EP-FOV area to the user, the image is reduced or zoomed out to the user.
  • the object 330 existing outside the EP-FOV that is covered by the smartphone may be included in the C-FOV, and the object 330 is also included in the E-FOV, the user may directly look at it or observe it through the screen. can do.
  • the camera 310 may photograph the V region corresponding to the C-FOV region, and the smartphone may display only the V region on the screen. As the camera 310 approaches the target area, the V area becomes smaller, and the V area may be zoomed in and displayed on the screen. In particular, the H region outside the C-FOV and included in the EP-FOV cannot be observed by the user, nor is it displayed on the screen.
  • a part of the target area may be covered by the screen from the user's eyes even when the user's eyes 300 are obliquely looking at the screen.
  • the electronic device 100 may display an image without a sense of heterogeneity between the image displayed on the screen and the real world by preventing overlapping real world objects and minimizing an area that cannot be observed by a user by being covered by the screen. there is.
  • the electronic device 100 may display an image of the real world in the EP-FOV area on the screen.
  • the electronic device 100 may process an image captured by the camera 310 to obtain and display an image of the EP-FOV area.
  • the image captured by the camera 310 may be referred to as a first image
  • the image displayed on the screen may be referred to as a second image.
  • the electronic device 100 may process an image captured by the camera 310 using a computer graphic algorithm.
  • the electronic device 100 may acquire an image of the area H that is not photographed by the camera 310 through a computer graphic algorithm.
  • the electronic device 100 may acquire an image of the area H based on an image previously captured at a different position and/or angle with respect to the area H.
  • the electronic device 100 may generate an image to be displayed on the screen based on the position of the user's eye 300 and RGBD information on the EP-FOV region.
  • the electronic device 100 may collect RGBD information about the real world captured in real time.
  • the electronic device 100 may collect RGBD information about the surrounding area as well as the EP-FOV area to be displayed in real time in advance and use it to generate a real-time image.
  • the electronic device 100 uses a perspective transformation algorithm to set the center of projection of the objects in the EP-FOV area as the position 300 of the user's eye, and the image plane on which the screen is arranged. plane) can be created.
  • the electronic device 100 may obtain the RGB value of each pixel of the screen through projection transformation.
  • the electronic device 100 renders an image displayed on the screen based on the 3D position information of the object in the EP-FOV area, color and brightness information, 3D information on the screen, and/or the position of the user's eye 300 .
  • the position of the user's eyes 300 may be the position of the user's left eye, right eye, or dominant eye, or a central position between both eyes.
  • the electronic device 100 may use an approximation method to render an image. For example, even when W-RGBD information is missing, the electronic device 100 may generate an image using an approximation algorithm.
  • the electronic device 100 may generate an image to be displayed in real time based on an image captured by the camera 310 in real time, graphic information previously collected through the camera 310, and the position of the user's eye 300 . there is.
  • the image captured by the camera 310 in real time may include a virtual object in the area to be photographed, and may be an image including not only RGB information but also 3D position information.
  • the previously collected graphic information may include information on the area H covered by the electronic device 100 . That is, the electronic device 100 may pre-collect RGBD information on a region other than a region to be photographed in real time based on an image photographed at a different point in time.
  • the position of the user's eye 300 may be tracked based on an image captured by the front camera of the electronic device 100 and optionally a depth sensor (eg, a lidar sensor). .
  • the electronic device 100 may detect the position of the user's eye 300 with respect to the WCS and/or the LCS by processing information obtained through the front camera disposed on the surface on which the screen is located.
  • the electronic device 100 may assume the location of the user's eye 300 .
  • the electronic device 100 may assume that the user's eyes 300 are positioned at a predetermined distance (eg, 30 cm) perpendicular to the center of the screen.
  • the electronic device 100 may track the position of the eye 300 based on the visual marker 400 fixed to the user's face. For example, as shown in FIG. 4 , the electronic device 100 detects the infrared lamps 410 and 430 of the visual marker through a wide-angle lens and an infrared filter attached to the camera 310 to determine the position of the eye 300 . can be tracked
  • the visual marker 400 may be mounted on the user's ear, and two LED lamps 410 and 430 may be attached to the front of the ear.
  • a small battery is installed on the back of the visual marker 400 so that it can be balanced in the ear.
  • two LED lamps (410 and 430) and a battery can be attached to the front and back of one leg of the glasses.
  • the electronic device 100 may track the position of the eye 300 using a magnetic field sensor.
  • the electronic device 100 may detect the position of the permanent magnet attached to the user's face to track the eye position 300 .
  • the electronic device 100 may implement augmented reality using an approximate method. For example, the electronic device 100 has insufficient or significantly inaccurate information of W-RGBD in AR for a three-dimensional space, or computing power for constructing W-RGBD or generating an image. If insufficient, augmented reality can be implemented using an approximation method.
  • the C-FOV is wider than the EP-FOV, the water line drawn from the eye position 300 to the plane including the screen of the electronic device 100 is sufficiently close to the center of the screen, and the target area to be photographed is the camera 310 ), can be included in the C-FOV as a substitute.
  • the electronic device 100 may approximately acquire an image of the C-FOV region captured by the camera 310 , that is, an image in the EP-FOV based on pixel values of camera pixels.
  • FIG. 3D showing the C-FOV is viewed from above and from the side, respectively, FIG. 3E .
  • Fig. 3D shows the C-FOV is viewed from above and from the side, respectively.
  • the angular range of the C-FOV is horizontally at diagram, in the vertical direction at Assume Dora
  • the image of the C-FOV region is projected on an image plane having the position of the camera 310 as the center of projection, and the imaging sensor of the camera 310 (eg, the camera pixel array ( 390)) assumes that the center of the camera pixel array 390 is the origin, and that each pixel has the same aspect ratio in the x and y-axis directions.
  • the electronic device 100 calculates the coordinates of the four corners of the rectangular-shaped camera pixel array 3290 with respect to a specific constant R determined by the resolution of the imaging sensor. is determined by
  • R determined by the resolution of the imaging sensor.
  • Pi-E rays such as lines P1-E, P2-E, P3-E, and P4-E passing through the four corners of the EP-FOV are In the user's eye 300, it appears as a single point, and currently commercial smartphone AR software uses an auxiliary camera to easily measure the 3D position E of the user's eye.
  • the electronic device 100 determines that the Pi-E vector is displayed on the pixel array. It can be approximated by being located in the pixel of the position. Accordingly, the electronic device 100 has four vertices on the pixel array.
  • An EP-FOV projection image may be approximately obtained by affine transformation of the square region on the screen.
  • an image in which the object of the EP-FOV area is formed on the user's eye 300 may be approximately obtained.
  • the electronic device 100 affine-transforms the rectangular contents and renders them on a rectangular real screen area, the EP-FOV contents can be observed by the user through the screen of the electronic device 100 .
  • the electronic device 100 may apply a zoom factor to the displayed image.
  • the electronic device 100 may display a wider FOV area than the EP-FOV when the user wants to view it wider.
  • 5A to 5D are diagrams for explaining an operation of providing an augmented reality in which the electronic device shown in FIG. 1 can interact with a printed matter.
  • the electronic device 100 may implement an AR book.
  • the electronic device 100 may provide an augmented reality in which a user can interact with the printed material 500 .
  • the printed material 500 may be a book, magazine, and/or booklet placed horizontally.
  • the electronic device 100 may acquire RGBD information for the entire area of the printed matter 500 by photographing the entire print 500 in advance. For example, the electronic device 100 may obtain RGBD information for the entire area of the printed matter 500 based on an image captured by the camera 310 at a height h c so that the entire printed matter 500 may be photographed. .
  • RGBD information for the entire area of the printed matter 500 may be collected with a single photographing
  • RGBD information for the printed material 500 may be obtained by photographing the printed material 500 at different distances and/or angles. can also be collected.
  • the electronic device 100 may define the WCS based on a pre-captured image, and includes information about the position and/or direction on the WCS with respect to the printed material 500 , information about the color of each point on the plane, and the like. W-RGBD information can be collected and stored.
  • the electronic device 100 may display the printed material 500 on the screen based on the location of the electronic device 100 to provide the user with an interface for interacting with the printed material 500 .
  • the electronic device 100 may acquire an image of the printed matter 500 in real time through the camera 310 as the position is moved.
  • an image captured by the electronic device 100 in real time through the camera 310 is referred to as live information.
  • the real-time information may include not only RGB information of each pixel, but also depth information extracted through feature point operation.
  • the electronic device 100 may calculate a position and orientation of the screen of the electronic device 100 based on real-time information.
  • the electronic device 100 may use the printed material 500 as a visual marker or detect the position and posture on the WCS of the LSC of the electronic device 100 through a SLAM algorithm based on real-time information.
  • the electronic device 100 may detect the position and orientation of the screen based on the position and orientation on the WCS of the LSC of the electronic device 100 .
  • the electronic device 100 may detect the position of the user's eye 300 on the WCS. As another example, the electronic device 100 may assume the position of the user's eye 300 on the WCS. For example, in FIG. 5A , it is assumed that the position of the eye 300 is horizontally w e and vertically h e in the print 500 .
  • the electronic device 100 may update W-RGBD information collected in advance based on real-time information. For example, the electronic device 100 may update W-RGBD information on the printed matter 500 based on real-time information.
  • the electronic device 100 may display an image to be displayed on the screen based on the previously collected W-RGBD information, real-time information, the position of the electronic device 100 , the posture of the electronic device 100 , and the position of the user's eyes 300 . can create In this case, the electronic device 100 may generate an image to be displayed based on the position of the user's eye 300 rather than the viewpoint of the camera 310 .
  • the electronic device 100 may accumulate real-time information collected in real time and use it to generate an image. For example, the electronic device 100 may use W-RGBD information captured and collected in the past to generate an image including an area that is covered by the screen but not captured by the camera 310 .
  • the electronic device 100 may generate an image to be displayed based on original data for an object in the real world.
  • the electronic device 100 may generate an image based on information about the contents of the printed matter 500 that is stored in advance or received from an external device. For example, the electronic device 100 may detect the position and orientation of the printed material 500 with respect to the WCS and/or the LCS and display the contents of the corresponding printed material 500 .
  • the electronic device 100 may generate an image to be displayed by using it with the highest priority.
  • the electronic device 100 may generate an image using real-time information obtained through the camera 310 .
  • the area eg, the area included in the EP-FOV is not photographed through the camera 310 in real time.
  • an image may be generated using previously collected W-RGBD information.
  • the electronic device 100 may continuously display the object to provide the user with an interface for interacting with the object.
  • the electronic device 100 may determine whether the camera 310 approaches the object. For example, the electronic device 100 may determine whether the camera 310 is focused on the object, based on IMU sensor data and/or information acquired through the auxiliary camera 510 to determine whether the object is close to the object. . When the electronic device 100 determines that the real-time information cannot be obtained because it is close to the object, the electronic device 100 determines that the electronic device 100 is located at the last position or very close to the last position where the real-time information was collected, and information collected in advance Based on the , the object may be continuously displayed and the rendering of the virtual object may also be continued.
  • the electronic device 100 may detect the position and posture of the electronic device 100 using the IMU sensor and/or the auxiliary camera 510 .
  • the electronic device 100 may set the second coordinate system WCS2 by using a computer vision algorithm by photographing a fixed area of the real world through the auxiliary camera 510 .
  • the electronic device 100 may set WCS2 based on a plurality of feature points including vertices and/or wallpaper patterns of non-moving structures on the ceiling.
  • the electronic device 100 may track the 3D coordinates of the feature points on the WCS2 with respect to the coordinate system of the auxiliary camera 510 . Since the coordinate system of the auxiliary camera 510 is fixed to the coordinate system of the electronic device 100 , the position and posture of the electronic device 100 may be detected based on the feature points on the WCS2 tracked by the auxiliary camera 510 . .
  • the electronic device 100 converts the previously detected W-RGBD information based on the coordinate system of the electronic device 100 , then converts it again based on the coordinate system of the auxiliary camera 510 , and finally WCS2 based on W-RGBD It can be converted to RGBD information.
  • the electronic device 100 may detect the position and posture of the auxiliary camera 510 in WCS2, and may display the corresponding area of the printed matter 500 based on the W-RBGD information.
  • the electronic device 100 may detect the position and posture of the electronic device 100 based on the auxiliary camera 310 and/or the IMU sensor, so that real-time information Objects can be displayed on the screen in the same way as when collecting . That is, even when the electronic device 100 comes into contact with the printed material 500 , the area of the printed material 500 that is obscured by the screen in the user's field of view may be displayed on the screen.
  • the electronic device 100 may continuously photograph a feature point through the auxiliary camera 510 and detect the moving position and angle of the electronic device 100 by applying concurrent odometry and mapping (COM).
  • COM concurrent odometry and mapping
  • the movement of the electronic device 100 may be detected based on an IMU sensor built in the electronic device 100 .
  • the change in the position and angle of the electronic device 100 may be detected by double integrating an accelerator value and/or a gyroscope value.
  • the electronic device 100 may additionally apply a sensor fusion algorithm to reduce sensor drift and errors.
  • the electronic device 100 determines the position and posture of the electronic device 100 based on visual markers 570-1 and 570-2 disposed above and below the moving range of the electronic device 100. can be estimated.
  • the electronic device 100 may perform SLAM without a feature point tracking process based on the visual markers 570-1 and 570-2.
  • the visual markers 570-1 and 570-2 may be fixed to each other above and below the stand 550, and coordinate systems R1 and R2 with known positions and angles are defined based on the visual markers 570-1 and 570-2. can be
  • the electronic device 100 may use the visual markers 570-1 and 570-2 to capture the content of the printed material 500 and detect the position of the electronic device 100 placed on the captured content. That is, the electronic device 100 may determine the render area or the EP-FOV based on the visual markers 570-1 and 570-2.
  • the electronic device 100 may photograph the visual marker 570 - 2 together with the content with the rear camera 310 .
  • Each point of the content is at a position determined in the coordinate system R2 of the visual marker 570-2, and the coordinate systems R2 and R1 are fixed to each other. there is.
  • the electronic device 100 may be placed on the content and the visual marker 570-1 may be photographed with the front camera 510 .
  • the electronic device 100 may detect the position and angle on the R1 coordinate system of the front surface of the screen that covers the content by photographing the visual marker 570-1.
  • the electronic device 100 may generate and display an image of an area in which the electronic device 100 is located based on previously stored captured content.
  • the visual marker 570-2 on the side of the printed material 500 may be omitted. Since the visual marker 570-1 is fixed to the stand and the printed material 500 does not move, the relative positions of the printed material 500 and the visual marker 570-1 may be fixed.
  • the position of the printed material 500 may be expressed by a plane equation based on the coordinate system R1 defined with respect to the visual marker 570-1. For example, since the surface on which the visual marker 570-1 is disposed is substantially parallel to the plane on which the printed material 500 is placed, the printed material 500 is expressed by an equation for the height of the visual marker 570-1.
  • the electronic device 100 can detect the position and angle by photographing the visual marker 570-1 with the front camera 510, and can know the position of the printed material 500 based on the visual marker 570-1, , the position of the electronic device 100 may be detected based on the printed matter 500 .
  • the electronic device 100 may photograph the content of the printed matter 500 through the rear camera 310 and store it as the captured content. At the same time, the electronic device 100 may photograph the visual marker 570-1 through the rear camera 510 .
  • the coordinate system C2 of the front camera 510 when the content of the printed matter 500 is photographed in the coordinate system R1 can be known, and the coordinate system C2 and the mutually known position and angle C2
  • the fixed coordinate system LCS of the rear camera 310 may be obtained through linear transformation.
  • the electronic device 100 may obtain an equation in the LCS of the three-dimensional plane on which the captured content is placed, and obtain the three-dimensional position in the LCS or R coordinate system of each pixel of the captured content captured by the rear camera 510 . can do.
  • the electronic device 100 When the electronic device 100 comes into contact with the printed material 500 , it acquires an image including the visual marker 570-1 through the front camera 510, and based on the visual marker 570-1, the coordinate system of the front camera The position and orientation of C2 on R1 can be calculated.
  • the electronic device 100 may detect the render area EP-FOV covered by the front surface of the phone on the coordinate system R1 through coordinate transformation based on the position with respect to the coordinate system C2.
  • the electronic device 100 may measure the physical depth through the camera 510 to detect the height. For example, the electronic device 100 measures the physical depth by using a TOF depth sensor (time of flight depth sensor), using structured light, or by using two or more mutually fixed and known cameras. can be measured
  • the electronic device 100 can measure the depth by applying triangulation by finding out where a feature point on an image taken by one camera is in an image taken by another camera, and an IMU that measures in MKS units.
  • a physical depth or physical distance can be measured using sensor data and data obtained by applying visual odometry to a camera.
  • 6A to 6E are diagrams for explaining an operation method when the electronic device shown in FIG. 1 comes into contact with a target.
  • the electronic device 100 may detect the position of the electronic device 100 based on the visual marker 630 disposed behind the printed material 610 .
  • the printed material 610 may be a translucent printed material.
  • the translucent print 610 is a film made of a transparent or translucent material such as an OHP film (overhead projector film), a transparent sheet, a tinting film, mirror sheet paper, acrylic and glass, or such a film and a translucent paint thereon It may be a printed matter on which an image is printed.
  • a transparent or translucent material such as an OHP film (overhead projector film), a transparent sheet, a tinting film, mirror sheet paper, acrylic and glass, or such a film and a translucent paint thereon It may be a printed matter on which an image is printed.
  • the translucent print 610 may be a thin metal coating used in a rear screen (rear screen or hologram projector screen) and/or a transparent screen applied to a transparent material, and additionally, a method such as coloring with transparent paint thereon It can be manufactured with, and analog projector film material, etc. can be used.
  • the visual marker 630 may be an image recognizable in position and additionally at an angle on an opaque material.
  • the visual marker 630 may be configured as a translucent image with low light transmittance so that light from the light source 650 , which may be on the back side shown in FIG. 6B , does not pass through the translucent print 610 .
  • a wall W for blocking light may be installed on the side of the translucent print 610 and the visual marker 630 .
  • the camera 310 of the electronic device 100 passes through the light R reflected from the translucent substrate 610 and the translucent substrate 610 to make a visual marker. It is possible to photograph the ray (S) reflected in the 630. That is, the light beam (S) reflected from the visual marker 630 passes through the semi-transparent print 610 and is reflected from the visual marker 630, and then passes through the semi-transparent print 610 again and is sufficiently attenuated. am.
  • the transparency and/or brightness of the translucent substrate 610 and the brightness of the visual marker 630 are significantly reduced and the image of the visual marker 630 is significantly attenuated while the electronic device 100 is sufficiently far from the translucent substrate 610 and the translucent substrate ( Only a clean image of the 610 may be adjusted to be acquired through the camera 310, and ambient lighting may also be appropriately adjusted.
  • the electronic device 100 tracks the position of the electronic device 100 based on the image of the translucent print 610 through the camera 310 while it is away from the translucent print 630 to generate an image to be displayed on the screen.
  • the camera 310 cannot capture the contents of the translucent print 610 , and instead the image reflected from the visual marker 630 is mainly used can be obtained That is, when the electronic device 100 approaches or comes into contact with the translucent printed material 610 , the electronic device 100 shields the surface of the translucent printed material 610 from external light so that R disappears and the camera 310 displays a visual marker. Only the ray S reflected at 630 may be obtained. Since the overall amount of incident light is reduced in the electronic device 100 , the image of the visual marker 630 may be relatively brighter and clearer by adjusting the iris of the camera 310 and/or turning on the flash. In this case, the distance between the translucent printed material 610 and the visual marker 630 may be greater than or equal to a predetermined distance d so that the camera 310 can focus.
  • the electronic device 100 may acquire the position and angle of the visual marker 630 in the coordinate system LCS of the electronic device 100 based on the image of the visual marker 630 captured by the camera 310 .
  • the electronic device 100 may detect a position and/or angle at which the electronic device 100 contacts the translucent printed material 610 based on the position and angle of the visual marker 630 in the LCS.
  • the electronic device 100 may display an area and a virtual object corresponding to the area of the semi-transparent print 500 covered by the electronic device or the screen on the screen based on the contact position and/or angle.
  • the electronic device 100 may determine whether the printed material 610 is in contact based on the visual marker 630 . For example, when the visual marker 630 is identified through the camera 310 and the distance between the printed material 610 and the visual marker 630 is detected and compared with the known distance d between the printed material and the visual marker, the electronic device 100 ) may determine whether the printed material 610 is in contact.
  • the print 610 may include microscopic holes 690 throughout the print.
  • the printed material 610 may not be transparent except for the hole or may have very low transparency.
  • the printed material 610 including the minute holes 690 is observed from a certain distance or more, only the contents of the printed material 610 are checked, and the minute hole 690 can be observed only at a very close distance.
  • the size of the holes 690 is small compared to the distance between the holes, it is preferable that the printed material appears close to opaque when the printed material 610 is viewed from a distance.
  • the camera 310 may capture an image 695 including a fine hole. A portion other than the hole is photographed extremely dark because light is blocked by the electronic device 100 , and the hole 690 is photographed relatively brightly. Accordingly, if the photographed image is appropriately pre-processed, the electronic device 100 may use the close-up image 695 including the fine hole as a visual marker. That is, the electronic device 100 may detect the position and angle without the visual marker 630 on the rear surface of the printed material 610 based on the proximity image 695 including the fine hole.
  • Each of the fine holes 960 is disposed at different distances and angles according to positions on the printed matter 610 , so that the image 695 including the fine holes may be utilized as a visual marker. That is, the electronic device 100 may detect the position and angle at which the electronic device 100 comes into contact with the printed matter 610 based on the minute holes 690 at the divided angles and distances. In this case, the minute holes 690 may be physically drilled holes or portions of a film having high transparency to pass light through.
  • the electronic device 100 may be used as a visual marker by distinguishing the size and/or shape of the fine holes 690 .
  • fine holes 690 in the shape of circles, squares, triangles, pentagons, and crosses may be punched in the printed matter 610 to be distinguished by the electronic device 100 .
  • the electronic device 100 configures a feature point from the landscape of objects behind the printed material seen through the hole of the printed material 610 without disposing the holes 690 at a distance, angle, shape, or size to be distinguished, or
  • the visual marker 630 may be further placed behind the printed material 610 to detect the position and angle at which the electronic device 100 comes into contact with the printed material 610 .
  • all of the holes 690 drilled in the printed material 610 may be arranged in a pattern having the same distance and angle.
  • the holes 690 may be spaced apart from each other at the same distance as shown in FIG. 6F and disposed on the printed matter 610 .
  • the hole 690 has a very fine size, it does not affect the contents of the printed matter 610 , and the hole 690 may not be observed from a certain distance or more.
  • the holes can also be of randomly varying sizes or positions, such as in mesh or translucent burlap. However, it is preferable that at least one hole enters the camera wide angle (C-FOV) of the electronic device 100 when the electronic device 100 is approached.
  • each aperture acts as a pinhole lens, so that even if the distance between the apertures 690 is much greater than the size of the apertures 690, the camera 310 may take an image behind the hole 690 .
  • the camera 310 may use the fine hole 690 as a pinhole lens to photograph the visual marker 630 and/or the landscape located behind the printed matter 610 in which the fine hole 690 is drilled. .
  • the electronic device 100 may recognize the position and angle attached to the printed matter 610 based on the visual marker 630 positioned behind the fine hole 690 and/or the feature point of the landscape. That is, due to the characteristics of the pinhole lens, the image of the visual marker 630 is clearly photographed with a general camera without a separate lens, regardless of whether the visual marker 630 is disposed very close to or far from the printed material 610 , and the electronic device 100 . It is possible to easily measure the position and angle of contact with the print.
  • the electronic device 100 arranges fine visual markers that are distinguished from each other right behind each of the fine holes 690 , and the position where the electronic device 100 comes into contact with the printed material 610 from the visual marker seen through the hole photographed by the camera. and angles.
  • the opaque film in which the minute holes 690 are drilled may serve as the aforementioned translucent film.
  • FIG. 6G shows a phenomenon in which the hole 690 acts like a pinhole lens and the incident light overlaps when the camera 310 is photographed in close proximity to the printed material 610 .
  • the visual marker 630 disposed behind the printed material 610 is clearly photographed.
  • FIG. 7A and 7B are diagrams for explaining an operation of providing an augmented reality in which the electronic device shown in FIG. 1 can interact with an image projected by a projector;
  • the electronic device 100 may implement augmented reality based on a dynamically changing image.
  • the electronic device 100 may provide an interface through which the user interacts with the image projected by the projector 750 .
  • the projector 750 may project an image of an operating system (OS) and/or an application program as it is projected on a computer screen, and the electronic device 100 operates the operating system and/or application program being projected. It can be used as an input device such as a mouse or a touch screen.
  • the projector 750 may project an image on the translucent film 710 , and a visual marker 730 may be positioned on the rear surface of the translucent film 710 .
  • the translucent film 710 may be a translucent film 710 without printed content so that the projected content of the projector is clearly visible.
  • the controller 770 may control the projector 750 .
  • the controller 770 is implemented separately from the electronic device 100 in FIGS. 7B and 7C , the electronic device 100 may include a controller 770 for controlling the projector 750 .
  • the controller 770 may control the image projected by the projector 750 and transmit the projected image to the electronic device 100 .
  • the electronic device 100 may detect the position and posture of the electronic device 100 based on the visual marker 730 while in contact with the translucent film 710 , and the position and posture of the electronic device 100 on the screen An image corresponding to can be displayed. That is, the electronic device 100 may display an image of a region corresponding to the location of the electronic device 100 among the images projected by the projector 750 .
  • the electronic device 100 may display an image corresponding to the location of the electronic device 100 to provide the user with an interface capable of interacting with the image of the corresponding area.
  • the electronic device 100 may be used as an input device for inputting information into a projected image, or may be used as a pointing device.
  • the electronic device 100 may record the movement of a fixed point in the electronic device 100 in the projected image as the electronic device 100 moves.
  • the specific point may be a point at a specific fixed location of the electronic device 100 or a point moving on the coordinate system of the electronic device 100 in which a touch input is occurring on the screen. That is, the position on the WCS of a point that is touched by touching the screen while moving the electronic device 100 may be used as an input for projected image content (eg, OS or application program).
  • projected image content eg, OS or application program
  • the projector 750 is illustrated as being in front of the translucent film 710 , but the projector 750 may be located on the back of the translucent film or may be disposed together with a mirror.
  • the film 710 may be opaque when the projector 750 is in front of the film.
  • the electronic device 100 may detect the position and angle of the electronic device 100 by using the projector 750 as a visual marker. For example, the electronic device 100 obtains the position of the projector 750 behind the translucent film 710 and/or the image projected by the projector 750 through the main camera 310, Position and angle can be detected. The electronic device 100 may detect the position of the light source of the projector 750 through the auxiliary camera 510 and detect the position and angle of the electronic device 100 based on the position of the light source.
  • the electronic device 100 may detect a direction in which the electronic device 100 is positioned with respect to the direction of gravity by using the accelerometer. For example, since the direction of gravity is vertical when the image is projected horizontally, the posture in which the electronic device 100 is located may be detected based on the accelerometer.
  • the electronic device 100 may acquire an image of a region to which the electronic device 100 is attached among the projected images, and may display an image corresponding to the region and/or an augmented image on the screen.
  • the electronic device 100 is not limited to the form of a smartphone or a tablet, and may be a variety of devices including a processor, a memory, a communication device, etc. that have a built-in camera and process images captured by the camera. For example, it may be implemented in the form of a digital pen.
  • a real pen tip may be included so as to leave handwritten contents in the real world with ink on a printed material, a film, a wall, or paper in the real world.
  • an analog pen tip may be attached to the electronic device 100 .
  • the controller 770 may process a projected image based on a user input received by the electronic device 100 . For example, when a user draws a line in an image projected area through the electronic device 100 , the projected image may be projected by reflecting the line.
  • the electronic device 100 may render the real world and/or augmented content by tracking changes in its position and angle, or may render and store the position it moves by touching a plane.
  • the electronic device 100 may interact with the user based on a printed matter in which original data is not stored or a note written or drawn by the user.
  • the electronic device 100 may recognize characters using computer vision with respect to a printed matter photographed by the camera 310 and output the recognized characters as sounds.
  • the electronic device 100 may translate the recognized characters into another language, and may provide an Internet search result for a word or phrase composed of the recognized characters.
  • the electronic device 100 may recognize a character based on an algorithm corresponding to optical character recognition (OCR).
  • OCR optical character recognition
  • the electronic device 100 may apply text to speech (TTS) to the recognized characters to output a sentence or word in a render area in a captured image as a sound.
  • TTS text to speech
  • the electronic device 100 may translate the entire text, each sentence, each phrase, and each word included in the render area in the captured image into another language. Also, the electronic device 100 may connect an Internet search result or a dictionary to the recognized word or phrase.
  • the electronic device 100 may express objects usable in the real world photographed by applying an image localization, object detection, or object segmentation algorithm. That is, the electronic device 100 may display objects that can interact with the user separately from the background.
  • the electronic device 100 may add an animation effect of enlarging or rotating the separated object piece by piece, and may recognize each object and display the recognized object type and/or name in text format.
  • the electronic device 100 may output a text corresponding to each object as a sound through TTS.
  • the electronic device 100 may provide a search result for text corresponding to each object.
  • the electronic device 100 may display an image of a region corresponding to the render region on the screen, an image to which an enlargement/reduction animation is applied to the image, and an image to which a user's annotation is added. Also, the electronic device 100 may apply the TTS to the text corresponding to the separated object and output it as a sound, translate the text and display it, or display a link connecting to a search result or a dictionary.
  • the electronic device 100 may receive a user input. For example, in the electronic device 100 , the user places or moves the electronic device 100 at a specific position (hover), the user touches a specific position on the touch screen of the electronic device 100 or draws a stroke thereon. Drawing can also receive touch. Also, the electronic device 100 may receive a text input by the user and a voice input by the user.
  • the electronic device 100 may perform the above-described processing and expression of the object in the augmented reality based on the user input.
  • the electronic device 100 may store user annotations.
  • the electronic device 100 may store an annotation input by a user with a hand or a pen on a screen on which an object in the augmented reality is displayed.
  • the annotation may be content typed using a virtual keyboard or the like in addition to a hand or a pen.
  • the electronic device 100 may fix an image or 3D animation related to content to a specific position on the content, and store the recorded sound in association with text or an object. After storing the annotation, when it is determined that the user is viewing the same content, the electronic device 100 may output the stored annotation.
  • the electronic device 1000 may determine whether the user views the same content, store object content in augmented reality together, or store metadata corresponding to the result of the processing step on the content and compare it with new content to determine whether the content matches.
  • the metadata may be the recognized text or the location of each text, the recognized object, the location of each object, and the like.
  • the electronic device 100 may retain user annotations.
  • the electronic device 100 may share annotations made by several users for one content.
  • the electronic device 100 may store a user's annotation and annotated content and/or metadata in the cloud, and may provide annotations stored by other people according to a user's preferred policy.
  • the electronic device 100 may perform remote transmission and conversation.
  • the electronic device 100 may send the content and the location of the electronic device 100 placed thereon to another electronic device.
  • the electronic device 100 may send only the render area of the content.
  • a user may have a remote conversation with another user through the electronic device 100 , and not only the user but also other users may leave comments on the captured content, and the comments may be shared between the user and other users.
  • FIG. 8A and 8B are diagrams for explaining an operation in which the electronic device shown in FIG. 1 provides augmented reality that interacts with an object based on a user's gaze direction.
  • the electronic device 100 may render the user's eyes directly looking at the object, and the electronic device 100 may render information related to the user's gaze by detecting the position and direction in which the user's eyes look.
  • the electronic device 100 may store an image of the object 800 in the real world captured in advance.
  • the object 800 is positioned on the plane and may be a printed material fixed to the WCS.
  • the electronic device 100 may already have an original image or related data of the contents of the printed material 800 , and may obtain the contents of the surface of the printed material 800 from the photographed image.
  • the image of the object 800 may be referred to as a first image.
  • the electronic device 100 detects the edge of the printed material 800 photographed by the camera 310, and from the edge, the printed material 800 is placed in a plane coordinate system (eg, 0 ⁇ on the PCS shown in FIGS. 8A and 8B ). You can align the printed content in the rectangular area on x ⁇ w, 0 ⁇ y ⁇ h area). When the x and y coordinates of the PCS are given, the electronic device 100 may determine which position of the printed matter 800 corresponds to.
  • a plane coordinate system eg, 0 ⁇ on the PCS shown in FIGS. 8A and 8B . You can align the printed content in the rectangular area on x ⁇ w, 0 ⁇ y ⁇ h area.
  • the electronic device 100 may be mounted on a cradle 810 installed at a known position and angle on the WCS. Both the coordinate system CCS and PCS of the cradle 810 may be fixed to the WCS. The electronic device 100 may convert coordinates between CCS and PCS.
  • the image in which the user's face is captured may be referred to as a second image.
  • the electronic device 800 may provide an interface through which the user can interact with content corresponding to the position.
  • the electronic device 100 may output content of a location viewed by the user as a sound or display it on the screen of the electronic device 100 .
  • the operation of the electronic device 100 is not limited thereto, and all operations of processing and expressing content in the augmented reality as described above may be performed.
  • the electronic device 100 may not stop providing the content even if the user's gaze moves after providing the specific content to the user. That is, if the user does not look at another location for a certain period of time or longer, the electronic device 100 may maintain the existing content provision. When the user looks at another location for a predetermined time or more, the electronic device 100 may provide content corresponding to the location.
  • the electronic device 100 may continue to track how the electronic device 100 is moving on the spatial WCS through the augmented reality algorithm from the moment the camera 310 captures the printed material 800 to determine the PCS.
  • the electronic device 100 may continuously determine at which position and at what angle the CCS is defined on the WCS at each moment based on the tracking result.
  • the electronic device 100 may further use a mirror fixed to the WCS or the LCS.
  • a mirror fixed to the WCS or the LCS For example, by installing a mirror in front of the camera 310 to photograph the printed material 800 , the camera 510 may detect the position of the user's eyes and the direction of the gaze.
  • FIGS. 8A and 8B show the printed material 800 placed on a plane, but the present invention is not limited thereto, and the electronic device 100 determines where the user looks among objects placed in space between the user's eyes and the object. It is possible to provide the corresponding content by detecting without being located.
  • FIG. 8C is an example in which the electronic device 100 is positioned so that one eye of the user and the auxiliary camera 510 are close to each other, and the user directly sees an entity in front of the user without looking through the screen.
  • the electronic device 100 uses the main camera 310 to identify the objects in front and their positions, and simultaneously measures the user's eye position and gaze direction with the auxiliary camera 510 to generate a straight line corresponding to the user's gaze as the main camera. (310) can be converted to a coordinate system.
  • the electronic device 100 may detect which of the objects in front the user sees based on a straight line corresponding to the user's gaze, and may render information related to the object the user sees.
  • the direction of the gaze can be precisely and accurately analyzed.
  • by using the projection transformation based on the measurement of the user's eye position shown in FIGS. 3A to 3G on the screen of the electronic device it is possible to minimize the electronic device from blocking the user's field of view with an image different from the actual object.
  • the projection transformation illustrated in FIGS. 3A to 3G it is possible to minimize a portion of the user's field of view from being blocked by the electronic device 100 without using a transparent display, and the eye 300 is fixed with respect to the camera 510 . Therefore, the projection transformation illustrated in FIGS. 3A to 3G can be used without eye tracking by the camera 510 .
  • FIG. 9 is a diagram schematically illustrating the electronic device shown in FIG. 1 .
  • the user electronic device 100 may include a processor 900 , a memory 910 , a camera 920 , a display 930 , and a speaker 940 .
  • the processor 900 may be a hardware-implemented data processing device having a circuit having a physical structure for executing desired operations.
  • desired operations may include code or instructions included in a program.
  • a data processing device implemented as hardware includes a microprocessor, a central processing unit, a processor core, a multi-core processor, and a multiprocessor. , an Application-Specific Integrated Circuit (ASIC), and a Field Programmable Gate Array (FPGA).
  • ASIC Application-Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the memory 910 may store instructions (or programs) executable by the processor.
  • the instructions may include instructions for executing an operation of a processor and/or an operation of each component of the processor.
  • the memory 910 may be implemented as a volatile memory device or a nonvolatile memory device.
  • the volatile memory device may be implemented as dynamic random access memory (DRAM), static random access memory (SRAM), thyristor RAM (T-RAM), zero capacitor RAM (Z-RAM), or twin transistor RAM (TTRAM).
  • DRAM dynamic random access memory
  • SRAM static random access memory
  • T-RAM thyristor RAM
  • Z-RAM zero capacitor RAM
  • TTRAM twin transistor RAM
  • Nonvolatile memory devices include EEPROM (Electrically Erasable Programmable Read-Only Memory), Flash memory, MRAM (Magnetic RAM), Spin-Transfer Torque (STT)-MRAM (Spin-Transfer Torque (STT)-MRAM), Conductive Bridging RAM (CBRAM). , FeRAM (Ferroelectric RAM), PRAM (Phase change RAM), Resistive RAM (RRAM), Nanotube RRAM (Nanotube RRAM), Polymer RAM (PoRAM), Nano Floating Gate Memory Memory (NFGM)), a holographic memory, a molecular electronic memory device, or an Insulator Resistance Change Memory.
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • Flash memory Flash memory
  • MRAM Magnetic RAM
  • STT Spin-Transfer Torque
  • STT Spin-Transfer Torque
  • STT Spin-Transfer Torque
  • CBRAM Conductive Bridging RAM
  • FeRAM Feroelectric RAM
  • PRAM Phase change RAM
  • Resistive RAM R
  • the display 930 is a device disposed on the front side of the electronic device 100 and may display an augmented virtual object together with a rectangular image.
  • the display 930 may be equipped with a touch sensor to receive a user input signal such as a touch signal and a drag signal from the user.
  • the camera 920 is a device capable of capturing an image, and may include, for example, a front-facing front camera and a rear-facing rear camera.
  • the front camera may be disposed on the same surface on which the display 930 is disposed, and the rear camera may be disposed on a surface on which the display 930 is not disposed.
  • the rear camera and the front camera may correspond to the above-described camera 310 and auxiliary camera 510, respectively.
  • the speaker 940 is a device capable of reproducing a sound signal, and may reproduce, for example, a sound signal corresponding to a virtual object augmented by the processor 900 .
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and carry out program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • the software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave.
  • the software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강 현실 구현 방법 및 이를 수행하는 장치가 개시된다. 일 실시예에 따른 증강 현실 제공 방법은, 대상 영역에 전자 장치가 접촉하는지 여부를 판단하는 단계와, 상기 전자 장치의 위치를 검출하는 단계와, 미리 저장된 상기 대상 영역에 대한 제1 이미지 및 상기 전자 장치의 위치에 기초하여 사용자의 시야에서 상기 전자 장치에 의해 가려진 영역에 대응하는 제2 이미지를 생성하는 단계와, 상기 제2 이미지를 상기 전자 장치에 디스플레이 하는 단계를 포함한다.

Description

증강 현실 구현 방법 및 이를 수행하는 장치
아래 실시예들은 증강 현실 구현 방법 및 이를 수행하는 장치에 관한 것이다.
증강 현실(Augmented Reality(AR))이란 현실 환경에 컴퓨터 그래픽 등의 영상을 삽입하여 실제 영상과 가상 오브젝트가 포함된 가상 영상을 혼합한 것을 의미하며, 증강현실 기술은 실제 세계와 가상 세계를 결합함으로써 사용자가 실시간으로 가상 오브젝트와 상호작용할 수 있는 기술을 의미한다.
구체적으로, 증강 현실은 카메라에서 획득한 실제 영상에 가상의 그래픽스(물체)를 삽입하여 실제와 가상이 혼합된 영상을 생성하는 기술이다. 증강 현실은 현실 세계에서 획득한 영상 위에 가상의 그래픽스를 이용한 부가적인 정보를 제공할 수 있다는 특징을 가지고 있다. 이러한 증강 현실은 교육용 자료, 길 안내, 게임 등의 분야에서 활용성을 인정받고 있으며, 사용자 인터페이스로 사용되고 있다.
관련 선행기술로, 한국 공개특허 제10-2013-0099317호(발명의 명칭: 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법)가 있다.
실시예들은 사용자의 눈의 위치를 추적하여 왜곡되지 않은 현실 세계를 디스플레이하는 증강 현실 구현 기술을 제공할 수 있다.
또한, 실시예들은 객체에 접촉한 경우에도 객체를 디스플레이하는 증강 현실 구현 기술을 제공할 수 있다.
또한, 실시예들은 사용자의 시선의 방향에 기초하여 객체와 상호작용하는 증강 현실 구현 기술을 제공할 수 있다.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
일 실시예에 따른 증강 현실 제공 방법은, 대상 영역의 적어도 일부에 대한 제1 이미지를 획득하는 단계와, 상기 대상 영역에 전자 장치가 접촉하는지 여부를 판단하는 단계와, 상기 제1 이미지에 기초하여 상기 전자 장치의 위치를 검출하는 단계와, 미리 저장된 상기 대상 영역에 대한 제2 이미지 및 상기 전자 장치의 위치에 기초하여 사용자의 시야에서 상기 전자 장치에 의해 가려진 영역에 대응하는 제3 이미지를 생성하는 단계와, 상기 제3 이미지를 상기 전자 장치에 디스플레이 하는 단계를 포함한다.
상기 검출하는 단계는, 상기 대상 영역에 위치한 반투명한 인쇄물 뒤에 배치된 비주얼 마커에 기초하여 상기 전자 장치의 위치를 검출하는 단계를 포함할 수 있다.
상기 검출하는 단계는, 상기 대상 영역에 위치한 인쇄물의 표면에 뚫린 미세한 구멍에 기초하여 상기 전자 장치의 위치를 검출하는 단계를 포함할 수 있다.
상기 검출하는 단계는, 상기 미세한 구멍을 핀홀 렌즈(pinhole lens)로 이용하여 상기 인쇄물에 가려진 상기 인쇄물 뒤 영역에 대한 투과 이미지를 획득하는 단계와, 상기 투과 이미지에 기초하여 상기 전자 장치의 위치를 검출하는 단계를 포함할 수 있다.
상기 투과 이미지는, 상기 전자 장치의 위치를 검출하기 위한 비주얼 마커를 포함할 수 있다.
상기 검출하는 단계는, 상기 대상 영역에 이미지를 투사하는 프로젝터의 위치를 검출하는 단계와, 상기 프로젝터의 위치에 기초하여 상기 전자 장치의 위치를 검출하는 단계를 포함할 수 있다.
일 실시예에 따른 증강 현실 제공 방법은, 대상 영역에 대한 제1 이미지를 획득하는 단계와, 사용자의 눈의 위치 및 전자 장치의 위치를 검출하는 단계와, 상기 제1 이미지, 상기 눈의 위치 및 상기 전자 장치의 위치에 기초하여 상기 사용자의 시야에서 상기 전자 장치에 의해 가려진 영역에 대응하는 제2 이미지를 생성하는 단계와, 상기 제2 이미지를 상기 전자 장치에 디스플레이 하는 단계를 포함한다.
상기 검출하는 단계는, 상기 전자 장치에 대한 상기 눈의 상대적인 위치를 검출하는 단계를 포함할 수 있다.
상기 검출하는 단계는, 상기 전자 장치의 전면 카메라를 통해 촬영한 이미지에 기초하여 상기 눈의 위치를 검출하는 단계를 포함할 수 있다.
상기 검출하는 단계는, 상기 사용자에게 부착된 마커에 기초하여 상기 위치를 검출하는 단계를 포함할 수 있다.
상기 검출하는 단계는, 상기 전자 장치가 실시간으로 촬영하는 상기 제1 이미지에 기초하여 상기 전자 장치의 위치를 검출하는 단계를 포함할 수 있다.
일 실시예에 따른 증강 현실 제공 방법은, 대상 영역 내 배치된 객체를 촬영한 제1 이미지를 획득하는 단계와, 사용자의 눈을 촬영한 제2 이미지를 획득하는 단계와, 상기 제2 이미지에 기초하여 상기 대상 영역 내 사용자가 바라보는 위치를 검출하는 단계와, 상기 제1 이미지 내 상기 위치에 대응하는 컨텐츠를 상기 사용자에게 제공하는 단계를 포함한다.
일 실시예에 따른 증강 현실을 제공하는 전자 장치는, 대상 영역의 적어도 일부에 대한 제1 이미지를 획득하는 카메라와, 상기 대상 영역에 상기 전자 장치가 접촉하는지 여부를 판단하고, 상기 제1 이미지에 기초하여 전자 장치의 위치를 검출하고, 미리 저장된 상기 대상 영역에 대한 제2 이미지 및 상기 전자 장치의 위치에 기초하여 사용자의 시야에서 상기 전자 장치에 의해 가려진 영역에 대응하는 제3 이미지를 생성하는 프로세서와, 상기 제3 이미지를 생성하는 디스플레이 장치를 포함한다.
상기 프로세서는, 상기 대상 영역에 위치한 반투명한 인쇄물 뒤에 배치된 비주얼 마커에 기초하여 상기 전자 장치의 위치를 검출할 수 있다.
상기 프로세서는, 상기 대상 영역에 위치한 인쇄물의 표면에 뚫린 미세한 구멍에 기초하여 상기 전자 장치의 위치를 검출할 수 있다.
상기 프로세서는, 상기 미세한 구멍을 핀홀 렌즈(pinhole lens)로 이용하여 상기 인쇄물에 가려진 상기 인쇄물 뒤 영역에 대한 투과 이미지를 획득하고, 상기 투과 이미지에 기초하여 상기 전자 장치의 위치를 검출할 수 있다.
상기 투과 이미지는, 상기 전자 장치의 위치를 검출하기 위한 비주얼 마커를 포함할 수 있다.
상기 프로세서는, 상기 대상 영역에 이미지를 투사하는 프로젝터의 위치를 검출하고, 상기 프로젝터의 위치에 기초하여 상기 전자 장치의 위치를 검출할 수 있다.
일 실시예에 따른 증강 현실을 제공하는 전자 장치는, 대상 영역에 대한 제1 이미지를 획득하는 제1 카메라와, 사용자에 대한 제2 이미지를 획득하는 제2 카메라와, 상기 제1 이미지에 기초하여 상기 전자 장치의 위치를 검출하고, 상기 제2 이미지에 기초하여 사용자의 눈의 위치를 검출하고, 상기 제1 이미지, 상기 눈의 위치 및 상기 전자 장치의 위치에 기초하여 상기 사용자의 시야에서 상기 전자 장치에 의해 가려진 영역에 대응하는 제3 이미지를 생성하는 프로세서를 포함한다.
상기 프로세서는, 상기 전자 장치에 대한 상기 눈의 상대적인 위치를 검출할 수 있다.
상기 프로세서는, 상기 전자 장치의 전면 카메라를 통해 촬영한 이미지에 기초하여 상기 눈의 위치를 검출할 수 있다.
상기 프로세서는, 상기 사용자에게 부착된 마커에 기초하여 상기 위치를 검출할 수 있다.
상기 프로세서는, 상기 전자 장치가 실시간으로 촬영하는 상기 제1 이미지에 기초하여 상기 전자 장치의 위치를 검출할 수 있다.
일 실시예에 따른 증강 현실 제공 장치는, 대상 영역 내 배치된 객체를 촬영한 제1 이미지를 획득하는 제1 카메라와, 사용자의 눈을 촬영한 제2 이미지를 획득하는 제2 카메라와, 상기 제2 이미지에 기초하여 상기 대상 영역 내 사용자가 바라보는 위치를 검출하고, 상기 제1 이미지 내 상기 위치에 대응하는 컨텐츠를 상기 사용자에게 제공하는 프로세서를 포함한다.
도 1은 일 실시예에 따른 증강 현실 시스템을 설명하기 위한 도면이다.
도 2a 및 도 2b는 증강 현실 구현을 위한 좌표 시스템을 설명하기 위한 도면이다.
도 3a 내지 도 3g는 도 1에 도시된 전자 장치가 현실 세계를 디스플레이하는 동작을 설명하기 위한 도면이다.
도 4는 도 1에 도시된 전자 장치가 사용자의 눈을 추적하기 위한 마커를 도시하는 도면이다.
도 5a 내지 도 5d는 도 1에 도시된 전자 장치가 인쇄물과 상호작용할 수 있는 증강 현실을 제공하는 동작을 설명하기 위한 도면이다.
도 6a 내지 도 6h는 도 1에 도시된 전자 장치가 대상에 접촉하는 경우 동작 방법을 설명하기 위한 도면이다.
도 7a 및 도 7c는 도 1에 도시된 전자 장치가 프로젝터에 의해 투사된 이미지와 상호작용할 수 있는 증강 현실을 제공하는 동작을 설명하기 위한 도면이다.
도 8a 및 도 8c는 도 1에 도시된 전자 장치가 사용자의 시선 방향에 기초하여 객체와 상호작용하는 증강 현실을 제공하는 동작을 설명하기 위한 도면이다.
도 9는 도 1에 도시된 전자 장치를 개략적으로 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 증강 현실 시스템을 설명하기 위한 도면이다.
전자 장치(100)는 증강 현실(Augmented Reality(AR))을 구현할 수 있다. 전자 장치(100)는 증강 현실을 구현할 수 있는 장치로서, 예를 들어, 스마트 폰, 스마트 패드, 웨어러블 장치, 태블릿 컴퓨터, 퍼스널 컴퓨터, 랩톱 컴퓨터, 스마트 가전 기기 등 다양한 컴퓨팅 장치 및/또는 시스템에 탑재될 수 있다.
전자 장치(100)는 현실 세계와 상호 작용할 수 있는 증강 현실을 사용자에게 제공할 수 있다. 예를 들어, 전자 장치(100)는 현실 세계를 디스플레이에 투영시켜, 전자 장치(100)에 디스플레이된 현실 세계의 객체와 사용자가 상호 작용할 수 있는 인터페이스를 제공할 수 있다.
전자 장치(100)는 현실 세계를 왜곡 없이 디스플레이할 수 있다. 예를 들어, 전자 장치(100)는 사용자의 눈의 위치에 기초하여 사용자의 시야에서 전자 장치(100)에 의해 가려진 영역을 그대로 디스플레이할 수 있다. 전자 장치(100)는 사용자에게 외부 영역과 이질감이 느껴지지 않도록 전자 장치(100)에 의해 가려진 영역을 디스플레이할 수 있다.
전자 장치(100)는 객체와 접촉하거나 근접하게 배치된 상태에서 증강 현실을 제공할 수 있다. 예를 들어, 전자 장치(100)는 객체를 실시간으로 촬영하지 않는 상태에서 전자 장치(100) 및/또는 사용자의 눈의 위치를 추적하여 객체 및/또는 가상 오브젝트를 디스플레이할 수 있다.
전자 장치(100)는 사용자의 시선을 추적하여 증강 현실을 제공할 수 있다. 예를 들어, 전자 장치(100)는 사용자의 시선을 실시간으로 추적하여 사용자가 바라보는 영역과 상호 작용할 수 있는 인터페이스를 제공할 수 있다.
도 2a 및 도 2b는 증강 현실 구현을 위한 좌표 시스템을 설명하기 위한 도면이다.
전자 장치(100)는 내장된 카메라 및/또는 IMU(Inertial Measurement Unit) 센서를 이용하여 전자 장치(100)가 움직이는 고정된 공간을 인식하고, 그 공간안에서 폰의 6자유도(6-Degree of freedom)의 움직임과 방향을 계산할 수 있다. 이때 도 2a와 같이 전자 장치(100) 및/또는 사용자가 존재하는 고정된 공간의 좌표계를 WCS(world coordinate system)로 정의하고, 전자 장치(100)를 기준으로 고정된 좌표계를 LCS(local coordinate system)로 정의할 수 있다.
전자 장치(100)가 제공하는 증강 현실은 전자 장치(100)에 내장된 카메라를 통해 주변의 비주얼 마커(200)를 검출할 수 있다. 마커(200)는 랜드마크(landmark), 맵 포인트(map point), 특징점(feature points), 키포인트(keypoints), 또는 특징 스팟(characteristic spots)일 수 있다.
전자 장치(100)는 컴퓨터 비전 알고리즘(computer vision algorithm)에 기초하여 비주얼 마커(200) 3차원 위치를 검출하고, 검출한 비주얼 마커(200)의 위치에 기초하여 WCS 내 전자 장치(100)의 위치(position) 및/또는 자세(orientation)를 계산할 수 있다. 이때, LSC 역시 전자 장치(100)의 위치(position) 및/자세 자세(orientation)에 따라 정의될 수 있다.
전자 장치(100)는 카메라를 통해 촬영한 이미지에 기초하여 WCS을 설정할 수 있고, 주변의 객체의 형상 및 3차원 위치를 획득할 수 있다. 예를 들어, 전자 장치(100)는 컴퓨터 비전 알고리즘을 이용하여 마커(200)를 검출하고, 마커(200)의 3차원 위치를 계산하여 포인트 클라우드(point cloud)를 획득할 수 있다.
전자 장치(100)는 포인트 클라우드의 포인트들에 대해 표면 재건 과정 등을 통해 폴리곤 메시(polygon mesh), 삼각형 메시(triangular mesh), NURB(Non-Uniform Rational Basis) 모델, 또는 CAD 모델의 3차원 표면을 형성할 수 있다. 전자 장치(100)는 표면 위에 카메라 이미지들로부터 계산되는 색을 결정할 수 있다.
전자 장치(100)는 카메라 및 깊이 센서(depth sensor)를 내장할 수 있다. 전자 장치(100)는 카메라 및 깊이 센서를 이용하여 촬영 영역에 포함된 각 점의 RGB(red, green, blue) 정보뿐만 아니라 깊이(depth) 정보까지 획득할 수 있다. 즉, 전자 장치(100)는 촬영 영역에 포함된 각 점들의 RGBD(red, green, blue, depth) 정보를 검출할 수 있다. 이하, WCS 상의 전자 장치(100)가 주변 현실 세계에 대해 검출한 모든 점들의 3차원 위치 정보 및 그래픽 정보를 W-RGBD 정보라 부른다.
전자 장치(100)는 W-RGBD 정보를 획득하기 위해 SLAM(Simultaneous Localization and Mapping) 알고리즘을 이용할 수 있다. 전자 장치(100)는 추가적으로 IMU 센서를 이용하여 VIO(visual inertial odometry) 알고리즘을 이용하여 W-RGBD 정보를 획득할 수도 있다. 이때, SLAM 알고리즘은 COM(Continuous odometry and mapping) 알고리즘일 수 있다.
전자 장치(100)는 IMU 센서 정보에 기초하여 카메라를 이용하지 않고 전자 장치(100)의 위치 및 자세 변화를 검출할 수 있다. 예를 들어, 전자 장치(100)는 IMU 센서 값을 이중 적분하는 추측 항법(dead reckoning navigation)을 통해 전자 장치(100)의 LCS가 WCS에서 이동한 3차원 위치 변화 및/또는 회전한 각도 변화를 검출할 수 있다. 이때, 전자 장치(100)는 초기 위치를 미리 알고 있어야 할 수 있다. 전자 장치(100)는 카메라를 이용하여 전자 장치(100)의 위치를 파악함으로써 IMU 센서 정보의 오차로 인한 위치 및 자세 변화의 오류를 보상할 수 있다. 전자 장치(100)는 전파 안테나 센서로 IMU 센서를 대체하여 위치 및 자세 변화를 검출할 수도 있다.
전자 장치(100)는 WCS에 고정된 비주얼 마커에 기초하여 전자 장치(100)의 위치를 추적하여 LCS를 검출할 수 있고, 검출한 LCS에 기초하여 WCS에 고정된 컨텐츠를 디스플레이할 수 있다.
전자 장치(100)는 후면의 메인 카메라를 이용하여 위치를 추적할 수 없는 경우 전면의 보조 카메라를 이용하여 위치를 추적할 수 있다. 전자 장치(100)는 미리 설치된 비주얼 마커가 없는 경우에도 공간의 천정 및/또는 벽을 비주얼 마커로 이용하여 위치를 추적할 수 있다.
전자 장치(100)는 전파를 이용하여 위치를 추적할 수 있다. 예를 들어, 전자 장치(100)는 고정된 전파가 존재하는 공간에서 전파를 반사하는 물체를 마커로 이용하여 움직임을 추적할 수 있다.
전자 장치(100)는 깊이 센서의 TOF(time of flight) 및/또는 wifi 라우터의 전파 신호의 TOF를 이용하여 움직임을 추적할 수 있다. 전자 장치(100)는 초광대역(UWB)을 이용한 위치 추적 방법으로 움직임을 추적할 수도 있다.
도 3a 내지 도 3c는 도 1에 도시된 전자 장치가 현실 세계를 디스플레이하는 동작을 설명하기 위한 도면이고, 도 4는 도 1에 도시된 전자 장치가 사용자의 눈을 추적하기 위한 마커를 도시하는 도면이다.
종래의 모바일 AR은 카메라에 촬영하는 시야(field of view(FOV))내의 이미지를 스마트폰의 스크린에 그대로 디스플레이하기 때문에 사용자는 디스플레이되는 화면과 현실 세계 사이에 이질감을 느낄 수 있다. 이때, 모바일 AR은 별도의 웨어러블 장치 없이 증강 현실을 구현하는 스마트폰 등의 장치를 의미할 수 있다.
예를 들어, 모바일 AR의 스크린이 사용자의 눈에서 멀면, 사용자의 눈에 작게 보이는 스크린에 카메라가 촬영한 전체 이미지가 디스플레이 되어 현실 세계를 직접 볼 때보다 크게 줌 아웃(zoom-out)된 것처럼 축소되어 보여지고, 현실 세계가 카메라에 가까워지면 사용자가 직접 볼 때보다 스크린에 줌 인(zoom-in)된 것처럼 확대되어 보일 수 있다.
전자 장치(100)는 사용자가 증강 현실을 제공하는 전자 장치(100)를 투명한 유리판 또는 투명 디스플레이인 느낌이 들도록 현실 세계를 스크린에 디스플레이할 수 있다. 즉, 전자 장치(100)는 전자 장치(100)에 디스플레이 되는 이미지와 현실 세계 사이의 이질감을 최소화할 수 있다. 또한, 전자 장치(100)는 WCS나 LCS 상에 위치와 방향이 정해지는 증강된 가상의 오브젝트(object)를 함께 디스플레이할 수 있다.
전자 장치(100)는 사용자가 현실 세계의 객체와 상호 작용할 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 사용자는 전자 장치(100)의 터치 스크린에 디스플레이 되는 객체를 터치하여 객체와 상호 작용할 수 있다.
도 3a를 참조하면, 종래의 스마트폰은 카메라(310)가 촬영하는 카메라의 시야(C-FOV(Camera-Field of view)) 내의 현실 세계를 스크린에 그대로 표시하기 때문에 사용자의 눈(300)이 카메라(310)의 위치에 있을 때 사용자가 보게 되는 시야 중 C-FOV 내의 이미지가 스크린에 디스플레이 될 수 있다.
일반적으로, 사용자는 스마트폰을 쥔 팔을 앞으로 뻗어 스크린에 디스플레이 되는 이미지를 관측하는데, 사용자 눈(300)이 볼 수 있는 전체 시야(E-FOV)는 카메라(310)의 시야 보다 넓을 수 있다. 예를 들어, 사용자는 C-FOV 내 이미지 전체를 스크린의 실루엣이 눈(300)으로 투영된 영역(즉, P1, P2, P3 및 P4를 꼭지점으로 하는 사각형 내부 영역)을 통해 보게 된다. 즉, 스마트폰은 사용자에게 EP-FOV 영역에 C-FOV의 이미지를 디스플레이 하므로, 사용자에게 이미지가 축소 또는 줌 아웃(zoom-out)되어 보이게 된다. 특히, 스마트폰에 의해 가려지는 EP-FOV의 밖에 존재하는 객체(330)가 C-FOV에 포함될 수 있고, 객체(330)는 E-FOV에도 포함되므로 사용자가 직접 바라볼 수도 있고 스크린을 통해서도 관측할 수 있다.
도 3c를 참조하면 카메라(310)가 현실 세계 속 대상 영역에 가까운 경우를 도시한다. 카메라(310)는 C-FOV 영역에 해당하는 V 영역을 촬영하고, 스마트폰은 V 영역만을 스크린에 디스플레이할 수 있다. 카메라(310)가 대상 영역에 가까워질수록 V 영역은 작아지며, 스크린에 V 영역이 크게 줌 인(zoom-in)되어 디스플레이 될 수 있다. 특히, C-FOV 밖이면서 EP-FOV에 포함되는 H 영역은 사용자가 실제로도 관측할 수 없으며, 스크린에도 디스플레이되지 않는다.
도 3c와 같이 대상 영역에 카메라(310)가 가까운 경우가 아니더라도, 사용자의 눈(300)이 스크린을 비스듬히 바라보는 경우에도 대상 영역 중 일부가 스크린에 의해 사용자의 눈에서 가려질 수 있다.
전자 장치(100)는 현실 세계의 객체가 중복되어 디스플레이 되지 않도록 하고, 스크린에 가려 사용자가 관측할 수 없는 영역을 최소화하여, 스크린에 디스플레이되는 이미지와 현실 세계 사이의 이질감이 없는 이미지를 디스플레이할 수 있다.
전자 장치(100)는 EP-FOV 영역 내 현실 세계의 이미지를 스크린에 디스플레이할 수 있다. 예를 들어, 전자 장치(100)는 카메라(310)를 통해 촬영한 이미지를 처리하여 EP-FOV 영역의 이미지를 획득하여 디스플레이할 수 있다. 이때, 카메라(310)를 통해 촬영되는 이미지는 제1 이미지라고 지칭될 수 있고, 스크린에 디스플레이되는 이미지는 제2 이미지라고 지칭될 수 있다.
전자 장치(100)는 컴퓨터 그래픽 알고리즘을 이용하여 카메라(310)를 통해 촬영한 이미지를 처리할 수 있다. 전자 장치(100)는 카메라(310)에 의해 촬영되지 않은 영역 H의 이미지를 컴퓨터 그래픽 알고리즘을 통해 획득할 수 있다. 예를 들어, 전자 장치(100)는 영역 H에 대해 이전에 다른 위치 및/또는 각도에서 촬영한 이미지에 기초하여 영역 H의 이미지를 획득할 수 있다.
전자 장치(100)는 사용자의 눈(300)의 위치 및 EP-FOV 영역에 대한 RGBD 정보에 기초하여 스크린에 디스플레이할 이미지를 생성할 수 있다. 전자 장치(100)는 실시간으로 촬영되는 현실 세계에 대한 RGBD 정보를 수집할 수 있다. 예를 들어, 전자 장치(100)는 실시간으로 디스플레이할 EP-FOV 영역뿐만 아니라 주위 영역에 대한 RGBD 정보를 사전에 수집하여 실시간 이미지 생성에 이용할 수 있다.
전자 장치(100)는 사영 변환(perspective transformation) 알고리즘을 이용하여, EP-FOV 영역의 객체들을 투영 중심(center of projection)을 사용자의 눈의 위치(300)로 하여 스크린이 배치된 이미지 평면(image plane)에 맺히는 상을 생성할 수 있다. 전자 장치(100)는 스크린의 각 픽셀의 RGB 값을 사영 변환을 통해 획득할 수 있다.
전자 장치(100)는 EP-FOV 영역 내 객체의 3차원 위치 정보, 색, 밝기 정보, 스크린에 대한 3차원 정보 및/또는 사용자 눈(300)의 위치에 기초하여 스크린에 디스플레이되는 이미지를 렌더할 수 있다. 이때, 사용자의 눈(300)의 위치는 사용자의 왼쪽 눈, 오른쪽 눈 또는 주안(dominant eye)의 위치일 수 있고, 양안 사이 중심 위치일 수도 있다.
전자 장치(100)는 이미지를 렌더하기 위해 근사적인 방법을 이용할 수 있다. 예를 들어, 전자 장치(100)는 W-RGBD 정보에 누락이 있는 경우에도 근사적인 알고리즘을 이용하여 이미지를 생성할 수 있다.
전자 장치(100)는 카메라(310)가 실시간으로 촬영하는 이미지, 카메라(310)를 통해 사전에 수집한 그래픽 정보, 사용자의 눈(300)의 위치에 기초하여 실시간으로 디스플레이하는 이미지를 생성할 수 있다.
카메라(310)가 실시간으로 촬영하는 이미지는 촬영하는 영역의 가상 오브젝트를 포함할 수 있으며, RGB 정보뿐만 아니라 3차원 위치 정보까지 포함하는 이미지일 수 있다.
사전에 수집한 그래픽 정보는 전자 장치(100)에 의해 가려지는 영역 H에 대한 정보를 포함할 수 있다. 즉, 전자 장치(100)는 다른 시점에 촬영한 이미지에 기초하여 실시간으로 촬영하는 영역 이외에 영역에 대한 RGBD 정보를 사전에 수집할 수 있다.
사용자의 눈(300)의 위치는 전자 장치(100)의 전면 카메라와 선택적으로 깊이 센서(depth sensor; 예를 들어, 라이다 센서(Lidar sensor))를 통해 촬영한 이미지에 기초하여 추적할 수 있다. 예를 들어, 전자 장치(100)는 스크린이 위치하는 면에 배치된 전면 카메라를 통해 획득되는 정보를 처리하여 WCS 및/또는 LCS에 대한 사용자의 눈(300)의 위치를 검출할 수 있다.
전자 장치(100)는 사용자의 눈(300) 위치를 정확히 추적할 수 없는 경우 눈(300)의 위치를 가정할 수 있다. 예를 들어, 전자 장치(100)는 스크린의 중심에서 수직하게 일정 거리(예를 들어, 30cm)에 사용자의 눈(300)이 위치한다고 가정할 수 있다.
전자 장치(100)는 사용자의 얼굴에 고정된 비주얼 마커(400)에 기초하여 눈(300)의 위치를 추적할 수 있다. 예를 들어, 도 4에 보인 바와 같이 전자 장치(100)는 카메라(310)에 부착된 광각 렌즈 및 적외선 필터를 통해 비주얼 마커의 적외선 램프(410 및 430)를 검출하여 눈(300)의 위치를 추적할 수 있다.
비주얼 마커(400)는 사용자의 귀에 장착될 수 있으며, 귀 앞쪽에 두 개의 LED 램프(410 및 430)가 부착될 수 있다. 비주얼 마커(400)의 뒤쪽에는 소형 배터리가 설치되어 귀에서 균형을 잡을 수 있다. 안경을 쓴 사용자의 경우 두 개 LED 램프(410 및 430)와 배터리를 안경의 한쪽 다리의 앞쪽과 뒤쪽에 부착하게 할 수 있다.
전자 장치(100)는 자기장 센서를 이용하여 눈(300)의 위치를 추적할 수도 있다. 전자 장치(100)는 사용자의 얼굴에 부착된 영구 자석의 위치를 검출하여 눈의 위치(300)를 추적할 수 있다.
전자 장치(100)는 근사적인 방법을 이용하여 증강 현실을 구현할 수 있다. 예를 들어, 전자 장치(100)는 3차원 공간에 대한 AR에서 W-RGBD의 정보가 부족하거나 현저하게 부정확할 경우, 또는 W-RGBD를 구축하거나 이미지를 생성하기 위한 컴퓨팅 파워(computing power)가 부족한 경우 근사적인 방법을 이용하여 증강 현실을 구현할 수 있다.
EP-FOV는 C-FOV가 EP-FOV보다 넓고 눈의 위치(300)로부터 전자 장치(100)의 스크린을 포함하는 평면에 내린 수선이 스크린의 가운데에서 충분히 가깝고, 촬영되는 대상 영역이 카메라(310)에서 먼 경우, C-FOV에 대체적으로 포함될 수 있다. 이 경우 전자 장치(100)는 카메라(310)가 촬영한 C-FOV 영역에 대한 이미지, 즉, 카메라 화소들의 픽셀 값에 기초하여 EP-FOV내 이미지를 근사적으로 획득할 수 있다.
전자 장치(100)가 C-FOV 영역에 대한 이미지에 기초하여 EP-FOV 내 이미지를 근사적으로 획득하는 과정을 설명하기 위해, C-FOV를 도시한 도 3d를 각각 위에서 및 옆에서 본 도 3e 및 도 3f와 같이, C-FOV의 각도 범위가 가로방향으로
Figure PCTKR2020011664-appb-img-000001
에서
Figure PCTKR2020011664-appb-img-000002
도이고, 세로방향으로
Figure PCTKR2020011664-appb-img-000003
에서
Figure PCTKR2020011664-appb-img-000004
도라 가정한다. 또한 카메라(310)의 위치를 투상 중심(center of projection)으로 하는 이미지 평면(image plane)에 C-FOV 영역의 이미지가 투영되고, 카메라(310)의 촬상 센서(예를 들어, 카메라 화소 어레이(390))의 좌표계는 카메라 화소 어레이(390) 중앙을 원점으로 하고, 각 화소가 x와 y축 방향으로 가로세로비(aspect ratio)가 같다고 가정한다.
전자 장치(100)는 도 3g와 같이, 직사각형 형태의 카메라 화소 어레이(3290)의 네 귀퉁이의 좌표를 촬상 센서의 해상도(resolution)에 의해 결정되는 특정 상수 R에 대해
Figure PCTKR2020011664-appb-img-000005
로 정해진다. 도 3a에서 사용자 눈(300)의 3차원상 위치를 E라 할 때, EP-FOV의 네 귀퉁이를 지나가는 선 P1-E, P2-E, P3-E, P4-E와 같은 Pi-E 광선들이 사용자의 눈(300)에서는 하나의 점으로 보이며, 현재 상용화된 스마트폰 AR 소프트웨어들은 보조 카메라를 사용하여 대부분 사용자 눈의 3차원 위치 E를 쉽게 측정해 내고 있다. 따라서 전자 장치(100)는 Pi-E를 구할 수 있으며, 이 벡터가 카메라의 좌표계에서 y=0인 평면과 이루는 각을 α i 및 x=0인 평면과 이루는 각을
Figure PCTKR2020011664-appb-img-000006
도 벡터 연산을 통해 구할 수 있다. 전자 장치(100)는 Pi-E 벡터가 화소 어레이 상에서
Figure PCTKR2020011664-appb-img-000007
위치의 픽셀에 위치하는 것으로 근사할 수 있다. 따라서, 전자 장치(100)는 화소 어레이 상에서 네 개의 꼭지점이
Figure PCTKR2020011664-appb-img-000008
인 사각형 영역을 스크린에 아핀 변환(affine transformation)하여, EP-FOV의 사영 이미지를 근사적으로 획득할 수 있다.
즉, 화소 어레이 중
Figure PCTKR2020011664-appb-img-000009
를 연결하는 사각형 영역 안의 카메라 센서 픽셀들의 RGB 값들로부터 EP-FOV 영역의 객체가 사용자의 눈(300)에 맺혀지는 이미지를 근사적으로 구할 수 있다. 전자 장치(100)는 이 사각형의 내용을 아핀(affine) 변환하여 직사각형인 실제 스크린 영역에 렌더하면 EP-FOV내용이 전자 장치(100)의 스크린을 통해 사용자에게 관측될 수 있다.
전자 장치(100)는 디스플레이하는 이미지에 줌 팩터(zoom factor)를 적용할 수 있다. 예를 들어, 전자 장치(100)는 사용자가 넓게 보고 싶은 경우, EP-FOV보다 넓은 FOV 영역을 디스플레이할 수 있다.
도 5a 내지 도 5d는 도 1에 도시된 전자 장치가 인쇄물과 상호작용할 수 있는 증강 현실을 제공하는 동작을 설명하기 위한 도면이다.
전자 장치(100)는 AR 북(AR book)을 구현할 수 있다. 예를 들어, 전자 장치(100)는 인쇄물(500)과 사용자가 상호 작용할 수 있는 증강 현실을 제공할 수 있다. 이때, 인쇄물(500)은 수평하게 놓인 책, 잡지 및/또는 책자 등일 수 있다.
전자 장치(100)는 사전에 인쇄물(500)을 전체적으로 촬영하여 인쇄물(500) 전체 영역에 대한 RGBD 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 인쇄물(500) 전체를 촬영할 수 있도록 높이 h c에서 카메라(310)를 통해 촬영한 이미지에 기초하여 인쇄물(500) 전체 영역에 대한 RGBD 정보를 획득할 수 있다.
전자 장치(100)는 한 번의 촬영으로 인쇄물(500) 전체 영역에 대한 RGBD 정보를 수집할 수 있지만, 서로 다른 거리 및/또는 각도에서 인쇄물(500)을 촬영하여 인쇄물(500)에 대한 RGBD 정보를 수집할 수도 있다.
전자 장치(100)는 사전에 촬영한 이미지에 기초하여 WCS를 정의할 수 있으며, 인쇄물(500)에 대한 WCS상의 위치 및/또는 방향에 관한 정보, 평면 위 각 점의 색에 대한 정보 등을 포함하는 W-RGBD 정보 수집하고 저장할 수 있다.
전자 장치(100)는 사전 정보를 수집한 이후 전자 장치(100)의 위치에 기초하여 인쇄물(500)을 스크린에 디스플레이하여 사용자에게 인쇄물(500)과 상호작용할 수 있는 인터페이스를 제공할 수 있다.
전자 장치(100)는 위치가 이동됨에 따라 카메라(310)를 통해 실시간으로 인쇄물(500)의 이미지를 획득할 수 있다. 이하, 전자 장치(100)가 카메라(310)를 통해 실시간으로 촬영하는 이미지를 실시간 정보(live information)이라고 부르도록 한다. 실시간 정보에는 각 픽셀의 RGB 정보뿐만 아니라 특징점 연산을 통해 추출한 깊이 정보도 포함될 수 있다.
전자 장치(100)는 실시간 정보에 기초하여 전자 장치(100)의 스크린의 위치(position) 및 자세(orientation)를 계산할 수 있다. 전자 장치(100)는 인쇄물(500)을 비주얼 마커로 이용하거나, 실시간 정보에 기초한 SLAM 알고리즘을 통해 전자 장치(100)의 LSC의 WCS 상의 위치 및 자세를 검출할 수 있다. 전자 장치(100)는 전자 장치(100)의 LSC의 WCS 상의 위치 및 자세에 기초하여 스크린의 위치 및 자세를 검출할 수 있다.
전자 장치(100)는 WCS상 사용자의 눈(300)의 위치를 검출할 수 있다. 다른 예로 전자 장치(100)는 WCS 상 사용자의 눈(300)의 위치를 가정할 수 있다. 예를 들어, 도 5a에서는 눈(300)의 위치를 인쇄물(500)에서 수평으로 w e, 수직으로 h e 위치로 가정한다.
전자 장치(100)는 실시간 정보에 기초하여 사전에 수집한 W-RGBD 정보를 업데이트 할 수 있다. 예를 들어, 전자 장치(100)는 실시간 정보에 기초하여 인쇄물(500)에 대한 W-RGBD 정보를 업데이트할 수 있다.
전자 장치(100)는 사전에 수집한 W-RGBD 정보, 실시간 정보, 전자 장치(100)의 위치, 전자 장치(100)의 자세 및 사용자의 눈(300)의 위치에 기초하여 스크린에 디스플레이할 이미지를 생성할 수 있다. 이때, 전자 장치(100)는 카메라(310)의 시점이 아닌, 사용자의 눈(300)의 위치를 기준으로 디스플레이할 이미지를 생성할 수 있다.
전자 장치(100)는 실시간으로 수집하는 실시간 정보를 누적하여 이미지 생성에 이용할 수 있다. 예를 들어, 전자 장치(100)는 스크린에 가려지지만 카메라(310)를 통해 촬영되지 않는 영역을 포함하는 이미지를 생성하기 위해 과거에 촬영하여 수집한 W-RGBD 정보를 이용할 수 있다.
전자 장치(100)는 현실 세계의 객체 대한 원본 데이터에 기초하여 디스플레이할 이미지를 생성할 수 있다. 전자 장치(100)는 미리 저장되어 있거나 외부 기기로부터 전송받는 인쇄물(500)의 내용에 대한 정보에 기초하여 이미지를 생성할 수 있다. 예를 들어, 전자 장치(100)는 인쇄물(500)이 WCS 및/또는 LCS에 대한 위치 및 자세를 검출하여 대응하는 인쇄물(500)의 내용을 디스플레이할 수 있다.
전자 장치(100)는 현실 세계의 객체에 대한 원본 데이터 및 객체의 WCS 및/또는 LCS에 대한 위치 및 자세를 가지고 있는 경우 최우선으로 이용하여 디스플레이할 이미지를 생성할 수 있다.
전자 장치(100)는 객체에 대한 원본 데이터 또는 객체의 WCS 및/또는 LCS에 대한 위치 및 자세를 가지고 있지 않은 경우, 카메라(310)를 통해 획득한 실시간 정보를 이용하여 이미지를 생성할 수 있다.
전자 장치(100)는 객체에 대한 원본 데이터 또는 객체의 WCS 및/또는 LCS에 대한 위치 및 자세를 가지고 있지 않는 경우, 실시간으로 카메라(310)를 통해 촬영되지 않지만 EP-FOV에 포함되는 영역(예를 들어 도 3c의 영역 H)에 대해서는 사전에 수집한 W-RGBD 정보를 이용하여 이미지를 생성할 수 있다.
전자 장치(100)는 상술한 정보에 기초하여 이미지를 생성할 때, 전자 장치(100)의 스크린을 이미지 평면(image plane), 눈(300)의 위치를 투영 중심(center of projection)으로 한 사영 변환(perspective transformation)에 기초하여 이미지를 렌더하여 스크린에 디스플레이할 수 있다.
전자 장치(100)는 카메라(310)가 객체에 근접하여 실시간으로 이미지를 획득하지 못하는 경우에도 객체를 지속적으로 디스플레이하여 사용자에게 객체와 상호 작용할 수 있는 인터페이스를 제공할 수 있다.
전자 장치(100)는 카메라(310)가 객체에 근접했는지 여부를 판단할 수 있다. 예를 들어, 전자 장치(100)는 카메라(310)가 초점을 잡는지 여부, IMU 센서 데이터 및/또는 보조 카메라(510)를 통해 획득하는 정보에 기초하여 객체에 근접했는지 여부를 판단할 수 있다. 전자 장치(100)는 객체에 근접하여 실시간 정보를 획득하지 못한다고 판단하는 경우 실시간 정보가 수집된 마지막 위치 또는 마지막 위치에 매우 근접하게 전자 장치(100)가 위치하는 것으로 판단하고, 사전에 수집된 정보에 기초하여 객체를 지속적으로 디스플레이하고 가상 오브젝트에 대한 렌더링도 지속할 수 있다.
전자 장치(100)는 카메라(310)를 통해 실시간 정보를 획득하지 못하는 경우에도, IMU 센서 및/또는 보조 카메라(510)를 이용하여 전자 장치(100)의 위치 및 자세를 검출할 수 있다.
전자 장치(100)는 보조 카메라(510)를 통해 현실 세계 고정된 영역을 촬영하여 컴퓨터 비전 알고리즘을 이용하여 제2 좌표계(WCS2)를 설정할 수 있다. 예를 들어, 전자 장치(100)는 천정에 있는 움직이지 않는 구조물의 꼭지점 및/또는 벽지 무늬 등을 포함하는 복수의 특징점에 기초하여 WCS2를 설정할 수 있다.
전자 장치(100)는 보조 카메라(510)의 좌표계에 대해 WCS2 상 특징점의 3차원 좌표를 추적할 수 있다. 보조 카메라(510)의 좌표계는 전자 장치(100)의 좌표계와 서로 고정되어 있으므로, 보조 카메라(510)를 통해 추적한 WCS2 상 특징점에 기초하여 전자 장치(100)의 위치 및 자세를 검출할 수 있다.
전자 장치(100)는 사전에 검출한 W-RGBD 정보를 전자 장치(100)의 좌표계를 기준으로 변환하고, 다시 보조 카메라(510)의 좌표계를 기준으로 변환하여 최종적으로 WCS2를 기준으로 하는 W-RGBD 정보로 변환할 수 있다.
전자 장치(100)는 WCS2에서 보조 카메라(510)의 위치 및 자세를 검출할 수 있고, 대응되는 인쇄물(500)의 영역을 W-RBGD 정보에 기초하여 디스플레이할 수 있다.
전자 장치(100)는 카메라(310)로부터 실시간 정보를 수집하지 못하는 경우에도, 보조 카메라(310) 및/또는 IMU 센서에 기초하여 전자 장치(100)의 위치 및 자세를 검출할 수 있으므로, 실시간 정보를 수집하는 경우와 동일한 방식으로 객체를 스크린에 디스플레이할 수 있다. 즉, 전자 장치(100)는 인쇄물(500)에 접촉한 경우에도 사용자의 시야 중 스크린으로 인해 가려지는 인쇄물(500)의 영역을 스크린에 디스플레이할 수 있다.
전자 장치(100)는 보조 카메라(510)를 통해 특징점을 연속적으로 촬영을 하고 COM(concurrent odometry and mapping)을 적용하여 전자 장치(100)의 움직인 위치 및 각도를 검출할 수 있다.
전자 장치(100)의 움직임은 전자 장치(100)에 내장된 IMU 센서에 기초하여 검출될 수 있다. 예를 들어, 전자 장치(100)의 위치와 각도 변화는 가속기(accelerometer) 값 및/또는 자이로스코프(gyroscope)값을 이중 적분함으로써 검출할 수 있다. 전자 장치(100)는 센서의 드리프트 및 에러를 줄이기 위해 센서 퓨전(sensor fusion) 알고리즘 추가로 적용할 수 있다.
도 5d를 참조하면, 전자 장치(100)는 전자 장치(100)가 움직이는 범위의 상부 및 하부에 배치된 비주얼 마커(570-1 및 570-2)에 기초하여 전자 장치(100)의 위치 및 자세를 추정할 수 있다. 예를 들어, 전자 장치(100)는 비주얼 마커(570-1 및 570-2)에 기초하여 특징점 추적 과정 없이 SLAM을 수행할 수 있다.
비주얼 마커(570-1 및 570-2)는 스탠드(550)의 위와 아래에 서로 고정될 수 있으며 비주얼 마커(570-1 및 570-2)를 기준으로 위치 및 각도가 알려진 좌표계 R1 및 R2가 정의될 수 있다.
전자 장치(100)는 비주얼 마커(570-1 및 570-2)를 이용하여 인쇄물(500)의 컨텐츠 촬영과 촬영된 컨텐츠 위에 놓인 전자 장치(100)의 위치를 검출할 수 있다. 즉, 전자 장치(100)는 비주얼 마커(570-1 및 570-2)에 기초하여 렌더 영역 또는 EP-FOV를 결정할 수 있다.
전자 장치(100)는 후면 카메라(310)로 컨텐츠와 함께 비주얼 마커(570-2)를 촬영할 수 있다. 컨텐츠의 각 점은 비주얼 마커(570-2)의 좌표계 R2에 정해진 위치에 있으며 좌표계 R2 및 R1는 서로 고정되어 있으므로 R2을 기준으로 검출한 촬영한 컨텐츠 각 점의 위치를 좌표계 R1 상으로 검출할 수 있다.
전자 장치(100)를 컨텐츠 위에 올리고 전면 카메라(510)로 비주얼 마커(570-1)를 촬영할 수 있다. 전자 장치(100)는 비주얼 마커(570-1)를 촬영하여 컨텐츠를 가리는 스크린의 전면의 R1 좌표계 상의 위치 및 각도를 검출할 수 있다. 전자 장치(100)는 이미 저장된 촬영된 컨텐츠에 기초하여 전자 장치(100)가 위치하는 영역에 대한 이미지를 생성하여 디스플레이할 수 있다.
비주얼 마커(570-1 및 570-2) 중 인쇄물(500) 쪽 비주얼 마커(570-2)는 생략될 수 있다. 비주얼 마커(570-1)는 스탠드에 고정되며, 인쇄물(500)은 이동하지 않으므로, 인쇄물(500)과 비주얼 마커(570-1)의 상대적 위치는 고정될 수 있다. 인쇄물(500)은 비주얼 마커(570-1)를 기준으로 정의된 좌표계 R1에 기초한 평면 방정식으로 위치가 표현될 수 있다. 예를 들어, 비주얼 마커(570-1)가 배치된 면이 인쇄물(500)이 놓인 평면과 대체적으로 평행하므로, 인쇄물(500)은 비주얼 마커(570-1)의 높이에 대한 방정식으로 위치가 표현될 수 있다.
전자 장치(100)는 전면 카메라(510)로 비주얼 마커(570-1)를 촬영하여 위치 및 각도를 검출할 수 있고 비주얼 마커(570-1)를 기준으로 인쇄물(500)의 위치를 알 수 있으므로, 인쇄물(500)을 기준으로 전자 장치(100)의 위치를 검출할 수 있다.
전자 장치(100)는 후면 카메라(310)를 통해 인쇄물(500)의 컨텐츠를 촬영하고 촬영된 컨텐츠로 저장할 수 있다. 동시에 전자 장치(100)는 후면 카메라(510)를 통해 비주얼 마커(570-1)를 촬영할 수 있다.
전자 장치(100) 비주얼 마커(570-1)의 이미지로부터 좌표계 R1에서 인쇄물(500)의 컨텐츠가 촬영되는 때의 전면 카메라(510)의 좌표계 C2를 알 수 있고, C2와 서로 알려진 위치와 각도로 고정되어 있는 후면 카메라(310)의 좌표계 LCS를 선형 변환을 통해 획득할 수 있다. 전자 장치(100)는 촬영된 컨텐츠가 놓인 3차원 평면의 LCS에서의 방정식을 구할 수 있으며, 후면 카메라(510)가 촬영한 촬영된 컨텐츠의 각 픽셀의 LCS 또는 R좌표계 상에서의 3차원 위치를 획득할 수 있다.
전자 장치(100)는 인쇄물(500)에 접촉하는 경우 전면 카메라(510)를 통해 비주얼 마커(570-1)가 포함된 이미지를 획득하고, 비주얼 마커(570-1)에 기초하여 전면 카메라의 좌표계 C2의 R1 상에서의 위치 및 방향을 계산할 수 있다. 전자 장치(100)는 좌표계 C2에 대한 위치에 기초하여 좌표 변환을 통해 좌표계 R1 상에서 폰의 전면에 의해 가려진 렌더 영역(EP-FOV)을 검출할 수 있다.
전자 장치(100)는 비주얼 마커(570-1)의 높이를 미리 알지 못하더라도, 카메라(510)를 통해 물리적 깊이를 측정하여 높이를 검출할 수 있다. 예를 들어, 전자 장치(100)는 TOF 깊이 센서(time of flight depth sensor)를 이용하거나 구조광(structured light)를 이용하거나, 두 개 이상의 서로의 위치가 고정되고 알려진 카메라를 이용하여 물리적 깊이를 측정할 수 있다.
전자 장치(100)는 하나의 카메라에 찍힌 이미지 상에 있는 특징점이 다른 카메라에 찍힌 이미지에서는 어디 있는지를 찾아내어 삼각측량법(triangulation)을 적용하여 깊이를 측정할 수 있으며, MKS 단위의 측정을 하는 IMU 센서 데이터 및 카메라에 비주얼 오도메트리(visual odometry)를 적용한 데이터를 사용하여 물리적 깊이나 물리적 거리를 측정할 수 있다.
도 6a 내지 도 6e는 도 1에 도시된 전자 장치가 대상에 접촉하는 경우 동작 방법을 설명하기 위한 도면이다.
전자 장치(100)는 인쇄물(610) 뒤에 배치된 비주얼 마커(630)에 기초하여 전자 장치(100)의 위치를 검출할 수 있다. 이때, 인쇄물(610)은 반투명 인쇄물일 수 있다.
반투명 인쇄물(610)은 OHP 필름(overhead projector film), 투명 시트(transparent sheet), 썬팅 필름, 거울 시트지, 아크릴 및 유리와 같이 투명하거나 반투명한 재질로 이루어진 막이거나, 이러한 막과 그 위에 반투명한 도료로 이미지가 인쇄된 인쇄물일 수 있다.
반투명 인쇄물(610)은 리어 스크린(rear screen 또는 홀로그램 프로젝터 스크린) 및/또는 투명 스크린에서 쓰이는 얇은 금속 도포물을 투명한 재질에 도포한 것일 수 있고, 추가로 그 위에 투명한 물감으로 채색을 하는 등의 방법으로 제작될 수 있으며, 아날로그 영사기 필름 재질 등이 이용될 수 있다.
비주얼 마커(630)는 불투명한 재질 위에 위치 및 추가로 각도가 인식 가능한 이미지일 수 있다. 비주얼 마커(630)는 빛의 투과율이 작은 반투명한 이미지로 구성되어 도 6b에 보인 후면에 있을 수 있는 광원(650)으로부터의 빛이 반투명 인쇄물(610)을 통과하지 않도록 할 수 있다.
도 6c에 예시한 것처럼 반투명 인쇄물(610) 및 비주얼 마커(630)의 측면에 빛을 차단하는 벽(W)이 설치될 수 있다.
전자 장치(100)가 반투명 인쇄물(610)에 접촉하지 않는 경우 전자 장치(100)의 카메라(310)는 반투명 인쇄물(610)에서 반사된 광선(R) 및 반투명 인쇄물(610)을 통과하여 비주얼 마커(630)에서 반사된 광선(S)을 촬영할 수 있다. 즉, 비주얼 마커(630)에서 반사된 광선(S)은 반투명 인쇄물(610)을 통과해 감쇄된 빛이 비주얼 마커(630)에서 반사된 후, 다시 반투명 인쇄물(610)을 통과하여 충분히 감쇄된 광선이다.
반투명 인쇄물(610)의 투명도 및/또는 명도와 비주얼 마커(630)의 명도는 전자 장치(100)가 반투명 인쇄물(610)과 충분히 떨어져 있는 동안에는 비주얼 마커(630)의 이미지는 크게 감쇄되고 반투명 인쇄물(610)의 깨끗한 이미지만 카메라(310)를 통해 획득되도록 조절될 수 있고, 주변 조명 역시 적절하게 조절될 수 있다.
전자 장치(100)는 반투명 인쇄물(630)과 떨어져 있는 동안에는 카메라(310)를 통해 반투명 인쇄물(610)의 이미지에 기초하여 전자 장치(100)의 위치를 추적하여, 스크린에 디스플레이할 이미지를 생성할 수 있다.
도 6d에서처럼 전자 장치(100)가 반투명 인쇄물(610)에 근접하거나 접촉하는 경우 카메라(310)는 반투명 인쇄물(610)의 내용을 촬영할 수 없게 되고, 대신 비주얼 마커(630)에서 반사되는 이미지를 주로 획득할 수 있다. 즉, 전자 장치(100)가 반투명 인쇄물(610)에 근접하거나 접촉하는 경우, 전자장치(100)가 반투명 인쇄물(610)의 표면을 외부 빛으로부터 차폐를 시켜 R은 사라지고 카메라(310)는 비주얼 마커(630)에서 반사된 광선(S)만을 획득할 수 있다. 전자 장치(100)는 전체적으로 입사되는 빛의 양이 줄어들기 때문에 카메라(310)의 아이리스 조절 및/또는 플래시를 켜서 비주얼 마커(630)의 이미지를 상대적으로 더 밝고 깨끗하게 획득할 수 있다. 이때, 반투명 인쇄물(610) 및 비주얼 마커(630) 사이 거리는 카메라(310)가 초점을 잡을 수 있도록 일정 거리(d) 이상일 수 있다.
전자 장치(100)는 카메라(310)를 통해 촬영된 비주얼 마커(630)의 이미지에 기초하여 전자 장치(100)의 좌표계 LCS에서의 비주얼 마커(630) 위치 및 각도를 획득할 수 있다.
전자 장치(100)는 LCS에서의 비주얼 마커(630) 위치 및 각도에 기초하여 전자 장치(100)가 반투명 인쇄물(610)에 접촉한 위치 및/또는 각도를 검출할 수 있다. 전자 장치(100)는 접촉한 위치 및/도는 각도에 기초하여 전자장치 또는 스크린이 가리는 반투명 인쇄물(500)의 영역 및 영역에 대응하는 가상 오브젝트를 스크린에 디스플레이할 수 있다.
전자 장치(100)는 비주얼 마커(630)에 기초하여 인쇄물(610)에 접촉했는지 여부를 판단할 수 있다. 예를 들어, 카메라(310)를 통해 비주얼 마커(630)가 식별되고 인쇄물(610) 및 비주얼 마커(630) 사이의 거리를 검출하여 알려진 인쇄물과 비주얼 마커 사이의 거리 d와 비교하면 전자 장치(100)가 인쇄물(610)에 접촉했는지 여부를 판단할 수 있다.
도 6e에 보인 바와 같이 인쇄물(610)은 인쇄물 전역에 미세한 구멍(690)들을 포함할 수 있다. 이때, 인쇄물(610)은 구멍 외에는 투명하지 않거나 투명도가 매우 낮을 수 있다.
미세한 구멍(690)들을 포함하는 인쇄물(610)은 일정 거리 이상에서 관찰하는 경우 인쇄물(610)의 내용만 확인되고, 매우 근접한 거리에서만 미세한 구멍(690)이 관측될 수 있다. 또한 구멍(690)의 크기가 구멍 간의 거리에 비해 작아서 거리를 두고 인쇄물(610)을 바라보면 인쇄물이 불투명에 가깝게 보이는 것이 바람직하다.
전자 장치(100)가 인쇄물(610)에 매우 근접하거나 접촉하는 경우 카메라(310)는 미세한 구멍이 포함된 이미지(695)를 촬영할 수 있다. 구멍이 아닌 부분은 전자 장치(100)에 의해 빛이 차단되어 극히 어둡게 촬영되고, 구멍(690)은 상대적으로 밝게 촬영된다. 따라서, 촬영된 이미지를 적절히 전처리하면 전자 장치(100)는 미세한 구멍이 포함된 근접 이미지(695)를 비주얼 마커로 활용할 수 있다. 즉, 전자 장치(100)는 미세한 구멍이 포함된 근접 이미지(695)에 기초하여 인쇄물(610) 후면에 비주얼 마커(630) 없이 위치 및 각도를 검출할 수 있다.
미세한 구멍(960)들 각각은 인쇄물(610) 상 위치에 따라 서로 다른 거리 및 각도로 배치되어 미세한 구멍이 포함된 이미지(695)가 비주얼 마커로 활용될 수 있다. 즉, 전자 장치(100)는 구분되는 각도 및 거리에 있는 미세한 구멍(690)에 기초하여 전자 장치(100)가 인쇄물(610)에 접촉하는 위치 및 각도를 검출할 수 있다. 이때 미세한 구멍(690)들은 물리적으로 뚫려 있는 구멍일 수도 있고 투명도가 아주 높아 빛을 잘 통과시키는 막의 부분들 일 수도 있다.
전자 장치(100)는 미세한 구멍(690)들의 크기 및/또는 모양을 구분하여 비주얼 마커로 활용될 수도 있다. 예를 들어, 인쇄물(610)에 원, 사각형, 삼각형, 오각형 및 십자 모양의 미세한 구멍(690)을 뚫어 전자 장치(100)에 의해 구분되도록 할 수 있다.
전자 장치(100)는 구멍(690)들을 구분되는 거리, 각도, 모양, 크기로 배치하지 않아도, 인쇄물(610)의 구멍을 통해 보이는 인쇄물 뒤에 있는 물체들의 풍경으로부터 특징점(feature point)을 구성하거나, 비주얼 마커(630)를 인쇄물(610) 뒤에 더 두어 전자 장치(100)가 인쇄물(610)에 접촉하는 위치 및 각도를 검출할 수도 있다. 이 경우, 인쇄물(610)에 뚫린 구멍(690)들은 모두 동일한 거리와 각도의 패턴으로 배치될 수 있다. 예를 들어, 구멍(690)들은 도 6f와 같이 서로 동일한 간격으로 이격되어 인쇄물(610) 상에 배치될 수 있다. 또한, 구멍(690)은 매우 미세한 크기이어서, 인쇄물(610)의 내용에 영향을 미치지 않으며, 일정 거리 이상에서는 구멍(690)이 관측되지 않을 수 있다. 또한 구멍들은 메쉬천이나 반투명 삼베천에서와 같이 무작위하게 변하는 크기나 위치일 수 있다. 다만 전자 장치(100)를 근접했을 때 전자 장치(100)의 카메라 광각(C-FOV)에 적어도 1개 이상의 구멍이 들어오도록 배치하는 것이 바람직하다.
카메라(310)가 미세한 구멍(690)에 근접하면, 각 구멍이 핀홀 렌즈(pinhole lens) 역할을 하게 되어, 구멍(690)의 크기보다 구멍(690) 간의 거리가 훨씬 크더라도, 카메라(310)는 구멍(690) 뒤의 이미지를 촬영할 수 있다. 예를 들어, 카메라(310)는 미세한 구멍(690)을 핀홀 렌즈로 활용하여, 미세한 구멍(690)이 뚫린 인쇄물(610) 뒤에 위치하는 비주얼 마커(630) 및/또는 풍경을 가림 없이 촬영할 수 있다.
전자 장치(100)는 미세한 구멍(690) 뒤에 위치하는 비주얼 마커(630) 및/또는 풍경의 특징점에 기초하여 인쇄물(610)에 부착된 위치 및 각도를 인식할 수 있다. 즉, 핀홀 렌즈의 특성상, 비주얼 마커(630)가 인쇄물(610)에 아주 가까이 배치되거나 멀리 배치됨과 상관없이 비주얼 마커(630)의 상이 별도 렌즈 없이 일반 카메라로 선명하게 촬영되어, 전자 장치(100)가 인쇄물에 접촉하는 위치와 각도를 손쉽게 측정할 수 있다.
전자 장치(100)는 각각의 미세한 구멍(690) 바로 뒤에 서로 구분되는 미세한 비주얼 마커들을 배치하여, 카메라에 촬영되는 구멍을 통해 보이는 비주얼 마커로부터 전자 장치(100)가 인쇄물(610)에 접촉하는 위치 및 각도를 측정할 수 있다.
즉, 미세한 구멍(690)이 뚫려 있는 불투명한 막이 전술한 반투명 막 역할을 하게 될 수 있다.
도 6g는 카메라(310)가 인쇄물(610)에 근접하여 촬영하는 경우 구멍(690)이 핀홀 렌즈와 같은 역할을 수행하여 입사되는 빛이 겹쳐지는 현상을 보여준다. 카메라(310)가 인쇄물(610)에 더 근접하여 접촉하는 경우 인쇄물(610) 뒤에 배치된 비주얼 마커(630)가 선명하게 촬영되는 것을 도 6h를 통해 확인할 수 있다.
도 7a 및 도 7b는 도 1에 도시된 전자 장치가 프로젝터에 의해 투사된 이미지와 상호작용할 수 있는 증강 현실을 제공하는 동작을 설명하기 위한 도면이다.
전자 장치(100)는 동적으로 변하는 이미지에 기초하여 증강 현실을 구현할 수 있다. 전자 장치(100)는 프로젝터(750)가 투사하는 이미지와 사용자가 상호 작용할 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 프로젝터(750)는 컴퓨터 스크린에 비춰지는 것과 같이 운영체제(OS) 및/또는 응용 프로그램의 이미지를 그대로 투사할 수 있으며 전자 장치(100)는 투사되고 있는 운영체제 및/또는 응용 프로그램을 조작하는 마우스나 터치스크린과 같은 입력 장치로 이용될 수 있다.
프로젝터(750)는 반투명 막(710)에 이미지를 투사하고, 반투명 막(710)의 후면에 비주얼 마커(730)가 위치할 수 있다. 반투명 막(710)은 프로젝터의 투사 내용을 잘 보이도록 인쇄된 내용이 없는 반투명 막(710)일 수 있다.
컨트롤러(770)는 프로젝터(750)를 제어할 수 있다. 도 7b 및 도 7c에는 컨트롤러(770)를 전자 장치(100)와 별개로 구현했지만, 전자 장치(100)가 프로젝터(750)를 제어하는 컨트롤러(770)를 포함할 수 있다.
컨트롤러(770)는 프로젝터(750)가 투사하는 이미지를 제어하고, 투사하는 이미지를 전자 장치(100)에 전송할 수 있다.
전자 장치(100)는 반투명 막(710)에 접촉한 상태로 비주얼 마커(730)에 기초하여 전자 장치(100)의 위치 및 자세를 검출할 수 있고, 스크린에 전자 장치(100)의 위치 및 자세에 대응되는 이미지를 디스플레이할 수 있다. 즉, 전자 장치(100)는 프로젝터(750)가 투사하는 이미지 중 전자 장치(100)의 위치에 대응하는 영역의 이미지를 디스플레이할 수 있다.
비주얼 마커(730)에 기초하여 전자 장치(100)의 위치 및 각도를 검출하는 과정은 도 6a 내지 도6h의 비주얼 마커(630)를 이용하는 과정과 동일하므로 중복하여 설명하지 않기로 한다.
전자 장치(100)는 전자 장치(100)의 위치에 대응하는 이미지를 디스플레이하여 사용자에게 해당 영역의 이미지와 상호 작용할 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 전자 장치(100)는 투사된 이미지에 정보를 입력하는 입력 장치로 활용되거나, 포인팅 장치로도 활용될 수 있다. 죽, 전자 장치(100)는 전자 장치(100)가 움직임에 따라 전자 장치(100) 내 고정된 점의 움직임을 투사된 이미지에 기록할 수 있다. 이때, 특정 점은 전자 장치(100)의 고정된 특정 위치의 점일 수도 있고, 스크린에 터치 입력이 일어나고 있는 전자 장치(100)의 좌표계 상에서 움직이는 점일 수도 있다. 즉, 전자 장치(100)를 움직이면서 스크린을 터치하여 터치가 되는 점의 WCS상의 위치를 투사되는 이미지 내용(예를 들어 OS 또는 응용 프로그램)에 대한 입력으로 사용할 수도 있다
도 7b 및 도 7c에서는 프로젝터(750)가 반투명 막(710)의 앞에 있는 것으로 도시하였으나 프로젝터(750)는 반투명 막의 후면에 있을 수도 있으며, 거울과 함께 배치될 수도 있다. 프로젝터(750)가 막의 앞에 있을 경우 막(710)은 불투명 할 수도 있다.
전자 장치(100)는 프로젝터(750)를 비주얼 마커로 이용하여 전자 장치(100)의 위치 및 각도를 검출할 수 있다. 예를 들어, 전자 장치(100)는 메인 카메라(310)를 통해 반투명 막(710) 뒤에 있는 프로젝터(750)의 위치 및/또는 프로젝터(750)가 투사하는 이미지를 획득하여 전자 장치(100)의 위치 및 각도를 검출할 수 있다. 전자 장치(100)는 보조 카메라(510)를 통해 프로젝터(750)의 광원의 위치를 검출하고, 광원의 위치에 기초하여 전자 장치(100)의 위치 및 각도를 검출할 수 있다.
전자 장치(100)는 가속도계를 이용하여 전자 장치(100)가 중력 방향에 대해 위치하는 방향을 검출할 수 있다. 예를 들어, 이미지가 수평하게 투사되는 경우 중력 방향을 수직하므로, 가속도계에 기초하여 전자 장치(100)가 위치하는 자세를 검출할 수 있다.
전자 장치(100)는 투사되는 이미지 중 전자 장치(100)가 부착된 영역의 이미지를 획득할 수 있으며 스크린에 해당 영역에 대응되는 이미지 및/또는 증강된 이미지를 디스플레이할 수 있다.
전자 장치(100)는 스마트폰이나 태블릿의 형태로만 국한되는 것은 아니며, 카메라를 내장하며, 카메라가 촬영하는 이미지를 처리할 수 있는 프로세서, 메모리, 통신 장치 등을 포함하는 다양한 장치일 수 있다. 예를 들어, 디지털 펜 형태로도 구현할 수 있다.
디지털 펜의 형태로 제작된 전자 장치(100)의 경우 현실 세계의 인쇄물이나 막, 벽, 종이 등에 잉크로 필기 내용을 현실 세계에 남기도록 실제 펜 촉을 포함할 수 있다. 전자 장치(100)를 스마트폰의 형태로 구현하는 경우, 전자 장치(100)에 아날로그 펜 촉을 부착할 수 있다.
컨트롤러(770)는 전자 장치(100)에 수신되는 사용자 입력에 기초하여 투사되는 이미지를 처리할 수 있다. 예를 들어, 사용자가 전자 장치(100)를 통해 이미지가 투사되는 영역에 선을 그리는 경우 투사되는 이미지에 선을 반영시켜 투사되도록 할 수 있다.
전자 장치(100)는 자신의 위치와 각도 변화를 추적하여 현실 세계 및/또는 증강된 컨텐츠를 렌더할 수도 있고, 평면 위를 터치하며 자신이 움직여 간 위치를 렌더하고 저장할 수 있다.
전자 장치(100)는 원본 데이터가 저장되어 있지 않은 인쇄물 또는 사용자가 필기하거나 그린 노트에 기초하여 사용자와 상호작용할 수 있다.
전자 장치(100)는 카메라(310)를 통해 촬영한 인쇄물에 대해 컴퓨터 비전을 이용하여 문자를 인식하고, 인식된 문자들을 소리로 출력할 수 있다. 전자 장치(100)는 인식된 문자들을 다른 언어로 번역할 수도 있으며, 인식된 문자들로 구성된 단어 또는 구에 대해 인터넷 검색 결과를 제공할 수 있다.
전자 장치(100)는 OCR(optical character recognition)에 해당하는 알고리즘에 기초하여 문자를 인식할 수 있다. 전자 장치(100)는 인식된 문자들에 대해 TTS(text to speech)를 적용하여 촬영한 이미지내 렌더 영역에 있는 문장이나 단어를 소리로 출력할 수 있다.
전자 장치(100) 촬영한 이미지 내 렌더 영역에 포함된 전체 텍스트, 각 문장, 각 구, 및 각 단어를 다른 언어로 번역할 수 있다. 또한, 전자 장치(100)는 인식된 단어 또는 구에 대해 인터넷 검색 결과나 사전을 연결할 수 있다.
전자 장치(100)는 이미지 로컬라이제이션(image localization), 오브젝트 디텍션(object detection) 또는 오브젝트 세그맨테이션(object segmentation) 알고리즘응ㄹ 적용하여 촬영한 현실 세계 내에 이용될 수 있는 객체들을 표현할 수 있다. 즉, 전자 장치(100)는 사용자와 상호 작용할 수 있는 객체들을 배경과 분리하여 디스플레이할 수 있다.
전자 장치(100)는 분리된 객체를 조각별로 확대하거나 회전하는 애니메이션 효과를 넣을 수 있으며, 각 객체를 인식하여 인식된 객체의 종류 및/또는 이름을 텍스트 형식으로 대응시켜 디스플레이할 수 있다. 전자 장치(100)는 TTS로 각 객체에 대응되는 텍스트를 소리로 출력할 수 있다. 전자 장치(100)는 각 객체에 대응하는 텍스트에 대한 검색 결과를 제공할 수 있다.
전자 장치(100)는 스크린에 렌더 영역에 해당하는 영역의 이미지, 이 이미지에 확대/축소 애니메이션을 적용한 이미지, 사용자의 주석(annotation)이 추가된 이미지를 디스플레이할 수 있다. 또한, 전자 장치(100)는 분리된 객체에 대응하는 텍스트에 TTS를 적용하여 소리로 출력하거나, 텍스트를 번역하여 디스플레이 하거나 검색 결과나 사전으로 연결하는 링크를 디스플레이할 수 있다.
전자 장치(100)는 사용자 입력을 수신할 수 있다. 예를 들어, 전자 장치(100)는 사용자가 전자 장치(100)를 특정 위치에 놓거나 이동시키는 입력(hover), 사용자가 전자 장치(100)의 터치스크린의 특정 위치를 터치하거나 그 위에 획 등을 그리는 것도 입력(touch)을 수신할 수 있다. 또한, 전자 장치(100)는 사용자가 입력한 텍스트, 사용자의 음성 입력을 수신할 수 있다.
전자 장치(100)는 사용자 입력에 기초하여 상술한 증강 현실 내 객체의 처리 및 표현 동작을 수행할 수 있다.
전자 장치(100)는 사용자 주석(annotation)을 저장할 수 있다. 전자 장치(100)는 사용자가 증강 현실 내 객체가 표시된 스크린 위에 손이나 펜으로 입력한 주석을 저장할 수 있다. 주석은 손이나 펜 외에도 버추얼 키보드 등을 이용하여 타이핑한 내용일 수 있다.
전자 장치(100)는 컨텐츠와 관련된 이미지 또는 3차원 애니메이션을 컨텐츠 위의 특정 위치에 고정시킬 수 있고, 녹음된 사운드를 텍스트나 객체에 연관시켜 저장할 수 있다. 전자 장치(100)는 주석을 저장한 뒤, 사용자가 같은 컨텐츠를 보고 있는 것으로 판단한 경우, 저장했던 주석을 출력할 수 있다. 전자 장치(1000는 사용자가 같은 컨텐츠를 보는지의 여부를, 증강 현실 내 객체 컨텐츠를 같이 저장하거나, 컨텐츠에 대한 처리단계의 결과에 해당하는 메타데이터를 저장하여 새로운 컨텐츠와 비교하여 일치 여부를 결정할 수 있다. 메타 데이터는 인식된 텍스트나 각 텍스트의 위치, 인식된 물체, 각 물체의 위치 등일 수 있다.
전자 장치(100)는 사용자 주석을 유할 수 있다. 전자 장치(100)는 하나의 컨텐츠에 대해 여러 사용자가 만들어 놓은 주석을 공유할 수 있다. 전자 장치(100)는 사용자의 주석 및 주석이 이루어진 컨텐츠 및/또는 메타데이터를 클라우드에 저장하고, 사용자가 선호하는 정책에 따라 다른 사람들이 저장한 주석을 제공할 수 있다.
전자 장치(100)는 원격 전송 및 대화를 수행할 수 있다. 전자 장치(100)는 다른 전자 장치에 컨텐츠 및 위에 놓인 전자 장치(100)의 위치를 보낼 수 있다. 전자 장치(100)는 컨텐츠의 렌더 영역만 보낼 수도 있다. 사용자는 전자 장치(100)를 통해 다른 사용자와 원격 대화를 할 수 있으며, 사용자뿐만 아니라 다른 사용자도 촬영된 컨텐츠에 주석을 남길 수 있고, 이 주석은 사용자와 다른 사용자 간에 공유될 수 있다.
도 8a 및 도 8b는 도 1에 도시된 전자 장치가 사용자의 시선 방향에 기초하여 객체와 상호작용하는 증강 현실을 제공하는 동작을 설명하기 위한 도면이다.
전자 장치(100)는 사용자의 눈은 객체를 직접 바라보고, 전자 장치(100)는 사용자의 눈이 바라보는 위치와 방향을 검출하여 사용자가 바라보는 대상에 관련된 정보를 렌더할 수 있다.
전자 장치(100)는 사전에 촬영된 현실 세계 내의 객체(800)의 이미지를 저장할 수 있다. 이때, 객체(800) 평면상에 위치하며, WCS에 고정된 인쇄물일 수 있다. 전자 장치(100)는 인쇄물(800) 내용의 원본 이미지나 관련된 데이터를 이미 가지고 있을 수도 있고, 인쇄물(800) 표면의 컨텐츠를 촬영된 이미지로부터 획득할 수 있다. 이때, 객체(800)의 이미지는 제1 이미지라고 지칭될 수 있다.
전자 장치(100)는 카메라(310)로 촬영된 인쇄물(800)의 가장자리를 검출하여, 가장자리로부터 인쇄물(800)이 놓인 평면 좌표계(예를 들어, 도 8a 및 도 8b에 도시된 PCS 상의 0<x<w, 0<y<h 영역) 상의 직사각형 영역에 인쇄된 내용을 정렬할 수 있다. 전자 장치(100)는 PCS의 x, y 좌표가 주어졌을 때, 그것이 인쇄물(800)의 어느 위치에 해당하는 지를 판단할 수 있다.
전자 장치(100)는 WCS상에 알려진 위치 및 각도로 설치된 거치대(810)에 거치될 수 있다. 거치대(810)의 좌표계 CCS 및 PCS는 모두 WCS에 고정되어 있을 수 있다. 전자 장치(100)는 CCS 및 PCS간 좌표를 변환할 수 있다.
거치대(810)에 고정된 전자 장치(100)의 카메라(310)는 사용자의 얼굴을 촬영하여 페이스 트래킹(face tracking) 알고리즘을 통해 사용자의 눈(400)의 CCS 상 위치(e=(ex, ey, ez)) 및 눈(400)의 시선의 방향 벡터(d=(dx, dy, dz))를 검출할 수 있다. 이때, 사용자의 얼굴이 촬영된 이미지는 제2 이미지라고 지칭될 수 있다.
전자 장치(100)는 눈(400)의 위치 및 시선 방향 벡터에 기초하여 사용자가 바라보는 인쇄물(800) 상의 위치를 검출할 수 있다. 예를 들어, 전자 장치(100)는 CCS 상에서 검출한 위치 벡터 및 방향 벡터에 기초하여 PCS상에서 눈(400)의 위치를 지나는 방향 벡터의 직선 방정식을 계산할 수 있으며, 직선과 PCS 상의 z=0에 놓인 인쇄물과의 PCS 상의 교점 (xi, yi, 0)을 계산할 수 있다.
전자 장치(800)는 일정한 시간 이상 사용자의 시선이 인쇄물(800) 상의 특정위치(x, y)에 머무르면, 그 위치에 해당하는 컨텐츠와 사용자가 상호 작용할 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 전자 장치(100)는 사용자가 바라보는 위치의 컨텐츠를 소리로 출력하거나 전자 장치(100)의 스크린에 디스플레이할 수 있다. 전자 장치(100)의 동작은 이에 한정되는 것이 아니라, 상술한 바와 같은 증강 현실에서 컨텐츠를 처리하고 표현하는 모든 동작들을 수행할 수 있다.
전자 장치(100)는 특정 컨텐츠를 사용자에게 제공한 뒤 사용자의 시선이 옮겨 가더라도 컨텐츠 제공을 중지하지 않을 수 있다. 즉, 전자 장치(100)는 일정 시간 이상 사용자가 다른 위치를 바라보지 않으면 기존 컨텐츠 제공을 유지할 수 있다. 전자 장치(100)는 사용자가 일정 시간 이상 다른 위치를 바라보는 경우 해당 위치에 대응하는 컨텐츠를 제공할 수 있다.
전자 장치(100)는 카메라(310)가 인쇄물(800)을 촬영하여 PCS를 파악한 순간부터 전자 장치(100)가 공간 WCS 상에서 자신이 어떻게 움직이고 있는지 증강 현실 알고리즘을 통해 계속 추적할 수 있다. 전자 장치(100)는 추적 결과에 기초하여 각 순간에 CCS가 WCS 상의 어느 위치에 어느 각도로 정의되는지를 계속 파악할 수 있다.
전자 장치(100)는 WCS나 LCS에 고정되는 거울을 더 사용할 수 있다. 예를 들어 카메라(310) 앞에 거울을 설치하여 인쇄물(800)을 촬영하는 동시에 카메라(510)으로는 사용자의 눈의 위치 및 시선 방향을 검출할 수 있다.
도 8a 및 도 8b에서는 평면 상에 놓인 인쇄물(800)을 도시했지만, 이에 한정되는 것은 아니고, 공간상에 놓인 대상 중 사용자가 어디를 바라보는지를 전자 장치(100)가 사용자의 눈과 대상 사이에 위치하지 않고 검출하여 대응하는 컨텐츠를 제공할 수 있다.
도 8c는 사용자의 한쪽 눈과 보조 카메라(510)가 서로 근접되도록 전자 장치(100)가 위치하고, 사용자는 스크린을 통해 보는 것이 아니라 전방의 실체를 직접 나안으로 보는 예이다. 전자 장치(100)는 메인 카메라(310)로 전방의 물체들과 그 위치를 파악하고, 동시에 보조 카메라(510)로 사용자의 눈 위치 및 시선 방향을 측정하여, 사용자 시선에 해당하는 직선을 메인 카메라(310) 좌표계로 변환할 수 있다.
전자 장치(100)는 사용자의 시선에 해당하는 직선에 기초하여 사용자가 전방의 물체 중 어느 것을 보는지 검출할 수 있고, 사용자가 바라보는 물체와 관련된 정보를 렌더할 수 있다. 이러한 구성에서는 시선을 추적하는 카메라가 사용자의 눈에 근접해 있으므로, 시선의 방향을 정밀하고 정확하게 분석할 수 있다. 이때 전자 장치의 스크린에는 도 3a 내지 도 3g에 보인 사용자의 눈 위치 측정에 기반한 사영 변환을 써서 전자 장치가 사용자의 시야를 실체와 다른 이질적인 이미지로 가리는 것을 최소화할 수 있다.
따라서 도 3a 내지 도 3g에서 예시한 사영 변환을 써서 투명 디스플레이를 쓰지 않고도 사용자 시야의 일부가 전자 장치(100)에 의해 가려지는 것을 최소화할 수 있으며, 카메라(510)에 대해 눈(300)이 고정되므로 카메라(510)에 의한 눈 추적 없이도 도 3a 내지 도 3g에 예시한 사영 변환을 사용할 수 있다.
도 9는 도 1에 도시된 전자 장치를 개략적으로 도시한 도면이다.
사용자 전자 장치(100)는 프로세서(900), 메모리(910), 카메라(920), 디스플레이(930) 및 스피커(940)를 포함할 수 있다.
프로세서(900)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
메모리(910)는 프로세서에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서의 동작 및/또는 프로세서의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
메모리(910)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.
휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.
불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Eelectronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
디스플레이(930)는 전자 장치(100)의 전면부에 배치된 장치로서, 증강된 가상 오브젝트를 사각 이미지와 함께 표시할 수 있다. 디스플레이(930)에는 터치 센서가 장착되어 사용자로부터 터치 신호, 드래그 신호 등의 사용자 입력 신호를 수신할 수 있다.
카메라(920)는 이미지를 촬영할 수 있는 장치로서, 예를 들어, 전면 방향의 전면 카메라와 후면 방향의 후면 카메라를 포함할 수 있다. 전면 카메라는 디스플레이(930)가 배치된 동일한 면에 배치되고, 후면 카메라는 디스플레이(930)가 배치되지 않은 면에 배치될 수 있다.
후면 카메라 및 전면 카메라는 각각 상술한 카메라(310) 및 보조 카메라(510)에 대응될 수 있다.
스피커(940)는 음향 신호를 재생할 수 있는 장치로서, 예를 들어, 프로세서(900)에 의해 증강된 가상 오브젝트에 대응하는 음향 신호를 재생할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (24)

  1. 대상 영역에 전자 장치가 접촉하는지 여부를 판단하는 단계
    상기 전자 장치의 위치를 검출하는 단계;
    상기 대상 영역에 접촉하기 전 획득되거나 미리 저장된 상기 대상 영역에 대한 제1 이미지 및 상기 전자 장치의 위치에 기초하여 사용자의 시야에서 상기 전자 장치에 의해 가려진 영역에 대응하는 제2 이미지를 생성하는 단계; 및
    상기 제2 이미지를 상기 전자 장치에 디스플레이 하는 단계
    를 포함하는, 증강 현실 제공 방법.
  2. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 대상 영역에 위치한 반투명한 인쇄물 뒤에 배치된 비주얼 마커에 기초하여 상기 전자 장치의 위치를 검출하는 단계
    를 포함하는, 증강 현실 제공 방법.
  3. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 대상 영역에 위치한 인쇄물의 표면에 뚫린 미세한 구멍에 기초하여 상기 전자 장치의 위치를 검출하는 단계
    를 포함하는, 증강 현실 제공 방법.
  4. 제3항에 있어서,
    상기 검출하는 단계는,
    상기 미세한 구멍을 핀홀 렌즈(pinhole lens)로 이용하여 상기 인쇄물에 가려진 상기 인쇄물 뒤 영역에 대한 투과 이미지를 획득하는 단계; 및
    상기 투과 이미지에 기초하여 상기 전자 장치의 위치를 검출하는 단계
    를 포함하는, 증강 현실 제공 방법.
  5. 제4항에 있어서,
    상기 투과 이미지는,
    상기 전자 장치의 위치를 검출하기 위한 비주얼 마커를 포함하는, 증강 현실 제공 방법.
  6. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 대상 영역에 이미지를 투사하는 프로젝터의 위치를 검출하는 단계; 및
    상기 프로젝터의 위치에 기초하여 상기 전자 장치의 위치를 검출하는 단계
    를 포함하는, 증강 현실 제공 방법.
  7. 대상 영역에 대한 제1 이미지를 획득하는 단계;
    사용자의 눈의 위치 및 전자 장치의 위치를 검출하는 단계;
    상기 제1 이미지, 상기 눈의 위치 및 상기 전자 장치의 위치에 기초하여 상기 사용자의 시야에서 상기 전자 장치에 의해 가려진 영역에 대응하는 제2 이미지를 생성하는 단계; 및
    상기 제2 이미지를 상기 전자 장치에 디스플레이 하는 단계
    를 포함하는, 증강 현실 제공 방법.
  8. 제7항에 있어서,
    상기 검출하는 단계는,
    상기 전자 장치에 대한 상기 눈의 상대적인 위치를 검출하는 단계
    를 포함하는, 증강 현실 제공 방법.
  9. 제7항에 있어서,
    상기 검출하는 단계는,
    상기 전자 장치의 전면 카메라를 통해 촬영한 이미지에 기초하여 상기 눈의 위치를 검출하는 단계
    를 포함하는, 증강 현실 제공 방법.
  10. 제7항에 있어서,
    상기 검출하는 단계는,
    상기 사용자에게 부착된 마커에 기초하여 상기 위치를 검출하는 단계
    를 포함하는, 증강 현실 제공 방법.
  11. 제7항에 있어서,
    상기 검출하는 단계는,
    상기 전자 장치가 실시간으로 촬영하는 상기 제1 이미지에 기초하여 상기 전자 장치의 위치를 검출하는 단계
    를 포함하는, 증강 현실 제공 방법.
  12. 대상 영역 내 배치된 객체를 촬영한 제1 이미지를 획득하는 단계;
    사용자의 눈을 촬영한 제2 이미지를 획득하는 단계;
    상기 제2 이미지에 기초하여 상기 대상 영역 내 사용자가 바라보는 위치를 검출하는 단계;
    상기 제1 이미지 내 상기 위치에 대응하는 컨텐츠를 상기 사용자에게 제공하는 단계
    를 포함하는, 증강 현실 제공 방법.
  13. 증강 현실을 제공하는 전자 장치에 있어서,
    카메라;
    대상 영역에 상기 전자 장치가 접촉하는지 여부를 판단하고, 상기 전자 장치의 위치를 검출하고, 상기 대상 영역에 접촉하기 전 획득되거나 미리 저장된 상기 대상 영역에 대한 제1 이미지 및 상기 전자 장치의 위치에 기초하여 사용자의 시야에서 상기 전자 장치에 의해 가려진 영역에 대응하는 제2 이미지를 생성하는 프로세서; 및
    상기 제2 이미지를 생성하는 디스플레이 장치
    를 포함하는, 전자 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 대상 영역에 위치한 반투명한 인쇄물 뒤에 배치된 비주얼 마커에 기초하여 상기 전자 장치의 위치를 검출하는, 전자 장치.
  15. 제13항에 있어서,
    상기 프로세서는,
    상기 대상 영역에 위치한 인쇄물의 표면에 뚫린 미세한 구멍에 기초하여 상기 전자 장치의 위치를 검출하는, 전자 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 미세한 구멍을 핀홀 렌즈(pinhole lens)로 이용하여 상기 인쇄물에 가려진 상기 인쇄물 뒤 영역에 대한 투과 이미지를 획득하고, 상기 투과 이미지에 기초하여 상기 전자 장치의 위치를 검출하는, 전자 장치.
  17. 제16항에 있어서,
    상기 투과 이미지는,
    상기 전자 장치의 위치를 검출하기 위한 비주얼 마커를 포함하는, 전자 장치.
  18. 제13항에 있어서,
    상기 프로세서는,
    상기 대상 영역에 이미지를 투사하는 프로젝터의 위치를 검출하고, 상기 프로젝터의 위치에 기초하여 상기 전자 장치의 위치를 검출하는, 전자 장치.
  19. 증강 현실을 제공하는 전자 장치에 있어서,
    대상 영역에 대한 제1 이미지를 획득하는 제1 카메라;
    사용자에 대한 제2 이미지를 획득하는 제2 카메라; 및
    상기 제1 이미지에 기초하여 상기 전자 장치의 위치를 검출하고, 상기 제2 이미지에 기초하여 사용자의 눈의 위치를 검출하고, 상기 제1 이미지, 상기 눈의 위치 및 상기 전자 장치의 위치에 기초하여 상기 사용자의 시야에서 상기 전자 장치에 의해 가려진 영역에 대응하는 제3 이미지를 생성하는 프로세서
    를 포함하는, 전자 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 전자 장치에 대한 상기 눈의 상대적인 위치를 검출하는, 전자 장치.
  21. 제19항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 전면 카메라를 통해 촬영한 이미지에 기초하여 상기 눈의 위치를 검출하는, 전자 장치.
  22. 제19항에 있어서,
    상기 프로세서는,
    상기 사용자에게 부착된 마커에 기초하여 상기 위치를 검출하는, 전자 장치.
  23. 제19항에 있어서,
    상기 프로세서는,
    상기 전자 장치가 실시간으로 촬영하는 상기 제1 이미지에 기초하여 상기 전자 장치의 위치를 검출하는, 전자 장치
  24. 대상 영역 내 배치된 객체를 촬영한 제1 이미지를 획득하는 제1 카메라;
    사용자의 눈을 촬영한 제2 이미지를 획득하는 제2 카메라; 및
    상기 제2 이미지에 기초하여 상기 대상 영역 내 사용자가 바라보는 위치를 검출하고, 상기 제1 이미지 내 상기 위치에 대응하는 컨텐츠를 상기 사용자에게 제공하는 프로세서
    를 포함하는, 증강 현실 제공 장치.
PCT/KR2020/011664 2020-02-09 2020-08-31 증강 현실 구현 방법 및 이를 수행하는 장치 WO2021157804A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20200015305 2020-02-09
KR10-2020-0015305 2020-02-09
KR10-2020-0092702 2020-07-26
KR20200092702 2020-07-26
KR20200096603 2020-08-03
KR10-2020-0096603 2020-08-03

Publications (1)

Publication Number Publication Date
WO2021157804A1 true WO2021157804A1 (ko) 2021-08-12

Family

ID=77200068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/011664 WO2021157804A1 (ko) 2020-02-09 2020-08-31 증강 현실 구현 방법 및 이를 수행하는 장치

Country Status (1)

Country Link
WO (1) WO2021157804A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023230639A1 (de) * 2022-06-01 2023-12-07 Zactrack Gmbh Verfahren zur positionsbestimmung und kalibrierung eines scheinwerfers
CN117496161A (zh) * 2023-12-29 2024-02-02 武汉理工大学 一种点云分割方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130023433A (ko) * 2011-08-29 2013-03-08 연세대학교 산학협력단 Ｓｌａｍ 기술 기반 이동 로봇의 지도를 관리하기 위한 장치 및 그 방법
US20140160161A1 (en) * 2012-12-06 2014-06-12 Patricio Barreiro Augmented reality application
KR20160075359A (ko) * 2014-12-19 2016-06-29 주식회사 와이드벤티지 자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말
KR20190034129A (ko) * 2017-09-22 2019-04-01 에스케이텔레콤 주식회사 증강 현실 표시 장치 및 방법
US20190217196A1 (en) * 2013-03-11 2019-07-18 Immersion Corporation Haptic sensations as a function of eye gaze

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130023433A (ko) * 2011-08-29 2013-03-08 연세대학교 산학협력단 Ｓｌａｍ 기술 기반 이동 로봇의 지도를 관리하기 위한 장치 및 그 방법
US20140160161A1 (en) * 2012-12-06 2014-06-12 Patricio Barreiro Augmented reality application
US20190217196A1 (en) * 2013-03-11 2019-07-18 Immersion Corporation Haptic sensations as a function of eye gaze
KR20160075359A (ko) * 2014-12-19 2016-06-29 주식회사 와이드벤티지 자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말
KR20190034129A (ko) * 2017-09-22 2019-04-01 에스케이텔레콤 주식회사 증강 현실 표시 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023230639A1 (de) * 2022-06-01 2023-12-07 Zactrack Gmbh Verfahren zur positionsbestimmung und kalibrierung eines scheinwerfers
CN117496161A (zh) * 2023-12-29 2024-02-02 武汉理工大学 一种点云分割方法及装置
CN117496161B (zh) * 2023-12-29 2024-04-05 武汉理工大学 一种点云分割方法及装置

Similar Documents

Publication Publication Date Title
WO2019088737A1 (en) Method and device for performing remote control
WO2012144666A1 (en) Display device and control method therof
WO2020166892A1 (en) Electronic device for providing augmented reality user interface and operating method thereof
WO2020032582A1 (en) Electronic device for displaying avatar corresponding to external object according to change in position of external object
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2016064137A1 (en) Apparatus and method of drawing and solving figure content
WO2014046456A1 (en) System and method for displaying information on transparent display device
WO2014133219A1 (en) Digital device and method for controlling the same
WO2021157804A1 (ko) 증강 현실 구현 방법 및 이를 수행하는 장치
WO2015026122A1 (en) User terminal device for displaying map and method thereof
WO2015030564A1 (en) Display apparatus, portable device and screen display methods thereof
WO2020153810A1 (en) Method of controlling device and electronic device
WO2016126083A1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
WO2019078595A1 (en) ELECTRONIC DEVICE AND METHOD FOR PERFORMING A FUNCTION USING AN INPUT INTERFACE DISPLAYED BY MEANS OF AT LEAST ONE PART OF CONTENT
WO2013191315A1 (ko) 디지털 이미지 처리 장치 및 방법
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2019035582A1 (en) DISPLAY APPARATUS AND SERVER, AND METHODS OF CONTROLLING THE SAME
WO2018052159A1 (ko) 이동 단말기 및 그 제어방법
WO2021025509A1 (en) Apparatus and method for displaying graphic elements according to object
WO2017126709A1 (ko) 이동 단말기 및 그 제어 방법
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2021066219A1 (ko) 이동단말기
WO2020224089A1 (zh) 图案码位置调整方法、装置及计算机可读存储介质
WO2016175418A1 (ko) 디스플레이 장치 및 그의 제어 방법
WO2024058405A1 (ko) 전자 장치 및 전자 장치의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20917297

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20917297

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19.01.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20917297

Country of ref document: EP

Kind code of ref document: A1