WO2019208851A1 - 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치 - Google Patents

현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치 Download PDF

Info

Publication number
WO2019208851A1
WO2019208851A1 PCT/KR2018/004952 KR2018004952W WO2019208851A1 WO 2019208851 A1 WO2019208851 A1 WO 2019208851A1 KR 2018004952 W KR2018004952 W KR 2018004952W WO 2019208851 A1 WO2019208851 A1 WO 2019208851A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
real space
space
transparent
image
Prior art date
Application number
PCT/KR2018/004952
Other languages
English (en)
French (fr)
Inventor
이제훈
안호남
얍와셍
Original Assignee
주식회사 딥픽셀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥픽셀 filed Critical 주식회사 딥픽셀
Priority to KR1020187013437A priority Critical patent/KR102056681B1/ko
Priority to US16/097,946 priority patent/US11170535B2/en
Priority to PCT/KR2018/004952 priority patent/WO2019208851A1/ko
Publication of WO2019208851A1 publication Critical patent/WO2019208851A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Definitions

  • the present invention relates to a virtual reality interface method and apparatus for providing convergence with real space.
  • HMD head-mount display
  • the HMD is a device mounted on the user's head to position an image display in front of the user's eyes.
  • HMD has the advantage of increasing immersion by completely obstructing the user's field of view, but causes some inconvenient situations.
  • a third party other than the user should help the process of putting on and taking off the HMD, or the user should be familiar with the process by measuring the position where the external input device is placed and repeating the learning.
  • the current virtual reality HMD has no function of displaying the information of the real space. Therefore, in virtual reality, there is no advantage of data augmentation through convergence with the real space that can be obtained in an augmented reality (AR) environment.
  • AR augmented reality
  • the present invention provides a virtual reality interface device and method for recognizing at least a portion of the image information of the real space obtained through the camera and mixed with the information of the virtual space and displayed on the virtual reality device.
  • the present invention is a virtual reality interface that can be interacted by extracting the entire or specific object from the image of the real space obtained through the camera and determining the transparent information based on the extracted object information of the real space to project the real space on the virtual reality An apparatus and method are provided.
  • a virtual reality interface method for providing convergence with a real space may include analyzing object information of a real space from image information of a real space, and an object of the real space according to the object information of the real space. Determining transparent information about the object; and fusing the object image of the real space by allowing the object of the real space to be projected to the virtual space based on the transparent information.
  • the analyzing of the object information of the real space may include extracting an object of the real space from image information of the real space, and determining the transparent information on the extracted object of the real space. Deriving the parameter information for analyzing the object information of the real space.
  • the extracting of the object in the real space may include extracting at least one of a control object for controlling virtual reality, a background object in the real space, and a specific object in the real space, and extracting the parameter information.
  • the analyzing of the object information by the real space may include deriving at least one parameter of a parameter including adaptability information, a parameter including gradient information, and a parameter including state information. .
  • the determining of the transparent information about the object in the real space may include determining the transparency for projecting the object of the real space in the virtual space based on the parameter information. .
  • the determining of the transparency of the object in the real space may recalculate the transparency according to the amount of transparency change when the parameter information meets a preset transparency change condition.
  • the determining of the transparent information about the object in the real space may include determining a transparent area to project the object of the real space into the virtual space based on the parameter information.
  • the determining of the transparent area to project the object in the real space may include determining a shape and a transparent style of the transparent area to process a boundary of the transparent area.
  • the transparency may be adjusted according to the degree of adaptability.
  • the method may include deriving a parameter including gradient information on the background object, and determining transparent information about the object in the real space.
  • the transparency may be adjusted by detecting an environment change of the real space based on the degree of change.
  • the transparency when a specific object is extracted from the image information of the real space, deriving a parameter including state information about the specific object, and determining the transparent information about the object in the real space, Based on state information, the transparency may be adjusted to interact with the specific object in association with the virtual space.
  • the determining of the transparent information on the object in the real space may include determining the transparent area based on at least one of the adaptation information, the change information, and the state information included in the parameter. It may be decided whether to reflect the entire area or a part of the area.
  • the fusing of the object image of the virtual space and the real space based on the transparent information may include: an object of the virtual space and the real space centering on a gaze of a user wearing the virtual reality device; And adjusting the position of the image.
  • the guide image for the interface is displayed on the fused image, the guide image, the position of the object image of the virtual space and the real space coincides according to a predetermined time or a predetermined condition If deemed to be, it may not be displayed on the virtual reality device.
  • the virtual reality interface device providing fusion with a real space includes an image analyzer, a transparent information determiner, and a transparent information reflector.
  • the image analyzer analyzes object information of the real space to be projected in the virtual space based on the image information of the real space obtained from the camera.
  • the transparent information determiner determines the transparent information of the object in the real space according to the object information of the real space.
  • the transparent information reflecting unit fuses the object image of the virtual space and the real space based on the transparent information.
  • the image analyzing unit may extract the object of the real space from the image information of the real space, derive parameter information for determining the transparent information about the extracted object of the real space, and the real space. Can analyze the object information.
  • the image analyzing unit extracts at least one of a control object for controlling virtual reality, a background object in a real space, and a specific object in a real space, and includes parameters and change degree information including adaptation information. At least one parameter may be derived from a parameter including a parameter and a parameter including state information.
  • the transparent information determiner may determine a transparency indicating a degree of transparency of an object in the real space to be projected in the virtual space based on the parameter information.
  • the transparency information determiner may recalculate the transparency according to the transparency change amount when the parameter information meets a predetermined transparency change condition.
  • the transparent information determiner may determine a transparent area to project the object of the real space to the virtual space based on the parameter information.
  • the transparent information determiner may determine a shape and a transparent style of the transparent area to process a boundary of the transparent area.
  • a computer-readable recording medium having recorded thereon a program for performing at least one of the above methods, and a program recorded on a computer-readable recording medium for performing at least one of the above methods is also provided in the present invention. Belongs to the scope of.
  • maladaptation due to the difference between the real space and the virtual space can be reduced.
  • the user may hold or release the external input device in a state where the front is visible as usual, and have sufficient preparation time before immersing in the virtual environment.
  • you feel dizziness or physical discomfort while experiencing virtual reality you can find a sense of stability by showing the reality space.
  • the user interface is extended and the convenience is increased.
  • the present invention improves the accuracy of the hand motion and the control motion accordingly by allowing the user to view his / her hand motion through the virtual space.
  • the user can interact with the information. For example, when a risk of the surrounding environment (fire, power outage, etc.) is detected, the real space is displayed to warn you, or when a third party appears in front of the user experiencing virtual reality, the face is recognized and displayed on the screen. You can experience the augmentation of virtual space by showing or interacting with specific objects placed in the real space.
  • a risk of the surrounding environment fire, power outage, etc.
  • FIG. 1 is a diagram illustrating an example in which a virtual reality interface device providing fusion with a real space according to an embodiment of the present invention can be applied.
  • FIG. 2 is a block diagram briefly illustrating a configuration of a virtual reality interface device according to an embodiment of the present invention.
  • FIG. 3 is a flowchart schematically illustrating a virtual reality interface method for providing convergence with a real space according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of applying a virtual reality interface method according to an embodiment of the present invention.
  • FIG. 5 is a diagram for describing a method of converting coordinates by arranging two pieces of information in order to fuse a virtual space and a real space, according to an embodiment of the present invention.
  • FIG. 6 conceptually illustrates a virtual space displayed through a virtual reality interface device.
  • FIG. 1 is a diagram illustrating an example in which a virtual reality interface device providing fusion with a real space according to an embodiment of the present invention can be applied.
  • a virtual reality interface device (hereinafter, referred to as a “virtual reality interface device”) that provides convergence with a real space according to an embodiment of the present invention may include a virtual reality device 100 and a virtual reality device (The fixing device 200 may be fixed to be mounted to a user, and the camera 300 may be included.
  • the camera 300 may be mounted on the virtual reality device 100 to replace the eyes of the user. Accordingly, the camera 300 may be disposed to face the user's viewing direction, and a display (not shown) may be provided on the rear of the virtual reality device 100 in which the camera 300 is disposed to display the virtual reality to the user. Can be.
  • the fixed device 200 equipped with the virtual reality device 100 may be referred to as a head mount display (HMD) at a time.
  • the fixing device 200 may include a virtual reality goggles and a headgear.
  • the camera 300 is mounted on the virtual reality device 100, but this is only an example, and the camera 300 may be mounted on the fixing device 200 or may be independently implemented.
  • a camera mounted on the terminal device may be used, and in the case of an HMD without a camera, a camera may be installed separately from the outside. .
  • the virtual reality interface device is illustrated as including and including the virtual reality device 100, the fixed device 200, and the camera 300.
  • the virtual reality interface device according to an embodiment of the present invention is different from this.
  • the reality interface device may be implemented independently and included in a virtual reality device such as an HMD.
  • FIG. 2 is a block diagram briefly illustrating a configuration of a virtual reality interface device according to an embodiment of the present invention.
  • a virtual reality interface device may include an image analyzer 10, a transparent information determiner 20, a transparent information reflector 30, and a display unit 40. Can be.
  • the image analyzer 10 may analyze object information of the real space to be projected in the virtual space based on the image information of the real space obtained from the camera. According to an embodiment, the image analyzer 10 extracts an object of the real space from the image information of the real space, and derives parameter information for determining transparent information about the extracted object of the real space, and analyzes the object information of the real space. can do.
  • the object information of the real space may include an object extracted from the image information of the real space and various parameter information according to the characteristics of the extracted object.
  • the object in the real space refers to at least one object included in the image information of the real space, and includes a control object for controlling the virtual reality, a background object in the real space, and a specific object in the real space.
  • the control object is a configuration required for a user who experiences virtual reality to control the virtual space, and may be a body part such as a user's hand or a control device such as a controller.
  • the background object is information corresponding to a space analyzed as a background from image information of a real space and may include a background image.
  • the specific object may be a specific object included in the image information of the real space, a specific symbol, a third party's face, or the like.
  • the particular object may be externally set at the time of use or specified by the user.
  • the parameter information is information that is a basis for determining whether to project an object in the real space onto the virtual reality and the degree of transparency.
  • the image analyzer 10 may analyze various parameter information based on the type of object.
  • the parameter information may include adaptation information, gradient information, and state information.
  • the image analyzer 10 may determine an adaptation parameter indicating a user's adaptation to the virtual reality environment, a change parameter indicating information related to an environment change in the real space, a state of the virtual reality application or a specific object in the real space.
  • An object in the real space may be analyzed using a state parameter representing information related to a state.
  • the parameter information may be determined differently according to the object information of the real space, or may be determined independently of the object information of the real space. Accordingly, the parameter information may be obtained by analyzing the image by the image analyzer 10 or may be obtained based on other characteristics of the virtual reality interface device.
  • the adaptability parameter may correspond to a parameter reflecting the degree and familiarity of the user's experience of virtual reality.
  • the image analyzer 10 may estimate the adaptability parameter, and the user may directly input the degree of experience of the virtual reality through the interface.
  • the gradient parameter is continuously input by the image analyzer 10 according to the image information and time of the initial real space input from the camera when the user wears the HMD included in the virtual reality interface device for the virtual reality experience. It can be set by analyzing the degree of change of the image information of the real space.
  • the image analyzing unit 10 may measure the amount of change and the degree of change of the image information by continuously analyzing changes in brightness, saturation, and contrast of the entire image or a specific region.
  • the state parameter may be variously set according to the purpose and characteristics of the virtual reality application running in the virtual reality interface device.
  • the state parameter may be the position and size information of the object, and the image analyzer 10 may detect the object through an image recognition and tracking algorithm. Estimate the location and size of the.
  • the position and direction of the face and the facial expression information may be state parameters. This can be estimated through face recognition and facial expression analysis algorithms.
  • the transparent information determiner 20 may determine the transparent information of the virtual reality for projecting the object of the real space based on the object information of the real space.
  • the transparent information may include transparency information, transparent region information, and a transparent style.
  • the virtual reality interface method and apparatus according to the present invention transparently fills a part of the virtual reality to give the user appropriate feedback. Processing is then performed so that objects in the real space can be projected through virtual reality.
  • the object image may be processed to appear on the visual upper part of the virtual reality while adjusting the transparency of the object image in the real space.
  • the transparent information determiner 20 may include a transparency determiner 21, a transparent region determiner 22, and a transparent style determiner 23.
  • the transparency determiner 21 may determine the transparency of the virtual reality image implementing the virtual space so that the object in the real space may be projected to the virtual space based on the parameter information of the object in the real space. As the transparency increases, the objects in the real space are clearly projected, and as the transparency decreases, the objects in the real space are hidden and the degree of display of the virtual reality image increases.
  • the transparent region determiner 22 may determine a region in which the object in the real space is projected to the virtual space based on parameter information about the object in the real space. Since the image constructing the virtual space must be transparent in order for the object in the real space to be projected, the transparent area of the virtual space may correspond to the size and shape of the object in the real space.
  • the transparent region determiner 22 may transparently process the entire region in the virtual space based on at least one of the adaptation information, the change information, and the state information included in the parameter information of the object in the real space. Otherwise, it is possible to determine whether to set the transparent area according to the size of the recognized real-space object.
  • the transparent style determiner 23 may determine the shape and style of the transparent region based on the transparency or the transparent region of the object in the real space and process the boundary of the transparent region.
  • the transparent information reflector 30 displays the object and the virtual reality image of the real space together based on the transparent information.
  • the transparent information reflector 30 may render an object image of the real space generated based on the transparent information on the basis of the virtual space and display the object image on the virtual reality device.
  • the rendering of the virtual space and the real space may be performed according to a process of rendering at least a portion of the virtual reality image and the object image of the real space.
  • the transparent information reflecting unit 30 converts coordinates between the virtual reality image and the object image obtained through the camera in order to reduce the discomfort between the virtual reality image and the object in the real space. Can be rendered.
  • the coordinate transformation may be performed based on the characteristics of the physical device of the virtual reality interface and the user characteristics of the virtual reality interface device. Coordinate transformation between the real space and the virtual space will be described in detail with reference to FIG. 5.
  • the display unit 40 may display a guide image that matches the position of the object image in the virtual space and the real space based on the gaze of the user wearing the virtual reality device.
  • the display unit 40 may display the guide image on the virtual reality device for a preset time, or when the position of the object image in the virtual space and the real space is considered to be matched according to a preset condition, the guide from the virtual reality device is guided.
  • the image may not be displayed.
  • FIG. 6 conceptually illustrates a virtual space displayed through a virtual reality interface device. 6 exemplarily illustrates that the object image in the real space is the user's finger point TAT_P.
  • a guide for matching an object image that is, an end point of a finger, of a real space with respect to a gaze center point GP of a virtual space may be displayed.
  • the guide may also include a circular representation of the center point representing the eye center point. If the user has matched the gaze center point (GP) of the virtual space with the object image of the real space as shown in (b), the guide image can be removed as shown in (c), and even the object image of the real space can be removed. Only the complete virtual space may be removed and displayed to the user.
  • the object in the real space with respect to a specific center point in the virtual space for example, the center of the virtual space where the user's gaze is located.
  • the interface command may be performed to match the position of the image.
  • the user may move the real space object image position or the user's gaze so that the real space object image and the user's gaze center coincide.
  • the center of the gaze may be displayed through the guide image at which position, and the user may operate to match the position of the real-space object image to the place where the guide image is displayed.
  • the guide image may be removed by determining that the user recognizes the relationship between the real space with respect to the position of the virtual space.
  • FIG. 3 is a flowchart schematically illustrating a virtual reality interface method for providing convergence with a real space according to an embodiment of the present invention.
  • the method of FIG. 3 may be performed by the virtual reality interface device of FIGS. 1 and 2 described above.
  • a virtual reality interface method for providing convergence with a real space according to an embodiment of the present invention is based on virtual image information obtained from a camera. Analyzing the object information of the real space to be projected to the space (S100), determining the transparent information for the object in the real space according to the object information of the real space (S200), and the object of the real space based on the transparent information It may include the step of reflecting the image in the virtual space (S300). The operation of each step will be described in detail with reference to FIG. 4.
  • FIG. 4 is a diagram illustrating an example of applying a virtual reality interface method according to an embodiment of the present invention. The method of FIG. 4 may be performed by the virtual reality interface device of FIGS. 1 and 2 described above.
  • the image analyzer 10 may analyze object information of a real space to be projected in a virtual space based on image information of a real space obtained from a camera (S100). According to an exemplary embodiment, the image analyzer 10 extracts an object of the real space from the image information of the real space, derives parameter information for determining transparent information according to the extracted object of the real space, and analyzes the object information of the real space. can do.
  • the image analyzer 10 may store the real space.
  • the control object for example, a user's hand, a controller, and the like
  • the parameter information necessary for projecting the extracted control object on the virtual space may be derived.
  • the image analyzer 10 estimates the position and size of the hand through analysis of the hand motion, and thus recognizes the hand motion and the hand motion.
  • a parameter eg, a parameter indicating a motion recognition error rate
  • adaptability information according to a degree of familiarity may be derived.
  • the image analyzer 10 extracts a background object from the image information of the real space, and analyzes the change in the image brightness or the background image of the extracted background object to determine a parameter for identifying the environment change in the real space.
  • the image analyzing unit 10 may include image information of a real space obtained through a camera when a user wears a virtual reality device such as an HMD and an image of each real space obtained through a camera after a predetermined time.
  • the image analyzer 10 extracts a specific object (eg, a specific object, a specific symbol, etc.) from the image information of the real space, and parameter information necessary for projecting the extracted specific object on the virtual space.
  • a specific object eg, a specific object, a specific symbol, etc.
  • the image analyzer 10 may extract a specific object from the image information of the real space and analyze the position and size information of the extracted object to derive a parameter including state information about the specific object.
  • a parameter including information on a moving path of the object may be derived by analyzing a change in an image of the real space over time.
  • the recognition and tracking of objects in an image may use various object recognition and tracking algorithms of an image processing algorithm. For example, an object tracking algorithm using a Kalman filter, a Bayesian algorithm, or the like may be used. The location and size can be estimated.
  • the transparent information determiner 20 may determine the transparent information of the virtual reality image for projecting the object of the real space according to the object information of the real space (S200).
  • the transparent information according to the present invention is information for reflecting an object existing in the real space in the virtual space, and a guide for reducing the fear of virtual reality and easily adapting it by adjusting the transparent information according to the adaptability and experience to the virtual environment. Play a role.
  • the transparent information can be adjusted so as not to disturb the immersion in the virtual reality.
  • the transparency determiner 21 may determine transparency corresponding to a degree of transparently representing the virtual reality image so that the object in the real space may be revealed based on parameter information about the object in the real space (S210). .
  • the transparency T_ (0) may be zero.
  • Transparency T_ (t) at time t may be calculated based on the transparency change amount ⁇ T to transparency T_ (t-1) of the previous time, and may be calculated as Equation 1 or Equation 2 according to the increase or decrease of transparency. have.
  • time t means processing time.
  • ⁇ T is a parameter that determines the increase and decrease of transparency. The default value may be set to 1, but this is just one example. The default can be defined as a different value, or the user can set the increase and decrease directly.
  • the transparency when the transparency is 0, it may not be necessary to perform an operation such as extracting an object by analyzing an image.
  • the transparency when the transparency is 100, it may not be necessary to process an image to be displayed in the virtual space.
  • Transparency may be set manually by the user or automatically by the virtual reality interface device.
  • the transparency determiner 21 may appropriately adjust the transparency according to the parameter information about the object in the real space.
  • the transparency determiner 21 may analyze the image. Transparency may be determined based on a parameter (eg, a parameter indicating a motion recognition error rate) including adaptation information according to the degree of recognition of the hand gesture or the degree of familiarity of the hand gesture derived by the unit 10.
  • a parameter eg, a parameter indicating a motion recognition error rate
  • the transparent information determiner 20 may determine transparency so that a control object (eg, a user's hand) is displayed in a virtual space. If the motion recognition error rate is low, the control object (eg, the user's hand) may not be displayed in the virtual space by reducing the transparency.
  • a control object eg, a user's hand
  • the transparency determiner 21 may determine transparency based on a parameter including state information about a specific object derived by the image analyzer 10. For example, when a third person appears in a real space or a specific object is placed while a user experiences a virtual reality environment using a virtual reality device such as an HMD, the image analyzer 10 may display image information of the real space. The third party's face or a specific object is extracted from the parameter to derive a parameter including state information about the third party's face, and the transparency determiner 21 determines the third party's face or specific object in the virtual space based on the parameter including the state information. Transparency can be determined to display an object. In this embodiment of the present invention, by providing a third party or a specific object that exists in the real space to the virtual space provides a user interface to the interaction between the real space and the virtual space.
  • the transparency determiner 21 may recalculate the transparency according to the transparency change amount ⁇ T as shown in Equation 1 when the parameter information meets a preset transparency change condition. For example, whether or not a predetermined time has elapsed, a threshold value set in the parameter, a change value of the parameter over time, or the like may be used as the transparency change condition.
  • the transparent region determiner 22 may determine the transparent region of the object in the real space to be projected in the virtual space based on the parameter information (S220). According to an exemplary embodiment, the transparent region determiner 22 may determine whether to reflect the transparent region as an entire region or a partial region of the virtual space based on the adaptation information, the change information, and the state information included in the parameter information.
  • the transparent area determiner 22 may specify the parameter from the parameter indicating state information about the specific object analyzed by the image analyzer 10. You can determine the position of an object (e.g. (x, y) coordinate information) and its size (e.g. (w, h) width and height information) and use the information of this specific object to project a specific object in the virtual space. You can set the transparent area.
  • an object e.g. (x, y) coordinate information
  • its size e.g. (w, h) width and height information
  • the transparent region determiner 22 determines that an emergency situation has occurred in the real space from a parameter representing the degree of change in the environment of the real space analyzed by the image analyzer 10.
  • the transparent area may be set to be projected and displayed on the entire area of the virtual space.
  • the transparent style determination unit 23 may determine the shape and the transparent style of the transparent region to process the boundary of the transparent region (S230).
  • the shape of the transparent area may be designated as a specific shape according to a virtual reality application, as well as basic shape shapes such as circles, ellipses, squares, and rectangles.
  • the shape of the transparent area may correspond to the shape of the object in the real space.
  • the transparency style may be processed using, for example, a Gaussian mask, a gradation mask, an equality mask, or the like.
  • the transparent style determiner 23 may determine a portion of the transparent region and the non-transparent region. By smoothing the boundaries, you can avoid disturbing the user's commitment to virtual reality.
  • the shape or the transparent style of the transparent area may be set manually by the user or may be automatically set by the virtual reality interface device.
  • the transparent style determiner 23 virtualizes the shape of the transparent area when it is determined that an emergency situation has occurred in the real space from a parameter representing the degree of environmental change of the real space analyzed by the image analyzer 10. It can be set to fill the entire area of the space (for example, the shape of the whole area displayed through the virtual reality device). Alternatively, when a specific object in the real space is to be projected and displayed on the virtual space, the transparent style determination unit 23 determines the shape of the transparent area based on the shape of the specific object, and a Gaussian mask or the like on the shape of the transparent area. Can be specified as a transparent style.
  • the transparent information reflector 30 may fuse the virtual reality image and the object in the real space based on the transparent information (S300).
  • the transparent information reflector 30 may render the object image of the real space generated based on the transparent information and display the image on the virtual reality device.
  • the transparent information reflecting unit 30 applies the style determined by the transparent style determining unit 23 to the virtual reality image of the portion determined by the transparent region determining unit 22 as the transparent region, and transparency
  • the two images may be fused so that an object in the real space is reflected below.
  • the virtual reality image may be visually positioned above the real space image. This visual relationship can be implemented by forming a hierarchical layer.
  • the transparent information reflector 30 determines the transparent region and the transparent style set by the transparent region determiner 22 based on the information of the real space obtained from the camera analyzed by the image analyzer 10. By reflecting all the information about the transparency style determined by the unit 23 and the transparency determined by the transparency determiner 21, the two images may be fused so that the image of the real space is positioned on the visual upper part of the virtual reality image.
  • the transparent information when the user first wears the HMD, the transparent information may be determined to help the user adapt to the virtual reality environment and to safely hold the control device.
  • the object image of the real space may be generated. Therefore, the user can easily find and use a control device such as a controller placed in the real space. After that, when the user is ready to experience the virtual reality, the transparency can be gradually reduced to finally set the transparency to 0 to immerse the virtual reality.
  • FIG. 5 is a diagram for describing a method of converting coordinates by arranging two pieces of information in order to fuse a virtual space and a real space, according to an embodiment of the present invention.
  • the transformation of the coordinate system is illustrated by assuming that the upper part of the virtual reality device 100 is a real space (RS) and the lower part is a virtual space (VS).
  • the object in the real space is an image of a user's hand, and the object is a control object.
  • the real space RS is a line of sight (LE, RE) of a real player (RP) wearing a virtual reality interface device, a virtual reality device 100 included in the virtual reality interface device, a single camera 300 and It may be defined by the relationship of the fixing device 200.
  • the virtual reality interface device is described as being composed of a virtual reality device 100, a single camera 300 and a fixed device 200 and shown on the basis of the drawings, but the virtual reality interface device according to an embodiment of the present invention It is sufficient to have at least one external image pickup device and means for displaying the virtual reality so that the user can recognize the virtual reality.
  • the virtual reality apparatus 100 Since the virtual reality apparatus 100 is located in front of the gaze of the real user RP of the real space RS, the user's view of the real space RS is blocked.
  • the image pickup device such as a single camera 300 included in the virtual reality interface device
  • the user's adaptability to the virtual reality is to be improved. For example, if the user provides feedback to transparently provide the control object to the user when the real-space object corresponds to a control object capable of performing interface control in virtual reality, such as a real user's hand.
  • the control efficiency of can be improved.
  • the space acquired through the single camera 300 may be defined as a real camera space (RCS) according to a field of view (FOVcam) of the camera. Coordinates of the real camera space RCS may be obtained by performing an inverse projection matrix operation on the real space RS coordinates.
  • RCS real camera space
  • FOVcam field of view
  • the coordinates of the real camera space RCS are different from the eyes of the user.
  • an indicator in which a user may actually perform a command such as a hand, that is, a space using a control object, or a space in which an object in another real space is located may be defined differently.
  • the present invention defines a space in which a user moves a control object that performs a command or a space in which an object in a real space moves, as a real motion space (RMS).
  • the real moving space RMS includes a user's hand or a control object by setting the point where the center point of the eyes L and RE of the real user RP and the real camera space RCS meet as the origin point O RMS . It may extend to the maximum depth (ie z-axis direction) where the object in the real space is located.
  • the real mobile space may be defined based on the characteristics of the virtual reality interface device.
  • the center point of the eyes LE and RE of the real user RP in the virtual reality interface device may coincide with the center of the fixed device 200 of the virtual reality interface device.
  • the field of view (FOVrs) of the real moving space RMS may have the same angle as the field of view (FOVcam) of the camera.
  • the reality moving space RMS may be the first factor f1 corresponding to the distance in the depth direction (z-axis direction) between the line of sight of the user wearing the virtual reality interface device and the single camera 300, and the virtual reality device 100.
  • the second factor f2 corresponding to the distance in the first direction (x-axis direction) substantially orthogonal to the depth direction between the center of the single camera 300 and the angle of view (FOVcam) of the single camera 300
  • It may be defined based on a third factor f3 corresponding to a depth direction distance between the real camera space RCS and the center of the virtual reality device 100.
  • the first to third factors f1, f2, and f3 are characteristics that are determined based on the distance between the single camera 300 and the virtual reality device 100 or the center of the user's gaze, and thus are included in the distance factor. It explains.
  • the object in the real space is an object that can move in contact with the body or the body of the real user (RP)
  • the user is defined based on the user's body characteristics such as the height and weight of the real user (RP)
  • the real moving space RMS may be converted into the virtual space.
  • the arm 4 may have a fourth factor f4 and an arm length corresponding to the shoulder width of the real user RP according to the user's body characteristics such as the user's height and weight.
  • a user factor such as the fifth factor f5 may be obtained from the storage means in the virtual reality interface device, the image analyzer 10, or the outside of the virtual reality interface device.
  • the sixth factor f6 may correspond to the depth of the real moving space RMS by the fifth factor f5, corresponding to the depth direction distance between the single cameras 300.
  • the user factor according to the user's body characteristics may be obtained as the user inputs to the virtual reality interface device and stored in the storage means or the image analyzer 10.
  • the process of converting the real camera space RCS to the real moving space RMS may include a distance factor f2 between the center of the fixing device 200 and the single camera 300. ) And the distance between the center of the fixing device 200 and the real camera space RCS, that is, the distance f3 to the origin O RMS of the real moving space RMS, in the x-axis direction and the z-axis direction. You can follow the process of moving each one.
  • the limitation of the maximum moving distance in the z-axis direction of the real moving space RMS according to the physical characteristics of the real user RP may not affect the coordinate transformation of the real camera space RCS.
  • the virtual reality interface device converts the object coordinates of the real space analyzed from the image acquired from the single camera 300 into a coordinate system that matches the line of sight of the real user RP, so that the user is recognized as a control object (for example, Discomfort due to the use of hands) can be minimized.
  • the converted real moving space RMS needs to be converted into the virtual space VS.
  • a virtual user VP corresponding to the real user RP is set, and the real mobile space RMS is converted into a virtual mobile space VMS.
  • the process of converting the real moving space RMS into the virtual moving space VMS may be based on the space ratio between the real space RS and the virtual space VS.
  • the ratio of the space between the real space RS and the virtual space VS is the maximum moving distance of the real moving space RMS of the real user of the real space RS, that is, the maximum included in the user factor according to the user's body characteristics. It may be determined based on the ratio of the moving distance f5 and the scale parameter of the virtual space VS.
  • the scale parameter of the virtual space VS may be a preset value that may be different according to the setting of the designer who designed the virtual space VS.
  • the virtual moving space VMS may be a space in which the real moving space RMS is projected the same.
  • the coordinates of the virtual reality coincide with the coordinates of the virtual camera space (VCS), and the coordinates of the virtual moving space (VMS) need to be converted to the coordinates of the virtual camera space (VCS).
  • the angle of view (FOVvs) of the converted virtual moving space (VMS) is an angle of view displayed to the user in the virtual space (VS), and may be the same as the angle of view of the camera (FOVcam).
  • the seventh factor g is the first factor f1 and the third factor f3 corresponding to the distance between the line of sight of the real user RP and the origin O RMS , and the real space RS and the virtual space ( It can be determined according to the space ratio between VS).
  • the seventh factor g may be determined according to a space ratio between the sum of the first factor f1 and the third factor f3 and the virtual space VS.
  • the coordinate P of the control object such as the user's hand gesture may be converted into the virtual coordinate TAT_P and displayed in the virtual reality.
  • the process of converting the coordinates of the object in the real space into the coordinates of the virtual space has been described through the expression of converting a specific space.
  • converting the space is the same concept as converting a coordinate system for representing the space. Can be understood.
  • the image analyzer 10 performs coordinate transformation of the virtual space and the real space based on at least one of the characteristics according to the image information of the object in the real space, the physical characteristics of the virtual reality interface device, and a user factor. It naturally fuses real space and virtual space.
  • a distance factor and a user factor are required to convert the coordinates of an object in the real space into the coordinates of the virtual space, so a process of acquiring or deriving the distance factor and the user factor may be required.
  • the display unit 40 may display various interface images for the user wearing the virtual reality device (S400). For example, the display unit 40 may display a guide image that matches the position of the object image in the virtual space and the real space around the user's eyes. In this case, the display unit 40 may display the guide image on the virtual reality device for a preset time, or when the position of the object image in the virtual space and the real space is considered to be matched according to a preset condition, the guide from the virtual reality device is guided. The image may not be displayed.
  • the distance factor and the user factor may be derived through a process of performing a user interface through the guide image provided by the display unit 40.
  • the virtual reality interface device of the present invention since the user experiencing the virtual reality can see through the virtual reality device by projecting his or her hand motion in the virtual space, the same effect as moving in the real space. Can be obtained. Therefore, the user can express hand motion more flexibly and accurately.
  • the feedback effect may bring an improvement in the interface connecting the real environment and the virtual environment.
  • the transparency can be automatically adjusted as the user's hand movements become familiar, and the transparent region can be designated only by the region of interest (ROI) around the moving hand, thereby immersing the virtual reality. You can try to avoid disturbing yourself as much as possible.
  • ROI region of interest
  • the human visual intelligence system performs feedback control to correct the hand motion by analyzing visual information such as the shape and position of the hand with respect to the hand motion taken by the person. Since the field of view (FOV) of the camera is narrower than the human viewing angle, the working space of the hand gesture perceived by the user and the workspace of the hand gesture perceived by the camera are different from each other. Therefore, the user's hand can be easily out of view of the camera due to the limited view angle of the camera. In this case, the user wearing the HMD is difficult to correct the hand motion because the front is not visible. In other words, the advantage of feedback control cannot be obtained in the state of wearing the HMD.
  • FOV field of view
  • the narrow angle of view of the camera can be compensated for. Therefore, even if the user's hand disappears from the camera's field of view, the user can induce an action of moving the head or moving the hand back to the camera's field of view, thereby keeping the hand continuously within the field of view of the camera.
  • the user when the user ends the virtual reality experience, the user may safely take off the virtual reality device that is worn, or put down a control device such as a controller, or the tension of the visual nerve immersed in the virtual reality.
  • a control device such as a controller
  • transparency may be gradually increased through user adjustment or through adjustment of the virtual reality interface device, thereby inducing the user to safely exit the virtual reality device.
  • the present invention can be seen through the virtual reality device by recognizing the action or face of the third party located in the vicinity of the user in the real space and projected on the virtual space.
  • the present invention can be applied to an augmented application that mixes a virtual space and a real space.
  • the invention can also be embodied as computer readable code on a computer readable recording medium.
  • Computer-readable recording media include all storage media such as magnetic storage media and optical reading media. It is also possible to record the data format of the message used in the present invention on a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법은 카메라로부터 획득된 현실공간의 영상 정보를 기초로 가상공간에 투영될 현실공간의 오브젝트 정보를 분석하는 단계, 상기 현실공간의 오브젝트 정보에 따라 상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계, 및 상기 투명정보를 기초로 상기 현실공간의 오브젝트 영상과 상기 가상공간을 융합하는 단계를 포함한다.

Description

현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치
본 발명은 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치에 관한 것이다.
가상현실(VR, Virtual Reality)을 체험하기 위해서는 HMD(Head-mount display)를 이용한다. HMD는 사용자의 머리 부분에 장착하여 사용자의 눈 앞에 영상 디스플레이를 위치시키는 장치이다. HMD는 사용자의 시야를 완전히 가림으로써 몰입도를 증가시키는 이점이 있지만, 몇가지 불편한 상황을 초래한다.
예를 들어, HMD를 착용하면 순간적으로 어색함과 두려움을 느끼는 사용자가 있다. 이는 순간적으로 기존의 현실공간이 차단되고 새로운 가상공간이 시작될 때 인간의 시각시스템이 이를 인지하고 적응하는데 시간이 필요하기 때문이며, 인간의 인식 감각 중 약 70%가 시각 정보에 의존하는 점을 미루어 짐작해 볼 때 당연한 결과이다.
또한, 사용자가 HMD를 착용하고 외부 입력 장치(예를 들어 컨트롤러 등)을 잡고자 하는 경우, 앞이 보이지 않기 때문에 불편함을 겪는다. HMD를 벗을 때도 비슷한 불편함을 겪게 된다. 이것을 해결하기 위해서는 사용자 이외의 제3자가 HMD를 착용하고 벗는 과정을 도와주거나 외부 입력 장치가 놓여진 위치를 가늠하고 반복된 학습을 통해 사용자 스스로 이 과정에 익숙해져야만 한다.
이와 더불어 인터페이스 관점에서 현재 가상현실 HMD는 현실공간의 정보를 표시해주는 기능이 없다. 따라서, 가상현실에서는 증강현실(Augmented Reality, AR) 환경에서 얻을 수 있는 현실공간과의 융합을 통한 데이터 증강의 이점이 없다.
본 발명은 카메라를 통해 획득된 현실공간의 영상 정보의 적어도 일부를 인식하여 가상공간의 정보와 혼합하여 가상현실 장치에 표시하는 가상현실 인터페이스 장치 및 방법을 제공한다.
본 발명은 카메라를 통해 획득된 현실공간의 영상으로부터 전체 또는 특정 오브젝트를 추출하고 추출한 현실공간의 오브젝트 정보를 기초로 투명정보를 결정하여 가상현실 상에 현실공간을 투영시킴으로써 상호작용할 수 있는 가상현실 인터페이스 장치 및 방법을 제공한다.
본 발명의 실시예들에 따른 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법은 현실공간의 영상 정보로부터 현실공간의 오브젝트 정보를 분석하는 단계, 상기 현실공간의 오브젝트 정보에 따라 상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계, 및 상기 투명정보에 기초하여 상기 현실공간의 오브젝트가 가상공간에 투영되도록 하여 상기 현실공간의 오브젝트 영상을 융합하는 단계를 포함한다.
일 실시예에 있어서, 상기 현실공간의 오브젝트 정보를 분석하는 단계는, 상기 현실공간의 영상 정보로부터 상기 현실공간의 오브젝트를 추출하는 단계, 및 상기 추출한 현실공간의 오브젝트에 대한 상기 투명정보를 결정하기 위한 파라미터 정보를 도출하여 상기 현실공간의 오브젝트 정보를 분석하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 현실공간의 오브젝트를 추출하는 단계는, 가상현실을 제어하기 위한 제어 오브젝트, 현실공간의 배경 오브젝트, 및 현실공간의 특정 오브젝트 중 적어도 하나를 추출하며, 상기 파라미터 정보를 도출하여 상기 현실공간이 오브젝트 정보를 분석하는 단계는, 적응도 정보를 포함하는 파라미터, 변화도 정보를 포함하는 파라미터, 및 상태 정보를 포함하는 파라미터 중 적어도 하나의 파라미터를 도출하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계는, 상기 파라미터 정보에 기초하여 상기 가상공간에 상기 현실공간의 오브젝트를 투영하기 위한 투명도를 결정하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 현실공간의 오브젝트에 대한 투명도를 결정하는 단계는, 상기 파라미터 정보가 기 설정된 투명도 변화 조건에 부합하는 경우, 투명도 변화량에 따라 상기 투명도를 재계산할 수 있다.
일 실시예에 있어서, 상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계는, 상기 파라미터 정보에 기초하여 상기 가상공간에 상기 현실공간의 오브젝트를 투영할 투명영역을 결정하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 현실공간의 오브젝트를 투영할 투명영역을 결정하는 단계는, 상기 투명영역의 모양 및 투명 스타일을 결정하여 상기 투명영역의 경계를 처리하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 현실공간의 영상 정보로부터 제어 오브젝트를 추출한 경우, 상기 제어 오브젝트에 대한 적응도 정보를 포함하는 파라미터를 도출하며, 상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계는, 상기 적응도의 정도에 따라 상기 투명도를 조절할 수 있다.
일 실시예에 있어서, 상기 현실공간의 영상 정보로부터 배경 오브젝트를 추출한 경우, 상기 배경 오브젝트에 대한 변화도 정보를 포함하는 파라미터를 도출하며, 상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계는, 상기 변화도에 기초하여 상기 현실공간의 환경 변화를 감지하여 상기 투명도를 조절할 수 있다.
일 실시예에 있어서, 상기 현실공간의 영상 정보로부터 특정 오브젝트를 추출한 경우, 상기 특정 오브젝트에 대한 상태 정보를 포함하는 파라미터를 도출하며, 상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계는, 상기 상태 정보에 기초하여 상기 특정 오브젝트를 상기 가상공간과 연동하여 상호작용 하도록 상기 투명도를 조절하는 것을 특징으로 하는 현실공간과의 융합을 제공할 수 있다.
일 실시예에 있어서, 상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계는, 상기 파라미터에 포함된 적응도 정보, 변화도 정보, 및 상태 정보 중 적어도 하나에 기초하여 상기 투명영역을 상기 가상공간 내의 전체 영역 또는 일부 영역으로 반영할지를 결정할 수 있다.
일 실시예에 있어서, 상기 투명정보에 기초하여 상기 가상공간과 상기 현실공간의 오브젝트 영상을 융합하는 단계는, 상기 가상현실 장치를 착용한 사용자의 시선을 중심으로 상기 가상공간과 상기 현실공간의 오브젝트 영상의 위치를 조정하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 융합된 영상의 상부에 인터페이스를 위한 가이드 영상을 표시하되, 상기 가이드 영상은, 기 설정된 시간 또는 기 설정된 조건에 따라 상기 가상공간과 상기 현실공간의 오브젝트 영상의 위치가 일치되는 것으로 간주되는 경우 상기 가상현실 장치에 표시되지 않을 수 있다.
본 발명의 실시예들에 따른 현실공간과의 융합을 제공하는 가상현실 인터페이스 장치는, 영상 분석부, 투명정보 결정부 및 투명정보 반영부를 포함한다. 상기 영상 분석부는 카메라로부터 획득된 현실공간의 영상 정보를 기초로 가상공간에 투영될 현실공간의 오브젝트 정보를 분석한다. 상기 투명정보 결정부는 상기 현실공간의 오브젝트 정보에 따라 상기 현실공간의 오브젝트에 대한 투명정보를 결정한다. 상기 투명정보 반영부는 상기 투명정보에 기초하여 상기 가상공간과 상기 현실공간의 오브젝트 영상을 융합한다.
일 실시예에 있어서, 상기 영상 분석부는, 상기 현실공간의 영상 정보로부터 상기 현실공간의 오브젝트를 추출하고, 상기 추출한 현실공간의 오브젝트에 대한 상기 투명정보를 결정하기 위한 파라미터 정보를 도출하여 상기 현실공간의 오브젝트 정보를 분석할 수 있다.
일 실시예에 있어서, 상기 영상 분석부는, 가상현실을 제어하기 위한 제어 오브젝트, 현실공간의 배경 오브젝트, 및 현실공간의 특정 오브젝트 중 적어도 하나를 추출하며, 적응도 정보를 포함하는 파라미터, 변화도 정보를 포함하는 파라미터, 및 상태 정보를 포함하는 파라미터 중 적어도 하나의 파라미터를 도출할 수 있다.
일 실시예에 있어서, 상기 투명정보 결정부는, 상기 파라미터 정보에 기초하여 상기 가상공간에 투영할 상기 현실공간의 오브젝트의 투명 정도를 나타내는 투명도를 결정할 수 있다.
일 실시예에 있어서, 상기 투명정보 결정부는, 상기 파라미터 정보가 기 설정된 투명도 변화 조건에 부합하는 경우, 투명도 변화량에 따라 상기 투명도를 재계산할 수 있다.
일 실시예에 있어서, 상기 투명정보 결정부는, 상기 파라미터 정보에 기초하여 상기 가상공간에 상기 현실공간의 오브젝트를 투영할 투명영역을 결정할 수 있다.
일 실시예에 있어서, 상기 투명정보 결정부는, 상기 투명영역의 모양 및 투명 스타일을 결정하여 상기 투명영역의 경계를 처리할 수 있다.
본 발명에 있어서, 상기 방법 중 적어도 하나의 방법을 수행하는 프로그램을 기록한 컴퓨터로 독출 가능한 기록 매체, 그리고 상기 방법 중 적어도 하나의 방법을 수행하기 위해 컴퓨터로 독출 가능한 기록 매체에 기록된 프로그램 또한 본 발명의 범위에 속한다.
본 발명에 따르면, 현실공간과 가상공간 간의 차이로 인한 부적응을 감소시킬 수 있다. 예를 들어, HMD를 착용하거나 벗을 때 앞이 보이지 않는 불편함을 해소할 수 있다. 사용자는 평소와 같이 앞이 보이는 상태에서 외부 입력 장치를 잡거나 놓을 수 있으며, 가상환경에 몰입하기 전에 충분한 준비 시간을 가질 수 있다. 그리고, 가상현실을 경험하면서 어지러움이나 신체적인 불편함이 느껴질 때는 현실공간을 보이게 함으로써 안정감을 찾을 수 있다.
본 발명에 따르면, 사용자 인터페이스를 확장하고 편리함을 증가시킨다. 예를 들어, 손 동작을 통해서 가상환경을 제어하는 경우에 본 발명은 사용자가 자신의 손 동작을 가상공간을 통해서 볼 수 있게 함으로써 손 동작 및 그에 따른 제어 동작의 정확성을 향상시킨다.
본 발명에 따르면, 현실공간의 특정한 오브젝트를 인식하여 가상공간에 적절한 정보를 투영함으로써 사용자가 해당 정보와 연동하여 상호작용하게 할 수 있다. 예를 들어, 주변 환경의 위험성(화재, 정전 등)이 감지가 되었을 때 경고를 주기 위해 현실공간을 보여주거나, 가상현실을 경험하고 있는 사용자의 앞에 제3자가 나타났을 경우 얼굴을 인식하여 화면에 보여주거나, 현실공간에 놓여진 특정한 물체와 상호작용을 통해 가상공간을 증강하는 경험을 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 현실공간과의 융합을 제공하는 가상현실 인터페이스 장치를 적용할 수 있는 일례를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 가상현실 인터페이스 장치의 구성을 간략하게 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법을 간략하게 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따른 가상현실 인터페이스 방법을 적용하는 일례를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 투명정보 반영부가 가상공간과 현실공간을 융합하기 위하여 두 정보들을 정렬하여 좌표를 변환하는 방법을 설명하기 위한 도면이다.
도 6은 가상현실 인터페이스 장치를 통해 표시되는 가상공간을 개념적으로 도시한 것이다.
이하에서 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.
도 1은 본 발명의 일 실시예에 따른 현실공간과의 융합을 제공하는 가상현실 인터페이스 장치를 적용할 수 있는 일례를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 현실공간과의 융합을 제공하는 가상현실 인터페이스 장치(이하, "가상현실 인터페이스 장치"라 함)는 가상현실 장치(100), 가상현실 장치(100)가 고정되어 사용자에게 장착될 수 있도록 구성된 고정 장치(200), 및 카메라(300)를 포함할 수 있다.
카메라(300)는 가상현실 장치(100)에 장착되어 사용자의 시선을 대체할 수 있다. 따라서 카메라(300)는 사용자가 바라보는 방향을 향하도록 배치될 수 있으며, 카메라(300)가 배치된 가상현실 장치(100)의 후면에는 디스플레이(미도시)가 구비되어 사용자에게 가상현실을 표시할 수 있다. 예를 들어, 가상현실 장치(100)가 장착된 고정 장치(200)를 한꺼번에 HMD(Head Mount Display)라 일컫기도 한다. 예를 들어, 고정 장치(200)는 가상현실(Virtual Reality, VR) 고글, 헤드기어를 포함할 수 있다.
도 1에서는 카메라(300)가 가상현실 장치(100)에 장착된 것으로 도시하였으나, 이는 하나의 예시일 뿐이고, 카메라(300)는 고정 장치(200)에 장착되거나 독립적으로 구현될 수도 있다. 예를 들어, 스마트폰과 같은 단말 장치를 사용하여 가상현실을 제공하는 경우 단말 장치에 장착된 카메라를 이용할 수 있고, 카메라가 장착되지 않은 HMD의 경우 이와는 별개로 외부에 카메라를 설치하여 이용할 수도 있다.
또한 도 1에서는 가상현실 인터페이스 장치가 가상현실 장치(100), 고정 장치(200), 및 카메라(300)를 포함하는 것으로 도시하고 이에 기초하여 설명하였으나, 이와 달리 본 발명의 일 실시예에 따른 가상현실 인터페이스 장치는 독립적으로 구현되어 HMD와 같은 가상현실 장치에 포함되어 구성될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 가상현실 인터페이스 장치의 구성을 간략하게 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 가상현실 인터페이스 장치는 영상 분석부(10), 투명정보 결정부(20), 투명정보 반영부(30), 및 표시부(40)를 포함할 수 있다.
영상 분석부(10)는 카메라로부터 획득된 현실공간의 영상 정보를 기초로 가상공간에 투영될 현실공간의 오브젝트(object) 정보를 분석할 수 있다. 실시예에 따라 영상 분석부(10)는 현실공간의 영상 정보로부터 현실공간의 오브젝트를 추출하고, 추출한 현실공간의 오브젝트에 대한 투명정보를 결정하기 위한 파라미터 정보를 도출하여 현실공간의 오브젝트 정보를 분석할 수 있다.
현실공간의 오브젝트 정보는 현실공간의 영상 정보로부터 추출된 오브젝트와, 추출된 오브젝트의 특성에 따른 다양한 파라미터 정보를 포함할 수 있다.
일 실시예에 있어서, 현실공간의 오브젝트는 현실공간의 영상 정보에 포함된 적어도 하나의 오브젝트를 말하며, 가상현실을 제어하기 위한 제어 오브젝트, 현실공간의 배경 오브젝트, 및 현실공간의 특정 오브젝트를 포함할 수 있다. 예를 들어, 제어 오브젝트는 가상현실을 체험하는 사용자가 가상공간을 제어하는데 필요한 구성으로서, 사용자의 손과 같은 신체 일부, 컨트롤러와 같은 제어 장치 등일 수 있다. 예를 들어, 배경 오브젝트는 현실공간의 영상 정보에서 배경으로 분석된 공간에 해당하는 정보로서, 배경 이미지를 포함할 수 있다. 예를 들어, 특정 오브젝트는 현실공간의 영상 정보에 포함된 특정한 물체, 특정한 기호, 제3자의 얼굴 등일 수 있다. 실시예에 있어서, 특정 오브젝트는 사용 당시에 외부에서 설정되거나 사용자에 의해 지정될 수 있다.
파라미터 정보는 가상현실상에 현실공간의 오브젝트를 투영할지 여부와 투명 정도를 결정하는 기초가 되는 정보이다. 실시예에 따라 영상 분석부(10)는 오브젝트의 종류에 기초하여 다양한 파라미터 정보를 분석할 수 있다.
일 실시예에 있어서, 파라미터 정보는 적응도 정보, 변화도 정보, 및 상태 정보를 포함할 수 있다. 예를 들어, 영상 분석부(10)는 사용자의 가상현실 환경 적응도를 나타내는 적응도 파라미터, 현실공간의 환경 변화와 관련된 정보를 나타내는 변화도 파라미터, 가상현실 애플리케이션의 상태나 현실공간의 특정 오브젝트의 상태와 관련된 정보를 나타내는 상태 파라미터 등을 사용하여 현실공간의 오브젝트를 분석할 수 있다. 실시예에 따라 파라미터 정보는 현실공간의 오브젝트 정보에 따라 상이하게 결정될 수도 있으나, 현실 공간의 오브젝트 정보와 독립적으로 결정될 수도 있다. 따라서 파라미터 정보는 영상 분석부(10)가 영상을 분석하여 획득될 수도 있으나, 가상현실 인터페이스 장치의 다른 특성에 기초하여 획득될 수도 있다.
적응도 파라미터는 사용자의 가상현실을 체험한 경험의 정도와 익숙함을 반영한 파라미터에 상응할 수 있다. 가상현실 인터페이스 장치의 활성화 및 장치에서 구동되는 가상현실 어플리케이션의 실행여부를 통해서 사용자의 가상현실 체험 횟수와 체험한 시간 그리고 체험의 빈도 데이터를 축적하고 분석할 수 있다. 이를 통해 영상 분석부(10)는 적응도 파라미터를 추정할 수 있으며, 사용자가 인터페이스를 통해 직접 자신의 가상현실에 대한 경험의 정도를 입력할 수도 있다.
변화도 파라미터는 영상 분석부(10)가 사용자가 가상현실 체험을 위해 가상현실 인터페이스 장치에 포함된 HMD를 착용한 시점에 카메라로부터 입력된 초기의 현실공간의 영상 정보와 시간에 따라 연속적으로 입력된 현실공간의 영상 정보의 변화 정도를 분석함으로써 설정될 수 있다. 영상 분석부(10)는 영상 전체 또는 특정 영역의 밝기, 채도, 명암의 변화를 연속적으로 분석함으로써 영상 정보의 변화량과 변화정도를 측정할 수 있다.
상태 파라미터는 가상현실 인터페이스 장치에서 구동되는 가상현실 애플리케이션의 목적과 특징에 따라 다양하게 설정될 수 있다. 예를 들어 현실공간의 특정한 물체를 추적하면서 상호작용하는 애플리케이션이 실행되는 경우, 상태 파라미터는 해당 물체의 위치 및 크기 정보가 될 수 있으며, 영상 분석부(10)는 영상인식 및 추적 알고리즘을 통해 물체의 위치 및 크기를 추정한다. 또 다른 예로, 가상현실 인터페이스 장치에서 현실공간에 있는 제3자의 얼굴 정보를 이용하는 애플리케이션이 구동되는 경우, 얼굴의 위치와 방향 그리고 얼굴 표정 정보가 상태 파라미터가 될 수 있으며, 영상 분석부(10)는 얼굴 인식 및 표정 분석 알고리즘을 통해서 추정할 수 있다.
투명정보 결정부(20)는 현실공간의 오브젝트 정보를 기초로 현실공간의 오브젝트를 투영시키기 위한 가상현실의 투명정보를 결정할 수 있다. 투명정보는 투명도 정보, 투명영역 정보, 및 투명 스타일을 포함할 수 있다. 사용자에게 완벽한 몰입감을 제공하는 가상현실을 위해서는 사용자의 시야 전부가 가상현실로 채워져야 하나, 본 발명에 따른 가상현실 인터페이스 방법 및 장치는, 사용자에게 적절한 피드백을 주기 위해 가상현실의 일부 영역을 투명하게 처리하여 현실공간의 오브젝트가 가상현실을 통해 투영될 수 있도록 표시한다. 다른 실시예에 있어서 현실공간의 오브젝트 영상의 투명도를 조정하면서 해당 오브젝트 영상이 가상현실의 시각적 상부에 나타나도록 처리할 수 있다.
일 실시예에 있어서, 투명정보 결정부(20)는 투명도 결정부(21), 투명영역 결정부(22), 및 투명 스타일 결정부(23)를 포함할 수 있다.
투명도 결정부(21)는 현실공간의 오브젝트에 대한 파라미터 정보에 기초하여 가상공간에 현실공간의 오브젝트가 투영될 수 있도록 가상공간을 구현하는 가상현실 이미지의 투명도를 결정할 수 있다. 투명도가 높아질수록 현실공간의 오브젝트가 또렷하게 투영되고 투명도가 낮아질수록 현실공간의 오브젝트는 가려지고 가상현실 이미지의 표시 정도가 커지는 것으로 이해할 수 있다.
투명영역 결정부(22)는 현실공간의 오브젝트에 대한 파라미터 정보에 기초하여 현실공간의 오브젝트가 가상공간에 투영될 영역을 결정할 수 있다. 현실공간의 오브젝트가 투영되려면 가상공간을 구축하는 이미지가 투명하게 되어야 하기 때문에 가상공간의 투명영역은 현실공간의 오브젝트의 크기 및 모양에 상응할 수 있다.
실시예에 따라 투명영역 결정부(22)는 현실공간의 오브젝트에 대한 파라미터 정보에 포함된 적응도 정보, 변화도 정보, 및 상태 정보 중 적어도 하나에 기초하여 가상공간 내의 전체 영역을 투명하게 처리할지, 그렇지 않으면 인식된 현실공간 오브젝트의 크기에 상응하게 투명영역을 설정할지를 결정할 수 있다.
투명 스타일 결정부(23)는 현실공간의 오브젝트의 투명도 또는 투명영역을 기반으로 투명영역의 모양 및 스타일을 결정하여, 투명영역의 경계를 처리를 할 수 있다.
투명정보 반영부(30)는 투명정보를 기초로 현실공간의 오브젝트와 가상현실 이미지를 함께 표시한다. 실시예에 따라, 투명정보 반영부(30)는 가상공간을 기준으로 투명정보를 기초로 생성된 현실공간의 오브젝트 영상을 렌더링하여 가상현실 장치에 표시할 수 있다.
실시예에 따라 가상공간과 현실공간을 렌더링하는 것은 가상현실 이미지와 현실공간의 오브젝트 영상 중 적어도 일부를 렌더링하는 과정에 따라 이루어질 수 있다. 실시예에 따라, 투명정보 반영부(30)는 가상현실 이미지와 현실공간의 오브젝트 사이의 위화감을 줄이기 위해 가상현실 이미지와 카메라를 통해 획득된 현실공간의 오브젝트 영상 사이의 좌표 변환을 수행하여 두 정보를 렌더링할 수 있다.
좌표 변환은 가상현실 인터페이스의 물리적 장치의 특성 및 가상현실 인터페이스 장치의 사용자 특성에 기초하여 이루어질 수 있다. 현실공간과 가상공간 사이의 좌표 변환에 대해서는 도 5을 참조하여 구체적으로 설명하도록 한다.
표시부(40)는 가상현실 장치를 착용한 사용자의 시선을 중심으로 가상공간과 현실공간의 오브젝트 영상의 위치를 일치시키는 가이드 영상을 표시할 수 있다. 이때 표시부(40)는 기 설정된 시간 동안 가상현실 장치에 가이드 영상을 표시할 수도 있고, 또는 기 설정된 조건에 따라 가상공간과 현실공간의 오브젝트 영상의 위치가 일치되는 것으로 간주되는 경우 가상현실 장치로부터 가이드 영상을 표시하지 않을 수 있다.
도 6은 가상현실 인터페이스 장치를 통해 표시되는 가상공간을 개념적으로 도시한 것이다. 도 6에서는 현실공간의 오브젝트 영상이 사용자의 손가락 끝점(TAT_P)인 것을 예시적으로 설명한다. 도 6의 (a)에서는 가상공간의 시선 중심점(GP)에 대하여 현실공간의 오브젝트 영상, 즉 손가락 끝점이 일치되도록 하는 가이드(Guide)가 표시될 수 있다. 이 가이드는 시선 중심점을 표시하는 중심점의 원형 표시도 함께 포함할 수 있다. 이러한 가이드 영상에 대해 (b)와 같이 사용자가 가상공간의 시선 중심점(GP)과 현실공간의 오브젝트 영상을 일치시킨 경우, 가이드 영상은 (c)와 같이 제거될 수 있고 또한 현실공간의 오브젝트 영상까지도 제거되고 완전한 가상공간만이 사용자에게 표시될 수도 있다.
실시예에 따라 가상공간과 현실공간의 오브젝트 영상의 위치가 일치되는 것의 경우는, 사용자에 대하여 가상공간에 있어서 특정 중심점, 예를 들어 사용자의 시선이 위치하는 가상공간의 중심에 대하여 현실 공간의 오브젝트 영상의 위치를 일치시키도록 인터페이스 명령을 수행할 수 있다. 이에 따라 사용자는 현실 공간 오브젝트 영상과 사용자의 시선 중심이 일치하도록 현실공간 오브젝트 영상 위치를 이동시키거나 자신의 시선을 이동시킬 수 있다. 이 때에 가이드 영상을 통해 시선 중심점이 현재 어느 위치에 있는지를 표시할 수 있으며, 사용자는 가이드 영상이 표시된 곳으로 현실공간 오브젝트 영상의 위치가 일치되도록 동작할 수 있다. 가상공간의 특정 위치와 현실공간의 오브젝트 영상의 위치가 일치된 경우, 사용자가 가상공간의 위치에 대해 현실공간 사이와의 관계를 인지한 것으로 판단하여 가이드 영상이 제거될 수 있다.
도 3은 본 발명의 일 실시예에 따른 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법을 간략하게 나타낸 순서도이다. 도 3의 방법은 상술한 도 1 및 도 2의 가상현실 인터페이스 장치에 의해 수행될 수 있다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법(이하, 가상현실 인터페이스 방법이라 함)은 카메라로부터 획득된 현실공간의 영상 정보를 기초로 가상공간에 투영될 현실공간의 오브젝트 정보를 분석하는 단계(S100), 현실공간의 오브젝트 정보에 따라 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계(S200), 및 투명정보에 기초하여 현실공간의 오브젝트 영상을 가상공간에 반영하는 단계(S300)를 포함할 수 있다. 각 단계의 동작 과정에 대해서는 도 4를 참조하여 구체적으로 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 가상현실 인터페이스 방법을 적용하는 일례를 나타낸 도면이다. 도 4의 방법은 상술한 도 1 및 도 2의 가상현실 인터페이스 장치에 의해 수행될 수 있다.
도 4를 참조하면, 영상 분석부(10)는 카메라로부터 획득된 현실공간의 영상 정보를 기초로 가상공간에 투영될 현실공간의 오브젝트 정보를 분석할 수 있다(S100). 실시예에 따라 영상 분석부(10)는 현실공간의 영상 정보로부터 현실공간의 오브젝트를 추출하고, 추출한 현실공간의 오브젝트에 따른 투명정보를 결정하기 위한 파라미터 정보를 도출하여 현실공간의 오브젝트 정보를 분석할 수 있다.
일 실시예에 있어서, 사용자의 손과 같은 신체 일부 또는 컨트롤러와 같은 제어 장치 등을 사용하여 가상현실 공간상의 특정 물체를 제어함으로써 상호작용하는 가상현실 애플리케이션의 경우, 영상 분석부(10)는 현실공간의 영상 정보로부터 제어 오브젝트(예를 들어, 사용자의 손, 컨트롤러 등)를 추출하고, 추출한 제어 오브젝트를 가상공간상에 투영하기 위해 필요한 파라미터 정보를 도출할 수 있다. 예를 들어, 도 4에서와 같이, 사용자의 손을 제어 오브젝트로 추출한 경우, 영상 분석부(10)는 손 동작의 분석을 통해 손의 위치 및 크기 등을 추정함으로써 손 동작의 인식 정도나 손 동작의 익숙함 정도에 따른 적응도 정보를 포함하는 파라미터(예컨대, 동작 인식 에러율을 나타내는 파라미터)를 도출할 수 있다.
다른 실시예에 있어서, 영상 분석부(10)는 현실공간의 영상 정보로부터 배경 오브젝트를 추출하고, 추출한 배경 오브젝트의 영상 밝기 또는 배경 이미지의 변화를 분석함으로써 현실공간의 환경 변화를 파악할 수 있는 파라미터를 도출할 수 있다. 예를 들어, 영상 분석부(10)는 사용자가 HMD와 같은 가상현실 장치를 착용한 시점에 카메라를 통해 획득된 현실공간의 영상 정보와 소정의 시간 이후에 카메라를 통해 획득된 각 현실공간의 영상 정보로부터 배경 오브젝트를 추출하고 두 배경 오브젝트 사이의 영상 밝기 또는 배경 이미지의 차이를 비교함으로써 현실공간의 환경 변화를 나타내는 변화도 정보를 포함하는 파라미터를 도출할 수 있다.
또 다른 실시예에 있어서, 영상 분석부(10)는 현실공간의 영상 정보로부터 특정 오브젝트(예: 특정 물체, 특정 기호 등)를 추출하고, 추출한 특정 오브젝트를 가상공간상에 투영하기 위해 필요한 파라미터 정보를 도출할 수 있다. 예를 들어, 영상 분석부(10)는 현실공간의 영상 정보로부터 특정 물체를 추출하고 추출한 물체의 위치와 크기 정보를 분석함으로써 특정 물체에 대한 상태 정보를 포함하는 파라미터를 도출할 수 있고, 이때 특정 물체가 움직이는 경우 시간에 따른 현실공간의 영상의 변화를 분석하여 물체의 이동 경로에 관한 정보를 포함하는 파라미터를 도출할 수 있다. 여기서 영상 내의 물체의 인식과 추적은 영상 처리 알고리즘의 다양한 물체 인식 및 추적 알고리즘을 이용할 수 있으며, 예를 들어, 칼만(Kalman) 필터를 이용한 물체 추적 알고리즘, 베이지안(Bayesian) 알고리즘 등을 이용하여 물체의 위치와 크기를 추정할 수 있다.
투명정보 결정부(20)는 현실공간의 오브젝트 정보에 따라 현실공간의 오브젝트를 투영하기 위한 가상현실 이미지의 투명정보를 결정할 수 있다(S200). 본 발명에 따른 투명정보는 현실공간에 실재하는 오브젝트를 가상공간상에 반영하기 위한 정보로서, 가상환경에 대한 적응력 및 경험에 따라 투명정보를 조정함으로써 가상현실에 대한 두려움을 줄이고 쉽게 적응할 수 있는 가이드 역할을 한다. 또한 가상현실에 적응한 이후 가상현실에 대한 몰입도를 방해하지 않도록 투명정보를 조정할 수 있다.
실시예에 있어서, 투명도 결정부(21)는 현실공간의 오브젝트에 대한 파라미터 정보를 기초로 현실공간의 오브젝트가 드러날 수 있도록 가상현실 이미지를 투명하게 나타내는 정도에 상응하는 투명도를 결정할 수 있다(S210). 예를 들어, 초기에 투명도 T_(0)는 0일 수 있다. 시간 t일 때 투명도 T_(t)는 이전 시간의 투명도 T_(t-1)에 투명도 변화량 ΔT을 기반으로 계산될 수 있으며, 투명도의 증감에 따라 아래 수학식 1 또는 수학식 2와 같이 계산될 수 있다.
Figure PCTKR2018004952-appb-M000001
Figure PCTKR2018004952-appb-M000002
여기서, 시간 t는 처리(processing) 시간을 의미한다. 투명도 T의 범위는 0 ≤ T ≤ 100 일 수 있다. T = 0 이면 가상공간만 보이고, T = 100 이면 카메라를 통해 입력된 현실공간만 보일 수 있다. ΔT는 투명도의 증감폭을 결정하는 매개변수로 디폴트(default)는 1로 설정될 수 있으나, 이는 하나의 예시일 뿐이다. 디폴트는 다른 값으로 정의할 수도 있고 사용자가 직접 증감폭을 설정할 수도 있다.
실시예에 따라 투명도가 0인 경우에는 영상을 분석하여 오브젝트를 추출하는 등의 동작을 수행할 필요가 없을 수 있다. 또한 투명도가 100인 경우에는 가상공간에 표시할 이미지를 처리할 필요가 없을 수 있다.
투명도는 사용자에 의해 수동으로 설정될 수도 있고, 가상현실 인터페이스 장치에 의해 자동으로 설정될 수도 있다. 예를 들어, 투명도가 자동으로 설정된 경우, 투명도 결정부(21)는 현실공간의 오브젝트에 대한 파라미터 정보에 따라 적절하게 투명도를 조절할 수 있다.
일 실시예에 있어서, 사용자의 손과 같은 신체 일부 또는 컨트롤러와 같은 제어 장치 등을 사용하여 가상현실 공간상의 특정 물체를 제어함으로써 상호작용하는 가상현실 애플리케이션의 경우, 투명도 결정부(21)는 영상 분석부(10)에 의해 도출된 손 동작의 인식 정도나 손 동작의 익숙함 정도에 따른 적응도 정보를 포함하는 파라미터(예컨대, 동작 인식 에러율을 나타내는 파라미터)를 기반으로 투명도를 결정할 수 있다.
예를 들어, 동작 인식 에러율을 나타내는 파라미터가 동작 인식 에러율이 높은 것으로 나타난 경우, 투명정보 결정부(20)는 제어 오브젝트(예: 사용자의 손)를 가상공간에 표시되도록 투명도를 결정할 수 있다. 이후 동작 인식 에러율이 낮은 것으로 나타나면, 투명도를 감소시킴으로써 제어 오브젝트(예: 사용자의 손)가 가상공간에 표시되지 않도록 할 수 있다.
다른 실시예에 있어서, 투명도 결정부(21)는 영상 분석부(10)에 의해 도출된 변화도 정보를 포함하는 파라미터(예: 현실공간의 환경 변화를 파악할 수 있는 파라미터)를 기반으로 환경 변화를 감지하여 투명도를 결정할 수 있다. 예를 들어, 사용자가 HMD와 같은 가상현실 장치를 착용하여 가상현실 환경을 체험하는 동안 현실공간에서 화재, 정전 등과 같은 위급한 상황이 발생한 경우, 영상 분석부(10)는 현실공간의 영상 정보에 화재 인식(fire detection) 또는 이상 상황 인식(abnormal detection) 알고리즘 등과 같은 영상 처리 알고리즘을 적용함으로써 현실공간의 환경 변화를 파악할 수 있는 파라미터를 도출할 수 있다. 이 경우, 투명도 결정부(21)는 현실공간의 환경 변화를 파악할 수 있는 파라미터를 기초로 현실공간상에 위급한 상황이 발생한 것으로 판단하고, 가상공간에 현실공간의 오브젝트가 표시되도록 투명도(예: T = 100)를 결정할 수 있다.
또 다른 실시예에 있어서, 투명도 결정부(21)는 영상 분석부(10)에 의해 도출된 특정 오브젝트에 대한 상태 정보를 포함하는 파라미터를 기반으로 투명도를 결정할 수 있다. 예를 들어, 사용자가 HMD와 같은 가상현실 장치를 착용하여 가상현실 환경을 체험하는 동안 현실공간상에 제3자가 나타나거나 특정 물체가 놓여져 있는 경우, 영상 분석부(10)는 현실공간의 영상 정보로부터 제3자의 얼굴이나 특정 물체를 추출하여 이에 대한 상태 정보를 포함하는 파라미터를 도출하고, 투명도 결정부(21)는 이러한 상태 정보를 포함하는 파라미터를 기반으로 가상공간상에 제3자의 얼굴이나 특정 물체를 표시하도록 투명도를 결정할 수 있다. 이러한 본 발명의 실시예에 있어서, 현실공간상에 실재하는 제3자나 특정 물체를 가상공간에 투영시킴으로써 사용자가 현실공간과 가상공간 사이에서 상호작용을 할 수 있는 인터페이스를 제공한다.
투명도 결정부(21)는 파라미터 정보가 기 설정된 투명도 변화 조건에 부합하는 경우, 상기 수학식 1에서와 같이 투명도 변화량(ΔT)에 따라 투명도를 재계산할 수 있다. 예를 들어, 일정 시간의 경과 여부, 파라미터에 설정된 임계 값, 시간에 따른 파라미터의 변화 값 등을 투명도 변화 조건으로 사용할 수 있다.
투명영역 결정부(22)는 파라미터 정보에 기초하여 가상공간에 투영할 현실공간의 오브젝트의 투명영역을 결정할 수 있다(S220). 실시예에 따라, 투명영역 결정부(22)는 파라미터 정보에 포함된 적응도 정보, 변화도 정보, 상태 정보 등에 기초하여 투명영역을 가상공간의 전체 영역 또는 일부 영역으로 반영할지를 결정할 수 있다.
일 실시예로, 현실공간의 특정 물체를 가상공간상에 투영하여 표시하고자 할 때, 투명영역 결정부(22)는 영상 분석부(10)에서 분석된 특정 물체에 대한 상태 정보를 나타내는 파라미터로부터 특정 물체의 위치(예: (x, y) 좌표 정보)와 크기(예: (w, h) 너비 및 높이 정보)를 파악할 수 있고, 이러한 특정 물체의 정보를 이용하여 가상공간 내에 특정 물체를 투영할 투명영역을 설정할 수 있다.
다른 실시예로, 투명영역 결정부(22)는 영상 분석부(10)에서 분석된 현실공간의 환경 변화도를 나타내는 파라미터로부터 현실공간상에 위급한 상황이 발생한 것으로 판단한 경우, 현실공간의 오브젝트가 가상공간의 전체 영역에 투영되어 표시되도록 투명영역을 설정할 수 있다.
투명 스타일 결정부(23)는 투명영역의 모양 및 투명 스타일을 결정하여 투명영역의 경계를 처리할 수 있다(S230). 투명영역의 모양은 예컨대 원, 타원, 정사각형, 직사각형 등의 기본적인 도형 모양뿐만 아니라, 가상현실 애플리케이션에 따라서 특정한 모양으로 지정할 수도 있다. 실시예에 따라 투명영역의 모양은 현실공간의 오브젝트의 형상에 상응할 수 있다. 투명 스타일은 예컨대 가우시안 마스크(Gaussian mask), 그라데이션 마스크(Gradation mask), 균등형 마스크 등을 사용하여 처리될 수 있다.
일 실시예에 있어서, 투명영역 결정부(22)가 가상공간 내의 일부 영역을 현실공간의 오브젝트가 투영되는 투명영역으로 결정한 경우, 투명 스타일 결정부(23)는 투명영역과 투명영역이 아닌 부분의 경계를 부드럽게 처리함으로써 사용자의 가상현실에 대한 몰입도를 방해하지 않도록 할 수 있다. 또한 투명영역의 모양 또는 투명 스타일은 사용자에 의해 수동으로 설정될 수도 있고, 가상현실 인터페이스 장치에 의해 자동으로 설정될 수도 있다.
예를 들어, 투명 스타일 결정부(23)는 영상 분석부(10)에서 분석된 현실공간의 환경 변화도를 나타내는 파라미터로부터 현실공간상에 위급한 상황이 발생한 것으로 판단한 경우, 투명영역의 모양을 가상공간의 전체 영역을 꽉 채우는 모양(예: 가상현실 장치를 통해 표시되는 전체 영역의 모양)으로 설정할 수 있다. 또는 현실공간의 특정 물체를 가상공간상에 투영하여 표시하고자 할 때, 투명 스타일 결정부(23)는 특정 물체의 모양을 기초로 투명영역의 모양을 결정하고, 그 투명영역의 모양에 가우시안 마스크 등을 투명 스타일로 지정할 수 있다.
투명정보 반영부(30)는 투명정보를 기초로 가상현실 이미지와 현실공간의 오브젝트를 융합할 수 있다(S300). 투명정보 반영부(30)는 투명정보를 기초로 생성된 현실공간의 오브젝트 영상을 렌더링하여 가상현실 장치에 표시할 수 있다
일 실시예에 있어서, 투명정보 반영부(30)는 투명영역 결정부(22)에 의해 투명영역으로 결정된 부분의 가상현실 이미지에 대해 투명 스타일 결정부(23)에 의해 결정된 스타일을 적용하고, 투명도 결정부(21)에 의해 결정된 투명도를 적용하여 그 하부로 현실공간의 오브젝트가 비취지도록 두 이미지를 융합할 수 있다. 이 경우 가상현실 이미지가 현실공간 이미지보다 시각적으로 상부에 위치할 수 있다. 이러한 시각적인 관계는 계층적인 레이어(layer)를 형성함에 따라 구현될 수 있다.
다른 실시예에 있어서, 투명정보 반영부(30)는 영상 분석부(10)에서 분석된 카메라로부터 획득한 현실공간의 정보를 기반으로 투명영역 결정부(22)에 의해 설정된 투명영역, 투명 스타일 결정부(23)에 의해 결정된 투명 스타일, 투명도 결정부(21)에 의해 결정된 투명도에 대한 모든 정보를 반영하여 현실공간의 영상을 가상현실 이미지의 시각적 상부에 위치하도록 두 이미지를 융합할 수 있다.
예를 들어, 투명정보 결정부(20)가 영상 분석부(10)에서 분석된 현실공간의 환경 변화도를 나타내는 파라미터로부터 현실공간상에 위급한 상황이 발생한 것으로 판단한 경우 "투명도 = 100", "투명영역 = 전체", "투명 스타일 = 없음"으로 투명정보를 결정할 수 있고, 이에 따라 투명정보 반영부(30)가 이러한 투명정보를 반영하여 가상공간에 현실공간의 오브젝트가 투영되도록 가상현실 이미지와 현실공간 영상을 융합할 수 있다. 이 경우, 현실공간이 그대로 가상현실 장치에 표시되므로 사용자가 가상현실을 체험하는 동안에도 현실공간을 인지하고 위급한 상황임을 파악할 수 있게 된다. 따라서 본 발명에서는 갑자기 정전이나 화재가 발생하는 것과 같은 위급한 상황이 발생했을 때 사용자가 가상공간에서 벗어나도록 유도할 수 있으므로 사용자가 안전하게 가상현실을 체험할 수 있다.
다른 예로, 본 발명에서는 사용자가 처음 HMD를 착용 시에 사용자의 가상현실 환경에 대한 적응을 돕고 안전하게 제어 장치를 잡을 수 있게 투명정보를 결정할 수 있다. 투명정보 결정부(20)가 영상 분석부(10)에서 분석된 적응도 정보를 포함하는 파라미터(예컨대, 동작 인식 에러율을 나타내는 파라미터)로부터 사용자가 가상현실 환경의 적응도가 낮은 것으로 판단한 경우 "투명도 = 50 이상", "투명영역 = 전체", "투명 스타일 = 없음"으로 투명정보를 결정할 수 있고, 이에 따라 투명정보 반영부(30)가 이러한 투명정보를 반영하여 가상공간을 통해 투명하게 비춰지는 현실공간의 오브젝트 영상을 생성할 수 있다. 따라서 사용자는 현실공간상에 놓여 있는 컨트롤러와 같은 제어 장치를 쉽게 찾아서 사용할 수 있다. 이후 사용자가 가상현실을 체험할 준비가 되었다면 서서히 투명도를 감소시켜 최종적으로는 투명도를 0으로 설정하여 가상현실에 몰입하게 할 수 있다.
도 5는 본 발명의 일 실시예에 따라 투명정보 반영부가 가상공간과 현실공간을 융합하기 위하여 두 정보들을 정렬하여 좌표를 변환하는 방법을 설명하기 위한 도면이다. 도 5에 있어서, 가상현실 장치(100)를 중심으로 상부는 현실공간(Real Space, RS), 하부는 가상공간(Virtual Space, VS)으로 가정하여 좌표계의 변환을 도시하였다. 도 5에서는 현실공간의 오브젝트가 사용자의 손의 영상으로, 제어 오브젝트인 경우를 위주로 설명하였으나 이에 한정되는 것은 아니다.
현실공간(RS)은 가상현실 인터페이스 장치를 착용한 실 사용자(Real Player, RP)의 시선(LE, RE)과, 가상현실 인터페이스 장치에 포함된 가상현실 장치(100), 단일 카메라(300) 및 고정 장치(200)의 관계에 의하여 정의될 수 있다.
본 명세서에서는 가상현실 인터페이스 장치가 가상현실 장치(100), 단일 카메라(300) 및 고정 장치(200)로 이루어지는 것으로 설명하고 도면에도 그에 기초하여 도시하였으나 본 발명의 일 실시예에 따른 가상현실 인터페이스 장치는 적어도 하나의 외부 촬상소자 및 사용자가 가상현실을 인식할 수 있도록 표시하는 수단을 구비하는 것으로도 충분하다.
현실공간(RS)의 실 사용자(RP)의 시선 앞에는 가상현실 장치(100)가 위치하기 때문에 현실공간(RS)에 대한 사용자의 시야가 가로막힌다. 본 발명에서는 가상현실 인터페이스 장치에 포함된 단일 카메라(300)와 같은 촬상소자를 통해 획득된 현실공간(RS)의 영상에서 오브젝트를 추출하되, 이러한 오브젝트를 통해 가상현실 인터페이스를 제어하기 위해서 이러한 정보가 사용자에게 일정 시간 동안 투명하게 제공함에 따라 사용자의 가상현실에 대한 적응도를 향상시키고자 한다. 예를 들어, 현실공간 오브젝트가 실 사용자의 손(hand)과 같이 가상현실에서 인터페이스 제어를 수행할 수 있는 제어 오브젝트에 상응하는 경우에 사용자에게 제어 오브젝트를 투명하게 제공하는 피드백을 제공하는 경우, 사용자의 제어 효율이 향상될 수 있다.
단일 카메라(300)를 통하여 획득되는 공간은, 카메라의 화각(Field of view, FOVcam)에 따라서 현실 카메라 공간(Real Camera Space, RCS)으로 정의될 수 있다. 현실 카메라 공간(RCS)의 좌표는 현실공간(RS) 좌표를 역투영 행렬(Inverse Projection Matrix) 연산을 수행하여 얻어질 수 있다.
그런데 현실 카메라 공간(RCS)의 좌표는 사용자의 시선과 차이가 있다. 또한 실제로 사용자가 손과 같이 명령을 수행할 수 있는 지시자, 즉 제어 오브젝트를 사용하는 공간, 혹은 이외에 다른 현실공간의 오브젝트가 위치하는 공간은 달리 정의될 수 있다. 본 발명에서는 이와 같이 사용자의 시선과 일치하면서도 사용자가 명령을 수행하는 제어 오브젝트를 움직일 수 있는 공간 또는 현실공간의 오브젝트가 이동하는 공간을 현실 이동 공간(Real Motion Space, RMS)으로 정의한다. 현실 이동 공간(RMS)은 실 사용자(RP)의 시선(LE, RE)의 중심점과 현실 카메라 공간(RCS)이 만나는 점을 원점(ORMS)으로 하여, 사용자의 손, 또는 제어 오브젝트를 포함하는 현실공간의 오브젝트가 위치하는 최대 깊이(즉 z 축 방향)까지 연장될 수 있다.
현실 이동 공간(RMS)은 가상현실 인터페이스 장치의 특징에 기초하여 정의될 수 있다. 실시예에 따라 가상현실 인터페이스 장치에서 실 사용자(RP)의 시선(LE, RE)의 중심점은 가상현실 인터페이스 장치의 고정 장치(200)의 중심과 일치할 수 있다.
현실 이동 공간(RMS)의 화각(FOVrs)은 카메라의 화각(FOVcam)과 동일한 각도를 가질 수 있다.
현실 이동 공간(RMS)은 가상현실 인터페이스 장치를 착용한 사용자의 시선과 단일 카메라(300) 사이의 깊이 방향(z축 방향)의 거리에 상응하는 제1 인자(f1), 가상현실 장치(100)의 중심과 단일 카메라(300) 사이의 깊이 방향과 실질적으로 직교하는 제1 방향(x축 방향)의 거리에 상응하는 제2 인자(f2), 및 단일 카메라(300)의 화각(FOVcam)을 고려한 현실 카메라 공간(RCS)와 가상현실 장치(100)의 중심 사이의 깊이 방향 거리에 상응하는 제3 인자(f3)에 기초하여 정의될 수 있다. 본 명세서에서 제1 내지 제3 인자(f1, f2, f3)는 단일 카메라(300)와 가상현실 장치(100) 또는 사용자의 시선의 중심 사이의 거리에 기초하여 결정되는 특성이므로 거리 인자에 포함되는 것으로 설명한다.
또한, 본 발명에 따르면 현실공간의 오브젝트가 실 사용자(RP)의 신체 또는 신체와 접촉하여 움직일 수 있는 객체인 경우, 실 사용자(RP)의 키와 몸무게와 같은 사용자 신체 특성에 기초하여 정의되는 사용자 인자(f4, f5, f6)에 기초하여 현실 이동 공간(RMS)이 가상 공간으로 변환될 수 있다.
예를 들어, 제어 오브젝트가 사용자의 손인 경우, 실시예에 따라 사용자의 키와 몸무게와 같은 사용자의 신체 특성에 따라서 실 사용자(RP)의 어깨 너비에 상응하는 제4 인자(f4)와 팔 길이에 상응하는 제5 인자(f5)와 같은 사용자 인자가 가상현실 인터페이스 장치 내의 저장 수단, 영상 분석부(10) 또는 가상현실 인터페이스 장치의 외부로부터 획득될 수 있다. 제6 인자(f6)는 제5 인자(f5)에 의한 현실 이동 공간(RMS)의 깊이를 단일 카메라(300) 사이의 깊이 방향 거리에 상응할 수 있다.
다른 실시예에 있어서, 사용자의 신체 특성에 따른 사용자 인자는, 사용자가 가상현실 인터페이스 장치에 입력함에 따라 획득되어 저장 수단 또는 영상 분석부(10)에 저장될 수 있다.
현실 카메라 공간(RCS)이 현실 이동 공간(RMS)으로 변환되는 과정은, 현실 카메라 공간(RCS)의 원점(ORCS)을 고정 장치(200)의 중심과 단일 카메라(300) 사이의 거리 인자(f2)와, 고정 장치(200)의 중심과 현실 카메라 공간(RCS)이 만나는 점, 즉 현실 이동 공간(RMS)의 원점(ORMS)까지의 거리(f3)에 따라 x 축 방향과 z 축 방향으로 각각 이동시키는 과정을 따를 수 있다. 현실 이동 공간(RMS)의 z 축 방향의 최대 이동 거리가 실 사용자(RP)의 신체 특성에 따라 제한되는 것은 현실 카메라 공간(RCS)의 좌표 변환에는 영향을 미치지 않을 수 있다.
가상현실 인터페이스 장치는 단일 카메라(300)로부터 획득한 영상으로부터 해석한 현실공간의 오브젝트 좌표를 실 사용자(RP)의 시선과 일치시키는 좌표계로 변환함에 따라서 사용자가 제어 오브젝트로 인식되는 객체(예를 들어 손)를 이용하는 데에 따른 위화감을 최소화할 수 있다.
변환된 현실 이동 공간(RMS)은 가상공간(VS)으로 변환될 필요가 있다. 가상공간(VS)에는 실 사용자(RP)와 대응되는 가상 사용자(Virtual Player, VP)가 설정되고, 현실 이동 공간(RMS)이 가상 이동 공간(VMS)으로 변환된다. 현실 이동 공간(RMS)이 가상 이동 공간(VMS)으로 변환되는 과정은 현실공간(RS)과 가상공간(VS) 사이의 공간 비율에 따를 수 있다.
현실공간(RS)과 가상공간(VS) 사이의 공간 비율은, 현실공간(RS)의 실 사용자의 현실 이동 공간(RMS)의 최대 이동 거리, 즉 사용자의 신체 특성에 따른 사용자 인자에 포함된 최대 이동 거리(f5)의 비율과 가상공간(VS)의 스케일 파라미터에 기초하여 결정될 수 있다. 가상공간(VS)의 스케일 파라미터는 가상공간(VS)을 설계한 디자이너의 설정에 따라 상이해질 수 있는 기 설정된 값일 수 있다.
따라서 공간 비율만을 제외하고는 가상 이동 공간(VMS)은 현실 이동 공간(RMS)이 동일하게 투영된 공간일 수 있다. 가상현실의 좌표는 가상 카메라 공간(Virtual Camera Space, VCS)의 좌표와 일치하는 것으로, 가상 이동 공간(VMS)의 좌표를 가상 카메라 공간(VCS)의 좌표로 변환해야 한다. 이와 같이 변환된 가상 이동 공간(VMS)의 화각(FOVvs)은 가상공간(VS)으로 사용자에게 표시되는 화각으로, 카메라의 화각(FOVcam)과 동일하게 느껴질 수 있을 것이다.
가상 이동 공간(VMS)의 원점(OVMS)을 가상 카메라 공간(VCS)의 원점(OVCS)과 일치시키기 위해 z 축 방향으로 제7 인자(g)만큼의 이동 행렬 연산을 수행한다. 여기서 제7 인자(g)는 실 사용자(RP)의 시선과 원점(ORMS)사이의 거리에 상응하는 제1 인자(f1) 및 제3 인자(f3)와 현실공간(RS)과 가상공간(VS) 사이의 공간 비율에 따라서 결정될 수 있다. 예를 들어, 제1 인자(f1) 및 제3 인자(f3)의 합과 가상공간(VS) 사이의 공간 비율에 따라서 제7 인자(g)가 결정될 수 있다.
상술한 과정을 통하여 사용자의 손동작과 같은 제어 오브젝트의 좌표(P)가 가상 좌표(TAT_P)로 변환되어 가상현실에서 표시될 수 있다. 도 5를 참조하여서는 특정한 공간을 변환한다는 표현을 통하여 현실공간의 오브젝트의 좌표를 가상공간의 좌표로 변환하는 과정을 설명하였으나, 공간을 변환하는 것은 공간을 표현하기 위한 좌표계를 변환하는 것과 동일한 개념으로 이해될 수 있다.
즉, 영상 분석부(10)는 이와 같이 현실공간의 오브젝트의 영상 정보에 따른 특성, 가상현실 인터페이스 장치의 물리적 특징, 및 사용자 인자 중 적어도 하나에 기초하여 가상공간과 현실공간의 좌표 변환을 수행하여 자연스럽게 현실공간과 가상공간을 융합한다.
실시예에 따라 현실공간의 오브젝트의 좌표를 가상공간의 좌표로 변환하기 위해서는 거리 인자와 사용자 인자가 필요하기 때문에 거리 인자와 사용자 인자를 획득하거나 도출하는 과정이 요구될 수 있다.
표시부(40)는 가상현실 장치를 착용한 사용자에 대하여 다양한 인터페이스 영상을 표시할 수 있다(S400). 예를 들어, 표시부(40)는 사용자의 시선을 중심으로 가상공간과 현실공간의 오브젝트 영상의 위치를 일치시키는 가이드 영상을 표시할 수 있다. 이때 표시부(40)는 기 설정된 시간 동안 가상현실 장치에 가이드 영상을 표시할 수도 있고, 또는 기 설정된 조건에 따라 가상공간과 현실공간의 오브젝트 영상의 위치가 일치되는 것으로 간주되는 경우 가상현실 장치로부터 가이드 영상을 표시하지 않을 수 있다.
실시예에 따라, 표시부(40)에서 제공된 가이드 영상을 통해 사용자가 인터페이스를 수행하는 과정을 통해 거리 인자와 사용자 인자가 도출될 수도 있다.
상술한 바와 같은 본 발명의 가상현실 인터페이스 장치를 사용할 경우, 가상현실을 체험하는 사용자가 자신의 손 동작을 가상공간 상에 투영시킴으로써 가상현실 장치를 통해 볼 수 있기 때문에 현실공간에서 실제로 움직이는 것과 같은 효과를 얻을 수 있다. 따라서 사용자는 손 동작을 보다 유연하고 정확하게 표현할 수 있게 된다. 또한 사용자가 손 동작의 위치와 모양을 기반으로 가상현실상의 물체 등을 이동 또는 포인팅하고자 할 경우, 이러한 피드백 효과를 통해 현실환경과 가상환경을 연결하는 인터페이스의 향상을 가져올 수도 있다. 또한 본 발명에 따르면 사용자의 손 동작이 익숙해 짐에 따라 투명도가 자동으로 조절될 수 있고, 움직이는 손 주변만을 관심영역(Region of Interest, ROI)으로 잡아서 투명영역을 지정할 수 있으므로, 가상현실의 몰입도를 최대한 방해하지 않도록 할 수 있다.
한편, 인간의 시각지능시스템은 본인이 취한 손 동작에 대해서 손의 모양, 위치 등의 시각정보를 분석함으로써 정확한 손 동작이 되도록 보정하는 되먹임(feedback) 제어를 한다. 카메라의 화각(field of view, FOV)은 인간의 시야각에 비해서 좁기 때문에, 사용자가 인지하는 손 동작의 작업 공간과 카메라가 인지하는 손 동작의 작업 공간이 서로 다르게 된다. 따라서 카메라의 제한된 화각으로 인해 사용자의 손이 쉽게 카메라의 화각을 벗어날 수 있게 된다. 이러한 경우, HMD를 착용한 사용자는 앞이 보이지 않기 때문에 손 동작을 보정하기 어렵다. 즉, 되먹임 제어의 이점을 HMD를 착용하고 있는 상태에서는 얻을 수가 없다. 그러나 본 발명에서는 투명정보를 통해서 현실공간의 정보를 적절하게 가상공간과 혼합하여 보여줄 수 있기 때문에, 카메라의 좁은 화각을 보상할 수 있다. 따라서 사용자의 손이 카메라의 시야에서 사라지더라도 머리를 움직이거나 손을 다시 카메라의 시야로 옮기는 행동을 유도할 수 있고, 이에 따라 손을 지속적으로 카메라의 시야각 안에 둘 수 있다.
또한 본 발명에 따르면 사용자가 가상현실 체험을 종료할 때, 착용하고 있던 가상현실 장치를 안전하게 벗도록 하거나, 컨트롤러와 같은 제어 장치를 안전하게 내려놓도록 하거나, 또는 가상현실에 몰입된 시각 신경의 긴장감을 완화시키도록 하기 위해서, 사용자의 조정을 통하거나 가상현실 인터페이스 장치의 조정을 통해서 서서히 투명도를 증가시킬 수 있으며, 이에 따라 사용자가 가상현실 장치에서 안전하게 벗어나도록 유도할 수 있다.
또한 본 발명에 따르면 현실공간에서 사용자의 주변에 위치한 제3자의 행동이나 얼굴을 인식하여 가상공간상에 투영시킴으로써 가상현실 장치를 통해 볼 수 있다. 이 경우 주변의 제3자의 얼굴의 특정 표정을 인식해서 가상현실상에 반영할 경우 가상공간과 현실공간을 혼합하여 만드는 증강형 애플리케이션에 응용할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 마그네틱 저장 매체, 광학적 판독 매체 등 모든 저장매체를 포함한다. 또한, 본 발명에서 사용되는 메시지의 데이터 포맷을 기록 매체에 기록하는 것이 가능하다.
지금까지 본 발명에 대하여 도면에 도시된 바람직한 실시예들을 중심으로 상세히 살펴보았다. 이러한 실시예들은 이 발명을 한정하려는 것이 아니라 예시적인 것에 불과하며, 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 진정한 기술적 보호범위는 전술한 설명이 아니라 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다. 비록 본 명세서에 특정한 용어들이 사용되었으나 이는 단지 본 발명의 개념을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 본 발명의 각 단계는 반드시 기재된 순서대로 수행되어야 할 필요는 없고, 병렬적, 선택적 또는 개별적으로 수행될 수 있다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 특허청구범위에서 청구하는 본 발명의 본질적인 기술사상에서 벗어나지 않는 범위에서 다양한 변형 형태 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 균등물은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 구성요소를 포함하는 것으로 이해되어야 한다.

Claims (20)

  1. 현실공간의 영상 정보로부터 현실공간의 오브젝트 정보를 분석하는 단계;
    상기 현실공간의 오브젝트 정보에 따라 상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계; 및
    상기 투명정보에 기초하여 상기 현실공간의 오브젝트가 가상공간에 투영되도록 하여 상기 현실공간의 오브젝트 영상을 융합하는 단계를 포함하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  2. 제1항에 있어서,
    상기 현실공간의 오브젝트 정보를 분석하는 단계는,
    상기 현실공간의 영상 정보로부터 상기 현실공간의 오브젝트를 추출하는 단계; 및
    상기 추출한 현실공간의 오브젝트에 대한 상기 투명정보를 결정하기 위한 파라미터 정보를 도출하여 상기 현실공간의 오브젝트 정보를 분석하는 단계를 포함하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  3. 제2항에 있어서,
    상기 현실공간의 오브젝트를 추출하는 단계는,
    가상현실을 제어하기 위한 제어 오브젝트, 현실공간의 배경 오브젝트, 및 현실공간의 특정 오브젝트 중 적어도 하나를 추출하며,
    상기 파라미터 정보를 도출하여 상기 현실공간이 오브젝트 정보를 분석하는 단계는,
    적응도 정보를 포함하는 파라미터, 변화도 정보를 포함하는 파라미터, 및 상태 정보를 포함하는 파라미터 중 적어도 하나의 파라미터를 도출하는 단계를 포함하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  4. 제3항에 있어서,
    상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계는,
    상기 파라미터 정보에 기초하여 상기 가상공간에 상기 현실공간의 오브젝트를 투영하기 위한 투명도를 결정하는 단계를 포함하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  5. 제4항에 있어서,
    상기 현실공간의 오브젝트에 대한 투명도를 결정하는 단계는,
    상기 파라미터 정보가 기 설정된 투명도 변화 조건에 부합하는 경우, 투명도 변화량에 따라 상기 투명도를 재계산하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  6. 제3항에 있어서,
    상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계는,
    상기 파라미터 정보에 기초하여 상기 가상공간에 상기 현실공간의 오브젝트를 투영할 투명영역을 결정하는 단계를 포함하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  7. 제6항에 있어서,
    상기 현실공간의 오브젝트를 투영할 투명영역을 결정하는 단계는,
    상기 투명영역의 모양 및 투명 스타일을 결정하여 상기 투명영역의 경계를 처리하는 단계를 포함하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  8. 제4항에 있어서,
    상기 현실공간의 영상 정보로부터 제어 오브젝트를 추출한 경우, 상기 제어 오브젝트에 대한 적응도 정보를 포함하는 파라미터를 도출하며,
    상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계는,
    상기 적응도의 정도에 따라 상기 투명도를 조절하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  9. 제4항에 있어서,
    상기 현실공간의 영상 정보로부터 배경 오브젝트를 추출한 경우, 상기 배경 오브젝트에 대한 변화도 정보를 포함하는 파라미터를 도출하며,
    상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계는,
    상기 변화도에 기초하여 상기 현실공간의 환경 변화를 감지하여 상기 투명도를 조절하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  10. 제4항에 있어서,
    상기 현실공간의 영상 정보로부터 특정 오브젝트를 추출한 경우, 상기 특정 오브젝트에 대한 상태 정보를 포함하는 파라미터를 도출하며,
    상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계는,
    상기 상태 정보에 기초하여 상기 특정 오브젝트를 상기 가상공간과 연동하여 상호작용 하도록 상기 투명도를 조절하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  11. 제6항에 있어서,
    상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 단계는,
    상기 파라미터에 포함된 적응도 정보, 변화도 정보, 및 상태 정보 중 적어도 하나에 기초하여 상기 투명영역을 상기 가상공간 내의 전체 영역 또는 일부 영역으로 반영할지를 결정하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  12. 제1항에 있어서,
    상기 투명정보에 기초하여 상기 가상공간과 상기 현실공간의 오브젝트 영상을 융합하는 단계는,
    상기 가상현실 장치를 착용한 사용자의 시선을 중심으로 상기 가상공간과 상기 현실공간의 오브젝트 영상의 위치를 조정하는 단계를 포함하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  13. 제12항에 있어서,
    상기 융합된 영상의 상부에 인터페이스를 위한 가이드 영상을 표시하되,
    상기 가이드 영상은, 기 설정된 시간 또는 기 설정된 조건에 따라 상기 가상공간과 상기 현실공간의 오브젝트 영상의 위치가 일치되는 것으로 간주되는 경우 상기 가상현실 장치에 표시되지 않는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법.
  14. 카메라로부터 획득된 현실공간의 영상 정보를 기초로 가상공간에 투영될 현실공간의 오브젝트 정보를 분석하는 영상 분석부;
    상기 현실공간의 오브젝트 정보에 따라 상기 현실공간의 오브젝트에 대한 투명정보를 결정하는 투명정보 결정부; 및
    상기 투명정보에 기초하여 상기 가상공간과 상기 현실공간의 오브젝트 영상을 융합하는 투명정보 반영부를 포함하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 장치.
  15. 제14항에 있어서,
    상기 영상 분석부는,
    상기 현실공간의 영상 정보로부터 상기 현실공간의 오브젝트를 추출하고, 상기 추출한 현실공간의 오브젝트에 대한 상기 투명정보를 결정하기 위한 파라미터 정보를 도출하여 상기 현실공간의 오브젝트 정보를 분석하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 장치.
  16. 제15항에 있어서,
    상기 영상 분석부는,
    가상현실을 제어하기 위한 제어 오브젝트, 현실공간의 배경 오브젝트, 및 현실공간의 특정 오브젝트 중 적어도 하나를 추출하며,
    적응도 정보를 포함하는 파라미터, 변화도 정보를 포함하는 파라미터, 및 상태 정보를 포함하는 파라미터 중 적어도 하나의 파라미터를 도출하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 장치.
  17. 제16항에 있어서,
    상기 투명정보 결정부는,
    상기 파라미터 정보에 기초하여 상기 가상공간에 투영할 상기 현실공간의 오브젝트의 투명 정도를 나타내는 투명도를 결정하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 장치.
  18. 제17항에 있어서,
    상기 투명정보 결정부는,
    상기 파라미터 정보가 기 설정된 투명도 변화 조건에 부합하는 경우, 투명도 변화량에 따라 상기 투명도를 재계산하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 장치.
  19. 제16항에 있어서,
    상기 투명정보 결정부는,
    상기 파라미터 정보에 기초하여 상기 가상공간에 상기 현실공간의 오브젝트를 투영할 투명영역을 결정하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 장치.
  20. 제19항에 있어서,
    상기 투명정보 결정부는,
    상기 투명영역의 모양 및 투명 스타일을 결정하여 상기 투명영역의 경계를 처리하는 것을 특징으로 하는 현실공간과의 융합을 제공하는 가상현실 인터페이스 장치.
PCT/KR2018/004952 2018-04-27 2018-04-27 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치 WO2019208851A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020187013437A KR102056681B1 (ko) 2018-04-27 2018-04-27 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치
US16/097,946 US11170535B2 (en) 2018-04-27 2018-04-27 Virtual reality interface method and apparatus for providing fusion with real space
PCT/KR2018/004952 WO2019208851A1 (ko) 2018-04-27 2018-04-27 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/004952 WO2019208851A1 (ko) 2018-04-27 2018-04-27 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2019208851A1 true WO2019208851A1 (ko) 2019-10-31

Family

ID=68294165

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/004952 WO2019208851A1 (ko) 2018-04-27 2018-04-27 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치

Country Status (3)

Country Link
US (1) US11170535B2 (ko)
KR (1) KR102056681B1 (ko)
WO (1) WO2019208851A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI808321B (zh) * 2020-05-06 2023-07-11 圓展科技股份有限公司 應用於畫面顯示的物件透明度改變方法及實物投影機
KR102547816B1 (ko) * 2020-11-16 2023-06-26 최세현 가상 현실 공간 비교 방법 및 시스템
CN115937667A (zh) * 2021-09-29 2023-04-07 杭州海康威视系统技术有限公司 一种目标位置的确定方法、装置、电子设备及存储介质
CN114565729A (zh) * 2022-02-18 2022-05-31 深圳市慧鲤科技有限公司 虚拟空间融合方法及相关装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150071611A (ko) * 2013-12-18 2015-06-26 마이크로소프트 코포레이션 합성 현실 경기장
KR20160000873A (ko) * 2014-06-25 2016-01-05 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
KR101639065B1 (ko) * 2015-06-22 2016-07-13 한국과학기술연구원 가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치
US20170337444A1 (en) * 2015-05-12 2017-11-23 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
WO2018071225A1 (en) * 2016-10-14 2018-04-19 Microsoft Technology Licensing, Llc Modifying hand occlusion of holograms based on contextual information

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101216221B1 (ko) 2011-01-14 2012-12-28 에스케이플래닛 주식회사 증강 현실 서비스 제공 시스템 및 방법
CN107818305B (zh) * 2017-10-31 2020-09-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150071611A (ko) * 2013-12-18 2015-06-26 마이크로소프트 코포레이션 합성 현실 경기장
KR20160000873A (ko) * 2014-06-25 2016-01-05 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
US20170337444A1 (en) * 2015-05-12 2017-11-23 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
KR101639065B1 (ko) * 2015-06-22 2016-07-13 한국과학기술연구원 가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치
WO2018071225A1 (en) * 2016-10-14 2018-04-19 Microsoft Technology Licensing, Llc Modifying hand occlusion of holograms based on contextual information

Also Published As

Publication number Publication date
US20210166438A1 (en) 2021-06-03
KR102056681B1 (ko) 2019-12-17
US11170535B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
WO2019208851A1 (ko) 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
US9696855B2 (en) Information processing terminal, information processing method, and computer program
WO2018155892A1 (en) Method for displaying virtual image, storage medium and electronic device therefor
US11210521B2 (en) Information processing apparatus, image display apparatus, control method for information processing apparatus and image display apparatus, and computer program
JP2022172325A (ja) 認証システム
WO2017030266A1 (ko) 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
WO2014109498A1 (en) Head mounted display providing eye gaze calibration and control method thereof
WO2013105715A1 (en) Device and method for controlling rotation of displayed image
WO2018236058A1 (en) ELECTRONIC DEVICE FOR PROVIDING PROPERTY INFORMATION OF AN EXTERNAL LIGHT SOURCE FOR AN OBJECT OF INTEREST
JP2006350705A (ja) 情報提供装置および方法並びにプログラム
US20180133593A1 (en) Algorithm for identifying three-dimensional point-of-gaze
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2017082539A1 (ko) 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
JP2015230632A (ja) 表示端末装置、プログラム及び表示方法
JP2018205819A (ja) 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法
WO2019117350A1 (ko) 응시 거리를 결정하는 방법 및 디바이스
WO2019112154A1 (ko) 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
WO2016204495A1 (ko) 시선 추적을 이용한 입력 장치
US20190369807A1 (en) Information processing device, information processing method, and program
US11281893B2 (en) Method and device for modifying the affective visual information in the field of vision of an user
WO2022092762A1 (ko) 스테레오 매칭 방법 및 이를 수행하는 영상 처리 장치
WO2018080202A1 (ko) 머리 착용형 디스플레이 장치 및 그의 제어 방법
WO2023219254A1 (ko) 증강현실 글래스 장치의 손 거리 추정 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 1020187013437

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18916360

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18916360

Country of ref document: EP

Kind code of ref document: A1