WO2016209010A1 - 사용자의 시야 기준점을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 - Google Patents

사용자의 시야 기준점을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2016209010A1
WO2016209010A1 PCT/KR2016/006727 KR2016006727W WO2016209010A1 WO 2016209010 A1 WO2016209010 A1 WO 2016209010A1 KR 2016006727 W KR2016006727 W KR 2016006727W WO 2016209010 A1 WO2016209010 A1 WO 2016209010A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
axis
visual
virtual object
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/006727
Other languages
English (en)
French (fr)
Inventor
김석중
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vtouch Co Ltd
Original Assignee
Vtouch Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vtouch Co Ltd filed Critical Vtouch Co Ltd
Publication of WO2016209010A1 publication Critical patent/WO2016209010A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Definitions

  • the present invention relates to a method, a system and a non-transitory computer readable recording medium for determining a visual field reference point of a user.
  • the viewpoint of the user may vary depending on the position or posture of the user who wears it (particularly, the eyes of the user). Therefore, it is necessary to accurately recognize the position or posture of the user's eyes, and finely adjust the position or orientation in which the image is displayed on the near-eye display in accordance with the recognized position or posture.
  • HMD Head Mounted Display
  • AR Augmented Reality
  • VR Virtual Reality
  • the user may not only receive an incorrect image, but also a user operation inputted in response to the image (hand gesture, etc.). ) Accuracy also cannot be guaranteed.
  • the present inventors determine a visual field reference point corresponding to the center of rotation of the eyeball of the user based on a common point between two or more visual axes and determine the display state of the image to be provided to the user based on the determined visual field reference point.
  • the object of the present invention is to solve all the above-mentioned problems.
  • the present invention the position of the first virtual object displayed through the display device and the first that is viewed corresponding to the first virtual object from the user's point of view when the user wearing the display device looks at the first virtual object;
  • the first visual axis is specified by referring to the position of the real object, and the position of the second virtual object displayed through the display device and the second virtual object from the user's viewpoint when the user watches the second virtual object.
  • the pupil of the user is determined by specifying a second visual axis by referring to the position of the second real object corresponding to the object, and determining a visual reference point applied to the user by referring to the common point between the first visual axis and the second visual axis.
  • Another object is to provide a method, a system and a non-transitory computer readable recording medium which can accurately provide an image corresponding to a user's viewpoint without changing the values or coordinates.
  • a method for determining a viewing reference point of a user wherein a position of a first virtual object displayed through a display device and a case in which a user wearing the display device looks at the first virtual object.
  • a method for determining a visual reference point of a user comprising: referring to a position of a first virtual object displayed through a display device and a position of a pupil of a user looking at the first virtual object; Specifying a first reference axis, and specifying a second reference axis with reference to the position of the second virtual object displayed through the display device and the position of the pupil of the user looking at the second virtual object, and the first A method is provided that includes determining a visual reference point applied to the user with reference to a common point between a reference axis and the second reference axis.
  • a system for determining a visual reference point of a user wherein a position of a first virtual object displayed through a display device and a user wearing the display device are watching the first virtual object. Recognizes the position of the first real object shown corresponding to the first virtual object at the user's point of view, and the position of the second virtual object displayed through the display device and the user observes the second virtual object.
  • the object detecting unit for recognizing the position of the second real object corresponding to the second virtual object from the viewpoint of the user, and the position of the first virtual object and the position of the first real object with reference to Specify a first visual axis, and reference the location of the second virtual object and the location of the second real object.
  • a visual reference point determiner for specifying a second visual axis and determining a visual reference point applied to the user with reference to a common point between the first visual axis and the second visual axis.
  • a system for determining a visual reference point of a user comprising: recognizing a location of a first virtual object displayed through a display device and a location of a user's eyes looking at the first virtual object, An object detecting unit recognizing a position of a second virtual object displayed through the display device and a position of a pupil of the user who observes the second virtual object, and a position of the first virtual object and the first virtual object
  • a first reference axis is specified with reference to the position of the eye of the user who is watching
  • a second reference axis is specified with reference to the position of the second virtual object and the position of the eye of the user who is watching the second virtual object.
  • a reference point applied to the user with reference to a common point between the first reference axis and the second reference axis;
  • the system including a prescribed field of vision reference point determination is provided.
  • a method for determining a visual reference point of a user comprising: determining a location of a first real object and the first real object when the user watches the first real object;
  • the first visual axis is specified by referring to the position of the second real object to be viewed correspondingly, and when the position of the third real object and the user observes the third real object, Specifying a second time axis with reference to the position of the fourth real object shown corresponding to the third real object, and applied to the user with reference to a common point between the first time axis and the second time axis.
  • a method is provided that includes determining a field of view reference point.
  • An object detector for recognizing a position of or obtaining information about the recognized result, and specifying a first visual axis with reference to the position of the first real object and the position of the second real object, A second time axis is specified with reference to the position of the third real object and the position of the fourth real object, and is determined by referring to a common point between the first time axis and the second time axis.
  • a system including a visual field reference point determiner for determining a visual field reference point applied to an existing user.
  • non-transitory computer readable recording medium for recording another method, system, and computer program for executing the method for implementing the present invention.
  • the image corresponding to the viewpoint of the user is changed without changing the position or coordinates at which the image is displayed. Because it can be provided accurately, the effect is to simplify the configuration of the system for implementing near-eye display and to reduce the consumption of computational resources, thereby improving both the performance and the efficiency of the system.
  • the present invention even if the position or direction of the user's eyes is changed, it is sufficient to provide only one image in accordance with the visual reference point determined based on the common point between two or more time axes, so that the time delay due to the real-time image processing Not only can it be prevented from occurring, but the position or direction in which the image is displayed is changed in real time, thereby achieving an effect of drastically reducing a user's feeling of confusion or fatigue.
  • the present invention even when the position or direction of the pupil of the user changes, there is no need to change the position of a reference point (for example, a pointer, a cursor, etc.) of an operation input from the user, An effect that makes it possible to improve the convenience of the user who inputs the operation is achieved.
  • a reference point for example, a pointer, a cursor, etc.
  • the effect of being able to accurately specify the visual reference point of the user is achieved without using a display device that can obstruct or obstruct the visual field of the user.
  • the effect that the user can conveniently and accurately specify (instruct) the real object existing in the real world is achieved.
  • FIG. 1 is a view schematically showing an external configuration of a display system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an internal configuration of a display system according to an embodiment of the present invention.
  • FIG 3 is a view showing a comparison of the visual field reference point determination method according to the prior art and the visual field reference point determination method according to the present invention.
  • FIGS. 4 and 5 are diagrams exemplarily illustrating a configuration for determining a viewing reference point according to an embodiment of the present invention.
  • 6 to 8 are diagrams exemplarily illustrating a configuration for determining a viewing reference point when there are a plurality of common points between two or more time axes according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a configuration of determining a display state of an image based on a viewing reference point according to an embodiment of the present invention.
  • FIGS. 10 and 11 are diagrams exemplarily illustrating a configuration for determining a viewing reference point according to another embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a configuration of correcting a viewing reference point according to another embodiment of the present invention.
  • FIG. 13 is a diagram exemplarily illustrating a configuration of determining a visual reference point of a user according to another exemplary embodiment of the present disclosure.
  • FIG. 14 is a diagram exemplarily illustrating a configuration of determining a target object indicated by a user using a visual reference point according to another exemplary embodiment of the present invention.
  • FIG. 15 is a diagram illustrating various examples in which a configuration of determining a target object instructed by a user using a viewing reference point according to another embodiment of the present invention may be utilized.
  • control unit 260 control unit
  • FIG. 1 is a view schematically showing an external configuration of a display device according to an embodiment of the present invention.
  • an external configuration of the display device 100 according to the present invention is not necessarily limited to that shown in FIG. 1, and may be changed as much as possible within the scope of achieving the object of the present invention.
  • a display device 100 may include a head mounted display (HMD) capable of implementing Augmented Reality (AR) or Virtual Reality (VR).
  • HMD head mounted display
  • AR Augmented Reality
  • VR Virtual Reality
  • Display or Near Eye Display which is a See Through Display device (see (a) of FIG. 1) in which the real world is visible beyond the display screen, or a display device in which the real world is not visible beyond the display screen ( (B) of FIG. 1).
  • the display device 100 may be fixedly arranged around the eyes of the user. That is, according to an embodiment of the present invention, the display screen provided by the display device 100 may have a fixed position relative to the eyes of the user. Therefore, according to an embodiment of the present invention, the display state (position, direction, etc.) of the image displayed through the display device 100 is a position of a body part such as a head of a user wearing the display device 100. Although not affected by posture or movement, the position, direction, or movement of the pupil of the user wearing the display device 100 may be affected.
  • the main system 200, the display device 100 tracks the position, direction or movement of the pupil of the user in real time or the position or orientation of the pupil of the user Each time such a change is performed, a function of accurately providing an image corresponding to a user's viewpoint without changing the display state of the image may be performed.
  • the display device 100, the position of the physical object for example, the user's fingertips, the center of the user's eyes, etc.
  • the display device 100 may also include a predetermined sensing module (not shown) for recognition.
  • FIG. 2 is a diagram illustrating an internal configuration of a main system according to an embodiment of the present invention.
  • the main system 200 may include an object detector 210, a visual reference point determiner 220, a display manager 230, a database 240, and a communicator 250. ) And the controller 260.
  • the object detecting unit 210, the visual reference point determiner 220, the display manager 230, the database 240, the communication unit 250 and the control unit 260 is at least a part of It may be program modules in communication with an external system (not shown).
  • Such program modules may be included in the main system 200 in the form of operating systems, application modules, and other program modules, and may be physically stored on various known storage devices.
  • program modules may be stored in a remote storage device that can communicate with the main system 200.
  • program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
  • this description is illustrative, portable at least some of the components or functions of the main system 200 is worn on the user's head (or eyes) as needed It will be apparent to those skilled in the art that the device may be realized within the display device 100 or included within the display device 100. In some cases, all the functions and all the components of the main system 200 may be entirely executed in the display device 100 or may be included in the display device 100.
  • the object detecting unit 210 recognizes the position of the virtual object displayed through the display device 100, and when the user watches the virtual object, the virtual object from the user's point of view The function of recognizing the position of the real object shown correspondingly (i.e., overlapping with) may be performed. In addition, according to an embodiment of the present invention, the object detecting unit 210 does not directly recognize the position of the virtual object and the position of the real object, but recognizes by the display device 100 or an external system (not shown). A function of acquiring information about the location of the virtual object and the real object may be performed.
  • the virtual object is an object displayed on the see through display screen of the display device 100 and may be visually recognized by the user.
  • the virtual object according to the exemplary embodiment of the present invention may be displayed as a point having a predetermined size and color on the see through display screen of the display device 100.
  • the real object is an object actually existing beyond the see-through display screen of the display device 100 when viewed from the user's point of view, and may be visually recognized by the user.
  • the real object according to an exemplary embodiment of the present invention may be a body part (eg, a fingertip part, etc.) that the user can move according to his / her will or an object existing in the real world.
  • the object detecting unit 210 to specify the position of the real object, so that the position of the virtual object and the position of the real object can be directly associated as will be described later
  • the position of the virtual object may be specified in the real coordinate system (or real world coordinate system).
  • the visual reference point determiner 220 the position of two or more virtual objects displayed through the display device 100 and when the user looks at each of the two or more virtual objects, respectively
  • the function of specifying two or more visual axes can be performed.
  • the visual reference point determiner 220 corresponds to (ie, overlaps) the first real object at the location of the first virtual object and the user's viewpoint.
  • a straight line connecting the positions of may be specified as the first time axis, and a straight line connecting the position of the second virtual object and the position of the second real object corresponding to (ie, overlapped) with the second virtual object at the user's viewpoint may be identified. It can specify as a 2nd time axis.
  • the visual reference point determiner 220 performs a function of determining the visual reference point applied to the user by referring to the common point between the first and second visual axes specified above. can do.
  • the common point between the first time axis and the second time axis may be an intersection point between the first time axis and the second time axis when the first time axis and the second time axis intersect each other.
  • the first time axis and the second time axis may be intermediate points of a virtual line segment connecting the first time axis and the second time axis at a shortest distance.
  • the visual reference point determiner 220 may recognize a common point between two or more visual axes specified above as a point corresponding to the center of rotation of the eyeball of the user. It can be determined that the common point is the visual reference point of the user.
  • the user corresponds to (ie, overlaps) the virtual object displayed on the display screen of the display device 100 worn by the user with the real object existing over the display screen.
  • the visual reference point applied to the corresponding user can be accurately determined. For example, when a user views his or her point of view, the user places his or her finger in the air so that the tip of his finger over the display screen overlaps with the point displayed on the display screen. By doing it more than once, it is possible to receive an image that is precisely customized to one's point of view.
  • the visual reference point determined as described above remains effective even when the position or direction of the user's pupil is changed (that is, even when the user's eyeball rotates), and thus the pupil of the user in a general use environment. Even if the position or the direction of is changed, there is no need to recalculate the visual reference point accordingly.
  • the viewing reference point determiner 220 may have any one of a left eye and a right eye of the user. Since the viewing reference point can be determined only for the eyes, and when the image displayed through the display device 100 is a 3D image, a stereoscopic effect must be implemented using parallax between two eyes of the user.
  • the visual field reference point determiner 220 may determine the visual field reference point for both the left eye and the right eye of the user.
  • the display state of the image displayed through the display device 100 is referred to.
  • any one of the plurality of common points may be determined as the viewing reference point, or a new point derived from the plurality of common points may be determined as the viewing reference point.
  • a detailed description of the configuration for determining the visual field reference point when there are a plurality of visual axis common points will be described later with reference to FIGS. 6 to 8.
  • the visual reference point determiner 220 may change the relative positional relationship between the display screen provided by the display device 100 and the user's eyes (for example, if the positional relationship between the user's eyes and the display screen changes as the user takes off and rewrites or rewrites the display device), two or more visual axes can be referred to by referring to the position of the newly recognized virtual object and the position of the real object. May be newly specified and the visual reference point to be applied to the eye of the user may be newly determined by referring to the common point between the two or more visual reference points that are newly specified.
  • the display manager 230 controls a display state of an image to be provided to the user through the display device 100 with reference to the viewing reference point determined as described above. Can be done.
  • the display manager 230 is displayed on the display screen of the display device 100 on the basis of the visual reference point applied to the user wearing the display device 100.
  • the display coordinates of the image can be controlled.
  • the display screen may be defined by a virtual plane or a virtual curved surface.
  • the database 240 information about the position of the virtual object displayed on the display screen of the display device 100, which exists beyond the display screen of the display device 100 Various information may be stored, such as information about a location of a real object, information about a location or direction of a pupil of a user, information about an image displayed through the display device 100, and the like.
  • the database 240 may further store various information necessary for determining a visual reference point and displaying an image performed according to the present invention.
  • the database 240 is illustrated as being included in the main system 200 in FIG. 2, the database 240 may be configured separately from the main system 200 according to the needs of those skilled in the art to implement the present invention. It may be.
  • the database 240 in the present invention is a concept that includes a computer-readable recording medium, and may be a broad database including not only a negotiated database but also a data record based on a file system. If the set can be retrieved to extract data, it can be the database 240 in the present invention.
  • the communication unit 250 performs a function to enable the main system 200 to communicate with an external device.
  • the controller 260 is a flow of data between the object detector 210, the visual reference point determiner 220, the display manager 230, the database 240, and the communicator 250. It performs the function of controlling. That is, the controller 260 controls the flow of data from the outside or between each component of the main system 200, thereby controlling the object detector 210, the visual reference point determiner 220, the display manager 230, and the database.
  • the control unit 240 and the communication unit 250 each perform a unique function.
  • the main system 200 the location of two or more virtual objects displayed through the display device 100 and the location of the center of the eyes of the user looking at each of the two or more virtual objects, respectively
  • the virtual world in which the real world beyond the display screen is not visible from the user's point of view In the case of the reality (VR) type display device 100, an image corresponding to the viewpoint of the user may be accurately provided.
  • VR reality
  • the object detecting unit 210 of the main system 200 recognizes the position of the virtual object displayed through the display device 100, when the user watches the virtual object The position of the center of the pupil of the user can be recognized.
  • the visual reference point determiner 220 of the main system 200 connects the position of the center of the pupil of the user looking at the position of the first virtual object and the first virtual object.
  • a straight line can be specified as the first reference axis
  • a straight line connecting the position of the second virtual object and the position of the center of the eye of the user looking at the second virtual object can be specified as the second reference axis.
  • the visual reference point determiner 220 of the main system 200 replaces the first reference axis with the first visual axis of the user who looks at the first virtual object, By replacing the second reference axis with the second viewing axis of the user gazing at the second virtual object, the viewing reference point applied to the user may be determined more accurately.
  • the time axis for replacing the reference axis as described in the above embodiment of the present invention, the virtual object displayed through the display device 100 and the user is the virtual object It may be specified based on a gesture performed in response to.
  • the visual reference point determiner 220 of the main system 200 determines the visual reference point applied to the user by referring to the common point between two or more reference axes specified above.
  • the common point between the first reference axis and the second reference axis is between the first reference axis and the second reference axis when the first reference axis and the second reference axis intersect. It may be an intersection point or an intermediate point of an imaginary line segment connecting the first and second reference axes to the shortest distance when the first and second reference axes do not intersect each other.
  • the display manager 230 of the main system 200 is an image to be provided to the user through the display device 100 provided to the user with reference to the viewing reference point determined as described above
  • the function to control the display state of the can be performed.
  • the recognition of the position of the pupil of the user is driven by the display device 100. It is only required in the calibration process to initially determine the visual reference point and adjust the display state of the image, and it is clear that once the visual reference point is normally determined, there is no need to recognize or track the position of the user's eyes in real time. .
  • main system 200 determines a viewing reference point of a user who receives an image displayed through the display device 100 according to various embodiments will be described in detail.
  • FIG 3 is a view showing a comparison of the visual field reference point determination method according to the prior art and the visual field reference point determination method according to the present invention.
  • the user's eyes 310A, 310B, and 310C are tracked in real time, and the display state of the image is determined using the position of the tracked eyes as the visual reference points 310A, 310B, and 310C.
  • the display state (mainly the display position or direction) of the virtual objects 321A to 323A, 321B to 323B, and 321B to 323B displayed on the display screen 304 is the above. It can be seen that the change should be made in real time according to the viewing reference points 310A, 310B, and 310C which are changed in real time.
  • the display positions of the virtual objects displayed in correspondence with the real objects 301, 302, and 303 may be 321A, 322A, and 323A, respectively, and when the visual reference point is 310B
  • the display positions of the virtual objects displayed in correspondence with the objects may be 321B, 322B, and 323B, and the display positions of the virtual objects displayed corresponding to the real objects 301, 302, and 303, respectively, when the visual reference point is 310C. May be 321C, 322C, 323C.
  • the visual reference point 330 corresponding to the center of rotation of the eyeball of the user is determined by referring to a common point between two or more visual axes
  • the visual reference point Since the 330 may remain constant regardless of the movement of the user's eyes 305 or the pupils 331 to 333, the display state of the virtual objects 341 to 343 displayed on the display screen 304 (mainly , Display position or direction) may also be maintained without need to be changed according to the movement of the user's eye 305 or the pupils 331 to 333.
  • FIG. 4 and 5 are diagrams exemplarily illustrating a configuration for determining a viewing reference point according to an embodiment of the present invention.
  • FIG. 4 relates to an embodiment that may be applied when displaying a 2D image
  • FIG. 5 relates to an embodiment that may be applied when displaying a 3D image.
  • a user wearing the display device 100 on the head or the eye part turns his head or moves the fingertip 401 to the first virtual object 421 on the display screen 403.
  • the first visual axis 431 connecting the position of the first virtual object 421 and the position of the fingertip 401 is identified. You can do that.
  • the user turns his head or moves the box so that the second virtual object 422 on the display screen 403 and the vertex 402 of the box beyond the display screen 403 are viewed by the user.
  • the second visual axis 432 connecting the position of the second virtual object 422 and the position of the vertex 402 of the box may be specified.
  • the main system 200 is a visual reference point 410 applied to a user with a common point between the first time axis and the second time axis specified above.
  • the display state (ie, display position or direction) of the 2D image displayed on the display screen 403 may be controlled based on the viewing reference point 410 determined as described above.
  • a user wearing the display device 100 on the head or the eye part turns his head or moves the fingertip 501 on the display screen 503A for the left eye 504A.
  • the first left visual axis 521A which is connected to each other, may be specified.
  • the second virtual object 512A on the display screen 503A for the left eye and the vertex 502 of the box beyond the display screen 503A are the viewpoints of the user's left eye.
  • the second left viewing axis 522A connecting the position of the second virtual object 512A and the position of the vertex 502 of the box may be specified.
  • the first left eye axis 521A and the second left eye axis 522A may be specified with respect to the user's left eye 504A.
  • the first right eye axis 521B and the second right eye axis 522B may be specified.
  • the main system 200 shares a common point between the first left visual axis 521A and the second left visual axis 522A specified above.
  • the display state of the image displayed on the display screen 503A for the left eye based on the left view reference point 530A determined as described above, which may be determined to be the left view reference point 530A applied to the left eye. , Display position or direction).
  • the main system 200 according to an exemplary embodiment of the present invention may have a common point between the first right eye axis 521B and the second right eye axis 522B specified above to the right of the user.
  • the display state of the image displayed on the display screen 503B for the right eye may be determined based on the right field of view point 530B applied to the eye and based on the right field of view point 530B determined as described above. Display position or direction).
  • 6 to 8 are diagrams exemplarily illustrating a configuration for determining a viewing reference point when there are a plurality of common points between two or more time axes according to an embodiment of the present invention.
  • three visual axes are specified as the user looks at three different real objects within their viewing angle range 2 ⁇ , and two of the three visual axes are defined between two adjacent ones. It can be assumed that the common points are each specified.
  • the common point 631 between the first time axis 611 and the second time axis 612 and the common point between the second time axis 612 and the third time axis 613 It may be determined that the midpoint of the imaginary line connecting 632 is the field of reference point 640 applied to the user.
  • each of the common points 631 and 632 between the plurality of time axes 611, 612, and 613 specified in accordance with one embodiment of the present invention, or an intermediate point 640 between the common points of the user may be used. Since the difference from the actual rotation center of the user's eye is not so large that it can be recognized as the rotation center of the eye, the visual field of reference point 640 of the user is precisely determined based on the common point between the plurality of visual axes 611, 612, and 613. You can decide. Furthermore, according to an embodiment of the present invention, a user who is provided with an image displayed based on the viewing reference point 640 determined as described above can watch the image without any discomfort or awkwardness.
  • five visual axes 711 to 715 are specified as the user observes five different real objects within a preset angle range (60 degrees), and adjacent to each other among the five visual axes. It may be assumed that four common points 731 to 734 are specified between two time axes. In this case, according to an embodiment of the present invention, according to the angle range of the image displayed on the display screen (not shown), each of the four common points 731 to 734 may be determined to be the viewing reference point. .
  • a first visual axis 711 for specifying the angle range may be determined that the common point 731 between the second visual axis 712 is the visual reference point, and the angle of the image is displayed in the angular range corresponding to -15 degrees to 0 degrees centered on the eyeball 707 of the user.
  • the common point 732 between the second time axis 712 and the third time axis 713 that specify the range may be determined to be the visual reference point, and may correspond to 0 degrees to 15 degrees with respect to the eyeball 707 of the user.
  • the common point 733 between the third visual axis 713 and the fourth visual axis 714 that specify the angular range may be determined to be the visual reference point, and may be centered on the eyeball 707 of the user.
  • the common point 734 between the fourth time axis 714 and the fifth time axis 715 that specify the angular range may be determined to be the viewing reference point.
  • the image (or the virtual object) 811 to 814 displayed on the display screen 805 with reference to the position (or the area to which the position belongs), the corresponding image (Or virtual objects) 811 to 814 may be adaptively determined the visual reference point (831 to 834) applied.
  • the visual field reference point 831 corresponding to each of the various display positions is matched.
  • 834 to 834 can be adaptively determined, so that images (or virtual objects) 811 to 814 can be displayed more accurately based on the visual reference points 831 to 834 corresponding to the display position.
  • the first graphic object 811 when the first graphic object 811 is to be displayed on the display screen 805 corresponding to the first real object 801, the first virtual object among the display screens 805.
  • the display state of the first virtual object 811 may be determined based on the first viewing reference point 831 corresponding to the first area 841 to which 811 belongs.
  • the second virtual object of the display screen 805 when the second graphic object 812 is to be displayed on the display screen 805 in response to the second real object 802, the second virtual object of the display screen 805 (
  • the display state of the second virtual object 812 may be determined based on the second viewing reference point 832 corresponding to the second area 842 to which the 812 belongs.
  • FIG. 9 is a diagram illustrating a configuration of determining a display state of an image based on a viewing reference point according to an embodiment of the present invention.
  • the display screen 904 of the display device 100 based on the viewing reference point 930 determined with reference to the plurality of time axes 921, 922, and 923 specified according to the above various embodiments.
  • the display position of the images 911 to 913 displayed on the image may be controlled.
  • the display position of the graphic objects 911 to 913 displayed on the display screen 904 corresponding to the real objects 901 to 903 beyond the display screen 904 may be a field of view.
  • the display positions 911, 912, and 913 of the graphic object determined as described above may be maintained based on the reference point 930, even if the user's eyes move, as long as the viewing reference point 930 does not change.
  • FIG. 10 and 11 are diagrams exemplarily illustrating a configuration for determining a viewing reference point according to another embodiment of the present invention.
  • FIG. 10 relates to an embodiment that may be applied when displaying a 2D image
  • FIG. 11 relates to an embodiment that may be applied when displaying a 3D image.
  • a first virtual object 1011 displayed on a display screen 1003 defined by a virtual plane or a virtual curved surface by a user wearing the display device 100 on a head or an eye portion By looking at, the first reference axis 1031 connecting the position of the first virtual object 1011 and the position of the center 1021 of the pupil of the user who looks at the first virtual object 1011 may be specified.
  • the position of the second virtual object 1012 may be determined by the user looking at the second virtual object 1012 displayed on the display screen 1003 defined by the virtual plane or the virtual curved surface.
  • the second reference axis 1032 connecting the position of the center 1022 of the pupil of the user looking at the second virtual object 1012 may be specified.
  • the main system 200 according to another embodiment of the present invention provides the user with a common point between the first reference axis 1031 and the second reference axis 1032 which are specified as described above.
  • the display state (ie, display position or direction) of the 2D image displayed on the display screen 1003 may be determined based on the viewing reference point 1040 determined as described above. Can be controlled.
  • a user wearing the display device 100 in the head or eye region is displayed on the display screen 1103A for the left eye and the display screen 1103B for the right eye, respectively.
  • the user watching the position of the first virtual object 1111A and the first virtual object 1111A displayed on the display screen 1103A for the user's left eye The first left reference axis 1131A connecting the position of the center 1121A of the pupil of the left eye of the eye may be specified, and the first virtual object 1111B displayed on the display screen 1103B for the user's right eye.
  • the first right reference axis 1131B connecting the position of) and the position of the center 1121B of the pupil of the right eye of the user looking at the first virtual object 1111B may be specified.
  • the second virtual object 1112A in the same manner as the first left reference axis 1131A and the first right reference axis 1131B is specified with respect to the first virtual objects 1111A and 1111B.
  • 1112B may specify the second left reference axis 1132A and the second right reference axis 1132B.
  • the main system 200 may have a common point between the first left reference axis 1131A and the second left reference axis 1132A specified above.
  • a display state of an image displayed on the display screen 1103A for the left eye based on the left field reference point 1140A determined as determined by the left field reference point 1140A applied to the user's left eye. (That is, display position or direction) can be controlled.
  • a common point between the first right reference axis 1131B and the second right reference axis 1132B may be specified.
  • the right field of view reference point 1140B applied to the right eye of and the display state of the image displayed on the display screen 1103B for the right eye based on the right field of view reference point 1140B determined as described above ( That is, display position or direction) can be controlled.
  • the display screen 1103A for the left eye and the right By controlling the display state of the image displayed on the display screen 1103B for the eye, respectively, it is possible to provide a 3D image corresponding to the viewpoint of the user.
  • VR virtual reality
  • FIG. 12 is a diagram illustrating a configuration of correcting a viewing reference point according to another embodiment of the present invention.
  • the main system 200 instead of the reference axis (1211 to 1213) connecting the position of the virtual object and the center of the eyes of the user looking at the virtual object.
  • the viewing reference point can be more accurately determined.
  • the time axis 1221 to 1223 to replace the reference axis 1211 to 1213 as described in the above embodiment of the present invention, the display device 100 It may be specified based on the virtual object displayed through and the gesture that the user makes corresponding to the virtual object.
  • FIG. 13 is a diagram exemplarily illustrating a configuration for determining a visual reference point of a user according to another exemplary embodiment of the present disclosure.
  • a main system (not shown) according to another embodiment of the present invention may include a location of the first real object 1310 and a case in which the user watches the first real object 1310.
  • a first visual axis 1360 is specified with reference to the position of the second real object 1320 shown to correspond (ie, overlap) with the first real object 1310 at the viewpoint, and the third real object With reference to the location of the first real object 1340 and the position of the first physical object 1330 when the user watches the third real object 1330 when the user watches the third real object 1330.
  • the second visual axis 1370 may be specified, and the visual reference point 1350 applied to the user may be determined by referring to a common point between the first visual axis 1360 and the second visual axis 1370 specified above.
  • the user corresponds to any two real objects existing in the vicinity of his or her body based on their viewpoints, such as a part of their body or an object present in the vicinity of the user. Only by performing each of the two pairs of physical objects 1310: 1320 and 1330: 1340, respectively, the visual reference point 1350 applied to the user can be accurately determined. .
  • an object detecting unit (not shown), a visual reference point determiner (not shown), a user interface providing unit (not shown), a database (not shown), a communication unit (Not shown) and a controller (not shown).
  • the object detector, the visual field reference point determiner, the user interface provider, the database, the communicator, and the controller may be program modules in which at least some of them communicate with an external system (not shown).
  • Such program modules may be included in the main system in the form of operating systems, application modules, and other program modules, and may be physically stored on various known storage devices.
  • program modules may be stored in a remote storage device capable of communicating with the main system.
  • program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
  • a sensing device e.g., at least some of the components or functions of the main system are fixedly worn on the user's head (or eye) as needed
  • a sensing device e.g., at least some of the components or functions of the main system are fixedly worn on the user's head (or eye) as needed
  • the present invention may be realized in the 3D camera device, etc. 1301, 1401, 1501 or included in the sensing device 1301.
  • all the functions and all the components of the main system may be all executed within the sensing devices 1301, 1401, and 1501, or all of the components may be included in the sensing device 1301.
  • the object recognition unit of the main system may be performed from an external system (not shown).
  • the first real object 1310 to the fourth real object 1340, the user's body parts (for example, fingers, etc.) that the user can move according to his will , Home appliance devices (eg, TVs, air conditioners, refrigerators, etc.), various pointing tools (eg, pens, rulers, etc.), feature points that are fixedly displayed around the eyes of the user, and the like.
  • Locations of the 1313 th to 4 th real objects 1340 may be specified by feature points such as ends, tips, corners, and vertices of the corresponding real objects.
  • the visual reference point determiner of the main system uses a straight line connecting the position of the first real object 1310 and the position of the second real object 1320 as the first viewing axis 1360.
  • the first visual axis 1360 and the second visual axis may be specified, and a straight line connecting the position of the third real object 1330 and the position of the fourth real object 1340 may be specified as the second time axis 1370. Commonness between 1370 can be determined as the field of view reference point.
  • the common point between the first time axis 1360 and the second time axis 1370 is an intersection point or first time axis between the first time axis 1360 and the second time axis 1370. It may be a midpoint of a virtual line segment connecting the first axis 1360 and the second viewing axis 1370 at the shortest distance.
  • the position of the visual reference point determined as described above can be specified based on the position of the sensing device (1301, 1401, 1501) relative to the user's eye is fixed. have.
  • FIG. 14 is a diagram exemplarily illustrating a configuration of determining a target object indicated by a user using a visual reference point according to another exemplary embodiment of the present invention.
  • the user interface providing unit of the main system connects the position and the visual reference point 1410 of the fifth real object 1420 to perform a function as an instruction means by the user.
  • the object 1430 associated with the straight line 1440 may be determined to be a target object indicated by the corresponding user.
  • the target object 1430 includes an object that intersects the straight line 1440, an object that contacts the straight line 1440, and an object that is adjacent to the straight line 1440. Etc. may be included.
  • a sensing device 1401 for example, a 3D camera
  • the user's finger 1420 or the like makes a gesture corresponding to the object or home appliance 1430, thereby being included in the field of view 1402 of the sensing device 1401 (that is, The object or home appliance 1430 that can be recognized by the sensing device 1401 can be conveniently and accurately specified (or indicated).
  • FIG. 15 is a diagram illustrating various examples in which a configuration of determining a target object instructed by a user using a viewing reference point according to another embodiment of the present invention may be utilized.
  • a user looks at a home appliance such as a watch 1520, a TV 1530, a lighting device 1540, etc. present in the vicinity of a user while wearing a head sensing device 1501.
  • a home appliance can be identified as a target object by performing an operation of associating its own finger (corresponding to the fifth real object 1420 of FIG. 14) with respect to each home appliance (1525, 1535, 1545).
  • Predetermined commands or control information for example, power supply control, resolution control, brightness control, etc.
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded on a non-transitory computer readable recording medium.
  • the non-transitory computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the non-transitory computer readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • non-transitory computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks ( magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명의 일 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 방법으로서, 디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 디스플레이 디바이스를 착용하는 사용자가 제1 가상 객체를 주시하는 경우에 사용자의 시점에서 제1 가상 객체와 대응되어 보여지는 제1 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 사용자가 제2 가상 객체를 주시하는 경우에 사용자의 시점에서 제2 가상 객체와 대응되어 보여지는 제2 실물 객체의 위치를 참조로 하여 제2 시축을 특정하는 단계, 및 제1 시축 및 제2 시축 사이의 공통점을 참조로 하여 사용자에게 적용되는 시야 기준점을 결정하는 단계를 포함하는 방법이 제공된다.

Description

사용자의 시야 기준점을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
본 발명은 사용자의 시야 기준점을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
증강 현실(AR; Augmented Reality)이나 가상 현실(VR; Virtual Reality)을 구현하기 위한 헤드 마운트 디스플레이(HMD; Head Mounted Display)나 씨 쓰루 디스플레이(See Through Display)와 같은 니어 아이 디스플레이(Near Eye Display)에서는, 그것을 착용하고 있는 사용자(특히, 사용자의 눈)의 위치 또는 자세에 따라 사용자의 시점이 달라질 수 있다. 따라서, 사용자의 눈의 위치 또는 자세를 정확하게 인식하고, 그 인식된 위치 또는 자세에 맞추어 니어 아이 디스플레이 상에서 영상이 표시되는 위치 또는 방향을 세밀하게 조절할 필요가 있다.
예를 들면, 디스플레이 장치가 인식하고 있는 시점과 사용자가 실제로 느끼는 시점이 일치하지 않는 경우에, 사용자가 부정확한 영상을 제공 받게 될 수 있을 뿐만 아니라, 영상에 대응하여 입력되는 사용자 조작(핸드 제스쳐 등)의 정확성도 담보될 수 없게 된다.
위와 같은 기술적 과제를 해결하기 위한 종래 기술로서, 사용자의 눈동자의 위치, 방향 또는 움직임을 추적하고, 그 추적된 위치 및 움직임에 기초하여 사용자의 시점에 최적화된 영상을 제공하는 기술(미국공개특허공보 제2012/0154277호에 개시된 기술)이 소개된 바 있다. 하지만, 이러한 종래 기술에 따르면, 사용자의 눈동자의 위치 및 움직임을 실시간으로 추적하기 위한 별도의 카메라(또는 센서)가 필요하고, 눈동자의 위치 및 움직임을 실시간으로 추적하고 그 추적 결과에 따라 사용자의 시점에 적합한 영상을 실시간으로 만들어내기 위하여 지나치게 많은 연산 자원이 소요된다는 문제점이 존재한다.
이에, 본 발명자는, 둘 이상의 시축(visual axis) 사이의 공통점에 기초하여 사용자의 안구의 회전 중심에 대응하는 시야 기준점을 결정하고 그 결정된 시야 기준점을 기준으로 하여 사용자에게 제공될 영상의 표시 상태를 제어함으로써, 사용자의 눈동자의 위치, 방향 또는 움직임을 실시간으로 추적하거나 사용자의 눈동자의 위치 또는 방향이 변할 때마다 영상이 표시되는 위치나 방향을 변경하지 않으면서도 사용자의 시점에 부합하는 영상을 정확하게 제공할 수 있도록 하는 기술을 제안하는 바이다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 디스플레이 디바이스를 착용하는 사용자가 제1 가상 객체를 주시하는 경우에 사용자의 시점에서 제1 가상 객체와 대응되어 보여지는 제1 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 사용자가 제2 가상 객체를 주시하는 경우에 사용자의 시점에서 제2 가상 객체와 대응되어 보여지는 제2 실물 객체의 위치를 참조로 하여 제2 시축을 특정하고, 제1 시축 및 제2 시축 사이의 공통점을 참조로 하여 사용자에게 적용되는 시야 기준점을 결정함으로써, 사용자의 눈동자의 위치, 방향 또는 움직임을 실시간으로 추적하거나 사용자의 눈동자의 위치 또는 방향이 변할 때마다 영상이 표시되는 위치나 좌표를 변경하지 않으면서도 사용자의 시점에 부합하는 영상을 정확하게 제공할 수 있는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 방법으로서, 디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 디스플레이 디바이스를 착용하는 사용자가 상기 제1 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 가상 객체와 대응되어 보여지는 제1 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 사용자가 상기 제2 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제2 가상 객체와 대응되어 보여지는 제2 실물 객체의 위치를 참조로 하여 제2 시축을 특정하는 단계, 및 상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 방법으로서, 디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 제1 가상 객체를 주시하는 사용자의 눈동자의 위치를 참조로 하여 제1 기준축을 특정하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 제2 가상 객체를 주시하는 상기 사용자의 눈동자의 위치를 참조로 하여 제2 기준축을 특정하는 단계, 및 상기 제1 기준축 및 상기 제2 기준축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 단계를 포함하는 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 시스템으로서, 디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 디스플레이 디바이스를 착용하는 사용자가 상기 제1 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 가상 객체와 대응되어 보여지는 제1 실물 객체의 위치를 인식하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 사용자가 상기 제2 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제2 가상 객체와 대응되어 보여지는 제2 실물 객체의 위치를 인식하는 객체 감지부, 및 상기 제1 가상 객체의 위치 및 상기 제1 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 상기 제2 가상 객체의 위치 및 상기 제2 실물 객체의 위치를 참조로 하여 제2 시축을 특정하고, 상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 시야 기준점 결정부를 포함하는 시스템이 제공된다.
본 발명의 또 다른 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 시스템으로서, 디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 제1 가상 객체를 주시하는 사용자의 눈동자의 위치를 인식하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 제2 가상 객체를 주시하는 상기 사용자의 눈동자의 위치를 인식하는 객체 감지부, 및 상기 제1 가상 객체의 위치 및 상기 제1 가상 객체를 주시하는 사용자의 눈동자의 위치를 참조로 하여 제1 기준축을 특정하고, 상기 제2 가상 객체의 위치 및 상기 제2 가상 객체를 주시하는 상기 사용자의 눈동자의 위치를 참조로 하여 제2 기준축을 특정하고, 상기 제1 기준축 및 상기 제2 기준축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 시야 기준점 결정부를 포함하는 시스템이 제공된다.
본 발명의 또 다른 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 방법으로서, 제1 실물 객체의 위치 및 사용자가 상기 제1 실물 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 실물 객체와 대응되어 보여지는 제2 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 제3 실물 객체의 위치 및 상기 사용자가 상기 제3 실물 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제3 실물 객체와 대응되어 보여지는 제4 실물 객체의 위치를 참조로 하여 제2 시축을 특정하는 단계, 및 상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 단계를 포함하는 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 사용자의 시야 기준점을 결정하기 위한 시스템으로서, 제1 실물 객체의 위치, 사용자가 상기 제1 실물 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 실물 객체와 대응되어 보여지는 제2 실물 객체의 위치, 제3 실물 객체의 위치 및 상기 사용자가 상기 제3 실물 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제3 실물 객체와 대응되어 보여지는 제4 실물 객체의 위치를 인식하거나 상기 인식된 결과에 관한 정보를 획득하는 객체 감지부, 및 상기 제1 실물 객체의 위치 및 상기 제2 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 상기 제3 실물 객체의 위치 및 상기 제4 실물 객체의 위치를 참조로 하여 제2 시축을 특정하고, 상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 시야 기준점 결정부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 사용자의 눈동자의 위치, 방향 또는 움직임을 실시간으로 추적하거나 사용자의 눈동자의 위치 또는 방향이 변할 때마다 영상이 표시되는 위치나 좌표를 변경하지 않으면서도 사용자의 시점에 부합하는 영상을 정확하게 제공할 수 있으므로, 니어 아이 디스플레이를 구현하기 위한 시스템의 구성을 간소화하고 연산 자원의 소모량을 줄여 시스템의 성능과 효율성을 모두 향상시킬 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 사용자의 눈동자의 위치 또는 방향이 변하는 경우에도 둘 이상의 시축 사이의 공통점에 기초하여 결정되는 시야 기준점에 맞추어 하나의 영상만을 제공하면 충분하므로, 실시간 영상 처리로 인한 시간 지연이 발생하는 것을 방지할 수 있을 뿐만 아니라, 영상이 표시되는 위치 또는 방향이 실시간으로 변화됨으로 인해 사용자가 느낄 수 있는 혼란이나 피로감을 획기적으로 줄일 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 사용자의 눈동자의 위치 또는 방향이 변하는 경우에도 사용자로부터 입력되는 조작의 기준점(예를 들면, 포인터(pointer), 커서(cursor) 등)의 위치를 변화시킬 필요가 없으므로, 조작을 입력하는 사용자의 편의를 향상시킬 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 사용자의 시야를 가리거나 방해할 수 있는 디스플레이 디바이스를 이용하지 않고도, 사용자의 시야 기준점을 정확하게 특정할 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 사용자가 실세계에 존재하는 실물 객체를 편리하고도 정확하게 특정(지시)할 수 있게 되는 효과가 달성된다.
도 1은 본 발명의 일 실시예에 따라 디스플레이 시스템의 외부 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 디스플레이 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 3은 종래 기술에 따른 시야 기준점 결정 방법과 본 발명에 따른 시야 기준점 결정 방법을 비교하여 나타내는 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따라 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다.
도 6 내지 도 8은 본 발명의 일 실시예에 따라 둘 이상의 시축 사이의 공통점이 복수인 경우에 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따라 시야 기준점을 기준으로 하여 영상의 표시 상태를 결정하는 구성을 예시적으로 나타내는 도면이다.
도 10 및 도 11은 본 발명의 다른 실시예에 따라 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다.
도 12는 본 발명의 다른 실시예에 따라 시야 기준점을 보정하는 구성을 예시적으로 나타내는 도면이다.
도 13은 본 발명의 또 다른 실시예에 따라 사용자의 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다.
도 14는 본 발명의 또 다른 실시예에 따라 시야 기준점을 이용하여 사용자가 지시하는 대상 객체를 결정하는 구성을 예시적으로 나타내는 도면이다.
도 15는 본 발명의 또 다른 실시예에 따라 시야 기준점을 이용하여 사용자가 지시하는 대상 객체를 결정하는 구성이 활용될 수 있는 다양한 예시를 나타내는 도면이다.
<부호의 설명>
100: 디스플레이 디바이스
200: 메인 시스템
210: 객체 감지부
220: 시야 기준점 결정부
230: 디스플레이 관리부
240: 데이터베이스
250: 통신부
260: 제어부
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
메인 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 메인 시스템(200) 및 디스플레이 디바이스(100)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 1은 본 발명의 일 실시예에 따라 디스플레이 디바이스의 외부 구성을 개략적으로 나타내는 도면이다. 참고로, 본 발명에 따른 디스플레이 디바이스(100)의 외부 구성이 반드시 도 1에 도시된 바에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있음을 밝혀 둔다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 디바이스(100)는, 증강 현실(AR; Augmented Reality)이나 가상 현실(VR; Virtual Reality)을 구현할 수 있는 헤드 마운트 디스플레이(HMD; Head Mounted Display) 또는 니어 아이 디스플레이(Near Eye Display)로서, 디스플레이 화면 너머의 실세계가 보이는 씨 쓰루 디스플레이(See Through Display) 디바이스(도 1의 (a) 참조)이거나 디스플레이 화면 너머의 실세계가 보이지 않는 디스플레이 디바이스(도 1의 (b) 참조)일 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 디스플레이 디바이스(100)는 사용자의 눈 주변에 고정적으로 배치될 수 있다. 즉, 본 발명의 일 실시예에 따르면, 디스플레이 디바이스(100)에 의하여 제공되는 디스플레이 화면은 사용자의 눈에 대한 상대적인 위치가 고정되어 있을 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 디스플레이 디바이스(100)를 통하여 표시되는 영상의 표시 상태(위치, 방향 등)는, 디스플레이 디바이스(100)를 착용하고 있는 사용자의 머리 등의 신체 부위의 위치, 자세 또는 움직임에 의하여 영향을 받지는 않지만, 디스플레이 디바이스(100)를 착용하고 있는 사용자의 눈동자의 위치, 방향 또는 움직임에 의하여 영향을 받을 수 있다.
한편, 후술할 바와 같이, 본 발명의 일 실시예에 따르면, 메인 시스템(200)은, 디스플레이 디바이스(100)가 사용자의 눈동자의 위치, 방향 또는 움직임을 실시간으로 추적하거나 사용자의 눈동자의 위치 또는 방향이 변할 때마다 영상의 표시 상태를 변경하지 않고도 사용자의 시점에 부합하는 영상을 정확하게 제공할 수 있도록 하는 기능을 수행할 수 있다. 이를 위하여, 본 발명의 일 실시예에 따르면, 디스플레이 디바이스(100)는, 사용자의 시야 기준점을 결정하기 위해 필요한 실물 객체(예를 들면, 사용자의 손가락 끝, 사용자의 눈동자의 중심 등)의 위치를 인식하기 위한 소정의 센싱 모듈(미도시됨)을 포함할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 메인 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 메인 시스템(200)은, 객체 감지부(210), 시야 기준점 결정부(220), 디스플레이 관리부(230), 데이터베이스(240), 통신부(250) 및 제어부(260)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 객체 감지부(210), 시야 기준점 결정부(220), 디스플레이 관리부(230), 데이터베이스(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 메인 시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 메인 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 메인 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 메인 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 사용자의 머리(또는 눈) 부위에 착용되는 휴대용 디바이스인 디스플레이 디바이스(100) 내에서 실현되거나 디스플레이 디바이스(100) 내에 포함될 수도 있음은 당업자에게 자명하다. 경우에 따라서는, 메인 시스템(200)의 모든 기능과 모든 구성요소가 디스플레이 디바이스(100) 내에서 전부 실행되거나 디스플레이 디바이스(100) 내에 전부 포함될 수도 있다.
먼저, 본 발명의 일 실시예에 따르면, 객체 감지부(210)는, 디스플레이 디바이스(100)를 통하여 표시되는 가상 객체의 위치를 인식하고, 사용자가 가상 객체를 주시할 때 사용자의 시점에서 가상 객체와 대응되어(즉, 겹쳐져) 보여지는 실물 객체의 위치를 인식하는 기능을 수행할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 객체 감지부(210)는, 가상 객체의 위치 및 실물 객체의 위치를 직접 인식하지 않고, 디스플레이 디바이스(100) 또는 외부 시스템(미도시됨)에 의하여 인식되는 가상 객체 및 실물 객체의 위치에 관한 정보를 획득하는 기능을 수행할 수도 있다.
여기서, 본 발명의 일 실시예에 따르면, 가상 객체는, 디스플레이 디바이스(100)의 씨 쓰루(see through) 디스플레이 화면 상에 표시되는 객체로서, 사용자에 의해 시각적으로 인지될 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 가상 객체는, 디스플레이 디바이스(100)의 씨 쓰루(see through) 디스플레이 화면 상에 소정의 크기와 색상을 가지는 점(point)으로서 표시될 수 있다.
여기서, 본 발명의 일 실시예에 따르면, 실물 객체는, 사용자의 시점에서 볼 때 디스플레이 디바이스(100)의 씨 쓰루 디스플레이 화면 너머에 실제로 존재하는 객체로서, 사용자에 의하여 시각적으로 인지될 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 실물 객체는, 사용자가 자신의 의지에 따라 움직일 수 있는 신체 부위(예를 들면, 손가락 끝 부위 등)이거나 실세계에 존재하는 물건일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 객체 감지부(210)는, 후술할 바와 같이 가상 객체의 위치와 실물 객체의 위치가 직접적으로 연관 지어질 수 있도록 하기 위하여, 실물 객체의 위치를 특정할 수 있는 실물 좌표계(또는 실세계 좌표계)에서 가상 객체의 위치를 특정할 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 시야 기준점 결정부(220)는, 디스플레이 디바이스(100)를 통하여 표시되는 둘 이상의 가상 객체의 위치 및 사용자가 위의 둘 이상의 가상 객체를 각각 주시할 때 해당 사용자의 시점에서 위의 둘 이상의 가상 객체와 각각 대응되어(즉, 겹쳐져) 보여지는 둘 이상의 실물 객체의 위치를 참조로 하여, 둘 이상의 시축(visual axis)를 각각 특정하는 기능을 수행할 수 있다. 구체적으로, 본 발명의 일 실시예에 따르면, 시야 기준점 결정부(220)는, 제1 가상 객체의 위치 및 사용자의 시점에서 제1 가상 객체와 대응되어(즉, 겹쳐져) 보여지는 제1 실물 객체의 위치를 잇는 직선을 제1 시축으로서 특정할 수 있고, 제2 가상 객체의 위치 및 사용자의 시점에서 제2 가상 객체와 대응되어(즉, 겹쳐져) 보여지는 제2 실물 객체의 위치를 잇는 직선을 제2 시축으로서 특정할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 시야 기준점 결정부(220)는, 위와 같이 특정되는 제1 시축 및 제2 시축 사이의 공통점을 참조로 하여 사용자에게 적용되는 시야 기준점을 결정하는 기능을 수행할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제1 시축 및 제2 시축 사이의 공통점은, 제1 시축 및 제2 시축이 교차하는 경우에 제1 시축 및 제2 시축 사이의 교차점일 수 있고, 제1 시축 및 제2 시축이 교차하지 않는 경우에 제1 시축 및 제2 시축을 최단 거리로 연결하는 가상의 선분의 중간점일 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 시야 기준점 결정부(220)는, 위와 같이 특정되는 둘 이상의 시축 사이의 공통점을 사용자의 안구의 회전 중심에 해당하는 점으로서 인식할 수 있고, 이에 따라 그 공통점이 사용자의 시야 기준점인 것으로 결정할 수 있다.
즉, 본 발명의 일 실시예에 따르면, 사용자는 자신이 착용하고 있는 디스플레이 디바이스(100)의 디스플레이 화면 상에 표시되는 가상 객체를 디스플레이 화면 너머에 존재하는 실물 객체와 대응시키는(즉, 겹쳐져 보이게 하는) 동작을 서로 다른 두 쌍의 가상 객체 및 실물 객체에 대하여 각각 수행하는 것만으로, 해당 사용자에게 적용되는 시야 기준점이 정확하게 결정될 수 있게 된다. 예를 들면, 사용자는 자신의 시점에서 볼 때 디스플레이 화면 너머에 존재하는 자신의 손가락 끝이 디스플레이 화면 상에 표시되는 점에 겹쳐져 보이도록 자신의 손가락을 허공에 위치시키는 동작을 서로 다른 점에 대하여 두 번 이상 행하는 것만으로, 자신의 시점에 정확하게 맞춤화된 영상을 제공 받을 수 있게 된다.
또한, 본 발명의 일 실시예에 따르면, 위와 같이 한번 결정된 시야 기준점은 사용자의 눈동자의 위치 또는 방향이 변경되더라도(즉, 사용자의 안구가 회전하더라도) 유효하게 유지되므로, 일반적인 사용 환경에서 사용자의 눈동자의 위치 또는 방향이 변경되더라도 그에 맞추어 시야 기준점을 다시 산출할 필요가 없게 된다.
구체적으로, 본 발명의 일 실시예에 따르면, 디스플레이 디바이스(100)를 통해 표시되는 영상이 2차원(2D) 영상인 경우에 시야 기준점 결정부(220)는 사용자의 왼쪽 눈 및 오른쪽 눈 중 어느 한쪽 눈에 대하여만 시야 기준점을 결정할 수 있고, 디스플레이 디바이스(100)를 통해 표시되는 영상이 3차원(3D) 영상인 경우에는, 사용자의 두 눈 사이의 시차(視差)를 이용하여 입체감을 구현해야 하므로, 시야 기준점 결정부(220)는 사용자의 왼쪽 눈 및 오른쪽 눈 모두에 대하여 시야 기준점을 결정할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 시야 기준점 결정부(220)는, 둘 이상의 시축 사이의 공통점이 복수인 경우에, 디스플레이 디바이스(100)를 통해 표시되는 영상의 표시 상태 등을 참조로 하여, 복수의 공통점 중 어느 하나를 시야 기준점으로서 결정하거나 복수의 공통점으로부터 도출되는 새로운 점을 시야 기준점으로서 결정할 수 있다. 본 발명의 일 실시예에 따라 시축 공통점이 복수인 경우에 시야 기준점을 결정하는 구성에 관한 자세한 설명은, 도 6 내지 도 8을 참조로 하여 후술하기로 한다.
한편, 본 발명의 일 실시예에 따르면, 시야 기준점 결정부(220)는, 디스플레이 디바이스(100)에 의하여 제공되는 디스플레이 화면과 사용자의 눈 사이의 상대적인 위치 관계에 변화가 발생하는 경우에(예를 들면, 사용자가 디스플레이 디바이스를 벗었다가 다시 쓰거나 고쳐 씀에 따라 사용자의 눈과 디스플레이 화면 사이의 위치 관계가 달라지는 경우에), 새로 인식되는 가상 객체의 위치 및 실물 객체의 위치를 참조로 하여 둘 이상의 시축을 새로 특정하고, 그 새로 특정되는 둘 이상의 시야 기준점 사이의 공통점을 참조로 하여 사용자의 눈에 적용될 시야 기준점을 새로 결정할 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 디스플레이 관리부(230)는, 위와 같이 결정되는 시야 기준점을 참조로 하여, 디스플레이 디바이스(100)를 통하여 사용자에게 제공될 영상의 표시 상태를 제어하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 디스플레이 관리부(230)는, 디스플레이 디바이스(100)를 착용하고 있는 사용자에게 적용되는 시야 기준점을 기준으로 하여, 디스플레이 디바이스(100)의 디스플레이 화면 상에 표시되는 영상의 표시 좌표를 제어할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 디스플레이 화면은 가상의 평면 또는 가상의 곡면에 의하여 정의될 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 데이터베이스(240)에는, 디스플레이 디바이스(100)의 디스플레이 화면 상에 표시되는 가상 객체의 위치에 관한 정보, 디스플레이 디바이스(100)의 디스플레이 화면 너머에 존재하는 실물 객체의 위치에 관한 정보, 사용자의 눈동자의 위치 또는 방향에 관한 정보, 디스플레이 디바이스(100)를 통하여 표시되는 영상에 관한 정보 등의 다양한 정보가 저장될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 데이터베이스(240)에는 본 발명에 따라 수행되는 시야 기준점 결정 및 영상 표시를 위해 필요한 다양한 정보가 더 저장될 수 있다. 비록 도 2에서 데이터베이스(240)가 메인 시스템(200)에 포함되어 구성되는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 데이터베이스(240)는 메인 시스템(200)과 별개로 구성될 수도 있다. 한편, 본 발명에서의 데이터베이스(240)는, 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라 파일 시스템에 기반을 둔 데이터 기록 등을 포함하는 광의의 데이터베이스일 수도 있으며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서의 데이터베이스(240)가 될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(250)는 메인 시스템(200)이 외부 장치와 통신할 수 있도록 하는 기능을 수행한다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(260)는 객체 감지부(210), 시야 기준점 결정부(220), 디스플레이 관리부(230), 데이터베이스(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(260)는 외부로부터의 또는 메인 시스템(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 객체 감지부(210), 시야 기준점 결정부(220), 디스플레이 관리부(230), 데이터베이스(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어한다.
한편, 본 발명의 다른 실시예에 따르면, 메인 시스템(200)은, 디스플레이 디바이스(100)를 통하여 표시되는 둘 이상의 가상 객체의 위치 및 둘 이상의 가상 객체를 각각 주시하는 사용자의 눈동자의 중심의 위치를 참조로 하여 둘 이상의 기준축을 각각 특정하고, 위와 같이 특정되는 둘 이상의 기준축 사이의 공통점을 참조로 하여 해당 사용자에게 적용되는 시야 기준점을 결정함으로써, 사용자의 입장에서 디스플레이 화면 너머의 실세계가 보이지 않는 가상 현실(VR) 타입의 디스플레이 디바이스(100)의 경우에도 사용자의 시점에 부합하는 영상이 정확하게 제공되도록 하는 기능을 수행할 수 있다.
먼저, 본 발명의 다른 실시예에 따르면, 메인 시스템(200)의 객체 감지부(210)는, 디스플레이 디바이스(100)를 통하여 표시되는 가상 객체의 위치를 인식하고, 사용자가 가상 객체를 주시할 때 사용자의 눈동자의 중심의 위치를 인식할 수 있다.
다음으로, 본 발명의 다른 실시예에 따르면, 메인 시스템(200)의 시야 기준점 결정부(220)는, 제1 가상 객체의 위치 및 제1 가상 객체를 주시하는 사용자의 눈동자의 중심의 위치를 잇는 직선을 제1 기준축으로서 특정하고, 제2 가상 객체의 위치 및 제2 가상 객체를 주시하는 사용자의 눈동자의 중심의 위치를 잇는 직선을 제2 기준축으로서 특정할 수 있다.
보다 구체적으로, 본 발명의 다른 실시예에 따르면, 메인 시스템(200)의 시야 기준점 결정부(220)는, 위의 제1 기준축을 제1 가상 객체를 주시하는 사용자의 제1 시축으로 대체하고, 위의 제2 기준축을 제2 가상 객체를 주시하는 사용자의 제2 시축으로 대체함으로써, 사용자에게 적용되는 시야 기준점이 보다 정확하게 결정되도록 할 수 있다. 여기서, 본 발명의 다른 실시예에 따르면, 기준축을 대체하기 위한 시축은, 위의 본 발명의 일 실시예에서 설명된 바와 같이, 디스플레이 디바이스(100)를 통해 표시되는 가상 객체와 사용자가 그 가상 객체에 대응하여 행하는 제스쳐에 기초하여 특정될 수 있을 것이다.
다음으로, 본 발명의 다른 실시예에 따르면, 메인 시스템(200)의 시야 기준점 결정부(220)는, 위와 같이 특정되는 둘 이상의 기준축 사이의 공통점을 참조로 하여 사용자에게 적용되는 시야 기준점을 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제1 기준축 및 제2 기준축 사이의 공통점은, 제1 기준축 및 제2 기준축이 교차하는 경우에 제1 기준축 및 제2 기준축 사이의 교차점일 수 있고, 제1 기준축 및 제2 기준축이 교차하지 않는 경우에 제1 기준축 및 제2 기준축을 최단 거리로 연결하는 가상의 선분의 중간점일 수 있다.
다음으로, 본 발명의 다른 실시예에 따르면, 메인 시스템(200)의 디스플레이 관리부(230)는 위와 같이 결정되는 시야 기준점을 참조로 하여 사용자에게 제공되는 디스플레이 디바이스(100)를 통하여 사용자에게 제공될 영상의 표시 상태를 제어하는 기능을 수행할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다른 실시예에 따르면, 시야 기준점을 결정하기 위하여 사용자의 눈동자의 위치를 인식하기는 하지만, 이와 같이 사용자의 눈동자의 위치를 인식하는 것은 디스플레이 디바이스(100)의 구동 초기에 시야 기준점을 결정하고 영상의 표시 상태를 조정하는 캘리브레이션(calibration) 과정에서만 요구되는 것이며, 일단 시야 기준점이 정상적으로 결정된 이후에는 사용자의 눈동자의 위치를 실시간으로 인식하거나 추적할 필요가 없음을 밝혀 둔다.
실시예들
아래에서는, 본 발명에 따른 메인 시스템(200)가 여러 실시예에 따라 디스플레이 디바이스(100)를 통하여 표시되는 영상을 제공 받는 사용자의 시야 기준점을 결정하는 구체적인 예에 관하여 자세하게 살펴보기로 한다.
도 3은 종래 기술에 따른 시야 기준점 결정 방법과 본 발명에 따른 시야 기준점 결정 방법을 비교하여 나타내는 도면이다.
먼저, 도 3의 (a)를 참조하면, 사용자의 눈동자(310A, 310B, 310C)를 실시간으로 추적하고 그 추적된 눈동자의 위치를 시야 기준점(310A, 310B, 310C)을 삼아 영상의 표시 상태를 실시간으로 조절하는 종래 기술에 따를 경우에, 디스플레이 화면(304) 상에 표시되는 가상 객체(321A 내지 323A, 321B 내지 323B, 321B 내지 323B)의 표시 상태(주로는, 표시 위치 또는 방향)가 위의 실시간으로 변경되는 시야 기준점(310A, 310B, 310C)에 맞추어 실시간으로 변경되어야 함을 확인할 수 있다. 예를 들면, 시야 기준점이 310A인 경우에 실물 객체(301, 302, 303)에 각각 대응하여 표시되는 가상 객체의 표시 위치는 321A, 322A, 323A가 될 수 있고, 시야 기준점이 310B인 경우에 실물 객체에 각각 대응하여 표시되는 가상 객체의 표시 위치는 321B, 322B, 323B가 될 수 있으며, 시야 기준점이 310C인 경우에 실물 객체(301, 302, 303)에 각각 대응하여 표시되는 가상 객체의 표시 위치는 321C, 322C, 323C가 될 수 있다.
다음으로, 도 3의 (b)를 참조하면, 둘 이상의 시축 사이의 공통점을 참조로 하여 사용자의 안구의 회전 중심에 해당하는 시야 기준점(330)을 결정하는 본 발명에 따를 경우에는, 시야 기준점(330)이 사용자의 눈(305) 또는 눈동자(331 내지 333)의 움직임과 관계 없이 일정하게 유지될 수 있으므로, 디스플레이 화면(304) 상에 표시되는 가상 객체(341 내지 343)의 표시 상태(주로는, 표시 위치 또는 방향) 역시 사용자의 눈(305) 또는 눈동자(331 내지 333)의 움직임에 따라 변경될 필요 없이 일정하게 유지될 수 있음을 확인할 수 있다. 예를 들면, 시야 기준점이 330으로서 일정하게 유지되는 경우에 사용자의 눈동자의 위치(331, 332, 333)가 변경되어도 실물 객체(301, 302, 303)에 각각 대응하여 표시되는 가상 객체의 표시 위치는 341, 342, 343으로서 일정하게 유지될 수 있다.
도 4 및 도 5는 본 발명의 일 실시예에 따라 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다. 도 4는 2차원 영상을 표시하는 경우에 적용될 수 실시예에 관한 것이고, 도 5는 3차원 영상을 표시하는 경우에 적용될 수 있는 실시예에 관한 것이다.
먼저, 도 4를 참조하면, 머리 또는 눈 부위에 디스플레이 디바이스(100)를 착용하고 있는 사용자가 고개를 돌리거나 손가락 끝(401)을 이동시켜서 디스플레이 화면(403) 상의 제1 가상 객체(421)와 디스플레이 화면(403) 너머의 손가락 끝(401)이 사용자의 시점에서 서로 겹쳐져 보이도록 함으로써, 제1 가상 객체(421)의 위치와 손가락 끝(401)의 위치를 잇는 제1 시축(431)이 특정되도록 할 수 있다.
계속하여, 도 4를 참조하면, 사용자가 고개를 돌리거나 상자를 이동시켜서 디스플레이 화면(403) 상의 제2 가상 객체(422)와 디스플레이 화면(403) 너머의 상자의 꼭지점(402)이 사용자의 시점에서 서로 겹쳐져 보이도록 함으로써 제2 가상 객체(422)의 위치와 상자의 꼭지점(402)의 위치를 잇는 제2 시축(432)이 특정되도록 할 수 있다.
계속하여, 도 4를 참조하면, 본 발명의 일 실시예에 따른 메인 시스템(200)은, 위와 같이 특정되는 제1 시축 및 제2 시축의 사이의 공통점을 사용자에게 적용되는 시야 기준점(410)인 것으로 결정할 수 있고, 이와 같이 결정되는 시야 기준점(410)을 기준으로 하여 디스플레이 화면(403) 상에 표시되는 2차원 영상의 표시 상태(즉, 표시 위치 또는 방향)를 제어할 수 있다.
다음으로, 도 5를 참조하면, 머리 또는 눈 부위에 디스플레이 디바이스(100)를 착용하고 있는 사용자가 고개를 돌리거나 손가락 끝(501)을 이동시켜서 왼쪽 눈(504A)에 대한 디스플레이 화면(503A) 상의 제1 가상 객체(511A)와 디스플레이 화면(503A) 너머의 손가락 끝(501)이 사용자의 왼쪽 눈의 시점에서 서로 겹쳐져 보이도록 함으로써 제1 가상 객체(511A)의 위치와 손가락 끝(501)의 위치를 잇는 제1 좌 시축(521A)이 특정되도록 할 수 있다. 또한, 사용자가 고개를 돌리거나 상자를 이동시켜서 왼쪽 눈에 대한 디스플레이 화면(503A) 상의 제2 가상 객체(512A)와 디스플레이 화면(503A) 너머의 상자의 꼭지점(502)이 사용자의 왼쪽 눈의 시점에서 서로 겹쳐져 보이도록 함으로써 제2 가상 객체(512A)의 위치와 상자의 꼭지점(502)의 위치를 잇는 제2 좌 시축(522A)이 특정되도록 할 수 있다.
계속하여, 도 5를 참조하면, 사용자의 왼쪽 눈(504A)에 대하여 제1 좌 시축(521A) 및 제2 좌 시축(522A)을 특정한 것과 같은 방법으로, 사용자의 오른쪽 눈(504B)에 대하여 제1 우 시축(521B) 및 제2 우 시축(522B)을 특정할 수 있다.
계속하여, 도 5를 참조하면, 본 발명의 일 실시예에 따른 메인 시스템(200)은, 위와 같이 특정되는 제1 좌 시축(521A) 및 제2 좌 시축(522A)의 사이의 공통점을 사용자의 왼쪽 눈에게 적용되는 좌 시야 기준점(530A)인 것으로 결정할 수 있고, 이와 같이 결정되는 좌 시야 기준점(530A)을 기준으로 하여 왼쪽 눈에 대한 디스플레이 화면(503A) 상에 표시되는 영상의 표시 상태(즉, 표시 위치 또는 방향)를 결정할 수 있다. 또한, 도 5를 참조하면, 본 발명의 일 실시예에 따른 메인 시스템(200)은, 위와 같이 특정되는 제1 우 시축(521B) 및 제2 우 시축(522B)의 사이의 공통점을 사용자의 오른쪽 눈에게 적용되는 우 시야 기준점(530B)인 것으로 결정할 수 있고, 이와 같이 결정되는 우 시야 기준점(530B)을 기준으로 하여 오른쪽 눈에 대한 디스플레이 화면(503B) 상에 표시되는 영상의 표시 상태(즉, 표시 위치 또는 방향)를 결정할 수 있다.
따라서, 본 발명의 일 실시예에 따르면, 좌 시야 기준점 및 우 시야 기준점을 각각 기준으로 하여 왼쪽 눈에 대한 디스플레이 화면(503A) 및 오른쪽 눈에 대한 디스플레이 화면(503B) 상에 각각 표시되는 영상의 표시 상태를 각각 결정함으로써 사용자의 시점에 부합하는 3차원 영상을 제공할 수 있게 된다.
도 6 내지 도 8은 본 발명의 일 실시예에 따라 둘 이상의 시축 사이의 공통점이 복수인 경우에 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다.
먼저, 도 6을 참조하면, 사용자가 자신의 시야각 범위(2φ) 내에서 서로 다른 3개의 실물 객체를 주시함에 따라 3개의 시축이 각각 특정되고, 3개의 시축 중 서로 인접하는 두 시축 사이에 2개의 공통점이 각각 특정되는 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따르면, 제1 시축(611) 및 제2 시축(612) 사이의 공통점(631)과 제2 시축(612) 및 제3 시축(613) 사이의 공통점(632)을 연결하는 가상의 선분의 중간점이 해당 사용자에게 적용되는 시야 기준점(640)인 것으로 결정될 수 있다.
한편, 도 6을 참조하면, 본 발명의 일 실시예에 따라 특정되는 복수의 시축(611, 612, 613) 사이의 공통점(631, 632) 각각 또는 그 공통점 사이의 중간점(640)은 사용자의 안구의 회전 중심으로 인정될 수 있을 정도로 사용자의 안구의 실제 회전 중심과의 차이가 크지 않으므로, 복수의 시축(611, 612, 613) 사이의 공통점을 기준으로 하여 사용자의 시야 기준점(640)을 정확하게 결정할 수 있게 된다. 나아가, 본 발명의 일 실시예에 다르면, 위와 같이 결정되는 시야 기준점(640)을 기준으로 하여 표시되는 영상을 제공 받는 사용자는 별다른 위화감이나 어색함 없이 영상을 시청할 수 있게 된다.
다음으로, 도 7을 참조하면, 사용자가 기설정된 각도 범위(60도) 내에서 서로 다른 5개의 실물 객체를 주시함에 따라 5개의 시축(711 내지 715)이 각각 특정되고, 5개의 시축 중 서로 인접하는 두 시축 사이에 4개의 공통점(731 내지 734)이 각각 특정되는 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따르면, 디스플레이 화면(미도시됨) 상에 표시되는 영상의 각도 범위에 따라, 위의 4개의 공통점(731 내지 734) 각각을 시야 기준점인 것으로 결정할 수 있다.
구체적으로, 도 7을 참조하면, 사용자의 안구(707)를 중심으로 하여 -30도 내지 -15도에 해당하는 각도 범위에 표시되는 영상에 대하여는 해당 각도 범위를 특정하는 제1 시축(711) 및 제2 시축(712) 사이의 공통점(731)이 시야 기준점인 것으로 결정될 수 있고, 사용자의 안구(707)를 중심으로 하여 -15도 내지 0도에 해당하는 각도 범위에 표시되는 영상에 대하여는 해당 각도 범위를 특정하는 제2 시축(712) 및 제3 시축(713) 사이의 공통점(732)이 시야 기준점인 것으로 결정될 수 있고, 사용자의 안구(707)를 중심으로 하여 0도 내지 15도에 해당하는 각도 범위에 표시되는 영상에 대하여는 해당 각도 범위를 특정하는 제3 시축(713) 및 제4 시축(714) 사이의 공통점(733)이 시야 기준점인 것으로 결정될 수 있고, 사용자의 안구(707)를 중심으로 하여 15도 내지 30도에 해당하는 각도 범위에 표시되는 영상에 대하여는 해당 각도 범위를 특정하는 제4 시축(714) 및 제5 시축(715) 사이의 공통점(734)이 시야 기준점인 것으로 결정될 수 있다.
다음으로, 도 8을 참조하면, 가상의 평면 또는 가상의 곡면 상에서 정의되는 디스플레이 화면(805)을 구성하는 복수의 영역에 대응하는 복수의 시야 기준점이 존재하는 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따르면, 디스플레이 화면(805) 상에 표시되는 영상(또는 가상 객체)(811 내지 814)의 위치(또는 그 위치가 속하는 영역)를 참조로 하여, 해당 영상(또는 가상 객체)(811 내지 814)에 대하여 적용되는 시야 기준점(831 내지 834)이 적응적으로 결정될 수 있다. 따라서, 본 발명에 의하면, 디스플레이 화면(805)의 넓은 영역에 걸쳐서 다양한 위치에 다양한 영상(또는 가상 객체)(811 내지 814)을 표시함에 있어서, 다양한 표시 위치 각각에 대하여 그에 부합하는 시야 기준점(831 내지 834)을 적응적으로 결정할 수 있고, 이에 따라 영상(또는 가상 객체)(811 내지 814)를 그 표시 위치에 부합하는 시야 기준점(831 내지 834)을 기준으로 하여 보다 정확하게 표시할 수 있게 된다.
구체적으로, 도 8을 참조하면, 제1 실물 객체(801)에 대응하여 디스플레이 화면(805) 상에 제1 그래픽 객체(811)가 표시되어야 하는 경우에, 디스플레이 화면(805) 중 제1 가상 객체(811)가 속하는 제1 영역(841)에 대응하는 제1 시야 기준점(831)을 기준으로 하여 제1 가상 객체(811)의 표시 상태가 결정될 수 있다. 계속하여 도 8을 참조하면, 제2 실물 객체(802)에 대응하여 디스플레이 화면(805) 상에 제2 그래픽 객체(812)가 표시되어야 하는 경우에, 디스플레이 화면(805) 중 제2 가상 객체(812)가 속하는 제2 영역(842)에 대응하는 제2 시야 기준점(832)을 기준으로 하여 제2 가상 객체(812)의 표시 상태가 결정될 수 있다.
도 9는 본 발명의 일 실시예에 따라 시야 기준점을 기준으로 하여 영상의 표시 상태를 결정하는 구성을 예시적으로 나타내는 도면이다.
도 9를 참조하면, 앞선 다양한 실시예에 따라 특정되는 복수의 시축(921, 922, 923)을 참조로 하여 결정되는 시야 기준점(930)을 기준으로 하여 디스플레이 디바이스(100)의 디스플레이 화면(904) 상에 표시되는 영상(911 내지 913)의 표시 위치를 제어할 수 있다. 구체적으로, 본 발명의 일 실시예에 따르면, 디스플레이 화면(904) 너머의 실물 객체(901 내지 903)와 대응되어 디스플레이 화면(904) 상에 표시되는 그래픽 객체(911 내지 913)의 표시 위치는 시야 기준점(930)을 기준으로 하여 결정될 수 있고, 이렇게 결정된 그래픽 객체의 표시 위치(911, 912, 913)는 사용자의 눈동자가 움직이더라도 시야 기준점(930)이 바뀌지 않는 한 변함 없이 유지될 수 있다.
도 10 및 도 11은 본 발명의 다른 실시예에 따라 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다. 도 10은 2차원 영상을 표시하는 경우에 적용될 수 있는 실시예에 관한 것이고, 도 11은 3차원 영상을 표시하는 경우에 적용될 수 있는 실시예에 관한 것이다.
먼저, 도 10을 참조하면, 머리 또는 눈 부위에 디스플레이 디바이스(100)를 착용하고 있는 사용자가 가상의 평면 또는 가상의 곡면에 의하여 정의되는 디스플레이 화면(1003)에 표시되는 제1 가상 객체(1011)를 주시함으로써 제1 가상 객체(1011)의 위치와 제1 가상 객체(1011)를 주시하는 사용자의 눈동자의 중심(1021)의 위치를 잇는 제1 기준축(1031)이 특정되도록 할 수 있다.
계속하여, 도 10을 참조하면, 사용자가 가상의 평면 또는 가상의 곡면에 의하여 정의되는 디스플레이 화면(1003)에 표시되는 제2 가상 객체(1012)를 주시함으로써 제2 가상 객체(1012)의 위치와 제2 가상 객체(1012)를 주시하는 사용자의 눈동자의 중심(1022)의 위치를 잇는 제2 기준축(1032)이 특정되도록 할 수 있다.
계속하여, 도 10을 참조하면, 본 발명의 다른 실시예에 따른 메인 시스템(200)은, 위와 같이 특정되는 제1 기준축(1031) 및 제2 기준축(1032)의 사이의 공통점을 사용자에게 적용되는 시야 기준점(1040)인 것으로 결정할 수 있고, 이와 같이 결정되는 시야 기준점(1040)을 기준으로 하여 디스플레이 화면(1003) 상에 표시되는 2차원 영상의 표시 상태(즉, 표시 위치 또는 방향)를 제어할 수 있다.
다음으로, 도 11을 참조하면, 머리 또는 눈 부위에 디스플레이 디바이스(100)를 착용하고 있는 사용자가 왼쪽 눈에 대한 디스플레이 화면(1103A) 및 오른 쪽 눈에 대한 디스플레이 화면(1103B) 상에 각각 표시되는 제1 가상 객체(1111A, 1111B)를 주시할 때, 사용자의 왼쪽 눈에 대한 디스플레이 화면(1103A) 상에 표시되는 제1 가상 객체(1111A)의 위치와 제1 가상 객체(1111A)를 주시하는 사용자의 왼쪽 눈의 눈동자의 중심(1121A)의 위치를 잇는 제1 좌 기준축(1131A)이 특정되도록 할 수 있고, 사용자의 오른쪽 눈에 대한 디스플레이 화면(1103B) 상에 표시되는 제1 가상 객체(1111B)의 위치와 제1 가상 객체(1111B)를 주시하는 사용자의 오른쪽 눈의 눈동자의 중심(1121B)의 위치를 잇는 제1 우 기준축(1131B)이 특정되도록 할 수 있다.
계속하여, 도 11을 참조하면, 제1 가상 객체(1111A, 1111B)에 대하여 제1 좌 기준축(1131A) 및 제1 우 기준축(1131B)을 특정한 것과 같은 방법으로, 제2 가상 객체(1112A, 1112B)에 대하여 제2 좌 기준축(1132A) 및 제2 우 기준축(1132B)을 특정할 수 있다.
계속하여, 도 11을 참조하면, 본 발명의 다른 실시예에 따른 메인 시스템(200)은, 위와 같이 특정되는 제1 좌 기준축(1131A) 및 제2 좌 기준축(1132A)의 사이의 공통점을 사용자의 왼쪽 눈에게 적용되는 좌 시야 기준점(1140A)인 것으로 결정할 수 있고, 이와 같이 결정되는 좌 시야 기준점(1140A)을 기준으로 하여 왼쪽 눈에 대한 디스플레이 화면(1103A) 상에 표시되는 영상의 표시 상태(즉, 표시 위치 또는 방향)를 제어할 수 있다. 또한, 도 11을 참조하면, 본 발명의 다른 실시예에 따른 메인 시스템(200)은, 위와 같이 특정되는 제1 우 기준축(1131B) 및 제2 우 기준축(1132B)의 사이의 공통점을 사용자의 오른쪽 눈에게 적용되는 우 시야 기준점(1140B)인 것으로 결정할 수 있고, 이와 같이 결정되는 우 시야 기준점(1140B)을 기준으로 하여 오른쪽 눈에 대한 디스플레이 화면(1103B) 상에 표시되는 영상의 표시 상태(즉, 표시 위치 또는 방향)를 제어할 수 있다.
따라서, 본 발명의 다른 실시예에 따르면, 사용자의 입장에서 디스플레이 화면 너머의 실세계가 보이지 않는 가상 현실(VR) 타입의 디스플레이 디바이스(100)의 경우에도, 왼쪽 눈에 대한 디스플레이 화면(1103A) 및 오른쪽 눈에 대한 디스플레이 화면(1103B) 상에 각각 표시되는 영상의 표시 상태를 각각 제어함으로써 사용자의 시점에 부합하는 3차원 영상을 제공할 수 있게 된다.
도 12는 본 발명의 다른 실시예에 따라 시야 기준점을 보정하는 구성을 예시적으로 나타내는 도면이다.
도 12를 참조하면, 본 발명의 다른 실시예에 따른 메인 시스템(200)은, 가상 객체의 위치와 해당 가상 객체를 주시하는 사용자의 눈동자의 중심을 위치를 잇는 기준축(1211 내지 1213) 대신에 해당 가상 객체를 주시하는 사용자의 시축(visual axis)(1221 내지 1223)을 참조로 하여 시야 기준점을 결정함으로써, 시야 기준점을 보다 정확하게 결정할 수 있다. 여기서, 본 발명의 다른 실시예에 따르면, 기준축(1211 내지 1213)을 대체하기 위한 시축(1221 내지 1223)은, 위의 본 발명의 일 실시예에서 설명된 바와 같이, 디스플레이 디바이스(100)를 통해 표시되는 가상 객체와 사용자가 그 가상 객체에 대응하여 행하는 제스쳐에 기초하여 특정될 수 있을 것이다.
실물 객체만을 이용하는 실시예
한편, 도 13은 본 발명의 또 다른 실시예에 따라 사용자의 시야 기준점을 결정하는 구성을 예시적으로 나타내는 도면이다.
도 13을 참조하면, 본 발명의 또 다른 실시예에 따른 메인 시스템(미도시됨)은, 제1 실물 객체(1310)의 위치 및 사용자가 제1 실물 객체(1310)를 주시하는 경우에 사용자의 시점에서 제1 실물 객체(1310)와 대응되어(즉, 겹쳐져) 보여지는 제2 실물 객체(1320)의 위치를 참조로 하여 제1 시축(visual axis)(1360)을 특정하고, 제3 실물 객체(1330)의 위치 및 사용자가 제3 실물 객체(1330)를 주시하는 경우에 사용자의 시점에서 제3 실물 객체(1330)와 대응되어 보여지는 제4 실물 객체(1340)의 위치를 참조로 하여 제2 시축(1370)을 특정할 수 있고, 위와 같이 특정되는 제1 시축(1360) 및 제2 시축(1370) 사이의 공통점을 참조로 하여 사용자에게 적용되는 시야 기준점(1350)을 결정할 수 있다.
즉, 본 발명의 또 다른 실시예에 따르면, 사용자는 자신의 신체 부위나 자신의 주변에 존재하는 물건과 같이 자신의 주변에 존재하는 실물 객체 중 어느 두 실물 객체를 자신의 시점을 기준으로 하여 대응시키는(즉, 겹쳐져 보이게 하는) 동작을 서로 다른 두 쌍의 실물 객체(1310:1320 및 1330:1340)에 대하여 각각 수행하는 것만으로, 해당 사용자에게 적용되는 시야 기준점(1350)이 정확하게 결정될 수 있게 된다.
또한, 본 발명의 또 다른 실시예에 따르면, 앞서 설명된 실시예와는 달리, 디스플레이 디바이스 또는 디스플레이 화면에 의하여 표시되는 가상 객체를 이용하지 않고도 사용자에게 적용되는 시야 기준점(1350)을 결정할 수 있게 된다.
아래에서는, 본 발명의 또 다른 실시예에 따른 메인 시스템의 내부 구성에 대하여 보다 자세하게 설명하기로 한다.
본 발명의 또 다른 실시예에 따른 메인 시스템은, 객체 감지부(미도시됨), 시야 기준점 결정부(미도시됨), 사용자 인터페이스 제공부(미도시됨), 데이터베이스(미도시됨), 통신부(미도시됨) 및 제어부(미도시됨)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 객체 감지부, 시야 기준점 결정부, 사용자 인터페이스 제공부, 데이터베이스, 통신부 및 제어부는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 메인 시스템에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 메인 시스템과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 메인 시스템에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 메인 시스템의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 사용자의 머리(또는 눈) 부위에 고정적으로 착용되는 센싱 디바이스(예를 들면, 3차원 카메라 디바이스 등)(1301, 1401, 1501) 내에서 실현되거나 센싱 디바이스(1301) 내에 포함될 수도 있음은 당업자에게 자명하다. 경우에 따라서는, 메인 시스템의 모든 기능과 모든 구성요소가 센싱 디바이스(1301, 1401, 1501) 내에서 전부 실행되거나 센싱 디바이스(1301) 내에 전부 포함될 수도 있다.
먼저, 본 발명의 또 다른 실시예에 따른 메인 시스템의 객체 인식부는, 제1 실물 객체(1310)의 위치, 제2 실물 객체(1320)의 위치, 제3 실물 객체(1330)의 위치 및 제4 실물 객체(1340)의 위치를 직접 인식하거나 그 인식 결과에 관한 정보를 외부 시스템(미도시됨)으로부터 획득하는 기능을 수행할 수 있다.
여기서, 본 발명의 일 실시예에 따르면, 제1 실물 객체(1310) 내지 제4 실물 객체(1340)에는, 사용자가 자신의 의지에 따라 움직일 수 있는 자신의 신체 부위(예를 들면, 손가락 등), 가전 디바이스(예를 들면, TV, 에어컨, 냉장고 등), 각종 지시 도구(예를 들면, 펜, 자 등), 사용자의 눈 주변에 고정적으로 표시되는 특징점 등이 포함될 수 있고, 제1 실물 객체(1310) 내지 제4 실물 객체(1340)의 위치는 해당 실물 객체의 끝, 팁, 모서리, 꼭지점 등의 특징점에 의하여 특정될 수 있다.
다음으로, 본 발명의 또 다른 실시예에 따른 메인 시스템의 시야 기준점 결정부는, 제1 실물 객체(1310)의 위치 및 제2 실물 객체(1320)의 위치를 잇는 직선을 제1 시축(1360)으로서 특정할 수 있고, 제3 실물 객체(1330)의 위치 및 제4 실물 객체(1340)의 위치를 잇는 직선을 제2 시축(1370)으로서 특정할 수 있고, 제1 시축(1360) 및 제2 시축(1370) 사이의 공통점을 시야 기준점으로서 결정할 수 있다.
여기서, 본 발명의 또 다른 실시예에 따르면, 제1 시축(1360) 및 제2 시축(1370) 사이의 공통점은, 제1 시축(1360) 및 제2 시축(1370) 사이의 교차점 또는 제1 시축(1360) 및 제2 시축(1370)을 최단 거리로 연결하는 가상의 선분의 중간점일 수 있다. 또한, 본 발명의 또 다른 실시예에 따르면, 위와 같이 결정되는 시야 기준점의 위치는, 사용자의 눈에 대한 상대적인 위치가 고정되는 센싱 디바이스(1301, 1401, 1501)의 위치를 기준으로 하여 특정될 수 있다.
도 14는 본 발명의 또 다른 실시예에 따라 시야 기준점을 이용하여 사용자가 지시하는 대상 객체를 결정하는 구성을 예시적으로 나타내는 도면이다.
도 14를 참조하면, 본 발명의 또 다른 실시예에 따른 메인 시스템의 사용자 인터페이스 제공부는, 사용자에 의한 지시 수단으로서의 기능을 수행하는 제5 실물 객체(1420)의 위치 및 시야 기준점(1410)을 잇는 직선(1440)과 연관되는 객체(1430)를 해당 사용자가 지시하는 대상 객체인 것으로 결정하는 기능을 수행할 수 있다. 여기서, 본 발명의 또 다른 실시예에 따르면, 대상 객체(1430)에는, 위의 직선(1440)과 교차하는 객체, 위의 직선(1440)과 접하는 객체, 위의 직선(1440)에 인접하는 객체 등이 포함될 수 있다.
즉, 본 발명의 또 다른 실시예에 따르면, 사용자가, 사용자의 시야 기준점(1410)의 위치를 특정할 수 있는 센싱 디바이스(1401)(예를 들면, 3차원 카메라)를 머리 부위에 착용한 상태에서 사물이나 가전제품(1430)을 바라보면서 자신의 손가락(1420) 등을 사물이나 가전제품(1430)에 대응시키는 제스쳐를 취함으로써, 센싱 디바이스(1401)의 시야(1402)에 포함되는(즉, 센싱 디바이스(1401)에 의하여 인식될 수 있는) 사물이나 가전제품(1430)을 편리하고도 정확하게 특정(또는 지시)할 수 있게 된다.
도 15는 본 발명의 또 다른 실시예에 따라 시야 기준점을 이용하여 사용자가 지시하는 대상 객체를 결정하는 구성이 활용될 수 있는 다양한 예시를 나타내는 도면이다.
도 15를 참조하면, 사용자는, 머리 부위의 센싱 디바이스(1501)를 착용한 상태에서 자신의 주변에 존재하는 시계(1520), TV(1530), 조명장치(1540) 등의 가전제품을 바라보면서 각 가전제품에 대하여 자신의 손가락(도 14의 제5 실물 객체(1420)에 해당함)을 대응시키는 동작을 행함으로써 각 가전제품을 대상 객체로서 특정할 수 있고(1525, 1535, 1545), 그 특정된 가전제품에 대하여 소정의 명령 또는 제어 정보(예를 들면, 전원 제어, 해상도 제어, 밝기 제어 등)를 전달할 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 비일시성의 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (21)

  1. 사용자의 시야 기준점을 결정하기 위한 방법으로서,
    디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 디스플레이 디바이스를 착용하는 사용자가 상기 제1 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 가상 객체와 대응되어 보여지는 제1 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 사용자가 상기 제2 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제2 가상 객체와 대응되어 보여지는 제2 실물 객체의 위치를 참조로 하여 제2 시축을 특정하는 단계, 및
    상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제1 가상 객체 및 상기 제2 가상 객체는, 상기 사용자의 눈에 대한 상대적인 위치가 고정되는 디스플레이 화면 상에 표시되는 방법.
  3. 제1항에 있어서,
    상기 시축 특정 단계에서,
    상기 제1 가상 객체의 위치 및 상기 제1 실물 객체의 위치를 잇는 직선을 제1 시축으로서 특정하고, 상기 제2 가상 객체의 위치 및 상기 제2 실물 객체의 위치를 잇는 직선을 제2 시축으로서 특정하는 방법.
  4. 제1항에 있어서,
    상기 제1 실물 객체 또는 상기 제2 실물 객체는, 상기 사용자의 신체 부위인 방법.
  5. 제1항에 있어서,
    상기 제1 시축 및 상기 제2 시축 사이의 공통점은, 상기 제1 시축 및 상기 제2 시축 사이의 교차점 또는 상기 제1 시축 및 상기 제2 시축을 최단 거리로 연결하는 가상의 선분의 중간점인 방법.
  6. 제1항에 있어서,
    상기 시축 특정 단계에서,
    상기 사용자의 왼쪽 눈에 대하여 제1 좌 시축 및 제2 좌 시축을 각각 특정하고, 상기 사용자의 오른쪽 눈에 대하여 제1 우 시축 및 제2 우 시축을 각각 특정하고,
    상기 시야 기준점 결정 단계에서,
    상기 제1 좌 시축 및 상기 제2 좌 시축 사이의 공통점을 참조로 하여 상기 사용자의 왼쪽 눈에게 적용되는 좌 시야 기준점을 결정하고, 상기 제1 우 시축 및 상기 제2 우 시축 사이의 공통점을 참조로 하여 상기 사용자의 오른쪽 눈에게 적용되는 우 시야 기준점을 결정하는 방법.
  7. 제1항에 있어서,
    상기 제1 시축 및 상기 제2 시축 사이의 공통점을 상기 시야 기준점으로서 결정하는 방법.
  8. 제1항에 있어서,
    상기 시축 특정 단계에서,
    셋 이상의 가상 객체의 위치 및 상기 셋 이상의 가상 객체에 각각 대응되는 셋 이상의 실물 객체의 위치를 참조로 하여 셋 이상의 시축을 각각 특정하고,
    상기 시야 기준점 결정 단계에서,
    상기 디스플레이 디바이스를 통하여 표시되는 영상의 표시 상태에 관한 정보를 참조로 하여 상기 셋 이상의 시축 사이의 복수의 공통점 중 적어도 하나의 공통점을 상기 시야 기준점으로서 결정하거나 상기 복수의 공통점 중 적어도 두 공통점의 중간점을 상기 시야 기준점으로서 결정하는 방법.
  9. 제1항에 있어서,
    상기 시야 기준점을 기준으로 하여, 상기 디스플레이 디바이스를 통해서 상기 사용자에게 제공되는 영상의 표시 상태를 제어하는 단계
    를 더 포함하는 방법.
  10. 사용자의 시야 기준점을 결정하기 위한 방법으로서,
    디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 제1 가상 객체를 주시하는 사용자의 눈동자의 위치를 참조로 하여 제1 기준축을 특정하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 제2 가상 객체를 주시하는 상기 사용자의 눈동자의 위치를 참조로 하여 제2 기준축을 특정하는 단계, 및
    상기 제1 기준축 및 상기 제2 기준축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 단계
    를 포함하는 방법.
  11. 제1항에 있어서,
    상기 기준축 특정 단계에서,
    상기 제1 가상 객체의 위치 및 상기 제1 가상 객체를 주시하는 사용자의 눈동자의 위치를 잇는 직선을 제1 기준축으로서 특정하고, 상기 제2 가상 객체의 위치 및 상기 제2 가상 객체를 주시하는 사용자의 눈동자의 위치를 잇는 직선을 제2 기준축으로서 특정하는 방법.
  12. 제1항에 있어서,
    상기 제1 기준축 및 상기 제2 기준축 사이의 공통점은, 상기 제1 기준축 및 상기 제2 기준축 사이의 교차점 또는 상기 제1 기준축 및 상기 제2 기준축을 최단 거리로 연결하는 가상의 선분의 중간점인 방법.
  13. 사용자의 시야 기준점을 결정하기 위한 방법으로서,
    제1 실물 객체의 위치 및 사용자가 상기 제1 실물 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 실물 객체와 대응되어 보여지는 제2 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 제3 실물 객체의 위치 및 상기 사용자가 상기 제3 실물 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제3 실물 객체와 대응되어 보여지는 제4 실물 객체의 위치를 참조로 하여 제2 시축을 특정하는 단계, 및
    상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 단계
    를 포함하는 방법.
  14. 제13항에 있어서,
    상기 시축 특정 단계에서,
    상기 제1 실물 객체의 위치 및 상기 제2 실물 객체의 위치를 잇는 직선을 제1 시축으로서 특정하고, 상기 제3 실물 객체의 위치 및 상기 제4 실물 객체의 위치를 잇는 직선을 제2 시축으로서 특정하는 방법.
  15. 제13항에 있어서,
    상기 제1 시축 및 상기 제2 시축 사이의 공통점은, 상기 제1 시축 및 상기 제2 시축 사이의 교차점 또는 상기 제1 시축 및 상기 제2 시축을 최단 거리로 연결하는 가상의 선분의 중간점인 방법.
  16. 제13항에 있어서,
    상기 시야 기준점의 위치는, 상기 사용자의 눈에 대한 상대적인 위치가 고정되는 센싱 디바이스의 위치를 기준으로 하여 특정되는 방법.
  17. 제13항에 있어서,
    상기 사용자에 의한 지시 수단으로서의 기능을 수행하는 제5 실물 객체의 위치 및 상기 시야 기준점을 잇는 직선과 연관되는 객체를 상기 사용자가 지시하는 대상 객체인 것으로 결정하는 단계
    를 더 포함하는 방법.
  18. 제1항, 제10항 및 제13항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 비일시성의 컴퓨터 판독 가능한 기록 매체.
  19. 사용자의 시야 기준점을 결정하기 위한 시스템으로서,
    디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 디스플레이 디바이스를 착용하는 사용자가 상기 제1 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 가상 객체와 대응되어 보여지는 제1 실물 객체의 위치를 인식하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 사용자가 상기 제2 가상 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제2 가상 객체와 대응되어 보여지는 제2 실물 객체의 위치를 인식하거나 상기 인식된 결과에 관한 정보를 획득하는 객체 감지부, 및
    상기 제1 가상 객체의 위치 및 상기 제1 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 상기 제2 가상 객체의 위치 및 상기 제2 실물 객체의 위치를 참조로 하여 제2 시축을 특정하고, 상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 시야 기준점 결정부
    를 포함하는 시스템.
  20. 사용자의 시야 기준점을 결정하기 위한 시스템으로서,
    디스플레이 디바이스를 통하여 표시되는 제1 가상 객체의 위치 및 상기 제1 가상 객체를 주시하는 사용자의 눈동자의 위치를 인식하고, 상기 디스플레이 디바이스를 통하여 표시되는 제2 가상 객체의 위치 및 상기 제2 가상 객체를 주시하는 상기 사용자의 눈동자의 위치를 인식하거나 상기 인식된 결과에 관한 정보를 획득하는 객체 감지부, 및
    상기 제1 가상 객체의 위치 및 상기 제1 가상 객체를 주시하는 사용자의 눈동자의 위치를 참조로 하여 제1 기준축을 특정하고, 상기 제2 가상 객체의 위치 및 상기 제2 가상 객체를 주시하는 상기 사용자의 눈동자의 위치를 참조로 하여 제2 기준축을 특정하고, 상기 제1 기준축 및 상기 제2 기준축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 시야 기준점 결정부
    를 포함하는 시스템.
  21. 사용자의 시야 기준점을 결정하기 위한 시스템으로서,
    제1 실물 객체의 위치, 사용자가 상기 제1 실물 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제1 실물 객체와 대응되어 보여지는 제2 실물 객체의 위치, 제3 실물 객체의 위치 및 상기 사용자가 상기 제3 실물 객체를 주시하는 경우에 상기 사용자의 시점에서 상기 제3 실물 객체와 대응되어 보여지는 제4 실물 객체의 위치를 인식하거나 상기 인식된 결과에 관한 정보를 획득하는 객체 감지부, 및
    상기 제1 실물 객체의 위치 및 상기 제2 실물 객체의 위치를 참조로 하여 제1 시축(visual axis)을 특정하고, 상기 제3 실물 객체의 위치 및 상기 제4 실물 객체의 위치를 참조로 하여 제2 시축을 특정하고, 상기 제1 시축 및 상기 제2 시축 사이의 공통점을 참조로 하여 상기 사용자에게 적용되는 시야 기준점을 결정하는 시야 기준점 결정부
    를 포함하는 시스템.
PCT/KR2016/006727 2015-06-24 2016-06-23 사용자의 시야 기준점을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Ceased WO2016209010A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150089928 2015-06-24
KR10-2015-0089928 2015-06-24

Publications (1)

Publication Number Publication Date
WO2016209010A1 true WO2016209010A1 (ko) 2016-12-29

Family

ID=57585160

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006727 Ceased WO2016209010A1 (ko) 2015-06-24 2016-06-23 사용자의 시야 기준점을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Country Status (2)

Country Link
KR (1) KR101850544B1 (ko)
WO (1) WO2016209010A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101980725B1 (ko) * 2017-07-11 2019-08-28 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
KR102798438B1 (ko) * 2021-12-07 2025-04-18 광운대학교 산학협력단 가상 디스플레이를 설정하는 가상현실장치 및 장치의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011128220A (ja) * 2009-12-15 2011-06-30 Toshiba Corp 情報提示装置、情報提示方法及びプログラム
KR20140090549A (ko) * 2013-12-10 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
US8947351B1 (en) * 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
KR20150026455A (ko) * 2013-09-03 2015-03-11 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
US20150123997A1 (en) * 2013-11-07 2015-05-07 Konica Minolta, Inc. Information Display System Including Transmission Type HMD, Non-Transitory Computer-Readable Storage Medium and Display Control Method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011128220A (ja) * 2009-12-15 2011-06-30 Toshiba Corp 情報提示装置、情報提示方法及びプログラム
US8947351B1 (en) * 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
KR20150026455A (ko) * 2013-09-03 2015-03-11 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
US20150123997A1 (en) * 2013-11-07 2015-05-07 Konica Minolta, Inc. Information Display System Including Transmission Type HMD, Non-Transitory Computer-Readable Storage Medium and Display Control Method
KR20140090549A (ko) * 2013-12-10 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
KR20170000801A (ko) 2017-01-03
KR101850544B1 (ko) 2018-04-19

Similar Documents

Publication Publication Date Title
US11819273B2 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
WO2021177674A1 (ko) 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US20230418370A1 (en) Head-mounted vr all-in-one machine
CN103443742B (zh) 用于凝视和姿势接口的系统和方法
CN111487946B (zh) 机器人系统
US10739936B2 (en) Zero parallax drawing within a three dimensional display
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
WO2015008164A2 (en) Systems and methods of direct pointing detection for interaction with a digital device
KR20130034125A (ko) 증강현실 기능을 구비한 안경형 모니터
WO2016209010A1 (ko) 사용자의 시야 기준점을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20190019308A1 (en) Image display device
US11131855B2 (en) Display system and method for controlling display system
CN107991775A (zh) 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
JPH1163927A (ja) 頭部位置・姿勢の計測装置および作業監視装置
JPH1020998A (ja) 位置指示装置
CN103713387A (zh) 电子设备和采集方法
WO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114281193A (zh) 环幕场景下基于手势识别的虚拟现实交互装置
WO2021190421A1 (zh) 基于虚拟现实的控制器光球追踪方法和虚拟现实设备
CN105828021A (zh) 基于增强现实技术的特种机器人图像采集控制方法及系统
WO2021045424A1 (ko) 우세안을 결정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2023085534A1 (ko) 머리 착용형 디스플레이 장치에서 손 인식을 활용한 마우스 포인트의 기준점 설정 방법 및 장치
WO2019013494A1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2021107499A1 (ko) 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치
Wang et al. Enhancing UAV Human-Machine Interaction With Multimodal Behavioral Data: A Gaze-Posture Synergistic Approach

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814723

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16814723

Country of ref document: EP

Kind code of ref document: A1