WO2017155248A1 - 가상현실 체험장치 - Google Patents

가상현실 체험장치 Download PDF

Info

Publication number
WO2017155248A1
WO2017155248A1 PCT/KR2017/002329 KR2017002329W WO2017155248A1 WO 2017155248 A1 WO2017155248 A1 WO 2017155248A1 KR 2017002329 W KR2017002329 W KR 2017002329W WO 2017155248 A1 WO2017155248 A1 WO 2017155248A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
experience
time stamp
movement
virtual reality
Prior art date
Application number
PCT/KR2017/002329
Other languages
English (en)
French (fr)
Inventor
정범준
Original Assignee
주식회사 상화
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160123261A external-priority patent/KR101885128B1/ko
Application filed by 주식회사 상화 filed Critical 주식회사 상화
Priority to EP17745961.7A priority Critical patent/EP3318958B1/en
Priority to US15/551,979 priority patent/US10593115B2/en
Priority to CN201780001093.1A priority patent/CN107533377B/zh
Priority to JP2018512213A priority patent/JP6698825B2/ja
Priority to SG11201709253YA priority patent/SG11201709253YA/en
Publication of WO2017155248A1 publication Critical patent/WO2017155248A1/ko
Priority to US16/700,244 priority patent/US20200105069A1/en
Priority to US16/868,006 priority patent/US10832490B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a virtual reality experience apparatus, and more particularly, to a virtual reality experience apparatus capable of providing images and physical movements.
  • VR virtual reality
  • Such virtual reality is also called artificial reality, cyber space, virtual world, virtual environment, synthetic environment, artificial environment.
  • the purpose of using virtual reality is to allow people to see and manipulate the environment as if they are entering the environment without experiencing the environment that is difficult to experience everyday. Recently, it has been applied to the fields of education, advanced programming, and remote operation. .
  • Republic of Korea Utility Model Registration No. 0342223 discloses a conventional virtual reality experience device.
  • an object of the present invention is to provide a virtual reality experience device that can improve the sense of reality.
  • an image device for providing an image to the experienced person; And a riding device providing movement to the experienced person, wherein the riding device comprises: a boarding unit providing a space in which the experienced person can ride; And a gyro mechanism for generating at least one of pitching, yawing, rolling, and reciprocating motion in the boarding unit.
  • the gyro mechanism comprises: a first mechanism for generating yawing on the boarding portion; A second mechanism for generating pitching to the boarding portion; And a third mechanism for generating rolling in the vehicle.
  • the first mechanism is formed to be rotatable and reciprocating relative to a structure supporting the gyro mechanism, and the second mechanism is supported by the first mechanism and rotates about an axis perpendicular to the axis of rotation of the first mechanism.
  • the third mechanism is supported by the second mechanism, rotatably formed with respect to the axis perpendicular to the axis of rotation of the second mechanism, the ride may be fixedly coupled to the third mechanism.
  • a first actuator is formed between the structure and the first mechanism to generate a driving force necessary for the rotational movement of the first mechanism, and a driving force necessary for the rotational movement of the second mechanism between the first mechanism and the second mechanism.
  • a third actuator may be formed, and a fourth actuator may be formed between the second mechanism and the third mechanism to generate a driving force necessary for the rotational movement of the third mechanism.
  • the first mechanism may be formed to further generate a reciprocating motion in the vehicle.
  • the first mechanism may be formed to reciprocate relative to the structure.
  • a second actuator may be formed between the structure and the first mechanism to generate a driving force necessary for the reciprocating motion of the first mechanism.
  • the first mechanism may be formed to reciprocate in a direction in which a portion supporting the second mechanism moves away from and close to the structure.
  • the first mechanism may be provided with a second actuator required for reciprocating movement of the portion supporting the second mechanism.
  • the virtual reality experience apparatus includes an image device for providing an image to an experienced person and a vehicle for providing physical movement to the experienced person, wherein the riding device comprises: a boarding unit for providing a space in which the experienced person can ride; And a gyro mechanism that generates at least one of pitching, yawing, rolling, and reciprocating motion in the boarding unit, the stimulus sensed through the visual sense and the stimulus sensed through physical movement may coincide with each other. This prevents the experiencer from feeling heterogeneous, improves immersion, and consequently improves realism.
  • FIG. 1 is a perspective view showing a virtual reality experience device according to an embodiment of the present invention
  • FIG. 2 is a perspective view illustrating images and movements provided by the virtual reality experience device of FIG. 1;
  • FIG. 2 is a perspective view illustrating images and movements provided by the virtual reality experience device of FIG. 1;
  • FIG. 3 is a schematic diagram showing components of the virtual reality experience device of FIG. 1;
  • FIG. 4 is a flowchart illustrating a part of a first control method for the virtual reality experience device of FIG. 1;
  • FIG. 5 is a flowchart illustrating another part of the first control method of FIG. 4;
  • FIG. 6 is a diagram illustrating a concept of the field of view calculation of FIG. 5;
  • FIG. 11 is a flowchart illustrating a part of a second control method for the virtual reality experience device of FIG. 1;
  • FIG. 12 is a flowchart illustrating a part of a third control method for the virtual reality experience device of FIG. 1;
  • 13 to 19 are flowcharts illustrating another part of the third control method of FIG. 12, respectively.
  • FIG. 20 is a schematic diagram showing components of a virtual reality experience device according to another embodiment of the present invention.
  • FIG. 21 is a flowchart illustrating a part of a control method for the virtual reality experience device of FIG. 20;
  • 22 to 24 are flowcharts showing another part of the control method of FIG. 21, respectively.
  • 25 is a perspective view of a virtual reality experience device according to another embodiment of the present invention.
  • 26 to 29 are plan views illustrating movements provided by the virtual reality experience apparatus of FIG. 25, respectively.
  • FIG. 30 is a perspective view showing a virtual reality experience apparatus according to another embodiment of the present invention.
  • 31 to 34 are perspective views illustrating a movement provided by the virtual reality experience apparatus of FIG. 30.
  • FIG. 1 is a perspective view showing a virtual reality experience device according to an embodiment of the present invention
  • Figure 2 is a perspective view showing the image and movement provided by the virtual reality experience device of Figure 1
  • Figure 3 is a virtual view of FIG.
  • It is a schematic diagram showing the components of the reality experience device.
  • 4 is a flowchart showing a part of a first control method for the virtual reality experience apparatus of FIG. 1
  • FIG. 5 is a flowchart showing another part of the first control method of FIG. 4
  • FIG. 6 is a view showing FIG. 5.
  • This is a diagram illustrating the concept of visual field calculation. The diagram shows the difference depending on whether the visual field is corrected when the experienced person is moved upward in the downward direction.
  • FIGS. 7 to 10 are respectively shown in FIG.
  • a flowchart showing still another part of the control method. 11 is a flowchart illustrating a part of a second control method for the virtual reality experience apparatus of FIG. 1.
  • 12 to 19 are flowcharts illustrating a part of a third control method for the virtual reality experience apparatus of FIG. 1, respectively.
  • the virtual reality experience apparatus includes an image device 100 for providing a virtual reality image to an experienced person, and a boarding device 200 for providing physical movement to an experienced person. And a control device (not shown) for controlling the imaging device 100 and the vehicle 200.
  • the virtual reality image provided to the experiencer will be referred to as the experience image
  • the physical movement provided to the experiencer will be referred to as the experience movement.
  • the imaging apparatus 100 is for enabling an experienced person to visually experience virtual reality, and includes an image display unit 110 for displaying the experience image and an image controller 120 for controlling the image display unit 110. Can be.
  • the image controller 120 is included in the imaging apparatus 100, but may be included in the control apparatus (not shown).
  • the imaging apparatus 100 includes an image (hereinafter, referred to as an omnidirectional image) that surrounds the experiencer so that the experiencer may view an image as if the experiencer is in a real environment. ) May be formed in a manner (hereinafter, referred to as a field corresponding image providing method) provided as an image (hereinafter, referred to as a field corresponding image) VPk corresponding to the field of view of the experienced person. That is, the experience image is formed as the omnidirectional image FPk, and the visual field corresponding image VPk corresponding to a specific portion (a portion to which the subject's eyes are directed) of the omnidirectional image FPk is displayed on the image display unit 110. It can be shaped to be seen.
  • the imaging apparatus 100 is formed of, for example, a head mounted display (HMD) mounted on the head of the experienced person, and the first detection unit 130 that detects the movement of the imaging apparatus 100. ) May be further included.
  • the first detector 130 may be formed of, for example, a gyro sensor or an acceleration sensor.
  • the imaging apparatus 100 includes an image of the omnidirectional image FPk stored in the image controller 120 and measured by the first detector 130 (the first detector 130 is detected). Movement of the device 100 is periodically transmitted to the image control unit 120, and the image control unit 120 calculates the field of view of the experienced person based on the measured value of the first detection unit 130, and the image control unit The image 120 transmits an image corresponding to the field of view of the experienced person among the omnidirectional images FPk to the image display unit 110, and the image display unit 110 reproduces the image received from the image control unit 120. It can be formed to.
  • the movement of the imaging apparatus 100 detected by the first detector 130 may be affected by the movement (experimental movement) of the vehicle 200 as well as the change of the gaze of the experienced person. For example, even when the vehicle 200 moves upward but the experiencer keeps the gaze forward, the first detector 130 may detect that the imaging device 100 has moved upward. . As a result, when the experienced person changes the gaze while the vehicle 200 is not moving, the movement of the imaging device 100 detected by the first detector 130 is changed by the gaze of the experienced person. In accordance with the movement of 100, the field of view of the experience person calculated from the measured value of the first detection unit 130 and the field of view of the actual experience person may coincide.
  • the movement of the imaging apparatus 100 detected through the first detector 130 does not coincide with the movement of the imaging apparatus 100 due to the change of the gaze of the experienced person.
  • the field of view of the experienced person calculated from the measured value of the first detector 130 may not coincide with the field of view of the actual person.
  • the imaging apparatus 100 excludes the movement of the imaging apparatus 100 due to the movement (experimental movement) of the vehicle 200 when calculating the visual field of the experienced person (hereinafter, referred to as the following). , Visual field correction method). That is, the vehicle 200 includes a second detector 240 that detects the movement (experimental movement) of the vehicle 200, and the image controller 120 of the imaging apparatus 100 is configured as the first controller.
  • the measured value of the detection unit 130 is subtracted from the measured value of the second detection unit 240 (movement of the image unit according to the movement of the boarding device 200), and the subtracted value ⁇ 1- ⁇ 2 (change of the subject's field of view) It can be formed to calculate the field of view of the experience from the movement of the image unit according to).
  • the angle from the reference vector for example, the vector toward the experiencer at the start of the experience
  • ⁇ the angle from the reference vector
  • the angle from the reference vector ⁇ to the vector ⁇ facing the front of the experienced person normal vector of the backrest of the chair 212 included in the boarding unit 210 to be described later
  • ⁇ at the point of time to be detected from the reference vector ⁇
  • the first detector 130 detects the first angle ⁇ 1 and sends it to the image controller 120
  • the second detector 240 transmits the second angle ⁇ 2.
  • the image control unit 120 detects and sends the image control unit 120 to the image control unit 120.
  • the image control unit 120 subtracts the second angle ⁇ 2 from the first angle ⁇ 1, and the visual field of the experience person from the subtracted value ⁇ 1- ⁇ 2. Can be calculated. As a result, as shown in FIG. 6, an image corresponding to the field of view of the actual user may be provided.
  • the second detection unit 240 is formed of a gyro sensor, an acceleration sensor, or the like installed in the boarding unit 210 to be described later, or by sensing each joint movement of the robot arm 221 to be described later the boarding unit 210 It may be formed by a Robot Sensor Interface (RSI) method that can calculate the movement of the.
  • RSSI Robot Sensor Interface
  • the boarding device 200 is for allowing the experienced person to experience the virtual reality through physical movements, the boarding unit 210 providing a space in which the experienced person can ride, the linear movement or rotational movement of the boarding unit 210.
  • the driving unit 220 may provide the experience movement, and the driving controller 230 may control the driving unit 220.
  • the driving control unit 230 is included in the vehicle 200 in the present embodiment, it may be included in the control device (not shown).
  • the boarding unit 210 is a chair 212 that can be seated by an experienced person, a seat belt 214 that prevents the experienced person from being separated from the chair 212, and a handle 216 that can be gripped by an experienced person to psychologically stabilize the experienced person. It may include.
  • the boarding unit 210 prevents the cradle (not shown) from which the imaging device 100 is detachably mounted, and the imaging device 100 is further away from a predetermined distance from the cradle (not shown).
  • a separation prevention means (not shown), a power cable (not shown) for supplying power from the holder (not shown) to the imaging device 100 side may be further included.
  • the driving unit 220 may be formed to provide a physical movement to the experienced person as if the experienced person rides on a real device while being relatively limited in space. That is, the operation displayed in the experience image may not be provided through the actual mechanism, but may be provided by the driving unit 220 that operates in a predetermined limited space narrower than the space in which the actual apparatus is operated.
  • the driving unit 220 may be formed in a variety of configurations to enable the moving unit 210 to move in three dimensions, in the case of this embodiment a plurality of degrees of freedom including a plurality of arms (Arms) and joints (eg For example, it may be formed of a robot arm 221 capable of moving with six degrees of freedom.
  • the boarding unit 210 may be detachably coupled to the free end of the robot arm 221.
  • the number of the vehicle 210 and the number of the driving unit 220 may be appropriately adjusted. That is, one driving unit 210 may be coupled to one driving unit 220 to provide a virtual reality experience to one experienced person at a time. Alternatively, a plurality of boarding units 210 may be coupled to one driving unit 220 to improve the turnover rate by providing a virtual reality experience to a plurality of experienced people at once. Alternatively, a plurality of driving units 220 may be provided to further improve the rotation rate, and at least one riding unit 210 may be coupled to each driving unit 220. That is, a plurality of virtual reality experience devices may be provided. In this case, the plurality of virtual reality experience apparatuses may independently provide experience images and experience movements, and may simultaneously provide a plurality of types of virtual reality.
  • the control device (not shown) is formed of a server or a computer electrically connected to the imaging device 100 and the vehicle 200, and includes at least a portion of the editing unit 310 to be described later and the controller C to be described later ( In the present embodiment, it may include an integrated control unit 320 to be described later.
  • the virtual reality experience apparatus may further include a common screen 400 that provides a virtual reality image to a non-experienced person to promote and attract an experienced person.
  • the image controller 120 may be formed to control the image display unit 110 and the common screen 400.
  • the virtual reality experience apparatus may be formed to be operable by the first control method illustrated in FIGS. 4 to 10.
  • the virtual reality experience apparatus is formed such that the experience image is provided in the view corresponding image providing method and the view correction method, and is provided every minute of the experience time from the experience start time to the experience end time.
  • the experience video and the experience motion to be preset may be preset, the preset experience video and the experience motion may be sequentially provided, and the experience video and the experience motion may be synchronized with each other.
  • the synchronization means that the visual movement (visual movement) shown in the experience image and the experience movement (physical movement) coincide.
  • the experience image and the experience movement are not synchronized with each other, for example, when the descending image is provided in the imaging apparatus 100, the ascent movement is provided in the vehicle 200, the experience Self-heterogeneity, immersion is lowered, the reality may be a problem that decreases.
  • the virtual reality experience apparatus synchronizes the experience image and the experience movement before the experience through the editing unit 310 that forms (prescribes) the experience image and the experience movement
  • the imaging apparatus 100 more precisely, the image display unit 110
  • the vehicle 200 more precisely, the driving unit 220
  • the controller C may be configured to synchronize the experience image with the experience movement during the experience.
  • the editing unit 310 is software provided in the control device (not shown), and includes a plurality of time points included in the experience time from the experience start time to the experience end time.
  • First to nth images FP1 to FPn which are experience videos to form time stamp codes TC defined by Stamps T1 to Tn, and to be reproduced on the first to nth time stamps T1 to Tn, respectively.
  • 2 Database DB2 can be formed.
  • the time stamp code TC is stored in the integrated control unit 320 to be described later
  • the first database DB1 is stored in the image control unit 120
  • the second database DB2 It may be stored in the driving controller 230.
  • the controller C may include an image controller 120, the drive controller 230, an integrated controller 320 for controlling the image controller 120 and the drive controller 230.
  • the integrated control unit 320 may be provided in the control device (not shown).
  • the integrated control unit 320 based on the time stamp code TC, when the experience is started, the first to n th time stamps T1 to Tn at intervals of a predetermined time (for example, 10 ms).
  • the image control unit 120 and the driving control unit 230 may be configured to send sequentially.
  • the integrated control unit 320 for synchronization during the experience, the image control unit 120 and the driving control unit 230 to the arbitrary time stamp (Tk) of the first to n-th time stamp (T1 to Tn). Can be configured to ship simultaneously.
  • the image control unit 120 substitutes the time stamp Tk received from the integrated control unit 320 into the first database DB1 to receive the time stamp received among the first to nth images FP1 to FPn.
  • the image FPk corresponding to the Tk may be selected, and the visual field corresponding image VPk of the selected image FPk may be sent to the image display unit 110.
  • the image controller 120 may be configured to send the image VPk sent to the image display unit 110 to the common screen 400 as well.
  • the image controller 120 may be configured to compare and match the target image with the actual image at a predetermined frequency (for example, 60 Hz) interval for synchronization during execution.
  • a predetermined frequency for example, 60 Hz
  • the image controller 120 is a target that is a time stamp Tk received from the integrated control unit 320 with an actual time stamp Tk ', which is a time stamp corresponding to an image sent to the image display unit 110. It may be formed to compare with the time stamp Tk.
  • the burden applied to the image control unit 120 may be reduced, and the processing speed of the image control unit 120 may be improved.
  • the image controller 120 corresponds to the actual time stamp Tk'.
  • An instruction between the image and the image corresponding to the target time stamp Tk may be instructed to reproduce the image at a faster playback speed than a predetermined playback speed.
  • the image controller 120 corresponds to the actual time stamp Tk'. It is possible to instruct the images after the image to be played at a playback speed slower than the predetermined playback speed.
  • the image controller 120 corresponds to the actual time stamp Tk'.
  • the instruction may be instructed to play the image repeatedly.
  • the driving controller 230 substitutes the time stamp Tk received from the integrated controller 320 into the second database DB2 to receive the time stamp received during the first to nth movements M1 to Mn.
  • a motion Mk corresponding to the Tk may be selected and the selected motion Mk may be sent to the driving unit 220.
  • the driving controller 230 may be configured to compare and match the target movement with the actual movement at a predetermined time interval (for example, 12 ms) for synchronization during the experience.
  • the driving controller 230 is a time stamp Tk received from the integrated control unit 320 with an actual time stamp Tk ′′, which is a time stamp corresponding to the actual movement performed by the driving unit 220. It may be configured to compare with the target time stamp Tk.
  • the burden applied to the driving controller 230 can be reduced, and the processing speed of the driving controller 230 can be improved.
  • the driving controller 230 corresponds to the actual time stamp Tk ′′. Instructions may be instructed to shift the movements between the movements corresponding to the target time stamp Tk to the driving speed faster than the predetermined driving speed.
  • the driving controller 230 corresponds to the actual time stamp Tk ′′. It can be instructed to shift the movements after the movement to a driving speed slower than the predetermined driving speed.
  • the driving controller 230 may be formed to calculate the actual time stamp Tk ′′ using the second database DB2. Specifically, the measured value of the second detection unit 240 detected at a predetermined time interval (for example, 12 ms) is also transmitted to the drive control unit 230, the drive control unit 230 is the second detection unit The measured value of 240 may be substituted into the second database DB2 to calculate a time stamp corresponding to the measured value of the second detector 240 as the actual time stamp Tk ′′. . In this case, the burden applied to the driving controller 230 is slightly increased, but the cost can be reduced since a separate device for calculating the actual time stamp Tk ′′ need not be added.
  • a predetermined time interval for example, 12 ms
  • the driving controller 230 includes a timer (not shown) for counting the time when the driving unit 220 is operated, and the timer (not shown) extracted at a predetermined time interval (for example, 12 ms). ) May be calculated as the actual time stamp Tk ".
  • a predetermined time interval for example, 12 ms.
  • the cost increases slightly as a separate device (timer (not shown)) for calculating the actual time stamp Tk ′′ is added, but the burden applied to the driving controller 230 may be reduced. have.
  • the first control method may include an editing step of editing the experience video and the experience movement before the experience, and an execution step of executing the experience.
  • the time stamp code TC, the first database DB1 and the second database DB2 are formed in the editing unit 310, and the time stamp code TC is integrated.
  • the first database DB1 may be stored in the controller 320
  • the image controller 120 may be stored in the controller 320
  • the second database DB2 may be stored in the driving controller 230.
  • the experience when the experiencer rides on the vehicle 200 and mounts the imaging device 100 to the head of the experiencer, the experience may begin.
  • the integrated control unit 320 may store the first time stamp T1, which is the first time stamp, as the target time stamp Tk.
  • the integrated control unit 320 may simultaneously send the target time stamp Tk stored in the integrated control unit 320 to the image control unit 120 and the driving control unit 230. have.
  • step 3-1-1 the image controller 120 substitutes the target time stamp Tk received through the second step S2 into the first database DB1.
  • the image corresponding to the target time stamp Tk among the first to nth images (the omnidirectional image) FP1 to FPn may be selected.
  • step 3-1-2 the first detector 130 sends the measured value of the first detector 130 to the image controller 120, and the second detector 240. ) May send the measured value of the second detection unit 240 to the image control unit 120.
  • step 3-1-3 the image controller 120 adjusts the visual field of the experienced person based on the measured value of the first detector 130 and the measured value of the second detector 240. Can be calculated.
  • step 3-1-4 the image control unit 120 performs step 3-1- of the image (front-directional image) FPk selected in step 3-1-1 (S311).
  • the image (field-corresponding image) VPk corresponding to the visual field of the experience person may be selected and sent to the image display unit 110 and the common screen 400.
  • step 3-1-5 the image display unit 110 and the common screen 400 respectively display the image VPk received through the step 3-1-4 (S314). Can play.
  • the common screen 400 is formed to provide a non-experimental person with the same image as the image VPk shown in the image display unit 110 for simplicity of logic, but is not limited thereto.
  • the image is different from the image VPk shown in the image display unit 110
  • the common screen 400 itself may be omitted to reduce the time and cost required to operate the common screen 400.
  • the drive control unit 230 substitutes the target time stamp (Tk) received through the second step (S2) to the second database (DB2).
  • the movement Mk corresponding to the target time stamp Tk among the first to nth movements M1 to Mn may be selected, and the selected movement Mk may be sent to the driving unit 220.
  • step 3-2-2 the driver 220 may perform the movement received through the third-2-1 step (S321).
  • the integrated control unit 320 is terminated the experience Can be determined. That is, the integrated control unit 320 may determine whether the target time stamp Tk stored in the integrated control unit 320 matches the nth time stamp Tn which is the final time stamp.
  • step S4 If it is determined in the fourth step S4 that the experience has ended (when the target time stamp Tk coincides with the nth time stamp Tn), the experience ends and it is determined that the experience is in progress. If the target time stamp Tk is inconsistent with the n th time stamp Tn, the process may proceed to a fifth step S5 to be described later.
  • the integrated controller 320 may determine whether a predetermined time (interval between time stamps) has elapsed since the target time stamp Tk is sent in the second step S2. have.
  • step S5 when it is determined that the predetermined time has elapsed, the process proceeds to the sixth step S6, which will be described later, and when it is determined that the predetermined time has not elapsed, the following 7-1
  • the process may proceed simultaneously to step -1 (S711) and step 7-2-1 (S721) to be described later.
  • the integrated control unit 320 may store the next time stamp of the time stamp previously stored as the target time stamp Tk as a new target time stamp Tk. For example, when the time stamp previously stored as the target time stamp Tk is the first time stamp T1, the second time stamp T2 may be stored as a new target time stamp Tk. have.
  • the second step S2 may be returned.
  • the image controller 120 may calculate the actual time stamp Tk ′.
  • the image control unit 120 assigns the actual time stamp Tk 'calculated in operation 7-1-1 (S711) to the second operation S2. ), It may be determined whether it matches the received target time stamp Tk.
  • step 7-1-2 when it is determined that the target time stamp Tk and the actual time stamp Tk 'coincide with each other, the process returns to step 3-1-2 S312. If it is determined that the target time stamp Tk and the actual time stamp Tk 'are inconsistent, the process may proceed to step 7-1-3 (S713), which will be described later.
  • the image controller 120 may determine whether the actual time stamp Tk ′ is earlier than the target time stamp Tk.
  • step S713 If it is determined that the actual time stamp Tk 'is earlier than the target time stamp Tk in the 7-1-3 step S713, the process proceeds to the 7-1-4 step S714 to be described later. If it is determined that the actual time stamp Tk 'is later than the target time stamp Tk, the process may proceed to step 7-1-5 (S715) to be described later.
  • the image controller 120 determines images between the image corresponding to the actual time stamp Tk 'and the image corresponding to the target time stamp Tk in advance.
  • the video display unit 110 may be instructed to reproduce at a faster playback speed than the playback speed.
  • step 7715 the image control unit 120 reproduces the images after the image corresponding to the actual time stamp Tk 'at a playback speed slower than a predetermined playback speed.
  • Instruction 110 may be given.
  • the image controller 120 may instruct the image display unit 110 to repeatedly play an image corresponding to the actual time stamp Tk '.
  • step 7-1-5 When the step 7-1-5 is completed (S715), it may return to step 3-1-2 (S312).
  • the steps 7-1-1 to 7-1-5 may be performed at predetermined frequency intervals (for example, 60 Hz).
  • step 7-1-2 When it is determined that the target time stamp Tk and the actual time stamp Tk 'coincide in step 7-1-2 (S712), or the step 7714-4 ends (S714).
  • step 7-1-5 is completed (S715), the return to the step 3-1-2 (S312) is to reflect the fluctuations in the visual field of the experienced person.
  • step 7-2-1 the second detection unit 240 sends the measured value (actual movement of the driving unit 220) of the second detection unit 240 to the driving control unit 230. Can be.
  • step 7-2-2 the driving controller 230 is actually based on the measured value of the second detection unit 240 received through the step 7-2-1 (S721).
  • the time stamp Tk ′′ may be calculated and it may be determined whether the calculated actual time stamp Tk ′′ matches the target time stamp Tk received through the second step S2.
  • step 7-2-2 If it is determined that the target time stamp Tk and the actual time stamp Tk '' coincide with each other in step 7-2-2 (S722), the process returns to the fifth step S5 and the target time stamp is returned. If it is determined that Tk and the actual time stamp Tk ′′ are inconsistent, the process may proceed to step 7723-3 (S723).
  • the driving controller 230 may determine whether the actual time stamp Tk ′′ is earlier than the target time stamp Tk.
  • step 7-2-3 If it is determined that the actual time stamp Tk ′′ is earlier than the target time stamp Tk in step 7-2-3 (S723), the method proceeds to step 7724 (S724) to be described later. If it is determined that the actual time stamp Tk ′′ is later than the target time stamp Tk, the process may proceed to step 7725-5 (S725).
  • the driving controller 230 may advance the movements between the movement corresponding to the actual time stamp Tk ′′ and the movement corresponding to the target time stamp Tk in advance. Instructions may be given to the driving unit 220 to shift to a driving speed faster than the determined driving speed.
  • the process may return to the fifth step S5.
  • the driving controller 230 may cause the driving controller 230 to transfer the motions after the movement corresponding to the actual time stamp Tk ′′ to a driving speed slower than a predetermined driving speed. Instructions 220 may be given.
  • the process may return to the fifth step S5.
  • the steps 7-2-1 to 7-2-5 may be performed at a predetermined time interval (for example, 12 ms).
  • the first to step S1 is executed once at the start of the experience, and the second to seventh to second-2-5 steps S2 until the image and the motion corresponding to the final time stamp are provided. To S725) may be repeated after repeated execution.
  • the experiencer includes the imaging device 100 and the boarding device 200
  • the stimulus that the experiencer senses through vision and the stimulation that is sensed through physical movement are included. Can match each other. This prevents the experiencer from feeling heterogeneous, improves immersion, and consequently improves realism.
  • the stimulus sensed by the user through vision and the stimulus sensed through physical movement may be further matched.
  • the experience image and the experience movement is performed step by step (before the experience, the start time of the experience, during the experience) and periodically during the experience, the experience is sensed through the stimulus and the physical movement that the experience detects through vision.
  • the stimulus can be more effectively matched.
  • the imaging apparatus 100 may be further configured to provide the view corresponding image VPk of the omnidirectional image FPk, thereby further improving realism.
  • the imaging apparatus 100 is formed to exclude the movement of the vehicle 200 when the visual field of the experience is calculated, the actual visual field of the experience and the visual field of the image are inconsistent due to the movement of the vehicle 200. The case can be prevented beforehand.
  • the driving unit 220 of the vehicle 200 is formed of a robot arm 221, while being relatively less space-limited, the experienced person to provide a movement as if the experienced person boarded a real machine. Can be.
  • the virtual reality experience device may be formed to be operable in the second control method shown in FIG.
  • the virtual reality experience apparatus is formed to be relatively simple compared to the case where the virtual reality experience apparatus is operable in the first control method, so that the image controller 120 does not perform a role of comparing and matching the target image with the actual image.
  • the driving controller 230 may be configured not to perform the role of comparing and matching the target movement with the actual movement, and may be configured to perform synchronization only before the experience and only when the experience starts.
  • the steps shown in FIG. 8 may be replaced with the steps shown in FIG. 11 and the steps shown in FIGS. 9 and 10 may be deleted, compared to the first control method. That is, the second control method may include the steps shown in FIGS. 4, 5, 7, and 11. Accordingly, when it is determined that the predetermined time has elapsed in the fifth step S5, the process proceeds to the sixth step S6, and when it is determined that the predetermined time has not elapsed, the third-first step is performed. The process may proceed simultaneously to the second step S312 and the fifth step S5.
  • the second control method may include an editing step of editing the experience video and the experience movement and an execution step of executing the experience before the experience.
  • the time stamp code TC, the first database DB1 and the second database DB2 are formed in the editing unit 310, and the time stamp code TC is integrated.
  • the first database DB1 may be stored in the controller 320
  • the image controller 120 may be stored in the controller 320
  • the second database DB2 may be stored in the driving controller 230.
  • the experience when the experiencer rides on the vehicle 200 and mounts the imaging device 100 to the head of the experiencer, the experience may begin.
  • the integrated control unit 320 may store the first time stamp T1, which is the first time stamp, as the target time stamp Tk.
  • the integrated control unit 320 may simultaneously send the target time stamp Tk stored in the integrated control unit 320 to the image control unit 120 and the driving control unit 230. have.
  • step 3-1-1 the image controller 120 substitutes the target time stamp Tk received through the second step S2 into the first database DB1.
  • the image corresponding to the target time stamp Tk among the first to nth images (the omnidirectional image) FP1 to FPn may be selected.
  • step 3-1-2 the first detector 130 sends the measured value of the first detector 130 to the image controller 120, and the second detector 240. ) May send the measured value of the second detection unit 240 to the image control unit 120.
  • step 3-1-3 the image controller 120 adjusts the visual field of the experienced person based on the measured value of the first detector 130 and the measured value of the second detector 240. Can be calculated.
  • step 3-1-4 the image control unit 120 performs step 3-1- of the image (front-directional image) FPk selected in step 3-1-1 (S311).
  • the image (field-corresponding image) VPk corresponding to the visual field of the experience person may be selected and sent to the image display unit 110 and the common screen 400.
  • step 3-1-5 the image display unit 110 and the common screen 400 respectively display the image VPk received through the step 3-1-4 (S314). Can play.
  • the common screen 400 is formed to provide a non-experimental person with the same image as the image VPk shown in the image display unit 110 for simplicity of logic, but is not limited thereto.
  • the image is different from the image VPk shown in the image display unit 110
  • the common screen 400 itself may be omitted to reduce the time and cost required to operate the common screen 400.
  • the drive control unit 230 substitutes the target time stamp (Tk) received through the second step (S2) to the second database (DB2).
  • the movement Mk corresponding to the target time stamp Tk among the first to nth movements M1 to Mn may be selected, and the selected movement Mk may be sent to the driving unit 220.
  • step 3-2-2 the driver 220 may perform the movement received through the third-2-1 step (S321).
  • the integrated control unit 320 is terminated the experience Can be determined. That is, the integrated control unit 320 may determine whether the target time stamp Tk stored in the integrated control unit 320 matches the nth time stamp Tn which is the final time stamp.
  • step S4 If it is determined in the fourth step S4 that the experience has ended (when the target time stamp Tk coincides with the nth time stamp Tn), the experience ends and it is determined that the experience is in progress. If the target time stamp Tk is inconsistent with the n th time stamp Tn, the process may proceed to a fifth step S5 to be described later.
  • the integrated controller 320 may determine whether a predetermined time (interval between time stamps) has elapsed since the target time stamp Tk is sent in the second step S2. have.
  • step S5 when it is determined that the predetermined time has elapsed, the process proceeds to the sixth step S6, and when it is determined that the predetermined time has not elapsed, the third-1-2.
  • the process may proceed simultaneously to step S312 and the fifth step S5.
  • the integrated control unit 320 may store the next time stamp of the time stamp previously stored as the target time stamp Tk as a new target time stamp Tk. For example, when the time stamp previously stored as the target time stamp Tk is the first time stamp T1, the second time stamp T2 may be stored as a new target time stamp Tk. have.
  • the second step S2 may be returned.
  • the burden applied to the image control unit 120 and the driving control unit 230 is reduced, so that the processing speed of the image control unit 120 and the processing of the driving control unit 230 are reduced.
  • the speed can be improved and the error occurrence rate can be reduced.
  • the experience video can be formed in higher quality, and the experience movement can be formed more precisely.
  • it is disadvantageous in terms of synchronization, it may not be a big problem since much of the synchronization is achieved in the editing unit 310.
  • the virtual reality experience apparatus may be formed to be operable by the third control method illustrated in FIGS. 12 to 19.
  • the virtual reality experience apparatus is formed to be relatively simple compared to the case where it is formed to be operated by the first control method, and the omnidirectional image which is a separate image from the experience image provided to the experienced person by the common screen 400 (
  • the FPk may be configured to provide the non-experienced person with an image SPk viewed through a predetermined field of view.
  • the editing unit 310 defines a third database DB3 which defines common images SP1 to SPn to be reproduced on the first to nth time stamps T1 to Tn on the common screen 400, respectively. ) Can be formed.
  • the third database DB3 may be stored in the image controller 120.
  • the image controller 120 substitutes the time stamp Tk received from the integrated controller 320 into the third database DB3 to receive the time stamp received from the common images SP1 to SPn.
  • the common image SPk corresponding to Tk may be selected, and the selected common image SPk may be sent to the common screen 400.
  • the image SPk sent to the common screen 400 may be an image viewed with a different field of view than the image VPk sent to the image display unit 110.
  • the image controller 120 may be configured to compare and match the target public image and the actual public image at a predetermined frequency (for example, 60 Hz) interval on the same principle as the experience image. Detailed description thereof will be omitted for avoiding duplication.
  • a predetermined frequency for example, 60 Hz
  • the steps shown in FIGS. 3, 4, 6 and 10 may be replaced with the steps shown in FIGS. 12 to 19 as compared with the first control method. That is, the third control method may include the steps illustrated in FIGS. 12 to 19.
  • the third database DB3 is further formed in the editing unit 310, and the third database DB3 is combined with the first database DB1 in the image control unit ( 120).
  • step 3-1-4 the image controller 120 controls the third-first among the images (front-directional image FPk) selected in step 3-1-1 (S311).
  • an image corresponding to the visual field of the experience person may be selected and sent to the image display unit 110.
  • the image display unit 110 may play the image VPk received through operation 3314-4.
  • the image controller 120 substitutes the target time stamp Tk received through the second operation S2 into the third database DB3.
  • the common image SPk corresponding to the target time stamp Tk among the common images SP1 to SPk may be selected and sent to the common screen 400.
  • step 3-3-2 the common screen 400 may play the shared image SPk received through step 3-3-1 (S331).
  • the fourth step (S4) May be performed.
  • step S5 when it is determined that a predetermined time has not elapsed, steps 7-1-1 (S711), 7-2-1 (S721), and 7th to be described later The process may proceed to step S731 at the same time.
  • the image controller 120 may calculate an actual time stamp Tk ′ ′′, which is a time stamp corresponding to the shared image being played on the common screen 400. have.
  • the image controller 120 determines that the actual time stamp Tk '' 'calculated in operation 7-3-1 (S731) is the second step. In operation S2, it may be determined whether the target time stamp Tk is received.
  • step 7-3-2 When it is determined that the target time stamp Tk and the actual time stamp Tk '' 'coincide with each other in step 7-3-2 (S732), the process returns to the second step S2 and the target time is returned. If it is determined that the stamp Tk and the actual time stamp Tk '' 'are inconsistent, the process may proceed to step 7-3-3 (S733).
  • the image controller 120 may determine whether the actual time stamp Tk '' 'is earlier than the target time stamp Tk.
  • step S733 If it is determined that the actual time stamp Tk '' 'is earlier than the target time stamp Tk in the 7-3-3 step S733, the 7-3-4 step S734 will be described later. If it is determined that the actual time stamp Tk 'is later than the target time stamp Tk, the process may proceed to step 7735-5 (S735).
  • the image controller 120 determines whether the common screen 400 corresponds to the common image corresponding to the actual time stamp Tk ′ ′′ and the target time stamp Tk.
  • the common screen 400 may be instructed to play back public images between corresponding public images at a faster playback speed than a predetermined playback speed.
  • the second step S73 may return to the second step S2.
  • the image controller 120 pre-determines the public images after the public image in which the common screen 400 corresponds to the actual time stamp Tk ′ ′′.
  • the common screen 400 may be instructed to play at a playback speed slower than the speed.
  • the image controller 120 may instruct the public screen 400 to repeatedly play the public video corresponding to the actual time stamp Tk '' '.
  • step S735 When the 7-3-5 step S735 is completed, the process may return to the second step S2.
  • the steps 7-3-1 to 7-3-5 may be performed at predetermined frequency intervals (for example, 60 Hz).
  • the virtual reality experience apparatus according to the above-described embodiment, the experience image and the experience movement in advance so as to experience the virtual reality experience as if watching a movie, in advance according to the passage of time irrespective of the will of the experience person in advance. It is formed to provide the determined image and movement.
  • the virtual reality experience apparatus includes the experience image and the experience movement as images and movements corresponding to the intention of the experience person so that the experience person experiences the virtual reality as if playing a game. It may be configured to be provided.
  • FIG. 20 is a schematic diagram illustrating components of a virtual reality experience apparatus according to another embodiment of the present invention.
  • FIG. 21 is a flowchart illustrating a part of a control method for the virtual reality experience apparatus of FIG. 20, and
  • FIGS. 22 to FIG. 24 is a flowchart showing another part of the control method of FIG.
  • the imaging device 100, the vehicle 200, and the control device may be formed in much the same manner as the above-described embodiment.
  • the experience image may be provided as an image corresponding to the will of the experiencer
  • the experience movement may be provided as a movement corresponding to the will of the experiencer
  • the virtual reality experience apparatus according to the present embodiment, the image device 100, the vehicle 200, the control device (not shown) and the common screen 400, the input data from the experienced person
  • the apparatus 500 further includes a control device 500 for receiving a virtual reality image corresponding to the input data to the user, and the boarding device 200 performs a physical movement corresponding to the input data. It can be configured to provide to the experiencer.
  • the manipulation device 500 may include, for example, a sensor for measuring gaze movement of a joystick, a haptic device, a button, and an experienced person so that the input data includes information about a position, directionality, speed, acceleration, and rotation. Detection unit 130).
  • the experience image may be formed of game content based on the input data.
  • the imaging device 100 and the vehicle 200 may be formed as a master device. That is, the imaging device 100 is configured to receive the input data from the operation device 500 and provide the experience image based on the input data, and the vehicle 200 also operates the operation device 500. And receive the input data from and provide the experience movement based on the input data.
  • the capacity of the first database DB1 and the second database DB2 increases, and a considerable time and cost are required to form the first database DB1 and the second database DB2. This can take a while.
  • the imaging device 100 may be formed as a master device, and the vehicle 200 may be formed as a slave device. That is, the imaging apparatus 100 is configured to receive the input data from the manipulation apparatus 500 and provide the experience image based on the input data, but the vehicle 200 is based on the experience image. It may be configured to provide the experience movement.
  • the vehicle 200 may be formed as a master device, and the imaging device 100 may be formed as a slave device. However, since the imaging device 100 has a greater constraint than the vehicle 200, It may be preferable that the imaging device 100 is formed as a master device and the imaging device 100 is formed as a slave device.
  • the editing unit 310 may form the first database DB1 to vary the experience image according to the input data, and to form the second database DB2 to vary according to the experience image.
  • the first database DB1 is formed such that the input data is an input value and the experience image is an output value
  • the second database DB2 turns the experience image as an input value and the experience movement is It can be formed to be an output value.
  • the controller C stores the first database DB1 and the second database DB2, receives the input data from the operation apparatus 500, and receives the first database ( DB1), to control the imaging device 100 (more precisely, the image display unit 110) and the driving device (more precisely, the driver 220) based on the second database DB2 and the input data.
  • the control unit C substitutes the input data received from the operation device 500 into the first database DB1, selects an experience video corresponding to the input data, and selects the selected experience image from the video. It may be sent to the display unit 110, and the selected experience image is inserted into the second database DB2 to select a motion corresponding to the image and send it to the driver 220.
  • the controller C may be configured to compare and match the target motion with the actual motion at a predetermined time interval (for example, 12 ms) for synchronization during the experience.
  • a predetermined time interval for example, 12 ms
  • the measured value of the second detector 240 is transmitted to the controller C, and the controller C transmits the actual movement corresponding to the measured value of the second detector 240. It can be configured to compare with the target movement sent to.
  • the controller C may instruct the driving unit 220 to shift to a driving speed faster than the predetermined driving speed.
  • the virtual reality experience apparatus may be operated by the real time control method illustrated in FIGS. 21 to 24.
  • the first database DB1 and the second database DB2 are formed in the editing unit 310, and the first database DB1 and the second database DB2 are formed. May be stored in the control unit (C).
  • the experience may begin.
  • the manipulation apparatus 500 may receive the input data from the experiencer.
  • the manipulation device 500 may send the input data received through the first 'step S1' to the controller C.
  • the controller C substitutes the input data received through the second 'step S2' into the first database DB1 and applies the input data to the input data.
  • a corresponding image (the omnidirectional image) FPk may be selected.
  • step 4-1-1 ' the first detection unit 130 sends the measured value of the first detection unit 130 to the control unit C, and the second detection unit ( The 240 may send the measured value of the second detector 240 to the controller C.
  • the controller C may determine the visual field of the experienced person based on the measured value of the first detector 130 and the measured value of the second detector 240. Can be calculated.
  • step S413' the controller C controls the 4-1-2 of the image (front-directional image) FPk selected in step 3 '.
  • operation S412 an image (a field-corresponding image) VPk corresponding to the field of view of the experienced person may be selected and sent to the image display unit 110 and the common screen 400.
  • step 4-1-4 '(S414') the image display unit 110 and the common screen 400 receive an image received through step 4-1-3 '(S413'). VPk) can be reproduced respectively.
  • the controller C selects the motion Mk corresponding to the image (the omnidirectional image) FPk selected in the third 'step S3'.
  • the selected motion Mk may be sent to the driver 220.
  • the driving unit 220 may perform the movement Mk received through the 4-2-1 'step S421'.
  • the controller (C) May determine whether the experience has ended. That is, the controller C may determine whether a separately set end-condition (eg, game over on game content) is satisfied.
  • a separately set end-condition eg, game over on game content
  • step (S5 ') if it is determined that the experience is finished (if the experience termination condition is satisfied), the experience ends, and if it is determined that the experience is in progress (experience of completion of the experience termination condition) If), it may proceed to the sixth step (S6 ') to be described later.
  • the second detector 240 may send the measured value (actual movement of the driver 220) of the second detector 240 to the controller C.
  • the controller C measures the measured value of the second detector 240 received through the sixth step S6' (actual movement of the driver 220). It may be determined whether Mk 'matches the target motion Mk of the driving unit 220.
  • step S7 ' when it is determined that the actual motion Mk' of the driver 220 and the target motion Mk coincide with each other, the process returns to the first step S1 ', and the driver If it is determined that the actual movement Mk 'and the target movement Mk of the 220 are inconsistent, the process may proceed to an eighth step S8', which will be described later.
  • the controller C may instruct the driving unit 220 to shift the driving unit 220 to a driving speed that is higher than a predetermined driving speed.
  • the process may return to the first step S1'.
  • the sixth step S6 'to the eighth step S8' may be executed at a predetermined time interval (for example, 12 ms).
  • the driving unit 220 is formed of the robot arm 221, but as shown in FIGS. 25 and 29, the driving unit 220 is pitched to the boarding unit 210.
  • gyro mechanism 222 for generating yawing, rolling and reciprocating motion.
  • the reciprocating motion means that the boarding portion 210 is moved in a direction away from and closer to the structure 223 supporting the gyro mechanism 222.
  • FIG. 25 is a perspective view illustrating a virtual reality experience apparatus according to another embodiment of the present invention
  • FIGS. 26 to 29 are plan views illustrating movements provided by the virtual reality experience apparatus of FIG. 25, respectively.
  • the gyro mechanism 222 generates a yawing in the boarding unit 210 as shown in FIG. 27 and a first mechanism 2221 for generating a reciprocating motion in the boarding unit 210 as shown in FIG. 29. 26, a second mechanism 2222 for generating pitching in the boarding unit 210 as shown in FIG. 26, and a third mechanism 2223 for generating rolling in the boarding unit 210 as shown in FIG. 28. It may include.
  • the first mechanism 2221 may be formed to rotate and reciprocate relative to the structure 223.
  • the structure 223 is formed with a first fastening groove (not shown) into which the first mechanism 2221 is inserted, and the first mechanism 2221 is inserted into the first fastening groove (not shown). And a base portion 2221a and an arm portion 2221b extending from the base portion 2221a to the opposite side of the structure 223 and supporting the second mechanism 2222.
  • the base portion 2221a is rotatably formed in the depth direction of the first fastening groove (not shown) as the rotation axis in the state inserted into the first fastening groove (not shown), and the first fastening groove (not shown). It can be formed so as to reciprocate in the depth direction of.
  • a first actuator (not shown) is generated between the structure 223 and the first mechanism 2221 (more precisely, the base portion 2221a) to generate a driving force necessary for the rotational movement of the first mechanism 2221.
  • a second actuator (not shown) for generating a driving force necessary for the reciprocating motion of the first mechanism 2221.
  • the first actuator (not shown) and the second actuator (not shown) may each include a motor, a reducer, and a power transmission mechanism (for example, a pulley, a sprocket, a belt, a chain).
  • a power transmission mechanism for example, a pulley, a sprocket, a belt, a chain.
  • the first mechanism 2221 is rotatable with respect to the structure 223, and a direction in which a portion supporting the second mechanism 2222 moves away from and close to the structure 223. It may be formed to be reciprocating. That is, the arm portion 2221b is reciprocally coupled to the first arm portion 2221ba while supporting the first arm portion 2221ba and the second mechanism 2222 fixedly coupled to the base portion 2221a. It includes a second arm portion 2221bb, the base portion 2221a is inserted into the first fastening groove (not shown) only the rotational movement of the depth of the first fastening groove (not shown) as the rotation axis It can be formed possibly.
  • the first actuator (not shown) is formed between the structure 223 and the first mechanism 2221, and the second arm 2221ba and the second arm 2221bb are disposed between the second arm portion 2221bb.
  • a second actuator (not shown) for generating a driving force necessary for the reciprocating motion of the arm portion 2221bb may be formed.
  • the second mechanism 2222 is supported by the first mechanism 2221 (more precisely, the arm portion 2221b) and may be rotatably formed in a direction perpendicular to the rotation axis of the first mechanism 2221.
  • the arm portion 2221b of the first mechanism 2221 is formed in a second fastening groove (not shown) extending in a direction perpendicular to the depth direction of the first fastening groove (not shown), and the second The mechanism 2222 is a hinge portion (not shown) inserted into the second fastening groove (not shown) and an annular portion 2222b extending in an annular shape from the hinge portion (not shown) and supporting the third mechanism 2223. ) May be included.
  • the hinge portion (not shown) may be formed to extend in the radial direction of the annular portion 2222b from the outer peripheral portion of the annular portion 2222b.
  • the hinge part (not shown) may be rotatably formed in the depth direction of the second fastening groove (not shown) in the state of being inserted into the second fastening groove (not shown).
  • the driving force required for the rotational movement of the second mechanism 2222 is generated between the arm portion 2221b of the first mechanism 2221 and the second mechanism 2222 (more precisely, a hinge portion (not shown)).
  • a third actuator (not shown) may be formed.
  • the third actuator (not shown) may be formed similarly to the first actuator (not shown).
  • the third mechanism 2223 is supported by the second mechanism 2222 (more precisely, the annular portion 2222b) and is perpendicular to the rotation axis of the first mechanism 2221 and the rotation axis of the second mechanism 2222. It may be formed to be rotatable in one direction. In this case, the boarding unit 210 may be fixedly coupled to the third mechanism 2223.
  • the third mechanism 2223 is formed in an annular shape concentric with the second mechanism 2222 (more precisely, the annular portion 2222b), the outer peripheral surface of the third mechanism 2223 is the second It can be rotatably coupled to the inner circumferential surface of the instrument 2222 (more precisely, annular portion 2222b).
  • a fourth actuator (not shown) may be formed between the inner circumferential surface of the second mechanism 2222 and the outer circumferential surface of the third mechanism 2223 to generate a driving force necessary for the rotational movement of the third mechanism 2223.
  • the third mechanism 2223 has a circumferential direction with respect to the inner circumferential surface of the second mechanism 2222 with the entire outer circumferential surface of the third mechanism 2223 facing the entire inner circumferential surface of the second mechanism 2222. It can be slidably coupled.
  • the virtual reality device including the gyro mechanism 222 may provide the experience movement to the experienced person even in a narrower space than the virtual reality device including the robot arm 221.
  • the gyro mechanism 222 is formed to be capable of providing both pitching, yawing, rolling and reciprocating motion, the gyro mechanism 222 is pitching, yawing, rolling and reciprocating Only part of the exercise may be formed to be provided.
  • the driving unit 220 may be configured to include the robot arm 221 and the gyro mechanism 222.
  • the vehicle 210 may be coupled to the third mechanism 2223 of the gyro mechanism 222, and the gyro mechanism 222 may be coupled to the free end of the robot arm 221.
  • FIGS. 31 to 34 are perspective views illustrating movements provided by the virtual reality experience apparatus of FIG. 30, respectively.
  • the robot arm 221 may provide a motion that cannot be implemented.
  • the gyro mechanism 222 pitches the boarding unit 210 in a state where the robot arm 221 has positioned the boarding unit 210 at an upper maximum position.
  • the experienced person can take various positions even in the upper maximum position.
  • the gyro mechanism 222 pitches, yaws, and rolls the vehicle 210 with the robot arm 221 positioned at the front of the vehicle 210.
  • the experienced person can take various positions even at the forward maximum position.
  • the gyro mechanism 222 pitches and yaws the boarding unit 210 while the robot arm 221 idles the boarding unit 210 with respect to the ground.
  • the experienced person may be rotated while being idle, and may take various positions.
  • the limit of movement provided by the driving unit 220 is reduced, thereby increasing the degree of freedom in image production, and as a result, it is possible to reduce the constraint of virtual reality.
  • the present invention relates to a virtual reality experience apparatus, and more particularly, to a virtual reality experience apparatus capable of providing images and physical movements.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상현실 체험장치에 관한 것으로서, 체험자에게 영상을 제공하는 영상장치 및 체험자에게 물리적 움직임을 제공하는 탑승장치를 포함하고, 상기 탑승장치는, 체험자에게 탑승 가능한 공간을 제공하는 탑승부; 및 상기 탑승부에 피칭, 요잉, 롤링 및 왕복 운동 중 적어도 하나를 발생시키는 자이로 기구;를 포함함에 따라, 체험자가 시각을 통해 감지하는 자극과 물리적 움직임을 통해 감지하는 자극이 서로 일치될 수 있다. 이에 의하여, 체험자가 이질감을 느끼는 것을 방지하고, 몰입도가 향상되며, 결과적으로 현실감이 향상될 수 있다.

Description

가상현실 체험장치
본 발명은, 가상현실 체험장치에 관한 것으로서, 더욱 상세하게는, 영상과 물리적 움직임을 제공할 수 있도록 한 가상현실 체험장치에 관한 것이다.
일반적으로, 가상현실(Virtual Reality, VR)이란 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 이용하는 사람이 실제 주변 상황이나 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간과 컴퓨터 사이의 인터페이스를 의미한다.
이러한 가상현실은 인공현실, 사이버 공간, 가상세계, 가상환경, 합성환경, 인공환경 등으로도 불리고 있다.
가상현실의 사용 목적은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 하는 것으로서, 최근에는 교육, 고급 프로그래밍, 원격조작 등의 분야에 응용되고 있다.
대한민국 등록실용신안공보 0342223호에는 종래의 가상현실 체험장치가 개시되어 있다.
그러나, 이러한 종래의 가상현실 체험장치에 있어서는, 현실감이 저하되는 문제점이 있었다. 더욱 구체적으로, 종래의 가상현실 체험장치는 체험자에게 영상만을 제공하기 때문에, 체험자가 시각을 통해 감지하는 자극과 물리적 움직임을 통해 감지하는 자극이 서로 일치되지 않는 문제점이 있었다. 한편, 체험자에게 영상과 함께 물리적 움직임을 제공하려는 시도가 있으나, 영상에서 보여지는 움직임과 실제 제공되는 움직임이 서로 일치되지 못하는 문제점이 있었다. 또한, 종래의 가상현실 체험장치는 체험자의 실제 시야와 영상의 시야가 일치되지 않는 문제점이 있었다. 이에 따라, 체험자가 이질감을 느끼고, 몰입도가 저하되며, 결국 현실감이 저하되는 문제점이 있었다.
따라서, 본 발명은, 현실감을 향상시킬 수 있는 가상현실 체험장치를 제공하는 것을 그 목적으로 한다.
본 발명은, 상기한 바와 같은 목적 달성을 위해, 체험자에게 영상을 제공하는 영상장치; 및 체험자에게 움직임을 제공하는 탑승장치;를 포함하고, 상기 탑승장치는, 체험자에게 탑승 가능한 공간을 제공하는 탑승부; 및 상기 탑승부에 피칭, 요잉, 롤링 및 왕복 운동 중 적어도 하나를 발생시키는 자이로 기구;를 포함하는 가상현실 체험장치를 제공한다.
상기 자이로 기구는, 상기 탑승부에 요잉을 발생시키는 제1 기구; 상기 탑승부에 피칭을 발생시키는 제2 기구; 및 상기 탑승부에 롤링을 발생시키는 제3 기구;를 포함할 수 있다.
상기 제1 기구는 상기 자이로 기구를 지지하는 구조물을 기준으로 회전 및 왕복 운동 가능하게 형성되고, 상기 제2 기구는 상기 제1 기구에 지지되고, 상기 제1 기구의 회전축에 수직한 축을 기준으로 회전 가능하게 형성되고, 상기 제3 기구는 상기 제2 기구에 지지되고, 상기 제2 기구의 회전축에 수직한 축을 기준으로 회전 가능하게 형성되며, 상기 탑승부는 상기 제3 기구에 고정 결합될 수 있다.
상기 구조물과 상기 제1 기구 사이에는 상기 제1 기구의 회전 운동에 필요한 구동력을 발생시키는 제1 액추에이터가 형성되고, 상기 제1 기구와 상기 제2 기구 사이에는 상기 제2 기구의 회전 운동에 필요한 구동력을 발생시키는 제3 액추에이터가 형성되고, 상기 제2 기구와 상기 제3 기구 사이에는 상기 제3 기구의 회전 운동에 필요한 구동력을 발생시키는 제4 액추에이터가 형성될 수 있다.
상기 제1 기구는 상기 탑승부에 왕복 운동을 더 발생시키도록 형성될 수 있다.
상기 제1 기구는 상기 구조물을 기준으로 왕복 운동 가능하게 형성될 수 있다.
상기 구조물과 상기 제1 기구 사이에는 상기 제1 기구의 왕복 운동에 필요한 구동력을 발생시키는 제2 액추에이터가 형성될 수 있다.
상기 제1 기구는 상기 제2 기구를 지지하는 부위가 상기 구조물로부터 멀어지고 가까워지는 방향으로 왕복 운동 가능하게 형성될 수 있다.
상기 제1 기구에는 상기 제2 기구를 지지하는 부위의 왕복 운동에 필요한 제2 액추에이터가 형성될 수 있다.
본 발명에 의한 가상현실 체험장치는, 체험자에게 영상을 제공하는 영상장치 및 체험자에게 물리적 움직임을 제공하는 탑승장치를 포함하고, 상기 탑승장치는, 체험자에게 탑승 가능한 공간을 제공하는 탑승부; 및 상기 탑승부에 피칭, 요잉, 롤링 및 왕복 운동 중 적어도 하나를 발생시키는 자이로 기구;를 포함함에 따라, 체험자가 시각을 통해 감지하는 자극과 물리적 움직임을 통해 감지하는 자극이 서로 일치될 수 있다. 이에 의하여, 체험자가 이질감을 느끼는 것을 방지하고, 몰입도가 향상되며, 결과적으로 현실감이 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상현실 체험장치를 도시한 사시도,
도 2는 도 1의 가상현실 체험장치가 제공하는 영상과 움직임을 도시한 사시도,
도 3은 도 1의 가상현실 체험장치의 구성요소를 도시한 계통도,
도 4는 도 1의 가상현실 체험장치에 대한 제1 제어방법의 일부를 도시한 순서도,
도 5는 도 4의 제1 제어방법의 다른 일부를 도시한 순서도,
도 6은 도 5의 시야 연산에 대한 개념을 설명하기 위해 도시한 도표,
도 7 내지 10은 각각 도 4의 제1 제어방법의 또 다른 일부를 도시한 순서도,
도 11은 도 1의 가상현실 체험장치에 대한 제2 제어방법의 일부를 도시한 순서도,
도 12는 도 1의 가상현실 체험장치에 대한 제3 제어방법의 일부를 도시한 순서도,
도 13 내지 도 19는 각각 도 12의 제3 제어방법의 다른 일부를 도시한 순서도,
도 20은 본 발명의 다른 실시예에 따른 가상현실 체험장치의 구성요소를 도시한 계통도,
도 21은 도 20의 가상현실 체험장치에 대한 제어방법의 일부를 도시한 순서도,
도 22 내지 도 24는 각각 도 21의 제어방법의 다른 일부를 도시한 순서도,
도 25는 본 발명의 또 다른 실시예에 따른 가상현실 체험장치를 도시한 사시도,
도 26 내지 도 29는 각각 도 25의 가상현실 체험장치가 제공하는 움직임을 도시한 평면도,
도 30은 본 발명의 또 다른 실시예에 따른 가상현실 체험장치를 도시한 사시도,
도 31 내지 도 34은 도 30의 가상현실 체험장치가 제공하는 움직임을 도시한 사시도이다.
이하, 본 발명에 의한 가상현실 체험장치를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 가상현실 체험장치를 도시한 사시도이고, 도 2는 도 1의 가상현실 체험장치가 제공하는 영상과 움직임을 도시한 사시도이고, 도 3은 도 1의 가상현실 체험장치의 구성요소를 도시한 계통도이다. 그리고, 도 4는 도 1의 가상현실 체험장치에 대한 제1 제어방법의 일부를 도시한 순서도이고, 도 5는 도 4의 제1 제어방법의 다른 일부를 도시한 순서도이고, 도 6은 도 5의 시야 연산에 대한 개념을 설명하기 위해 도시한 도표로서 체험자가 시선을 하방을 향한 상태에서 상방 이동될 때 시야 보정 여부에 따른 차이점을 도시한 도표이며, 도 7 내지 10은 각각 도 4의 제1 제어방법의 또 다른 일부를 도시한 순서도이다. 한편, 도 11은 도 1의 가상현실 체험장치에 대한 제2 제어방법의 일부를 도시한 순서도이다. 또한, 도 12 내지 도 19는 각각 도 1의 가상현실 체험장치에 대한 제3 제어방법의 일부를 도시한 순서도이다.
첨부된 도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 가상현실 체험장치는, 체험자에게 가상현실 영상을 제공하는 영상장치(100), 체험자에게 물리적 움직임을 제공하는 탑승장치(200) 및 상기 영상장치(100)와 상기 탑승장치(200)를 제어하는 제어장치(미도시)를 포함할 수 있다. 이하에서는 체험자에게 제공되는 가상현실 영상을 체험 영상이라 하고, 체험자에게 제공되는 물리적 움직임을 체험 움직임이라 하겠다.
상기 영상장치(100)는 체험자가 시각적으로 가상현실을 체험할 수 있도록 하기 위한 것으로서, 상기 체험 영상을 보여주는 영상 표시부(110) 및 상기 영상 표시부(110)를 제어하는 영상 제어부(120)를 포함할 수 있다. 여기서, 상기 영상 제어부(120)는 본 실시예의 경우 상기 영상장치(100)에 포함되나, 상기 제어장치(미도시)에 포함될 수도 있다.
한편, 상기 영상장치(100)는, 도 2에 도시된 바와 같이, 체험자가 실제 환경에 들어와 있는 것과 같은 영상을 볼 수 있도록, 상기 체험 영상이 체험자를 둘러싸는 영상(이하, 전방위 영상)(FPk) 중 체험자의 시야에 대응되는 영상(이하, 시야 대응 영상)(VPk)으로 제공되는 방식(이하, 시야 대응 영상 제공 방식)으로 형성될 수 있다. 즉, 상기 체험 영상은 상기 전방위 영상(FPk)으로 형성되되 그 전방위 영상(FPk) 중 특정 부위(체험자의 시선이 향하는 부위)에 해당되는 상기 시야 대응 영상(VPk)이 상기 영상 표시부(110)에서 보여지도록 형성될 수 있다.
구체적으로, 상기 영상장치(100)는 예를 들어 체험자의 두부에 장착되는 헤드 마운트 디스플레이 기기(HMD: Head Mount Display)로 형성되고, 상기 영상장치(100)의 움직임을 검출하는 제1 검출부(130)를 더 포함할 수 있다. 여기서, 상기 제1 검출부(130)는 예를 들어 자이로 센서, 가속도 센서 등으로 형성될 수 있다.
그리고, 상기 영상장치(100)는, 상기 전방위 영상(FPk)이 상기 영상 제어부(120)에 저장되어 있고, 상기 제1 검출부(130)의 측정값(제1 검출부(130)를 통해 검출되는 영상장치(100)의 움직임)이 주기적으로 상기 영상 제어부(120)로 전송되고, 상기 영상 제어부(120)가 상기 제1 검출부(130)의 측정값에 기초하여 체험자의 시야를 연산하고, 상기 영상 제어부(120)가 상기 전방위 영상(FPk) 중 연산된 체험자의 시야에 대응되는 영상을 상기 영상 표시부(110)로 발송하며, 상기 영상 표시부(110)가 상기 영상 제어부(120)로부터 수신한 영상을 재생하도록 형성될 수 있다.
한편, 상기 제1 검출부(130)를 통해 검출되는 영상장치(100)의 움직임은 체험자의 시선 변경뿐만 아니라 상기 탑승장치(200)의 움직임(체험 움직임)에 의해 영향을 받을 수 있다. 예를 들어, 상기 탑승장치(200)가 상방으로 움직이나 체험자는 시선을 전방으로 유지하고 있는 경우에도 상기 제1 검출부(130)는 상기 영상장치(100)가 상방으로 이동된 것으로 검출할 수 있다. 이에 의하여, 상기 탑승장치(200)가 움직이지 않는 상태에서 체험자가 시선을 변경할 경우에는, 상기 제1 검출부(130)를 통해 검출되는 영상장치(100)의 움직임이 체험자의 시선 변경에 의한 영상장치(100)의 움직임과 일치되어, 상기 제1 검출부(130)의 측정값으로부터 연산된 체험자의 시야와 실제 체험자의 시야가 일치될 수 있다. 하지만, 상기 탑승장치(200)가 움직이는 경우에는, 상기 제1 검출부(130)를 통해 검출되는 영상장치(100)의 움직임이 체험자의 시선 변경에 의한 영상장치(100)의 움직임과 일치되지 않아, 상기 제1 검출부(130)의 측정값으로부터 연산된 체험자의 시야와 실제 체험자의 시야가 일치되지 않을 수 있다.
이를 고려하여, 본 실시예의 경우, 상기 영상장치(100)는 상기 체험자의 시야 연산 시 상기 탑승장치(200)의 움직임(체험 움직임)에 의한 상기 영상장치(100)의 움직임을 배제하는 방식(이하, 시야 보정 방식)으로 형성될 수 있다. 즉, 상기 탑승장치(200)는 그 탑승장치(200)의 움직임(체험 움직임)을 검출하는 제2 검출부(240)를 포함하고, 상기 영상장치(100)의 영상 제어부(120)는 상기 제1 검출부(130)의 측정값에서 상기 제2 검출부(240)의 측정값(탑승장치(200)의 움직임에 따른 영상부의 움직임)을 차감하고, 그 차감된 값(θ1-θ2)(체험자의 시야 변경에 따른 영상부의 움직임)으로부터 체험자의 시야를 연산하도록 형성될 수 있다.
구체적으로, 기준 벡터(예를 들어, 체험 시작 시점에서 체험자의 전방을 향하는 벡터)(α)로부터 체험자가 바라보는 시선 방향의 벡터(β)까지의 각도를 제1 각도(θ1)라 하고, 상기 기준 벡터(α)로부터 검출하고자 하는 시점에서 체험자의 전방을 향하는 벡터(γ)(후술할 탑승부(210)에 포함되는 의자(212) 등받이의 법선 벡터)(γ)까지의 각도를 제2 각도(θ2)라 하면, 상기 제1 검출부(130)는 상기 제1 각도(θ1)를 검출하여 상기 영상 제어부(120)로 발송하고, 상기 제2 검출부(240)는 상기 제2 각도(θ2)를 검출하여 상기 영상 제어부(120)로 발송하며, 상기 영상 제어부(120)는 상기 제1 각도(θ1)에서 상기 제2 각도(θ2)를 차감하고 그 차감된 값(θ1-θ2)으로부터 체험자의 시야를 연산할 수 있다. 이에 의하여, 도 6에 도시된 바와 같이, 실제 체험자의 시야에 대응되는 영상이 제공될 수 있다.
여기서, 상기 제2 검출부(240)는 후술할 탑승부(210)에 설치되는 자이로 센서, 가속도 센서 등으로 형성되거나, 후술할 로봇암(221)의 각 관절 움직임을 센싱하여 그 탑승부(210)의 움직임을 연산할 수 있는 RSI(Robot Sensor Interface) 방식으로 형성될 수도 있다.
상기 탑승장치(200)는 체험자가 물리적 움직임을 통해 가상현실을 체험할 수 있도록 하기 위한 것으로서, 체험자에게 탑승 가능한 공간을 제공하는 탑승부(210), 상기 탑승부(210)를 직선 운동 또는 회전 운동시킴으로써 상기 체험 움직임을 제공하는 구동부(220) 및 상기 구동부(220)를 제어하는 구동 제어부(230)를 포함할 수 있다. 여기서, 상기 구동 제어부(230)는 본 실시예의 경우 상기 탑승장치(200)에 포함되나, 상기 제어장치(미도시)에 포함될 수도 있다.
상기 탑승부(210)는 체험자가 착석 가능한 의자(212), 체험자가 상기 의자(212)로부터 이탈되는 것을 방지하는 안전벨트(214) 및 체험자를 심리적으로 안정시키도록 체험자가 파지 가능한 손잡이(216)를 포함할 수 있다.
그리고, 상기 탑승부(210)는 상기 영상장치(100)가 탈착 가능하게 안착되는 거치대(미도시), 상기 영상장치(100)가 상기 거치대(미도시)로부터 사전에 결정된 이격 거리보다 멀어지는 것을 방지하는 이탈방지수단(미도시), 상기 거치대(미도시)로부터 상기 영상장치(100) 측으로 전원을 공급하기 위한 전원케이블(미도시) 등을 더 포함할 수 있다.
상기 구동부(220)는 상대적으로 공간 제약을 덜 받으면서 체험자에게 그 체험자가 마치 실제 기구에 탑승한 것과 같은 물리적 움직임을 제공할 수 있도록 형성될 수 있다. 즉, 상기 체험 영상에서 표시되는 동작이 실제 기구를 통해 제공되는 것이 아니라, 그 실제 기구가 운행되는 공간보다 협소한 소정의 제한된 공간 안에서 운행되는 상기 구동부(220)에 의해 제공될 수 있다.
이러한 상기 구동부(220)는 상기 탑승부(210)를 3차원으로 움직일 수 있도록 하는 다양한 구성으로 형성될 수 있고, 본 실시예의 경우 복수의 암(Arm)과 관절을 포함하여 복수의 자유도(예를 들어, 6 자유도)를 갖고 운동할 수 있는 로봇암(Robot Arm)(221)으로 형성될 수 있다. 이때, 상기 탑승부(210)는 상기 로봇암(221)의 자유단부에 탈착 가능하게 결합될 수 있다.
여기서, 상기 탑승부(210)의 개수와 상기 구동부(220)의 개수는 적절히 조절될 수 있다. 즉, 한 번에 한 명의 체험자에게 가상현실 체험을 제공할 수 있도록 하나의 구동부(220)에 하나의 탑승부(210)가 결합될 수 있다. 또는, 한 번에 여러 명의 체험자에게 가상현실 체험을 제공하여 회전율을 향상시킬 수 있도록 하나의 구동부(220)에 복수의 탑승부(210)가 결합될 수도 있다. 또는, 회전율을 더욱 향상시킬 수 있도록, 상기 구동부(220)가 복수로 구비되고, 각 구동부(220)마다 적어도 하나의 탑승부(210)가 결합될 수도 있다. 즉, 가상현실 체험장치가 복수로 구비될 수 있다. 이 경우, 복수의 가상현실 체험장치는 각각 독립적으로 체험 영상과 체험 움직임을 제공할 수 있어, 복수 종류의 가상현실을 동시에 제공할 수 있다.
상기 제어장치(미도시)는 상기 영상장치(100) 및 상기 탑승장치(200)에 전기적으로 연결되는 서버 또는 컴퓨터로 형성되고, 후술할 편집부(310)와 후술할 제어부(C)의 적어도 일부(본 실시예의 경우, 후술할 통합 제어부(320))를 포함할 수 있다.
한편, 본 실시예에 따른 가상현실 체험장치는 홍보 및 체험자 유치를 위해 비체험자에게 가상현실 영상을 제공하는 공용 스크린(400)을 더 포함할 수도 있다. 이 경우, 상기 영상 제어부(120)가 상기 영상 표시부(110) 및 상기 공용 스크린(400)을 제어하도록 형성될 수 있다.
이러한 구성에 따른 가상현실 체험장치는 도 4 내지 도 10에 도시된 제1 제어방법으로 운행 가능하게 형성될 수 있다.
즉, 상기 가상현실 체험장치는, 전술한 바와 같이 상기 체험 영상이 상기 시야 대응 영상 제공 방식 및 상기 시야 보정 방식으로 제공되도록 형성될 뿐만 아니라, 체험 시작 시점부터 체험 종료 시점까지 체험 시간 중 매 순간 제공될 체험 영상과 체험 움직임이 미리 설정되고, 그 미리 설정된 체험 영상과 체험 움직임이 순차적으로 제공되며, 체험 영상과 체험 움직임이 서로 동기화되도록 형성될 수 있다. 여기서, 동기화란 상기 체험 영상에서 보여지는 영상적 움직임(시각적 움직임)과 상기 체험 움직임(물리적 움직임)이 일치되는 것을 의미한다.
구체적으로, 상기 체험 영상과 상기 체험 움직임이 서로 동기화되지 못할 경우, 예를 들어 상기 영상장치(100)에서는 하강하는 영상이 제공되고 있는데 상기 탑승장치(200)에서는 상승하는 움직임이 제공될 경우, 체험자가 이질감을 느끼고, 몰입도가 저하되며, 결국 현실감이 저하되는 문제점이 발생될 수 있다.
이를 고려하여, 본 실시예에 따른 가상현실 체험장치는, 상기 체험 영상과 상기 체험 움직임을 형성(규정)하는 편집부(310)를 통해 체험 전에 상기 체험 영상과 상기 체험 움직임을 동기화시키고, 상기 편집부(310)에서 형성(규정)되는 체험 영상과 체험 움직임에 기초하여 상기 영상장치(100)(더욱 정확히는, 영상 표시부(110))와 상기 탑승장치(200)(더욱 정확히는, 구동부(220))를 제어하는 제어부(C)를 통해 체험 중에 상기 체험 영상과 상기 체험 움직임을 동기화시키도록 형성될 수 있다.
더욱 구체적으로, 상기 편집부(310)는 상기 제어장치(미도시)에 구비되는 소프트웨어로서, 체험 시작 시점부터 체험 종료 시점까지의 체험 시간에 포함되는 복수의 시점들을 제1 내지 제n 타임 스탬프(Time Stamp)(T1 내지 Tn)로 규정하는 타임 스탬프 코드(TC)를 형성하고, 상기 제1 내지 제n 타임 스탬프(T1 내지 Tn)에 각각 재생될 체험 영상인 제1 내지 제n 영상(FP1 내지 FPn)을 규정하는 제1 데이터 베이스(DB1)를 형성하며, 상기 제1 내지 제n 타임 스탬프(T1 내지 Tn)에 각각 이행될 체험 움직임인 제1 내지 제n 움직임(M1 내지 Mn)을 규정하는 제2 데이터 베이스(DB2)를 형성할 수 있다.
여기서, 상기 타임 스탬프 코드(TC)는 후술할 통합 제어부(320)에 저장되고, 상기 제1 데이터 베이스(DB1)는 상기 영상 제어부(120)에 저장되며, 상기 제2 데이터 베이스(DB2)는 상기 구동 제어부(230)에 저장될 수 있다.
상기 제어부(C)는 상기 영상 제어부(120), 상기 구동 제어부(230) 및 상기 영상 제어부(120)와 상기 구동 제어부(230)를 제어하기 위한 통합 제어부(320)로 구성될 수 있다. 여기서, 상기 통합 제어부(320)는 상기 제어장치(미도시)에 구비될 수 있다.
상기 통합 제어부(320)는, 상기 타임 스탬프 코드(TC)에 기초하여, 체험이 시작되면 사전에 결정된 시간(예를 들어, 10ms) 간격으로 상기 제1 내지 제n 타임 스탬프(T1 내지 Tn)를 상기 영상 제어부(120)와 상기 구동 제어부(230)에 순차적으로 발송하도록 형성될 수 있다.
여기서, 상기 통합 제어부(320)는, 체험 중 동기화를 위해, 상기 제1 내지 제n 타임 스탬프(T1 내지 Tn) 중 임의의 타임 스탬프(Tk)를 상기 영상 제어부(120)와 상기 구동 제어부(230)에 동시에 발송하도록 형성될 수 있다.
상기 영상 제어부(120)는 상기 통합 제어부(320)로부터 수신하는 타임 스탬프(Tk)를 상기 제1 데이터 베이스(DB1)에 대입시켜 상기 제1 내지 제n 영상(FP1 내지 FPn) 중 수신한 타임 스탬프(Tk)에 대응되는 영상(FPk)을 선택하며, 선택한 영상(FPk) 중 시야 대응 영상(VPk)을 상기 영상 표시부(110)로 발송하도록 형성될 수 있다. 여기서, 본 실시예의 경우, 상기 영상 제어부(120)가 상기 영상 표시부(110)로 발송하는 영상(VPk)을 상기 공용 스크린(400)으로도 발송하도록 형성될 수 있다.
그리고, 상기 영상 제어부(120)는, 실행 중 동기화를 위해, 목표 영상과 실제 영상을 사전에 결정된 주파수(예를 들어, 60Hz) 간격으로 비교하고 일치시키도록 형성될 수 있다.
구체적으로, 상기 영상 제어부(120)는 상기 영상 표시부(110)로 발송한 영상에 대응되는 타임 스탬프인 실제 타임 스탬프(Tk')를 상기 통합 제어부(320)로부터 수신한 타임 스탬프(Tk)인 목표 타임 스탬프(Tk)와 비교하도록 형성될 수 있다. 여기서, 영상 데이터를 직접 비교하지 않고, 타임 스탬프를 비교함으로써, 상기 영상 제어부(120)에 인가되는 부담을 감소시키고, 그 영상 제어부(120)의 처리 속도를 향상시킬 수 있다.
그리고, 상기 영상 제어부(120)는, 상기 실제 타임 스탬프(Tk')가 상기 목표 타임 스탬프(Tk)보다 이른 시점일 경우, 상기 영상 표시부(110)가 상기 실제 타임 스탬프(Tk')에 대응되는 영상과 상기 목표 타임 스탬프(Tk)에 대응되는 영상 사이의 영상들을 사전에 결정된 재생속도보다 빠른 재생속도로 재생하도록 지시를 내릴 수 있다.
그리고, 상기 영상 제어부(120)는, 상기 실제 타임 스탬프(Tk')가 상기 목표 타임 스탬프(Tk)보다 나중 시점일 경우, 상기 영상 표시부(110)가 상기 실제 타임 스탬프(Tk')에 대응되는 영상 이후의 영상들을 사전에 결정된 재생속도보다 느린 재생속도로 재생하도록 지시를 내릴 수 있다.
또는, 상기 영상 제어부(120)는, 상기 실제 타임 스탬프(Tk')가 상기 목표 타임 스탬프(Tk)보다 나중 시점일 경우, 상기 영상 표시부(110)가 상기 실제 타임 스탬프(Tk')에 대응되는 영상을 반복적으로 재생하도록 지시를 내릴 수 있다.
상기 구동 제어부(230)는 상기 통합 제어부(320)로부터 수신하는 타임 스탬프(Tk)를 상기 제2 데이터 베이스(DB2)에 대입시켜 상기 제1 내지 제n 움직임(M1 내지 Mn) 중 수신한 타임 스탬프(Tk)에 대응되는 움직임(Mk)을 선택하며, 선택한 움직임(Mk)을 상기 구동부(220)로 발송하도록 형성될 수 있다.
그리고, 상기 구동 제어부(230)는, 체험 중 동기화를 위해, 목표 움직임과 실제 움직임을 사전에 결정된 시간(예를 들어, 12ms) 간격으로 비교하고 일치시키도록 형성될 수 있다.
구체적으로, 상기 구동 제어부(230)는 상기 구동부(220)에서 이행된 실제 움직임에 대응되는 타임 스탬프인 실제 타임 스탬프(Tk'')를 상기 통합 제어부(320)로부터 수신한 타임 스탬프(Tk)인 목표 타임 스탬프(Tk)와 비교하도록 형성될 수 있다. 여기서, 움직임 데이터를 직접 비교하지 않고, 타임 스탬프를 비교함으로써, 상기 구동 제어부(230)에 인가되는 부담을 감소시키고, 그 구동 제어부(230)의 처리 속도를 향상시킬 수 있다.
그리고, 상기 구동 제어부(230)는, 상기 실제 타임 스탬프(Tk'')가 상기 목표 타임 스탬프(Tk)보다 이른 시점일 경우, 상기 구동부(220)가 상기 실제 타임 스탬프(Tk'')에 대응되는 움직임과 상기 목표 타임 스탬프(Tk)에 대응되는 움직임 사이의 움직임들을 사전에 결정된 구동속도보다 빠른 구동속도로 이행하도록 지시를 내릴 수 있다.
그리고, 상기 구동 제어부(230)는, 상기 실제 타임 스탬프(Tk'')가 상기 목표 타임 스탬프(Tk)보다 나중 시점일 경우, 상기 구동부(220)가 상기 실제 타임 스탬프(Tk'')에 대응되는 움직임 이후의 움직임들을 사전에 결정된 구동속도보다 느린 구동속도로 이행하도록 지시를 내릴 수 있다.
여기서, 상기 구동 제어부(230)는 상기 제2 데이터 베이스(DB2)를 이용하여 상기 실제 타임 스탬프(Tk'')를 산출하도록 형성될 수 있다. 구체적으로, 사전에 결정된 시간 간격(예를 들어, 12ms)으로 검출되는 상기 제2 검출부(240)의 측정값은 상기 구동 제어부(230)에도 전송되고, 상기 구동 제어부(230)는 상기 제2 검출부(240)의 측정값을 상기 제2 데이터 베이스(DB2)에 대입하여 그 제2 검출부(240)의 측정값에 대응되는 타임 스탬프를 상기 실제 타임 스탬프(Tk'')로 산출하도록 형성될 수 있다. 이 경우, 상기 구동 제어부(230)에 인가되는 부담은 다소 증가되나, 상기 실제 타임 스탬프(Tk'')를 산출하기 위한 별도의 장치가 추가될 필요가 없어 비용이 절감될 수 있다.
또는, 상기 구동 제어부(230)는 상기 구동부(220)가 작동되는 시간을 카운팅하는 타이머(미도시)를 포함하고, 사전에 결정된 시간 간격(예를 들어, 12ms)으로 추출되는 상기 타이머(미도시)의 시각을 상기 실제 타임 스탬프(Tk'')로 산출하도록 형성될 수도 있다. 이 경우, 상기 실제 타임 스탬프(Tk'')를 산출하기 위한 별도의 장치(타이머(미도시))가 추가됨에 따라 비용이 다소 증가되나, 상기 구동 제어부(230)에 인가되는 부담이 경감될 수 있다.
이하에서는 상기 제1 제어방법에 대해 설명한다.
즉, 상기 제1 제어방법은, 체험 전에 상기 체험 영상과 상기 체험 움직임을 편집하는 편집단계 및 체험을 실행하는 실행단계를 포함할 수 있다.
상기 편집 단계에서는, 상기 편집부(310)에서 상기 타임 스탬프 코드(TC), 상기 제1 데이터 베이스(DB1) 및 상기 제2 데이터 베이스(DB2)가 형성되고, 상기 타임 스탬프 코드(TC)가 상기 통합 제어부(320)에 저장되고, 상기 제1 데이터 베이스(DB1)가 상기 영상 제어부(120)에 저장되며, 상기 제2 데이터 베이스(DB2)가 상기 구동 제어부(230)에 저장될 수 있다.
상기 실행단계에서는, 체험자가 상기 탑승장치(200)에 탑승하고 상기 영상장치(100)를 그 체험자의 두부에 장착하면, 체험이 시작될 수 있다.
체험이 시작되면, 제1 단계(S1)에서, 상기 통합 제어부(320)는 최초의 타임 스탬프인 상기 제1 타임 스탬프(T1)를 목표 타임 스탬프(Tk)로 저장할 수 있다.
그 다음, 제2 단계(S2)에서, 상기 통합 제어부(320)는 그 통합 제어부(320)에 저장된 목표 타임 스탬프(Tk)를 상기 영상 제어부(120)와 상기 구동 제어부(230)로 동시에 발송할 수 있다.
그 다음, 제3-1-1 단계(S311)에서, 상기 영상 제어부(120)는 상기 제2 단계(S2)를 통해 수신한 목표 타임 스탬프(Tk)를 상기 제1 데이터 베이스(DB1)에 대입시켜 상기 제1 내지 제n 영상(전방위 영상)(FP1 내지 FPn) 중 그 목표 타임 스탬프(Tk)에 대응되는 영상(전방위 영상)(FPk)을 선택할 수 있다.
그 다음, 제3-1-2 단계(S312)에서, 상기 제1 검출부(130)는 그 제1 검출부(130)의 측정값을 상기 영상 제어부(120)로 발송하고, 상기 제2 검출부(240)는 그 제2 검출부(240)의 측정값을 상기 영상 제어부(120)로 발송할 수 있다.
그 다음, 제3-1-3 단계(S313)에서, 상기 영상 제어부(120)는 상기 제1 검출부(130)의 측정값과 상기 제2 검출부(240)의 측정값을 기초로 체험자의 시야를 연산할 수 있다.
그 다음, 제3-1-4 단계(S314)에서, 상기 영상 제어부(120)는 상기 제3-1-1 단계(S311)에서 선택된 영상(전방위 영상)(FPk) 중 상기 제3-1-3 단계(S313)에서 연산된 체험자의 시야에 대응되는 영상(시야 대응 영상)(VPk)을 선택하여 상기 영상 표시부(110) 및 상기 공용 스크린(400)에 발송할 수 있다.
그 다음, 제3-1-5 단계(S315)에서, 상기 영상 표시부(110)와 상기 공용 스크린(400)은 상기 제3-1-4 단계(S314)를 통해 수신한 영상(VPk)을 각각 재생할 수 있다.
여기서, 상기 공용 스크린(400)은 로직 단순화를 위해 상기 영상 표시부(110)에서 보여지는 영상(VPk)과 동일한 영상을 비체험자에게 제공하도록 형성되나, 이에 한정되는 것은 아니고, 체험자가 여러 명일 경우 어느 체험자에게 제공되는 영상을 상기 공용 스크린(400)에서 재생할 것인지에 대한 문제를 해소하기 위해 후술할 제3 제어방법에서와 같이 상기 영상 표시부(110)에서 보여지는 영상(VPk)과 별개의 영상을 비체험자에게 제공하도록 형성될 수도 있고, 상기 공용 스크린(400)을 운영하기 위해 소요되는 시간과 비용도 절감하기 위해 상기 공용 스크린(400) 자체가 생략될 수도 있다.
한편, 제3-2-1 단계(S321)에서, 상기 구동 제어부(230)는 상기 제2 단계(S2)를 통해 수신한 목표 타임 스탬프(Tk)를 상기 제2 데이터 베이스(DB2)에 대입시켜 상기 제1 내지 제n 움직임(M1 내지 Mn) 중 그 목표 타임 스탬프(Tk)에 대응되는 움직임(Mk)을 선택하고, 그 선택한 움직임(Mk)을 상기 구동부(220)로 발송할 수 있다.
그 다음, 제3-2-2 단계(S322)에서, 상기 구동부(220)는 상기 제3-2-1 단계(S321)를 통해 수신한 움직임을 이행할 수 있다.
한편, 상기 제3-1-4 단계(S314) 및 상기 제3-2-2 단계(S322) 중 적어도 하나가 종료되면, 제4 단계(S4)에서, 상기 통합 제어부(320)는 체험이 종료되었는지 판단할 수 있다. 즉, 상기 통합 제어부(320)는 그 통합 제어부(320)에 저장된 목표 타임 스탬프(Tk)가 최종 타임 스탬프인 제n 타임 스탬프(Tn)와 일치되는지 판단할 수 있다.
그리고, 상기 제4 단계(S4)에서, 체험이 종료되었다고 판단될 경우(목표 타임 스탬프(Tk)가 제n 타임 스탬프(Tn)와 일치할 경우)에는 체험이 종료되고, 체험이 진행중이라고 판단될 경우(목표 타임 스탬프(Tk)가 제n 타임 스탬프(Tn)와 불일치할 경우)에는 후술할 제5 단계(S5)로 진행될 수 있다.
제5 단계(S5)에서는, 상기 통합 제어부(320)가 상기 제2 단계(S2)에서 목표 타임 스탬프(Tk)를 발송한 이후 사전에 결정된 시간(타임 스탬프들 사이 인터벌)이 경과했는지 판단할 수 있다.
그리고, 상기 제5 단계(S5)에서, 사전에 결정된 시간이 경과하였다고 판단될 경우 후술할 제6 단계(S6)로 진행되고, 사전에 결정된 시간이 경과하지 않았다고 판단될 경우 후술할 제7-1-1 단계(S711) 및 후술할 제7-2-1 단계(S721)로 동시에 진행될 수 있다.
제6 단계(S6)에서는, 상기 통합 제어부(320)가 지금까지 목표 타임 스탬프(Tk)로 저장하고 있던 타임 스탬프의 다음 타임 스탬프를 새로운 목표 타임 스탬프(Tk)로 저장할 수 있다. 예를 들어, 지금까지 목표 타임 스탬프(Tk)로 저장되어 있던 타임 스탬프가 상기 제1 타임 스탬프(T1)일 경우, 상기 제2 타임 스탬프(T2)가 새로운 목표 타임 스탬프(Tk)로 저장될 수 있다.
그리고, 상기 제6 단계(S6)가 종료된 후에는, 상기 제2 단계(S2)로 복귀될 수 있다.
제7-1-1 단계(S711)에서는, 상기 영상 제어부(120)가 상기 실제 타임 스탬프(Tk')를 산출할 수 있다.
그 다음, 제7-1-2 단계(S712)에서, 상기 영상 제어부(120)는 상기 제7-1-1 단계(S711)에서 산출된 실제 타임 스탬프(Tk')가 상기 제2 단계(S2)를 통해 수신한 목표 타임 스탬프(Tk)와 일치되는지 판단할 수 있다.
그리고, 상기 제7-1-2 단계(S712)에서, 목표 타임 스탬프(Tk)와 실제 타임 스탬프(Tk')가 일치된다고 판단될 경우 상기 제3-1-2 단계(S312)로 복귀되고, 목표 타임 스탬프(Tk)와 실제 타임 스탬프(Tk')가 불일치된다고 판단될 경우 후술할 제7-1-3 단계(S713)로 진행될 수 있다.
제7-1-3 단계(S713)에서, 상기 영상 제어부(120)는 실제 타임 스탬프(Tk')가 목표 타임 스탬프(Tk)보다 이른 시점인지 판단할 수 있다.
그리고, 상기 제7-1-3 단계(S713)에서, 실제 타임 스탬프(Tk')가 목표 타임 스탬프(Tk)보다 이른 시점이라 판단될 경우 후술할 제7-1-4 단계(S714)로 진행되고, 실제 타임 스탬프(Tk')가 목표 타임 스탬프(Tk)보다 나중 시점이라 판단될 경우 후술할 제7-1-5 단계(S715)로 진행될 수 있다.
제7-1-4 단계(S714)에서는, 상기 영상 제어부(120)가 상기 실제 타임 스탬프(Tk')에 대응되는 영상과 상기 목표 타임 스탬프(Tk)에 대응되는 영상 사이의 영상들을 사전에 결정된 재생속도보다 빠른 재생속도로 재생하도록 상기 영상 표시부(110)에 지시를 내릴 수 있다.
상기 제7-1-4 단계(S714)가 종료되면, 상기 제3-1-2 단계(S312)로 복귀될 수 있다.
제7-1-5 단계(S715)에서는, 상기 영상 제어부(120)가 상기 실제 타임 스탬프(Tk')에 대응되는 영상 이후의 영상들을 사전에 결정된 재생속도보다 느린 재생속도로 재생하도록 상기 영상 표시부(110)에 지시를 내릴 수 있다. 또는, 상기 영상 제어부(120)가 상기 실제 타임 스탬프(Tk')에 대응되는 영상을 반복적으로 재생하도록 상기 영상 표시부(110)에 지시를 내릴 수 있다.
상기 제7-1-5 단계(S715)가 종료되면, 상기 제3-1-2 단계(S312)로 복귀될 수 있다.
여기서, 상기 제7-1-1 내지 7-1-5 단계(S711 내지 S715)는 사전에 결정된 주파수(예를 들어, 60Hz) 간격으로 실행될 수 있다.
그리고, 상기 제7-1-2 단계(S712)에서 목표 타임 스탬프(Tk)와 실제 타임 스탬프(Tk')가 일치된다고 판단될 경우 또는 상기 제7-1-4 단계(S714)가 종료된 경우 또는 상기 제7-1-5 단계(S715)가 종료된 경우, 상기 제3-1-2 단계(S312)로 복귀되는 것은 그 사이 체험자의 시야 변동을 반영하기 위해서다.
한편, 제7-2-1 단계(S721)에서는, 상기 제2 검출부(240)가 그 제2 검출부(240)의 측정값(구동부(220)의 실제 움직임)을 상기 구동 제어부(230)로 발송할 수 있다.
그 다음, 제7-2-2 단계(S722)에서, 상기 구동 제어부(230)는 상기 제7-2-1 단계(S721)를 통해 수신한 제2 검출부(240)의 측정값에 기초하여 실제 타임 스탬프(Tk'')를 산출하고, 산출된 실제 타임 스탬프(Tk'')가 상기 제2 단계(S2)를 통해 수신한 목표 타임 스탬프(Tk)와 일치되는지 판단할 수 있다.
그리고, 상기 제7-2-2 단계(S722)에서, 목표 타임 스탬프(Tk)와 실제 타임 스탬프(Tk'')가 일치된다고 판단될 경우 상기 제5 단계(S5)로 복귀되고, 목표 타임 스탬프(Tk)와 실제 타임 스탬프(Tk'')가 불일치된다고 판단될 경우 후술할 제7-2-3 단계(S723)로 진행될 수 있다.
제7-2-3 단계(S723)에서, 상기 구동 제어부(230)는 실제 타임 스탬프(Tk'')가 목표 타임 스탬프(Tk)보다 이른 시점인지 판단할 수 있다.
그리고, 상기 제7-2-3 단계(S723)에서, 실제 타임 스탬프(Tk'')가 목표 타임 스탬프(Tk)보다 이른 시점이라 판단될 경우 후술할 제7-2-4 단계(S724)로 진행되고, 실제 타임 스탬프(Tk'')가 목표 타임 스탬프(Tk)보다 나중 시점이라 판단될 경우 후술할 제7-2-5 단계(S725)로 진행될 수 있다.
제7-2-4 단계(S724)에서는, 상기 구동 제어부(230)가 상기 실제 타임 스탬프(Tk'')에 대응되는 움직임과 상기 목표 타임 스탬프(Tk)에 대응되는 움직임 사이의 움직임들을 사전에 결정된 구동속도보다 빠른 구동속도로 이행하도록 상기 구동부(220)에 지시를 내릴 수 있다.
상기 제7-2-4 단계(S724)가 종료되면, 상기 제5 단계(S5)로 복귀될 수 있다.
제7-2-5 단계(S725)에서는, 상기 구동 제어부(230)가 상기 실제 타임 스탬프(Tk'')에 대응되는 움직임 이후의 움직임들을 사전에 결정된 구동속도보다 느린 구동속도로 이행하도록 상기 구동부(220)에 지시를 내릴 수 있다.
상기 제7-2-5 단계(S725)가 종료되면, 상기 제5 단계(S5)로 복귀될 수 있다.
여기서, 상기 제7-2-1 내지 7-2-5 단계(S721 내지 S725)는 사전에 결정된 시간 간격(예를 들어, 12ms)으로 실행될 수 있다.
이와 같은 상기 실행단계는 체험 시작 시점에 상기 제1 단계(S1)가 한 번 실행되고, 최종 타임 스탬프에 대응되는 영상과 움직임이 제공될 때까지 상기 제2 내지 제7-2-5 단계(S2 내지 S725)가 반복 실행된 후 종료될 수 있다.
여기서, 본 실시예에 따른 가상현실 체험장치는, 체험자에게 상기 영상장치(100) 및 상기 탑승장치(200)를 포함함에 따라, 체험자가 시각을 통해 감지하는 자극과 물리적 움직임을 통해 감지하는 자극이 서로 일치될 수 있다. 이에 의하여, 체험자가 이질감을 느끼는 것을 방지하고, 몰입도가 향상되며, 결과적으로 현실감이 향상될 수 있다.
그리고, 상기 체험 영상과 상기 체험 움직임이 동기화됨에 따라, 체험자가 시각을 통해 감지하는 자극과 물리적 움직임을 통해 감지하는 자극이 더욱 일치될 수 있다.
그리고, 상기 체험 영상과 상기 체험 움직임 사이 동기화가 단계적(체험 전, 체험 시작 시점, 체험 중)으로 실행되고, 체험 중에 주기적으로 실행됨에 따라, 체험자가 시각을 통해 감지하는 자극과 물리적 움직임을 통해 감지하는 자극이 더욱 효과적으로 일치될 수 있다.
그리고, 상기 영상장치(100)는 상기 전방위 영상(FPk) 중 상기 시야 대응 영상(VPk)을 제공하도록 형성됨에 따라, 현실감을 더욱 향상시킬 수 있다.
그리고, 상기 영상장치(100)는 체험자의 시야 연산 시 상기 탑승장치(200)의 움직임을 배제하도록 형성됨에 따라, 상기 탑승장치(200)의 움직임에 의해 체험자의 실제 시야와 영상의 시야가 불일치되는 경우를 미연에 방지할 수 있다.
그리고, 상기 탑승장치(200)의 상기 구동부(220)가 로봇암(221)으로 형성됨에 따라, 상대적으로 공간 제약을 덜 받으면서, 체험자에게 그 체험자가 마치 실제 기구에 탑승한 것과 같은 움직임을 제공할 수 있다.
한편, 상기 가상현실 체험장치는 도 11에 도시된 제2 제어방법으로 운행 가능하게 형성될 수도 있다.
즉, 상기 가상현실 체험장치는, 상기 제1 제어방법으로 운행 가능하게 형성될 경우 대비 대동 소이하게 형성되되, 상기 영상 제어부(120)가 목표 영상과 실제 영상을 비교 및 일치시키는 역할을 수행하지 않도록 형성되고, 상기 구동 제어부(230)가 목표 움직임과 실제 움직임을 비교 및 일치시키는 역할을 수행하지 않도록 형성되어, 체험 전 및 체험 시작 시점에만 동기화를 실행하도록 형성될 수 있다.
이하에서는 상기 제2 제어방법에 대해 설명한다.
상기 제2 제어방법은, 상기 제1 제어방법 대비, 도 8에 도시된 단계들이 도 11에 도시된 단계들로 대체되고, 도 9 및 도 10에 도시된 단계들이 삭제될 수 있다. 즉, 상기 제2 제어방법은 도 4, 도 5, 도 7, 도 11에 도시된 단계들을 포함할 수 있다. 이에 따라, 상기 제5 단계(S5)에서, 사전에 결정된 시간이 경과하였다고 판단될 경우 상기 제6 단계(S6)로 진행되고, 사전에 결정된 시간이 경과하지 않았다고 판단될 경우 상기 제3-1-2 단계(S312) 및 상기 제5 단계(S5)로 동시에 진행될 수 있다.
구체적으로, 상기 제2 제어방법은, 체험 전에 상기 체험 영상과 상기 체험 움직임을 편집하는 편집단계 및 체험을 실행하는 실행단계를 포함할 수 있다.
상기 편집 단계에서는, 상기 편집부(310)에서 상기 타임 스탬프 코드(TC), 상기 제1 데이터 베이스(DB1) 및 상기 제2 데이터 베이스(DB2)가 형성되고, 상기 타임 스탬프 코드(TC)가 상기 통합 제어부(320)에 저장되고, 상기 제1 데이터 베이스(DB1)가 상기 영상 제어부(120)에 저장되며, 상기 제2 데이터 베이스(DB2)가 상기 구동 제어부(230)에 저장될 수 있다.
상기 실행단계에서는, 체험자가 상기 탑승장치(200)에 탑승하고 상기 영상장치(100)를 그 체험자의 두부에 장착하면, 체험이 시작될 수 있다.
체험이 시작되면, 제1 단계(S1)에서, 상기 통합 제어부(320)는 최초의 타임 스탬프인 상기 제1 타임 스탬프(T1)를 목표 타임 스탬프(Tk)로 저장할 수 있다.
그 다음, 제2 단계(S2)에서, 상기 통합 제어부(320)는 그 통합 제어부(320)에 저장된 목표 타임 스탬프(Tk)를 상기 영상 제어부(120)와 상기 구동 제어부(230)로 동시에 발송할 수 있다.
그 다음, 제3-1-1 단계(S311)에서, 상기 영상 제어부(120)는 상기 제2 단계(S2)를 통해 수신한 목표 타임 스탬프(Tk)를 상기 제1 데이터 베이스(DB1)에 대입시켜 상기 제1 내지 제n 영상(전방위 영상)(FP1 내지 FPn) 중 그 목표 타임 스탬프(Tk)에 대응되는 영상(전방위 영상)(FPk)을 선택할 수 있다.
그 다음, 제3-1-2 단계(S312)에서, 상기 제1 검출부(130)는 그 제1 검출부(130)의 측정값을 상기 영상 제어부(120)로 발송하고, 상기 제2 검출부(240)는 그 제2 검출부(240)의 측정값을 상기 영상 제어부(120)로 발송할 수 있다.
그 다음, 제3-1-3 단계(S313)에서, 상기 영상 제어부(120)는 상기 제1 검출부(130)의 측정값과 상기 제2 검출부(240)의 측정값을 기초로 체험자의 시야를 연산할 수 있다.
그 다음, 제3-1-4 단계(S314)에서, 상기 영상 제어부(120)는 상기 제3-1-1 단계(S311)에서 선택된 영상(전방위 영상)(FPk) 중 상기 제3-1-3 단계(S313)에서 연산된 체험자의 시야에 대응되는 영상(시야 대응 영상)(VPk)을 선택하여 상기 영상 표시부(110) 및 상기 공용 스크린(400)에 발송할 수 있다.
그 다음, 제3-1-5 단계(S315)에서, 상기 영상 표시부(110)와 상기 공용 스크린(400)은 상기 제3-1-4 단계(S314)를 통해 수신한 영상(VPk)을 각각 재생할 수 있다.
여기서, 상기 공용 스크린(400)은 로직 단순화를 위해 상기 영상 표시부(110)에서 보여지는 영상(VPk)과 동일한 영상을 비체험자에게 제공하도록 형성되나, 이에 한정되는 것은 아니고, 체험자가 여러 명일 경우 어느 체험자에게 제공되는 영상을 상기 공용 스크린(400)에서 재생할 것인지에 대한 문제를 해소하기 위해 후술할 제3 제어방법에서와 같이 상기 영상 표시부(110)에서 보여지는 영상(VPk)과 별개의 영상을 비체험자에게 제공하도록 형성될 수도 있고, 상기 공용 스크린(400)을 운영하기 위해 소요되는 시간과 비용도 절감하기 위해 상기 공용 스크린(400) 자체가 생략될 수도 있다.
한편, 제3-2-1 단계(S321)에서, 상기 구동 제어부(230)는 상기 제2 단계(S2)를 통해 수신한 목표 타임 스탬프(Tk)를 상기 제2 데이터 베이스(DB2)에 대입시켜 상기 제1 내지 제n 움직임(M1 내지 Mn) 중 그 목표 타임 스탬프(Tk)에 대응되는 움직임(Mk)을 선택하고, 그 선택한 움직임(Mk)을 상기 구동부(220)로 발송할 수 있다.
그 다음, 제3-2-2 단계(S322)에서, 상기 구동부(220)는 상기 제3-2-1 단계(S321)를 통해 수신한 움직임을 이행할 수 있다.
한편, 상기 제3-1-4 단계(S314) 및 상기 제3-2-2 단계(S322) 중 적어도 하나가 종료되면, 제4 단계(S4)에서, 상기 통합 제어부(320)는 체험이 종료되었는지 판단할 수 있다. 즉, 상기 통합 제어부(320)는 그 통합 제어부(320)에 저장된 목표 타임 스탬프(Tk)가 최종 타임 스탬프인 제n 타임 스탬프(Tn)와 일치되는지 판단할 수 있다.
그리고, 상기 제4 단계(S4)에서, 체험이 종료되었다고 판단될 경우(목표 타임 스탬프(Tk)가 제n 타임 스탬프(Tn)와 일치할 경우)에는 체험이 종료되고, 체험이 진행중이라고 판단될 경우(목표 타임 스탬프(Tk)가 제n 타임 스탬프(Tn)와 불일치할 경우)에는 후술할 제5 단계(S5)로 진행될 수 있다.
제5 단계(S5)에서는, 상기 통합 제어부(320)가 상기 제2 단계(S2)에서 목표 타임 스탬프(Tk)를 발송한 이후 사전에 결정된 시간(타임 스탬프들 사이 인터벌)이 경과했는지 판단할 수 있다.
그리고, 상기 제5 단계(S5)에서, 사전에 결정된 시간이 경과하였다고 판단될 경우 상기 제6 단계(S6)로 진행되고, 사전에 결정된 시간이 경과하지 않았다고 판단될 경우 상기 제3-1-2 단계(S312) 및 상기 제5 단계(S5)로 동시에 진행될 수 있다.
제6 단계(S6)에서는, 상기 통합 제어부(320)가 지금까지 목표 타임 스탬프(Tk)로 저장하고 있던 타임 스탬프의 다음 타임 스탬프를 새로운 목표 타임 스탬프(Tk)로 저장할 수 있다. 예를 들어, 지금까지 목표 타임 스탬프(Tk)로 저장되어 있던 타임 스탬프가 상기 제1 타임 스탬프(T1)일 경우, 상기 제2 타임 스탬프(T2)가 새로운 목표 타임 스탬프(Tk)로 저장될 수 있다.
그리고, 상기 제6 단계(S6)가 종료된 후에는, 상기 제2 단계(S2)로 복귀될 수 있다.
이러한 구성에 따른 가상현실 체험장치의 경우, 상기 영상 제어부(120) 및 상기 구동 제어부(230)에 인가되는 부담이 경감되어, 상기 영상 제어부(120)의 처리 속도 및 상기 구동 제어부(230)의 처리 속도가 향상되고, 에러 발생율이 감소될 수 있다. 이에 따라, 체험 영상을 더욱 고화질로 형성할 수 있고, 체험 움직임을 더욱 정밀하게 형성할 수 있다. 다만, 이 경우, 동기화 측면에서 불리해지지만, 동기화의 상당 부분이 상기 편집부(310)에서 달성되기 때문에 크게 문제되지 않을 수 있다.
한편, 상기 가상현실 체험장치는 도 12 내지 도 19에 도시된 제3 제어방법으로 운행 가능하게 형성될 수도 있다.
즉, 상기 가상현실 체험장치는, 상기 제1 제어방법으로 운행 가능하게 형성될 경우 대비 대동 소이하게 형성되되, 상기 공용 스크린(400)이 체험자에게 제공되는 체험 영상과 별개의 영상인 상기 전방위 영상(FPk) 중 사전에 결정된 시야로 바라본 영상(SPk)을 비체험자에게 제공하도록 형성될 수 있다.
구체적으로, 상기 편집부(310)는 상기 공용 스크린(400)에서 상기 제1 내지 제n 타임 스탬프(T1 내지 Tn)에 각각 재생될 공용 영상들(SP1 내지 SPn)을 규정하는 제3 데이터 베이스(DB3)를 형성할 수 있다.
그리고, 상기 제3 데이터 베이스(DB3)는 상기 영상 제어부(120)에 저장될 수 있다.
그리고, 상기 영상 제어부(120)는 상기 통합 제어부(320)로부터 수신하는 타임 스탬프(Tk)를 상기 제3 데이터 베이스(DB3)에 대입시켜 상기 공용 영상들(SP1 내지 SPn) 중 수신한 타임 스탬프(Tk)에 대응되는 공용 영상(SPk)을 선택하며, 선택한 공용 영상(SPk)을 상기 공용 스크린(400)으로 발송하도록 형성될 수 있다. 여기서, 상기 공용 스크린(400)으로 발송되는 영상(SPk)은 상기 영상 표시부(110)로 발송되는 영상(VPk)과 상이한 시야로 바라본 영상일 수 있다.
그리고, 상기 영상 제어부(120)는 상기 체험 영상과 동일한 원리로 목표 공용 영상과 실제 공용 영상을 사전에 결정된 주파수(예를 들어, 60Hz) 간격으로 비교하고 일치시키도록 형성될 수 있다. 이에 대한 상세한 설명은 중복 회피를 위해 생략하도록 한다.
이하에서는 상기 제3 제어방법에 대해 설명한다.
상기 제3 제어방법은, 상기 제1 제어방법 대비, 도 3, 도 4, 도 6 내지 도 10에 도시된 단계들이 도 12 내지 도 19에 도시된 단계들로 대체될 수 있다. 즉, 상기 제3 제어방법은 도 12 내지 도 19에 도시된 단계들을 포함할 수 있다.
이에 따라, 상기 편집 단계에서는, 상기 편집부(310)에서 상기 제3 데이터 베이스(DB3)가 더 형성되고, 상기 제3 데이터 베이스(DB3)가 상기 제1 데이터 베이스(DB1)와 함께 상기 영상 제어부(120)에 저장될 수 있다.
그리고, 상기 제3-1-4 단계(S314)에서, 상기 영상 제어부(120)는 상기 제3-1-1 단계(S311)에서 선택된 영상(전방위 영상(FPk)) 중 상기 제3-1-3 단계(S313)에서 연산된 체험자의 시야에 대응되는 영상(시야 대응 영상(VPk))을 선택하여 상기 영상 표시부(110)에 발송할 수 있다.
그리고, 상기 제3-1-5 단계(S315)에서, 상기 영상 표시부(110)는 상기 제3-1-4 단계(S314)를 통해 수신한 영상(VPk)을 재생할 수 있다.
그리고, 제3-3-1 단계(S331)에서, 상기 영상 제어부(120)는 상기 제2 단계(S2)를 통해 수신한 목표 타임 스탬프(Tk)를 상기 제3 데이터 베이스(DB3)에 대입시켜 상기 공용 영상들(SP1 내지 SPk) 중 그 목표 타임 스탬프(Tk)에 대응되는 공용 영상(SPk)을 선택하여 상기 공용 스크린(400)에 발송할 수 있다.
그리고, 제3-3-2 단계(S332)에서, 상기 공용 스크린(400)은 상기 제3-3-1 단계(S331)를 통해 수신한 공용 영상(SPk)을 재생할 수 있다.
그리고, 상기 제3-1-4 단계(S314), 상기 제3-2-2 단계(S322) 및 상기 제3-3-2 단계(S332) 중 적어도 하나가 종료되면, 상기 제4 단계(S4)로 진행될 수 있다.
그리고, 상기 제5 단계(S5)에서, 사전에 결정된 시간이 경과하지 않았다고 판단될 경우 상기 제7-1-1 단계(S711), 상기 제7-2-1 단계(S721) 및 후술할 제7-3-1 단계(S731)로 동시에 진행될 수 있다.
제7-3-1 단계(S731)에서, 상기 영상 제어부(120)는 상기 공용 스크린(400)에서 재생되고 있는 공용 영상에 대응되는 타임 스탬프인 실제 타임 스탬프(Tk''')를 산출할 수 있다.
그 다음, 제7-3-2 단계(S732)에서, 상기 영상 제어부(120)는 상기 제7-3-1 단계(S731)에서 산출된 실제 타임 스탬프(Tk''')가 상기 제2 단계(S2)를 통해 수신한 목표 타임 스탬프(Tk)와 일치되는지 판단할 수 있다.
그리고, 상기 제7-3-2 단계(S732)에서, 목표 타임 스탬프(Tk)와 실제 타임 스탬프(Tk''')가 일치된다고 판단될 경우 상기 제2 단계(S2)로 복귀되고, 목표 타임 스탬프(Tk)와 실제 타임 스탬프(Tk''')가 불일치된다고 판단될 경우 후술할 제7-3-3 단계(S733)로 진행될 수 있다.
제7-3-3 단계(S733)에서, 상기 영상 제어부(120)는 실제 타임 스탬프(Tk''')가 목표 타임 스탬프(Tk)보다 이른 시점인지 판단할 수 있다.
그리고, 상기 제7-3-3 단계(S733)에서, 실제 타임 스탬프(Tk''')가 목표 타임 스탬프(Tk)보다 이른 시점이라 판단될 경우 후술할 제7-3-4 단계(S734)로 진행되고, 실제 타임 스탬프(Tk')가 목표 타임 스탬프(Tk)보다 나중 시점이라 판단될 경우 후술할 제7-3-5 단계(S735)로 진행될 수 있다.
제7-3-4 단계(S734)에서, 상기 영상 제어부(120)는 상기 공용 스크린(400)이 상기 실제 타임 스탬프(Tk''')에 대응되는 공용 영상과 상기 목표 타임 스탬프(Tk)에 대응되는 공용 영상 사이의 공용 영상들을 사전에 결정된 재생속도보다 빠른 재생속도로 재생하도록 상기 공용 스크린(400)에 지시를 내릴 수 있다.
상기 제7-3-4 단계(S734)가 종료되면, 상기 제2 단계(S2)로 복귀될 수 있다.
제7-3-5 단계(S735)에서, 상기 영상 제어부(120)는 상기 공용 스크린(400)이 상기 실제 타임 스탬프(Tk''')에 대응되는 공용 영상 이후의 공용 영상들을 사전에 결정된 재생속도보다 느린 재생속도로 재생하도록 상기 공용 스크린(400)에 지시를 내릴 수 있다. 또는, 상기 영상 제어부(120)는 상기 공용 스크린(400)이 상기 실제 타임 스탬프(Tk''')에 대응되는 공용 영상을 반복적으로 재생하도록 상기 공용 스크린(400)에 지시를 내릴 수 있다.
상기 제7-3-5 단계(S735)가 종료되면, 상기 제2 단계(S2)로 복귀될 수 있다.
여기서, 상기 제7-3-1 내지 7-3-5 단계(S731 내지 S735)는 사전에 결정된 주파수(예를 들어, 60Hz) 간격으로 실행될 수 있다.
이러한 구성에 따른 가상현실 체험장치의 경우, 체험자가 여러 명일 경우에도 공용 영상을 제공하여 홍보 및 체험자 유치를 할 수 있다.
한편, 전술한 실시예에 따른 가상현실 체험장치는, 체험자가 마치 영화를 관람하듯이 가상현실 체험을 하도록, 상기 체험 영상과 상기 체험 움직임이 체험자의 의지와는 무관하게 시간의 흐름에 따라 사전에 결정된 영상과 움직임이 제공되도록 형성된다. 하지만, 도 20 내지 도 24에 도시된 바와 같이, 가상현실 체험장치는, 체험자가 마치 게임을 하듯이 가상현실 체험을 하도록, 상기 체험 영상과 상기 체험 움직임이 체험자의 의지에 대응되는 영상과 움직임으로 제공되도록 형성될 수 있다.
도 20은 본 발명의 다른 실시예에 따른 가상현실 체험장치의 구성요소를 도시한 계통도이고, 도 21은 도 20의 가상현실 체험장치에 대한 제어방법의 일부를 도시한 순서도이고, 도 22 내지 도 24는 각각 도 21의 제어방법의 다른 일부를 도시한 순서도이다.
이 경우, 상기 영상장치(100), 상기 탑승장치(200) 및 상기 제어장치(미도시)는 전술한 실시예와 대동소이하게 형성될 수 있다.
다만, 이 경우, 상기 체험 영상이 체험자의 의지에 대응되는 영상으로 제공되고, 상기 체험 움직임이 체험자의 의지에 대응되는 움직임으로 제공되게 형성될 수 있다.
구체적으로, 본 실시예에 따른 가상현실 체험장치는, 상기 영상장치(100), 상기 탑승장치(200), 상기 제어장치(미도시) 및 상기 공용 스크린(400)을 포함하고, 체험자로부터 입력 데이터를 수신하는 조작장치(500)를 더 포함하며, 상기 영상장치(100)가 상기 입력 데이터에 대응되는 가상현실 영상을 체험자에게 제공하고, 상기 탑승장치(200)가 상기 입력 데이터에 대응되는 물리적 움직임을 체험자에게 제공하도록 형성될 수 있다.
상기 조작장치(500)는, 상기 입력 데이터가 위치, 방향성, 속도, 가속도, 회전 등에 대한 정보를 포함하도록, 예를 들어 조이스틱, 햅틱 디바이스, 버튼, 체험자의 시선 이동을 측정하는 센서(상기 제1 검출부(130)) 등으로 형성될 수 있다.
그리고, 상기 체험 영상은 상기 입력 데이터에 기초한 게임 컨텐츠로 형성될 수 있다.
상기 영상장치(100)와 상기 탑승장치(200)는 각각 마스터(master) 장치로 형성될 수 있다. 즉, 상기 영상장치(100)가 상기 조작장치(500)로부터 상기 입력 데이터를 수신하고 그 입력 데이터에 기초하여 상기 체험 영상을 제공하도록 형성되고, 상기 탑승장치(200)도 상기 조작장치(500)로부터 상기 입력 데이터를 수신하고 그 입력 데이터에 기초하여 상기 체험 움직임을 제공하도록 형성될 수 있다. 하지만, 이 경우, 상기 제1 데이터 베이스(DB1)와 상기 제2 데이터 베이스(DB2)의 용량이 커지고, 그 제1 데이터 베이스(DB1)와 제2 데이터 베이스(DB2)를 형성하는데 상당한 시간과 비용이 소요될 수 있다.
이를 고려하여, 본 실시예와 같이, 상기 영상장치(100)는 마스터 장치로 형성되고, 상기 탑승장치(200)는 슬레이브(slave) 장치로 형성될 수 있다. 즉, 상기 영상장치(100)는 상기 조작장치(500)로부터 상기 입력 데이터를 수신하고 그 입력 데이터에 기초하여 상기 체험 영상을 제공하도록 형성되나, 상기 탑승장치(200)는 상기 체험 영상을 기초로 상기 체험 움직임을 제공하도록 형성될 수 있다. 여기서, 상기 탑승장치(200)가 마스터 장치로 형성되고, 상기 영상장치(100)가 슬레이브 장치로 형성될 수도 있으나, 상기 영상장치(100)가 상기 탑승장치(200)보다 제약이 크므로, 상기 영상장치(100)가 마스터 장치로 형성되고 상기 영상장치(100)가 슬레이브 장치로 형성되는 것이 바람직할 수 있다.
이를 위하여, 상기 편집부(310)는 상기 제1 데이터 베이스(DB1)를 상기 체험 영상이 상기 입력 데이터에 따라 가변되게 형성하고, 상기 제2 데이터 베이스(DB2)를 상기 체험 영상에 따라 가변되게 형성할 수 있다. 즉, 상기 제1 데이터 베이스(DB1)는 상기 입력 데이터가 입력값이 되고 상기 체험 영상이 출력값이 되도록 형성되고, 상기 제2 데이터 베이스(DB2)튼 상기 체험 영상이 입력값이 되고 상기 체험 움직임이 출력값이 되도록 형성될 수 있다.
그리고, 상기 제어부(C)는, 상기 제1 데이터 베이스(DB1)와 상기 제2 데이터 베이스(DB2)를 저장하고, 상기 조작장치(500)로부터 상기 입력 데이터를 수신하며, 상기 제1 데이터 베이스(DB1), 상기 제2 데이터 베이스(DB2) 및 상기 입력 데이터에 기초하여 상기 영상장치(100)(더욱 정확히는, 영상 표시부(110))와 상기 구동장치(더욱 정확히는, 구동부(220))를 제어하도록 형성될 수 있다. 즉, 상기 제어부(C)는, 상기 조작장치(500)로부터 수신하는 입력 데이터를 상기 제1 데이터 베이스(DB1)에 대입시켜 그 입력 데이터에 대응되는 체험 영상을 선택하고, 선택한 체험 영상을 상기 영상 표시부(110)에 발송하고, 그 선택한 체험 영상을 상기 제2 데이터 베이스(DB2)에 대입시켜 그 영상에 대응되는 움직임을 선택하여 상기 구동부(220)로 발송하도록 형성될 수 있다.
그리고, 상기 제어부(C)는, 체험 중 동기화를 위해, 목표 움직임과 실제 움직임을 사전에 결정된 시간(예를 들어, 12ms) 간격으로 비교하고 일치시키도록 형성될 수 있다.
구체적으로, 상기 제2 검출부(240)의 측정값이 상기 제어부(C)에 전송되고, 상기 제어부(C)는 상기 제2 검출부(240)의 측정값에 대응되는 실제 움직임을 상기 구동부(220)로 발송한 목표 움직임과 비교하도록 형성될 수 있다.
그리고, 상기 제어부(C)는, 실제 움직임이 목표 움직임과 상이할 경우, 상기 구동부(220)가 사전에 결정된 구동속도보다 빠른 구동속도로 이행하도록 지시를 내릴 수 있다.
이러한 구성에 따른 가상현실 체험장치는 도 21 내지 도 24에 도시된 실시간 제어방법으로 운행될 수 있다.
즉, 편집 단계에서는, 상기 편집부(310)에서 상기 제1 데이터 베이스(DB1) 및 상기 제2 데이터 베이스(DB2)가 형성되고, 상기 제1 데이터 베이스(DB1)와 상기 제2 데이터 베이스(DB2)가 상기 제어부(C)에 저장될 수 있다.
실행단계에서는, 체험자가 상기 탑승장치(200)에 탑승하고 상기 영상장치(100)를 그 체험자의 두부에 장착하면, 체험이 시작될 수 있다.
체험이 시작되면, 제1' 단계(S1')에서, 상기 조작장치(500)는 체험자로부터 상기 입력 데이터를 수신할 수 있다.
그 다음, 제2' 단계(S2')에서, 상기 조작장치(500)는 상기 제1' 단계(S1')를 통해 수신한 입력 데이터를 상기 제어부(C)로 발송할 수 있다.
그 다음, 제3' 단계(S3')에서, 상기 제어부(C)는 상기 제2' 단계(S2')를 통해 수신한 입력 데이터를 상기 제1 데이터 베이스(DB1)에 대입시켜 그 입력 데이터에 대응되는 영상(전방위 영상)(FPk)을 선택할 수 있다.
그 다음, 제4-1-1' 단계(S411')에서, 상기 제1 검출부(130)는 그 제1 검출부(130)의 측정값을 상기 제어부(C)로 발송하고, 상기 제2 검출부(240)는 그 제2 검출부(240)의 측정값을 상기 제어부(C)로 발송할 수 있다.
그 다음, 제4-1-2' 단계(S412')에서, 상기 제어부(C)는 상기 제1 검출부(130)의 측정값과 상기 제2 검출부(240)의 측정값을 기초로 체험자의 시야를 연산할 수 있다.
그 다음, 제4-1-3' 단계(S413')에서, 상기 제어부(C)는 상기 제3' 단계(S3')에서 선택된 영상(전방위 영상)(FPk) 중 상기 제4-1-2' 단계(S412')에서 연산된 체험자의 시야에 대응되는 영상(시야 대응 영상)(VPk)을 선택하여 상기 영상 표시부(110) 및 상기 공용 스크린(400)에 발송할 수 있다.
그 다음, 제4-1-4' 단계(S414')에서, 상기 영상 표시부(110)와 상기 공용 스크린(400)은 상기 제4-1-3' 단계(S413')를 통해 수신한 영상(VPk)을 각각 재생할 수 있다.
한편, 제4-2-1' 단계(S421')에서, 상기 제어부(C)는 상기 제3' 단계(S3')에서 선택된 영상(전방위 영상)(FPk)에 대응되는 움직임(Mk)을 선택하고, 그 선택한 움직임(Mk)을 상기 구동부(220)로 발송할 수 있다.
그 다음, 제4-2-2' 단계(S422')에서, 상기 구동부(220)는 상기 제4-2-1' 단계(S421')를 통해 수신한 움직임(Mk)을 이행할 수 있다.
한편, 상기 제4-1-4' 단계(S414') 및 상기 제4-2-2' 단계(S422') 중 적어도 하나가 종료되면, 제5' 단계(S5')에서, 상기 제어부(C)는 체험이 종료되었는지 판단할 수 있다. 즉, 상기 제어부(C)는 별도로 설정된 체험 종료 조건(예를 들어, 게임 컨텐츠 상 게임 오버)이 충족되었는지 판단할 수 있다.
그리고, 상기 제5' 단계(S5')에서, 체험이 종료되었다고 판단될 경우(체험 종료 조건이 충족된 경우)에는 체험이 종료되고, 체험이 진행중이라고 판단될 경우(체험 종료 조건이 불충족된 경우)에는 후술할 제6' 단계(S6')로 진행될 수 있다.
제6' 단계(S6')에서는, 상기 제2 검출부(240)가 그 제2 검출부(240)의 측정값(구동부(220)의 실제 움직임)을 상기 제어부(C)로 발송할 수 있다.
그 다음, 제7' 단계(S7')에서, 상기 제어부(C)는 상기 제6' 단계(S6')를 통해 수신한 제2 검출부(240)의 측정값(구동부(220)의 실제 움직임)(Mk')이 구동부(220)의 목표 움직임(Mk)과 일치되는지 판단할 수 있다.
그리고, 상기 제7' 단계(S7')에서, 구동부(220)의 실제 움직임(Mk')과 목표 움직임(Mk)이 일치된다고 판단될 경우 상기 제1' 단계(S1')로 복귀되고, 구동부(220)의 실제 움직임(Mk')과 목표 움직임(Mk)이 불일치된다고 판단될 경우 후술할 제8' 단계(S8')로 진행될 수 있다.
제8' 단계(S8')에서, 상기 제어부(C)는 상기 구동부(220)가 사전에 결정된 구동속도보다 빠른 구동속도로 이행하도록 그 구동부(220)에 지시를 내릴 수 있다.
상기 제8' 단계(S8')가 종료되면, 상기 제1' 단계(S1')로 복귀될 수 있다.
여기서, 상기 제6' 단계(S6') 내지 제8' 단계(S8')는 사전에 결정된 시간 간격(예를 들어, 12ms)으로 실행될 수 있다.
한편, 전술한 실시예들의 경우 상기 구동부(220)가 로봇암(221)으로 형성되나, 도 25 및 도 29에 도시된 바와 같이 상기 구동부(220)가 상기 탑승부(210)에 피칭(Pitching), 요잉(Yawing), 롤링(Rolling) 및 왕복 운동을 발생시키는 자이로 기구(222)로 형성될 수 있다. 여기서, 왕복 운동이란 상기 탑승부(210)가 상기 자이로 기구(222)를 지지하는 구조물(223)로부터 멀어지고 가까워지는 방향으로 운동되는 것을 의미한다.
도 25는 본 발명의 또 다른 실시예에 따른 가상현실 체험장치를 도시한 사시도이고, 도 26 내지 도 29는 각각 도 25의 가상현실 체험장치가 제공하는 움직임을 도시한 평면도이다.
상기 자이로 기구(222)는 도 27에 도시된 바와 같이 상기 탑승부(210)에 요잉을 발생시키고 도 29에 도시된 바와 같이 상기 탑승부(210)에 왕복 운동을 발생시키는 제1 기구(2221), 도 26에 도시된 바와 같이 상기 탑승부(210)에 피칭을 발생시키는 제2 기구(2222) 및 도 28에 도시된 바와 같이 상기 탑승부(210)에 롤링을 발생시키는 제3 기구(2223)를 포함할 수 있다.
상기 제1 기구(2221)는 상기 구조물(223)을 기준으로 회전 및 왕복 운동 가능하게 형성될 수 있다.
구체적으로, 상기 구조물(223)에는 상기 제1 기구(2221)가 삽입되는 제1 체결홈(미도시)이 형성되고, 상기 제1 기구(2221)는 상기 제1 체결홈(미도시)에 삽입되는 베이스부(2221a) 및 상기 베이스부(2221a)로부터 상기 구조물(223)의 반대측으로 연장되고 상기 제2 기구(2222)를 지지하는 암부(2221b)를 포함할 수 있다.
상기 베이스부(2221a)는 상기 제1 체결홈(미도시)에 삽입된 상태에서 그 제1 체결홈(미도시)의 깊이 방향을 회전축으로 하여 회전 가능하게 형성되고, 상기 제1 체결홈(미도시)의 깊이방향으로 왕복 운동 가능하게 형성될 수 있다.
그리고, 상기 구조물(223)과 상기 제1 기구(2221)(더욱 정확히는, 베이스부(2221a)) 사이에는 상기 제1 기구(2221)의 회전 운동에 필요한 구동력을 발생시키는 제1 액추에이터(미도시) 및 상기 제1 기구(2221)의 왕복 운동에 필요한 구동력을 발생시키는 제2 액추에이터(미도시)가 형성될 수 있다.
상기 제1 액추에이터(미도시)와 상기 제2 액추에이터(미도시)는 각각 모터, 감속기 및 동력 전달 기구(예들 들어, 풀리, 스프라켓, 벨트, 체인)를 구비하여 구성될 수 있다.
여기서, 별도로 도시하지는 않았지만, 상기 제1 기구(2221)는 상기 구조물(223)을 기준으로 회전 가능하고, 상기 제2 기구(2222)를 지지하는 부위가 상기 구조물(223)로부터 멀어지고 가까워지는 방향으로 왕복 운동 가능하게 형성될 수도 있다. 즉, 상기 암부(2221b)는 상기 베이스부(2221a)와 고정 결합되는 제1 암부(2221ba) 및 상기 제2 기구(2222)를 지지하면서 상기 제1 암부(2221ba)에 대해 왕복 운동 가능하게 결합되는 제2 암부(2221bb)를 포함하고, 상기 베이스부(2221a)는 상기 제1 체결홈(미도시)에 삽입된 상태에서 그 제1 체결홈(미도시)의 깊이 방향을 회전축으로 하여 회전 운동만 가능하게 형성될 수 있다. 이 경우, 상기 구조물(223)과 상기 제1 기구(2221) 사이에는 상기 제1 액추에이터(미도시)가 형성되고, 상기 제1 암부(2221ba)와 상기 제2 암부(2221bb) 사이에는 상기 제2 암부(2221bb)의 왕복 운동에 필요한 구동력을 발생시키는 제2 액추에이터(미도시)가 형성될 수 있다.
상기 제2 기구(2222)는 상기 제1 기구(2221)(더욱 정확히는, 암부(2221b))에 지지되고, 상기 제1 기구(2221)의 회전축에 수직한 방향으로 회전 가능하게 형성될 수 있다.
구체적으로, 상기 제1 기구(2221)의 암부(2221b)에는 상기 제1 체결홈(미도시)의 깊이 방향과 수직한 방향으로 연장되는 제2 체결홈(미도시)에 형성되고, 상기 제2 기구(2222)는 상기 제2 체결홈(미도시)에 삽입되는 힌지부(미도시) 및 상기 힌지부(미도시)로부터 환형으로 연장되고 상기 제3 기구(2223)를 지지하는 환형부(2222b)를 포함할 수 있다. 여기서, 상기 힌지부(미도시)는 상기 환형부(2222b)의 외주부로부터 그 환형부(2222b)의 반경방향으로 연장되게 형성될 수 있다.
상기 힌지부(미도시)는 상기 제2 체결홈(미도시)에 삽입된 상태에서 그 제2 체결홈(미도시)의 깊이 방향을 회전축으로 하여 회전 가능하게 형성될 수 있다.
그리고, 상기 제1 기구(2221)의 암부(2221b)와 상기 제2 기구(2222)(더욱 정확히는, 힌지부(미도시)) 사이에는 상기 제2 기구(2222)의 회전 운동에 필요한 구동력을 발생시키는 제3 액추에이터(미도시)가 형성될 수 있다.
상기 제3 액추에이터(미도시)는 상기 제1 액추에이터(미도시)와 유사하게 형성될 수 있다.
상기 제3 기구(2223)는 상기 제2 기구(2222)(더욱 정확히는, 환형부(2222b))에 지지되고, 상기 제1 기구(2221)의 회전축과 상기 제2 기구(2222)의 회전축에 수직한 방향으로 회전 가능하게 형성될 수 있다. 이때, 상기 탑승부(210)은 상기 제3 기구(2223)에 고정 결합될 수 있다.
구체적으로, 상기 제3 기구(2223)는 상기 제2 기구(2222)(더욱 정확히는, 환형부(2222b))와 동심을 이루는 환형으로 형성되고, 그 제3 기구(2223)의 외주면이 상기 제2 기구(2222)(더욱 정확히는, 환형부(2222b))의 내주면에 회전 가능하게 결합될 수 있다.
그리고, 상기 제2 기구(2222)의 내주면과 상기 제3 기구(2223)의 외주면 사이에는 상기 제3 기구(2223)의 회전 운동에 필요한 구동력을 발생시키는 제4 액추에이터(미도시)가 형성될 수 있다.
여기서, 상기 제3 기구(2223)는 그 제3 기구(2223)의 외주면 전체가 상기 제2 기구(2222)의 내주면 전체에 대향된 상태로 그 제2 기구(2222)의 내주면에 대해 원주방향으로 슬라이딩 가능하게 결합될 수 있다.
이러한 구성에 따른 상기 자이로 기구(222)를 포함하는 가상현실 장치는 상기 로봇암(221)을 포함하는 가상현실 장치에 비하여 더욱 협소한 공간에서도 체험자에게 상기 체험 움직임을 제공할 수 있다.
한편, 도 25 내지 도 29에 도시된 실시예의 경우 상기 자이로 기구(222)는 피칭, 요잉, 롤링 및 왕복 운동을 모두 제공 가능하게 형성되나, 상기 자이로 기구(222)가 피칭, 요잉, 롤링 및 왕복 운동 중 일부만 제공 가능하게 형성될 수도 있다.
한편, 상기 구동부(220)는, 도 30 내지 도 34에 도시된 바와 같이, 상기 로봇암(221) 및 상기 자이로 기구(222)를 구비하여 구성될 수도 있다. 이때, 상기 탑승부(210)는 상기 자이로 기구(222)의 제3 기구(2223)에 결합되고, 상기 자이로 기구(222)는 상기 로봇암(221)의 자유 단부에 결합될 수 있다.
도 30은 본 발명의 또 다른 실시예에 따른 가상현실 체험장치를 도시한 사시도이고, 도 31 내지 도 34은 각각 도 30의 가상현실 체험장치가 제공하는 움직임을 도시한 사시도이다.
이 경우, 상기 로봇암(221)으로 구현할 수 없는 움직임을 제공할 수 있다.
예를 들어, 도 31 및 도 32를 참조하면, 상기 로봇암(221)이 상기 탑승부(210)를 상방 최대치로 위치시킨 상태에서, 상기 자이로 기구(222)가 상기 탑승부(210)에 피칭, 요잉, 롤링 및 왕복 운동 중 적어도 하나를 발생시켜, 체험자가 상측 최대 위치에서도 다양한 포지션을 취할 수 있다.
다른 예로, 도 33을 참조하면, 상기 로봇암(221)이 상기 탑승부(210)를 전방 최대치로 위치시킨 상태에서 상기 자이로 기구(222)가 상기 탑승부(210)에 피칭, 요잉, 롤링 및 왕복 운동 중 적어도 하나를 발생시켜, 체험자가 전방측 최대 위치에서도 다양한 포지션을 취할 수 있다.
또 다른 예로, 도 34를 참조하면, 상기 로봇암(221)이 지면을 기준으로 상기 탑승부(210)를 공전시키고 있는 상태에서 상기 자이로 기구(222)가 상기 탑승부(210)에 피칭, 요잉, 롤링 및 왕복 운동 중 적어도 하나를 가하여, 체험자가 공전되고 있는 상태에서 자전될 수도 있고, 다양한 포지션을 취할 수도 있다.
이에 의하여, 상기 구동부(220)가 제공하는 움직임의 한계가 감소되어, 영상 제작의 자유도가 향상되며, 결과적으로 구현하고자 하는 가상현실의 제약을 감소시킬 수 있다.
본 발명은, 가상현실 체험장치에 관한 것으로서, 더욱 상세하게는, 영상과 물리적 움직임을 제공할 수 있도록 한 가상현실 체험장치에 관한 것이다.

Claims (10)

  1. 체험자에게 영상을 제공하는 영상장치; 및
    체험자에게 움직임을 제공하는 탑승장치;를 포함하고,
    상기 탑승장치는,
    체험자에게 탑승 가능한 공간을 제공하는 탑승부; 및
    상기 탑승부에 피칭, 요잉, 롤링 및 왕복 운동 중 적어도 하나를 발생시키는 자이로 기구;를 포함하는 가상현실 체험장치.
  2. 제1항에 있어서,
    상기 자이로 기구는,
    상기 탑승부에 요잉을 발생시키는 제1 기구;
    상기 탑승부에 피칭을 발생시키는 제2 기구; 및
    상기 탑승부에 롤링을 발생시키는 제3 기구;를 포함하는 가상현실 체험장치.
  3. 제2항에 있어서,
    상기 제1 기구는 상기 자이로 기구를 지지하는 구조물을 기준으로 회전 가능하게 형성되고,
    상기 제2 기구는 상기 제1 기구에 지지되고, 상기 제1 기구의 회전축에 수직한 축을 기준으로 회전 가능하게 형성되고,
    상기 제3 기구는 상기 제2 기구에 지지되고, 상기 제2 기구의 회전축에 수직한 축을 기준으로 회전 가능하게 형성되는 가상현실 체험장치.
  4. 제3항에 있어서,
    상기 탑승부는 상기 제3 기구에 고정 결합되는 것을 특징으로 하는 가상현실 체험장치.
  5. 제3항에 있어서,
    상기 구조물과 상기 제1 기구 사이에는 상기 제1 기구의 회전 운동에 필요한 구동력을 발생시키는 제1 액추에이터가 형성되고,
    상기 제1 기구와 상기 제2 기구 사이에는 상기 제2 기구의 회전 운동에 필요한 구동력을 발생시키는 제3 액추에이터가 형성되고,
    상기 제2 기구와 상기 제3 기구 사이에는 상기 제3 기구의 회전 운동에 필요한 구동력을 발생시키는 제4 액추에이터가 형성되는 가상현실 체험장치.
  6. 제3항에 있어서,
    상기 제1 기구는 상기 탑승부에 왕복 운동을 더 발생시키도록 형성되는 가상현실 체험장치.
  7. 제6항에 있어서,
    상기 제1 기구는 상기 구조물을 기준으로 왕복 운동 가능하게 형성되는 가상현실 체험장치.
  8. 제7항에 있어서,
    상기 구조물과 상기 제1 기구 사이에는 상기 제1 기구의 왕복 운동에 필요한 구동력을 발생시키는 제2 액추에이터가 형성되는 가상현실 체험장치.
  9. 제6항에 있어서,
    상기 제1 기구는 상기 제2 기구를 지지하는 부위가 상기 구조물로부터 멀어지고 가까워지는 방향으로 왕복 운동 가능하게 형성되는 가상현실 체험장치.
  10. 제9항에 있어서,
    상기 제1 기구에는 상기 제2 기구를 지지하는 부위의 왕복 운동에 필요한 제2 액추에이터가 형성되는 가상현실 체험장치.
PCT/KR2017/002329 2016-03-11 2017-03-03 가상현실 체험장치 WO2017155248A1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP17745961.7A EP3318958B1 (en) 2016-03-11 2017-03-03 Virtual reality experience device
US15/551,979 US10593115B2 (en) 2016-03-11 2017-03-03 Virtual reality experience apparatus for providing virtual reality image and physical motion to experiencing user
CN201780001093.1A CN107533377B (zh) 2016-03-11 2017-03-03 虚拟现实体验装置
JP2018512213A JP6698825B2 (ja) 2016-03-11 2017-03-03 仮想現実体験装置
SG11201709253YA SG11201709253YA (en) 2016-03-11 2017-03-03 Virtual reality experience device
US16/700,244 US20200105069A1 (en) 2016-03-11 2019-12-02 Virtual reality experience apparatus
US16/868,006 US10832490B2 (en) 2016-03-11 2020-05-06 Virtual reality experience apparatus capable of providing experiencing user with virtual reality image and physical motion

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0029466 2016-03-11
KR20160029466 2016-03-11
KR1020160123261A KR101885128B1 (ko) 2016-03-11 2016-09-26 가상현실 체험장치
KR10-2016-0123261 2016-09-26

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/551,979 A-371-Of-International US10593115B2 (en) 2016-03-11 2017-03-03 Virtual reality experience apparatus for providing virtual reality image and physical motion to experiencing user
US16/700,244 Continuation US20200105069A1 (en) 2016-03-11 2019-12-02 Virtual reality experience apparatus

Publications (1)

Publication Number Publication Date
WO2017155248A1 true WO2017155248A1 (ko) 2017-09-14

Family

ID=59790722

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/002329 WO2017155248A1 (ko) 2016-03-11 2017-03-03 가상현실 체험장치

Country Status (1)

Country Link
WO (1) WO2017155248A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100342223B1 (ko) 1997-03-07 2002-09-18 기아자동차주식회사 차량의 종감속기어의 예압보정 제어장치
US20090126596A1 (en) * 2002-03-22 2009-05-21 Threlkel David V Amusement ride
KR101035079B1 (ko) * 2010-11-05 2011-05-19 김상호 탑승부의 자체 회전 및 전후진이 가능한 시뮬레이터
KR20110114199A (ko) * 2010-04-13 2011-10-19 주식회사 썬에어로시스 무한회전 다축 구동 모션 시스템
KR101198255B1 (ko) * 2012-04-12 2012-11-07 주식회사 모션디바이스 모션 시뮬레이터
KR20150115272A (ko) * 2014-04-03 2015-10-14 신동호 복수 인원 탑승용 회전식 시뮬레이터 및 그를 사용한 원형 구조 시뮬레이션 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100342223B1 (ko) 1997-03-07 2002-09-18 기아자동차주식회사 차량의 종감속기어의 예압보정 제어장치
US20090126596A1 (en) * 2002-03-22 2009-05-21 Threlkel David V Amusement ride
KR20110114199A (ko) * 2010-04-13 2011-10-19 주식회사 썬에어로시스 무한회전 다축 구동 모션 시스템
KR101035079B1 (ko) * 2010-11-05 2011-05-19 김상호 탑승부의 자체 회전 및 전후진이 가능한 시뮬레이터
KR101198255B1 (ko) * 2012-04-12 2012-11-07 주식회사 모션디바이스 모션 시뮬레이터
KR20150115272A (ko) * 2014-04-03 2015-10-14 신동호 복수 인원 탑승용 회전식 시뮬레이터 및 그를 사용한 원형 구조 시뮬레이션 시스템

Similar Documents

Publication Publication Date Title
KR101914141B1 (ko) 가상현실 체험장치
WO2021096131A1 (ko) 상지 및 하지용 재활 운동 장치
WO2019177364A1 (ko) 가상 테니스 시뮬레이션 시스템 및 그 제어방법
WO2014073758A1 (ko) 전방향 이동 플랫폼 및 이를 이용한 가상현실용 도보 시스템
WO2016190489A1 (ko) 헤드 마운티드 디스플레이 및 그 제어 방법
WO2017039081A1 (ko) 드론 컨트롤러
WO2017155193A1 (ko) 가상현실 체험장치
WO2019017696A1 (ko) 신발 끈 조절장치 및 이를 구비하는 신발
WO2023059131A1 (ko) 테니스 자율 훈련 시스템
WO2012060586A2 (ko) 수술 로봇 시스템 및 그 복강경 조작 방법 및 체감형 수술용 영상 처리 장치 및 방법
WO2017155194A1 (ko) 가상현실 체험장치
WO2017155248A1 (ko) 가상현실 체험장치
WO2012165882A9 (ko) 재활 운동 장치, 착용형 통신 장치 및 이를 응용한 응용 시스템 및 방법
WO2015093833A1 (ko) 하지 근력 측정 시스템
WO2023085880A1 (ko) 수술 장치 및 이를 포함하는 원격 수술 시스템
WO2019124655A1 (ko) 체험장치
WO2024043433A1 (en) Image processing device interworking with weight training equipment
WO2018105839A1 (ko) 체험장치
WO2022092782A1 (ko) 증강현실 인터랙티브 스포츠 장치를 이용한 개인별 운동량 측정 방법
WO2022014805A1 (ko) 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법
WO2020111871A1 (ko) 시야 장애 개선 훈련 방법, 프로그램 및 컴퓨팅 장치
WO2024075986A1 (ko) 운동 프로그램을 제공하는 전자 장치 및 웨어러블 장치, 이들의 제어 방법
WO2012157793A1 (en) Gesture recognition method and apparatus
WO2022225235A1 (ko) 웨어러블 장치를 이용한 사용자의 근체력을 측정하는 방법 및 장치
WO2021010522A1 (ko) 시청 상황을 고려하여, 하나 이상의 가전 기기를 제어하는 디스플레이 장치

Legal Events

Date Code Title Description
REEP Request for entry into the european phase

Ref document number: 2017745961

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11201709253Y

Country of ref document: SG

ENP Entry into the national phase

Ref document number: 2018512213

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17745961

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE