WO2018221808A1 - 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법 - Google Patents

햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법 Download PDF

Info

Publication number
WO2018221808A1
WO2018221808A1 PCT/KR2017/014360 KR2017014360W WO2018221808A1 WO 2018221808 A1 WO2018221808 A1 WO 2018221808A1 KR 2017014360 W KR2017014360 W KR 2017014360W WO 2018221808 A1 WO2018221808 A1 WO 2018221808A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
haptic
hand
virtual hand
tactical
Prior art date
Application number
PCT/KR2017/014360
Other languages
English (en)
French (fr)
Inventor
원준희
안재욱
Original Assignee
주식회사 네비웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 네비웍스 filed Critical 주식회사 네비웍스
Priority to US16/617,931 priority Critical patent/US11249550B2/en
Priority to MYPI2019006959A priority patent/MY201863A/en
Publication of WO2018221808A1 publication Critical patent/WO2018221808A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/003—Simulators for teaching or training purposes for military purposes and tactics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/24—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer including display or recording of simulated flight path

Definitions

  • the present invention is based on the position and direction of the virtual hand displayed in synchronization with the haptic interaction gloves worn by the tactical trainer in the virtual tactical training environment that is demonstrated through the virtual display device (e.g., HMD) and the haptic based on the shape of the virtual hand.
  • the present invention relates to a method for delivering a realistic haptic stimulus to interaction gloves.
  • tactical training platform including tactical training simulator equipment has been developed, which exhibits tactical situations in three dimensions and allows tactical trainers to perform real-world simulations using similar simulations of real equipment used in tactical situations. It is used for the purpose of improving equipment mastery and situation handling ability before operating equipment.
  • the simulator equipment is used to simulate the actual equipment, it is generally different from the actual tactical equipment, and moreover, the visual and sensory UI (User) provided to the tactical trainer in the training process is provided. Interface) Also, the reality is that the tactical training effect that can be achieved through the existing tactical training platform is negative because the reality is not real.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to implement a virtual tactical training environment through a virtual display device (eg, an HMD), and the tactical trainer in such a virtual tactical training environment.
  • a virtual display device eg, an HMD
  • the tactical trainer in such a virtual tactical training environment.
  • the haptic interaction gloves deliver a more realistic haptic stimulus to enhance the effectiveness of the tactical training.
  • the virtual reality emulator for achieving the above object is based on the sensing information received from the haptic interaction gloves worn by the tactical trainer in the virtual tactical training environment that is being displayed through the virtual display device.
  • Determining unit for determining the position and direction of the virtual hand displayed in synchronization with the haptic interaction gloves, and the shape of the virtual hand;
  • a discriminating unit for determining whether a contact occurs between the virtual hand and a virtual object located in the virtual tactic training environment based on the position and direction of the virtual hand in the virtual tactic environment and the shape of the virtual hand;
  • a designation unit for designating a haptic stimulus applying region to which a haptic stimulus is to be applied in the haptic interaction gloves based on a contact state between the virtual hand and the virtual object when it is determined that a contact occurs between the virtual hand and the virtual object. It is characterized by including.
  • the sensing information may include an acceleration sensing value, a gyroscope sensing value, and a distance from the reference sensor to the fingertip region of the haptic interaction gloves, which are sensed by a reference sensor located in the palm center region of the haptic interaction gloves. It characterized in that it comprises at least one of the sensing value.
  • the determination unit may include a pitch roll yaw (referred to as a movement value of the front, rear, up, down, left and right three axes in a three-dimensional space identified from the acceleration sensing value, and the gyroscope sensing value).
  • the position and the direction of the virtual hand are determined based on at least one of the three-axis rotation values of Yaw).
  • the determining unit may determine the shape of the virtual hand based on the distance from the reference sensor identified from the distance sensing value to each fingertip region of the haptic interaction gloves.
  • the determining unit may refer to a mapping table in which a plurality of hand-shaped images mapped by a tactical trainer can be taken by moving a finger portion with respect to a combination of distances from the reference sensor to each fingertip region of the haptic interaction gloves. And determine the shape of the virtual hand.
  • the haptic stimulus application region, the center point to which the haptic stimulus is applied in the haptic stimulation application region according to the contact state determined according to the position and direction of the virtual hand and the shape of the virtual hand, and At least one of the areas of the haptic stimulus applying region calculated based on the center point is specified differently.
  • the virtual tactical training environment that is being displayed through the virtual display device based on the sensing information received from the haptic interaction gloves worn by the tactical trainer Determining a position and direction of a virtual hand displayed in synchronization with the haptic interaction gloves and a shape of the virtual hand within the haptic interaction gloves; A determination step of determining whether contact between the virtual hand and the virtual object located in the virtual tactic training environment is generated based on the position and direction of the virtual hand in the virtual tactic environment and the shape of the virtual hand; And specifying a haptic stimulus applying region to which the haptic stimulus is to be applied in the haptic interaction gloves based on the contact state between the virtual hand and the virtual object when it is determined that a contact occurs between the virtual hand and the virtual object. Characterized in that it comprises a.
  • the sensing information may include an acceleration sensing value, a gyroscope sensing value, and a distance from the reference sensor to the fingertip region of the haptic interaction gloves, which are sensed by a reference sensor located in the palm center region of the haptic interaction gloves. It characterized in that it comprises at least one of the sensing value.
  • the determining step pitch roll yaw confirmed from the front and rear, up and down, left and right three axis in the three-dimensional space identified from the acceleration sensing value, and the gyroscope sensing value.
  • the position and the direction of the virtual hand are determined based on at least one of the three-axis rotation values of Yaw.
  • the determining step characterized in that for determining the shape of the virtual hand based on the distance from the reference sensor identified from the distance sensing value to each fingertip region of the haptic interaction gloves.
  • the determining step may refer to a mapping table in which a plurality of hand images mapped by a tactical trainer can be taken by moving a finger part with respect to a combination of distances from the reference sensor to each fingertip region of the haptic interaction gloves. It is characterized by determining the shape of the virtual hand.
  • the haptic stimulus application region, the center point to which the haptic stimulus is applied in the haptic stimulation application region according to the contact state determined according to the position and direction of the virtual hand and the shape of the virtual hand, and At least one of the areas of the haptic stimulus applying region calculated based on the center point is specified differently.
  • the virtual tactical training environment is demonstrated through a virtual display device (for example, HMD), and the haptic interaction gloves worn by the tactical trainer in the virtual tactical training environment.
  • a virtual display device for example, HMD
  • the haptic interaction gloves worn by the tactical trainer in the virtual tactical training environment By transmitting the haptic stimulus in consideration of the position and the direction of the virtual hand and the shape of the virtual hand displayed in synchronization with, the effect of the tactical training can be enhanced.
  • FIG. 1 is an exemplary diagram showing a virtual tactical training system according to an embodiment of the present invention.
  • FIG. 2 is an illustration of a cockpit platform according to one embodiment of the invention.
  • FIG. 3 is a configuration diagram for explaining the configuration of the virtual reality emulator according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram for describing sensing information according to an embodiment of the present invention.
  • FIG 5 is an exemplary view for explaining the determination of the position and direction of the virtual hand according to an embodiment of the present invention.
  • FIG. 6 is an exemplary view for explaining the shape determination of the virtual hand according to an embodiment of the present invention.
  • FIG. 7 is an exemplary view for explaining a haptic stimulation applying region according to an embodiment of the present invention.
  • FIG. 8 is a flow chart for explaining the operation flow in the virtual reality emulator according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 illustrates a virtual tactical training system in accordance with one embodiment of the present invention.
  • the virtual tactical training system may have a configuration including a virtual display device 10, a haptic interaction glove 20, and a virtual string emulator 30. have.
  • the virtual display device 10 refers to a device that visually provides a 3D-based virtual tactical training environment 1 to a tactical trainer who wears the same.
  • the virtual display device 10 may correspond to a head mounted display (HMD).
  • HMD head mounted display
  • the haptic interaction gloves 20 refer to a haptic device worn by a tactical trainer.
  • the contact between the virtual hand and the virtual object of the tactical trainer displayed in synchronization with the haptic interaction gloves 20 in the virtual tactical training environment 1 is performed. It can deliver the haptic stimulus according to the occurrence.
  • the haptic stimulus transmission method in the haptic interaction gloves 20 may include, for example, a magnetic method for realizing attraction or repulsive force by using an electromagnet, and a pressing method using an actuator, but is not limited thereto.
  • a magnetic method for realizing attraction or repulsive force by using an electromagnet and a pressing method using an actuator, but is not limited thereto.
  • all of the well-known ways of implementing the tactile sense in the interaction gloves 20 can be included.
  • the virtual reality simulator 30 refers to a device that provides a virtual tactical training environment in association with the above-described virtual display device 10 and the haptic interaction gloves 20, which are mounted in the cockpit platform 2 or are separate. It can also be implemented in the form of a server.
  • the cockpit platform 2 can board, rotor blades (eg UH-60), fixed wing (eg F-16),
  • the cab can be controlled by tactical equipment such as ground equipment (e.g. K-1A1), and by implementing six degrees of freedom for these cockpits, tactical equipment such as rotorcraft, fixed wing, and ground equipment can be moved with just one cockpit. 6-axis motion can be included.
  • the virtual tactical training system according to an embodiment of the present invention, the virtual tactical training environment (1) through the virtual display device 10, the haptic interaction gloves 20 and within the virtual tactical training environment (1)
  • the haptic stimulus is delivered to the tactical trainer's hand by tracking the virtual hand of the tactical trainer displayed in synchronization.
  • the present invention minimizes the number of sensors attached to the haptic interaction gloves 20 and uses the sensing information received from the minimized sensor to intuitively determine the position, direction, and shape of the tactical trainer's hand.
  • a configuration of the virtual reality emulator 30 for this will be described in more detail.
  • FIG 3 shows a schematic configuration of a virtual reality simulator 30 according to an embodiment of the present invention.
  • the virtual reality simulator 30 includes a receiver 31, a determiner 32, a determiner 33, a designator 34, and a processor 35. It may have a configuration that includes).
  • the whole or part of the configuration of the virtual reality simulator 30 including the receiver 31, the determiner 32, the determiner 33, the designator 34, and the processor 35 described above is in the form of a hardware module or software. It may be implemented in the form of a module, or a combination of a hardware module and a software module.
  • the software module may be understood as, for example, an instruction executed by a processor controlling an operation in the virtual reality simulator 30, and the instruction may have a form mounted in a memory in the virtual reality simulator 30. There will be.
  • the virtual reality emulator 30 may have a configuration further including a communication unit 36 in addition to the above-described configuration.
  • the communication unit 26 serves to provide a communication function with the virtual display device 10 and the haptic interaction gloves 20, for example, an antenna system, an RF transceiver, one or more amplifiers, tuners, one
  • the oscillator, the digital signal processor, the codec (CODEC) chipset, and the memory may include, but are not limited thereto, and may include a known circuit that performs this function.
  • Such wireless communication protocols supported by the communication unit 26 include, for example, a wireless LAN (WLAN), a digital living network alliance (DLNA), a wireless broadband (Wibro), and a WiMAX (World Interoperability for Microwave Access: Wimax, Global System for Mobile communication (GSM), Code Division Multi Access (CDMA), Code Division Multi Access 2000 (CDMA2000), Enhanced Voice-Data Optimized or Enhanced Voice-Data Only (EV-DO), Wideband CDMA ), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), broadband wireless mobile communication services (Wireless Mobile Broadband Service (WMBS), Wi-Fi, Wi-Fi Direct) may be included.
  • WLAN wireless LAN
  • DLNA digital living network alliance
  • Wibro wireless broadband
  • WiMAX Worldwide Interoperability for Microwave Access: Wimax
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • wired communication protocol for example, a wired local area network (LAN), a wired wide area network (WAN), power line communication (PLC), USB communication, Ethernet, serial communication, Optical / coaxial cables, etc. may be included, and all protocols that may provide a communication environment with other devices, including but not limited to, may now be included.
  • LAN local area network
  • WAN wide area network
  • PLC power line communication
  • USB communication Ethernet
  • serial communication Optical / coaxial cables, etc.
  • the virtual reality emulator 30 intuitively uses the sensing information received from the haptic interaction gloves 20 to sense the position, direction, and shape of the tactical trainer's hand.
  • the haptic stimulus may be delivered to the haptic interaction gloves 20 according to the determination result.
  • each component in the virtual reality simulator 30 for this purpose will be described in detail.
  • the receiver 31 performs a function of receiving sensing information from the haptic interaction gloves 20.
  • the receiver 31 senses information for determining the position and direction of the virtual hand displayed in synchronization with the haptic interaction gloves 20 worn by the tactical trainer in the virtual tactic environment 1, and the shape of the virtual hand. To receive from the haptic interaction gloves (20).
  • the sensing information received from the haptic interaction gloves 20 includes, for example, an acceleration sensing value, a gyroscope sensing value, and a reference value from the reference sensor 21 located in the palm center region of the haptic interaction gloves.
  • the reference sensor 21 may be, for example, an IMU (Inertial Measurement Unit) sensor.
  • IMU Inertial Measurement Unit
  • terminal wireless devices 22, 23, 24, 25, and 26 attached to each fingertip region may include all devices capable of transmitting short range wireless communication signals (eg, Bluetooth, ZigBee).
  • the reference sensor 21 receives the received signal strength of the short range wireless communication signal received from each terminal wireless device 22, 23, 24, 25, 26. (RSSI) to obtain the distance sensing values (D 1 , D 2 , D 3 , D 4 , D 5 ) to the end wireless devices (22, 23, 24, 25, 26) attached to each fingertip region. can do.
  • the terminal wireless devices 22 and 23 attached to each fingertip region have a distance mapped to the received signal strength (RSSI) of the short range wireless communication signals received from each terminal wireless device 22, 23, 24, 25, 26. , 24, 25, and 26 to obtain the distance sensing values (D 1 , D 2 , D 3 , D 4 , D 5 ).
  • RSSI received signal strength
  • the determination unit 32 performs a function of determining the position, direction, and shape of the virtual hand.
  • the determination unit 32 is displayed in synchronization with the haptic interaction gloves 20 being worn by the tactical trainer in the virtual tactical environment 1 from the received sensing information.
  • the position and direction of the virtual hand and the shape of the virtual hand are determined.
  • the determination unit 32 is a pitch roll (referred to as a movement value to the front, rear, up, down, left and right three axes in the three-dimensional space identified from the acceleration sensing value in the sensing information, and the gyroscope sensing value in the sensing information)
  • the three-axis rotation value of the yaw can be used to determine the position and direction of the virtual hand in the virtual training environment 1, for example, as shown in FIG.
  • the determination unit 32 determines the shape of the virtual hand through the distance sensing values D 1 , D 2 , D 3 , D 4 , and D 5 in the sensing information.
  • the determination unit 32 is a tactical trainer wearing the haptic interaction gloves 20 through the distance sensing values (D 1 , D 2 , D 3 , D 4 , D 5 ) in the sensing information by moving their fingers. You decide what shape of virtual hand you can take.
  • the determination unit 32 may include, for example, a plurality of hands that the tactical trainer can move by taking a finger part with respect to a combination of distances from the reference sensor 21 as shown in FIG. 6 to each fingertip region of the haptic interaction gloves.
  • the shape of the virtual hand can be determined by referring to the mapping table to which the shape image is mapped.
  • the determination unit 32 checks the distance combination matching the distance sensing values D 1 , D 2 , D 3 , D 4 , and D 5 in the sensing information from the mapping table, and maps the determined distance combination. Can determine the shape of the hand motion as the shape of the virtual hand.
  • the combination of the distance sensing values D 1 , D 2 , D 3 , D 4 , and D 5 in the sensing information and the distance in the mapping table may correspond to the sensing values D 1 , D 2 , D 3 , D 4 , and so on.
  • the distance to each fingertip region identified from D 5 ) and the distance defined in the mapping table may correspond to each other within a predefined error range.
  • the determination unit 33 performs a function of determining whether or not a contact occurs in the virtual tactical training environment 1.
  • the determination unit 33 determines the position, direction and direction of the virtual hand using the sensing information received from the haptic interaction gloves 20 and the shape of the virtual hand. By using the shape of the virtual tactic training environment (1) to determine whether the contact between the virtual object and the virtual hand located.
  • the determination of the contact between the virtual object and the virtual hand, the position of the virtual object in the position coordinate system provided in the virtual tactical training environment (1), the position of the virtual hand in the virtual tactical training environment (1), and It can be determined through a method of checking whether the position of the virtual hand determined by the direction and the shape of the virtual hand is matched.
  • the virtual object located in the virtual tactical training environment 1 may be, for example, an operation button between the controls displayed through the virtual tactical training environment 1, and furthermore, the contact between the virtual object and the virtual hand may be connected to the virtual object. It can be understood that the virtual hand and the manipulation button are in contact with each other to press the corresponding manipulation button.
  • the designator 34 performs a function of designating a haptic stimulus applying region.
  • the designation unit 34 if it is determined that the contact between the virtual object and the virtual hand located in the virtual tactical training environment (1), based on the contact state between the virtual hand and the virtual object haptic interaction gloves 20 In haptic stimulus is applied to specify the area to apply the haptic stimulation region.
  • the designation unit 34 defines the center point to which the haptic stimulus is applied and the area to which the haptic stimulus is applied based on the contact point between the virtual hand and the virtual object. Can be specified.
  • the contact state between the virtual hand and the virtual object may be determined from an angle formed between the central axis of the virtual hand and the central axis of the virtual object.
  • the first approach state (a) in which only the index finger of the virtual hand approaches the virtual object at a 90 ° approaching angle to the virtual object, and similarly, the index finger only of the index finger is the virtual object. It can be seen that the case has a first approach state (b) approached at an approach angle of 45 ° with respect to.
  • the center point to which the haptic stimulus is applied may be P 1 , and a haptic stimulus applying area having an area calculated as a radius of d1 based on P 1 may be designated, whereas the second In the approaching state (b), a center point to which the haptic stimulus is applied may be designated P 2 , and a haptic stimulus applying area having an area calculated by a radius equal to d 2 (d 2 > d 1 ) based on P 2 .
  • the haptic stimulus applying region which is a region to which the haptic stimulus is applied, reflects the contact state between the virtual hand and the virtual object, which may vary according to the position and direction of the virtual hand even in the shape of the same virtual hand. Can be specified.
  • the processor 35 performs a function of processing a haptic stimulus.
  • the processor 35 is a center where information about the haptic stimulation application region is applied to the haptic interaction gloves 20, that is, a center where the haptic stimulation is applied.
  • the haptic interaction gloves 20 are processed to apply the haptic stimulus according to the contact between the virtual hand and the virtual object to the area corresponding to the haptic stimulation application region.
  • the center point to which the haptic stimulus is applied in the haptic stimulus application region and the center point are calculated based on the position and direction of the virtual hand and the contact state determined according to the shape of the virtual hand.
  • the area of the haptic stimulus applying region is specified differently, more realistic haptic stimuli can be delivered to the tactical trainer.
  • the virtual tactical training environment is demonstrated through the virtual display device 10, and worn by the tactical trainer in the virtual tactical training environment.
  • the effect of the tactical training can be enhanced.
  • the receiver 31 determines the position and direction of the virtual hand displayed in synchronization with the haptic interaction gloves 20 worn by the tactical trainer in the virtual tactical environment 1 and the shape of the virtual hand in step S10.
  • the sensing information is received from the haptic interaction gloves 20.
  • the sensing information received from the haptic interaction gloves 20 includes an acceleration sensing value, a gyroscope sensing value, and a gyroscope sensing value from the reference sensor 21 located in the palm center region of the haptic interaction gloves as illustrated in FIG. 4.
  • the determination unit 32 synchronizes with the haptic interaction gloves 20 that the tactical trainer is wearing in the virtual tactic environment 1 from the sensing information received according to step S20. To determine the position and orientation of the displayed virtual hand.
  • the determination unit 32 is a pitch roll (referred to as a movement value to the front, rear, up, down, left and right three axes in the three-dimensional space identified from the acceleration sensing value in the sensing information, and the gyroscope sensing value in the sensing information)
  • the three-axis rotation value of the yaw can be used to determine the position and direction of the virtual hand in the virtual training environment 1 as illustrated in FIG. 5.
  • the determination unit 32 is a tactical trainer wearing the haptic interaction gloves 20 through the distance sensing values (D 1 , D 2 , D 3 , D 4 , D 5 ) in the sensing information according to step S30. Your finger to determine the shape of the virtual hand you can take.
  • the determination unit 32 is a plurality of tactical trainers can move the finger portion with respect to the combination of the distance from the reference sensor 21 as shown in FIG. 6 to the fingertip region of the haptic interaction gloves.
  • the shape of the virtual hand may be determined by referring to the mapping table to which the hand image is mapped.
  • the determination unit 32 checks the distance combination matching the distance sensing values D 1 , D 2 , D 3 , D 4 , and D 5 in the sensing information from the mapping table, and maps the determined distance combination. Can determine the shape of the hand motion as the shape of the virtual hand.
  • the determination unit 33 determines the position and direction of the virtual hand using the sensing information received from the haptic interaction gloves 20 and the shape of the virtual hand, the position and direction of the virtual hand determined according to step S40.
  • the shape of the virtual hand is used to determine whether a contact occurs between the virtual object located in the virtual tactical training environment 1 and the virtual hand.
  • the determination of the contact between the virtual object and the virtual hand, the position of the virtual object in the position coordinate system provided in the virtual tactical training environment (1), the position of the virtual hand in the virtual tactical training environment (1), and It can be determined through a method of checking whether the position of the virtual hand determined by the direction and the shape of the virtual hand is matched.
  • the designation unit 34 based on the contact state between the virtual hand and the virtual object according to steps S50 and S60, according to the haptic interaction.
  • a haptic stimulus applying region which is a region to which the haptic stimulus is applied, is designated.
  • the designation unit 34 defines the center point to which the haptic stimulus is applied and the area to which the haptic stimulus is applied based on the contact point between the virtual hand and the virtual object. Can be specified.
  • the processing unit 35 applies information about the haptic stimulation application region, that is, the haptic stimulus to the haptic interaction gloves 20 according to step S70.
  • the haptic interaction gloves 20 is processed to apply the haptic stimulus according to the contact between the virtual hand and the virtual object to the area corresponding to the haptic stimulation application region. .
  • the center point to which the haptic stimulus is applied in the haptic stimulus application region and the center point are calculated based on the position and direction of the virtual hand and the contact state determined according to the shape of the virtual hand.
  • the area of the haptic stimulus applying region is specified differently, more realistic haptic stimuli can be delivered to the tactical trainer.
  • the virtual tactical training environment is demonstrated through the virtual display device 10, and in such a virtual tactical training environment.
  • the haptic stimulus can be enhanced, thereby enhancing the effectiveness of the tactical training. .
  • Implementations of the subject matter described in this specification may be implemented in digital electronic circuitry, computer software, firmware or hardware including the structures and structural equivalents disclosed herein, or one or more of them. It can be implemented in combination. Implementations of the subject matter described herein are one or more computer program products, ie one or more modules pertaining to computer program instructions encoded on a program storage medium of tangible type for controlling or by the operation of a processing system. Can be implemented.
  • the computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of materials affecting a machine readable propagated signal, or a combination of one or more thereof.
  • system encompasses all the instruments, devices, and machines for processing data, including, for example, programmable processors, computers, or multiple processors or computers.
  • the processing system may include, in addition to hardware, code that forms an execution environment for a computer program on demand, such as code constituting processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more thereof. .
  • Computer programs may be written in any form of programming language, including compiled or interpreted languages, or a priori or procedural languages. It can be deployed in any form, including components, subroutines, or other units suitable for use in a computer environment. Computer programs do not necessarily correspond to files in the file system.
  • a program may be in a single file provided to the requested program, in multiple interactive files (eg, a file that stores one or more modules, subprograms, or parts of code), or part of a file that holds other programs or data. (Eg, one or more scripts stored in a markup language document).
  • the computer program may be deployed to run on a single computer or on multiple computers located at one site or distributed across multiple sites and interconnected by a communication network.
  • Computer-readable media suitable for storing computer program instructions and data include, for example, semiconductor memory devices such as EPROM, EEPROM, and flash memory devices, such as magnetic disks such as internal hard disks or external disks, magneto-optical disks, and CDs. It may include all types of nonvolatile memory, media and memory devices, including -ROM and DVD-ROM disks.
  • semiconductor memory devices such as EPROM, EEPROM, and flash memory devices, such as magnetic disks such as internal hard disks or external disks, magneto-optical disks, and CDs. It may include all types of nonvolatile memory, media and memory devices, including -ROM and DVD-ROM disks.
  • the processor and memory can be supplemented by or integrated with special purpose logic circuitry.
  • Implementations of the subject matter described herein may include, for example, a backend component such as a data server, or include a middleware component such as, for example, an application server, or a web browser or graphical user, for example, where a user may interact with the implementation of the subject matter described herein. It may be implemented in a computing system that includes a front end component, such as a client computer with an interface, or any combination of one or more of such back end, middleware or front end components. The components of the system may be interconnected by any form or medium of digital data communication such as, for example, a communication network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상디스플레이장치(예: HMD)를 통해서 가상전술훈련환경을 시현하고, 이러한 가상전술훈련환경 내에서 전술훈련자가 착용중인 햅틱인터랙션장갑과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 가상 손의 모양을 고려한 햅틱 자극을 전달함으로써, 전술 훈련의 효과를 제고할 수 있는 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법을 제안한다.

Description

햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법
본 발명은 가상디스플레이장치(예: HMD)를 통해서 시현되는 가상전술훈련환경 내에서 전술훈련자가 착용중인 햅틱인터랙션장갑과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 가상 손의 모양을 기반으로 햅틱인터랙션장갑에 보다 현실감 있는 햅틱 자극을 전달하기 위한 방안에 관한 것이다.
최근 컴퓨터의 급속한 기술발전에 힘입어 전장 상황을 신속, 정확하게 전달하여 작전 수행 및 지휘통제를 지원하는 전술 상황인식의 3차원 가시화에 대한 연구가 주요한 연구 주제가 되고 있으며, 이에 따라 전술상황도 내 지형정보 및 전술정보 등의 전시객체 모두를 3차원으로 전시하는 것 또한 가능해지게 되었다.
이러한 추세에 따라 최근에는 전술훈련 시뮬레이터 장비를 포함한 전술훈련 플랫폼이 개발되고 있으며, 이는 전술 상황을 3차원으로 전시하고, 전술 상황에 투입되는 실 장비를 유사하게 모의한 모의 환경을 통해서 전술훈련자가 실 장비를 운영하기 전 장비숙달과 상황대처능력을 키우기 위한 목적으로 활용되고 있다.
그러나, 기존 전술훈련 플랫폼에서는, 시뮬레이터 장비를 통해서 실 장비를 유사한 모의 환경을 구현하였다고는 하나 실제 전술 장비와는 괴리감이 있는 것이 일반적이며, 더욱이 훈련 과정에서 전술훈련자에게 제공되는 시각적 그리고 감각적 UI(User Interface) 또한 현실감이 떨어지는 것이 현실인 관계로 기존 전술훈련 플랫폼을 통해서 달성될 수 있는 전술 훈련 효과 자체에 대해서도 부정적인 것이 현실이다.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 가상디스플레이장치(예: HMD)를 통해서 가상전술훈련환경을 시현하고, 이러한 가상전술훈련환경 내에서 전술훈련자가 착용중인 햅틱인터랙션장갑과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 가상 손의 모양을 기반으로 햅틱인터랙션장갑에 보다 현실감 있는 햅틱 자극을 전달하는 방식을 통해서 전술 훈련의 효과를 제고하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 가상현실시뮬레이터는, 전술훈련자가 착용중인 햅틱인터랙션장갑으로부터 수신되는 센싱정보를 기초로 가상디스플레이장치를 통해서 시현되고 있는 가상전술훈련환경 내에서 상기 햅틱인터랙션장갑과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양을 결정하는 결정부; 상기 가상전술환경 내에서의 상기 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양을 기초로 상기 가상 손과 상기 가상전술훈련환경 내 위치한 가상 객체 간에 접촉이 발생하는지 여부를 판별하는 판별부; 및 상기 가상 손과 상기 가상 객체 간에 접촉이 발생하는 것으로 판별되는 경우, 상기 가상 손과 상기 가상 객체 간의 접촉 상태를 기초로 상기 햅틱인터랙션장갑에서 햅틱 자극이 인가될 햅틱자극인가영역을 지정하는 지정부를 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 센싱정보는, 상기 햅틱인터랙션장갑의 손바닥 중심 영역에 위치한 기준센서로부터 센싱되는 가속도 센싱 값, 자이로스코프 센싱 값, 및 상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리 센싱 값 중 적어도 하나를 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 결정부는, 상기 가속도 센싱 값으로부터 확인되는 3차원 공간에서 앞뒤, 상하, 좌우 3축으로의 이동 값, 및 상기 자이로스코프 센싱 값으로부터 확인되는 피치(Pitch) 롤(Roll) 요(Yaw)의 3축 회전 값 중 적어도 하나를 기초로 상기 가상 손의 위치, 및 방향을 결정하는 것을 특징으로 한다.
보다 구체적으로, 상기 결정부는, 상기 거리 센싱 값으로부터 확인되는 상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리를 기초로 상기 가상 손의 모양을 결정하는 것을 특징으로 한다.
보다 구체적으로, 상기 결정부는, 상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리 조합에 대해 전술훈련자가 손가락 부분을 움직여 취할 수 있는 다수의 손 모양 이미지가 매핑된 매핑 테이블을 참조하여 상기 가상 손의 모양을 결정하는 것을 특징으로 한다.
보다 구체적으로, 상기 햅틱자극인가영역은, 상기 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양에 따라 결정되는 상기 접촉 상태에 따라 상기 햅틱자극인가영역에서 햅틱 자극이 인가되는 중심 지점과, 상기 중심 지점을 기준으로 산정되는 상기 햅틱자극인가영역의 면적 중 적어도 하나가 다르게 지정되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 가상현실시뮬레이터의 동작 방법은, 전술훈련자가 착용중인 햅틱인터랙션장갑으로부터 수신되는 센싱정보를 기초로 가상디스플레이장치를 통해서 시현되고 있는 가상전술훈련환경 내에서 상기 햅틱인터랙션장갑과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양을 결정하는 결정단계; 상기 가상전술환경 내에서의 상기 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양을 기초로 상기 가상 손과 상기 가상전술훈련환경 내 위치한 가상 객체 간에 접촉이 발생하는지 여부를 판별하는 판별단계; 및 상기 가상 손과 상기 가상 객체 간에 접촉이 발생하는 것으로 판별되는 경우, 상기 가상 손과 상기 가상 객체 간의 접촉 상태를 기초로 상기 햅틱인터랙션장갑에서 햅틱 자극이 인가될 햅틱자극인가영역을 지정하는 지정단계를 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 센싱정보는, 상기 햅틱인터랙션장갑의 손바닥 중심 영역에 위치한 기준센서로부터 센싱되는 가속도 센싱 값, 자이로스코프 센싱 값, 및 상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리 센싱 값 중 적어도 하나를 포함하는 것을 특징으로 한다.
보다 구체적으로, 상기 결정단계는, 상기 가속도 센싱 값으로부터 확인되는 3차원 공간에서 앞뒤, 상하, 좌우 3축으로의 이동 값, 및 상기 자이로스코프 센싱 값으로부터 확인되는 피치(Pitch) 롤(Roll) 요(Yaw)의 3축 회전 값 중 적어도 하나를 기초로 상기 가상 손의 위치, 및 방향을 결정하는 것을 특징으로 한다.
보다 구체적으로, 상기 결정단계는, 상기 거리 센싱 값으로부터 확인되는 상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리를 기초로 상기 가상 손의 모양을 결정하는 것을 특징으로 한다.
보다 구체적으로, 상기 결정단계는, 상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리 조합에 대해 전술훈련자가 손가락 부분을 움직여 취할 수 있는 다수의 손 모양 이미지가 매핑된 매핑 테이블을 참조하여 상기 가상 손의 모양을 결정하는 것을 특징으로 한다.
보다 구체적으로, 상기 햅틱자극인가영역은, 상기 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양에 따라 결정되는 상기 접촉 상태에 따라 상기 햅틱자극인가영역에서 햅틱 자극이 인가되는 중심 지점과, 상기 중심 지점을 기준으로 산정되는 상기 햅틱자극인가영역의 면적 중 적어도 하나가 다르게 지정되는 것을 특징으로 한다.
이에, 본 발명의 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법에서는, 가상디스플레이장치(예: HMD)를 통해서 가상전술훈련환경을 시현하고, 이러한 가상전술훈련환경 내에서 전술훈련자가 착용중인 햅틱인터랙션장갑과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 가상 손의 모양을 고려한 햅틱 자극을 전달함으로써, 전술 훈련의 효과를 제고할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 전술 훈련 시스템을 도시한 예시도.
도 2는 본 발명의 일 실시예에 따른 조종석 플랫폼의 예시도.
도 3은 본 발명의 일 실시예에 따른 가상현실시뮬레이터의 구성을 설명하기 위한 구성도.
도 4는 본 발명의 일 실시예에 따른 센싱정보를 설명하기 위한 예시도.
도 5는 본 발명의 일 실시예에 따른 가상 손의 위치 및 방향 결정을 설명하기 위한 예시도.
도 6은 본 발명의 일 실시예에 따른 가상 손의 모양 결정을 설명하기 위한 예시도.
도 7은 본 발명의 일 실시예에 따른 햅틱자극인가영역을 설명하기 위한 예시도.
도 8은 본 발명의 일 실시예에 따른 가상현실시뮬레이터에서의 동작 흐름을 설명하기 위한 순서도.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하, 첨부된 도면을 참조하여 본 발명이 일 실시예에 대하여 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 가상 전술 훈련 시스템을 도시하고 있다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 가상 전술 훈련 시스템은, 가상디스플레이장치(10), 햅틱인터랙션장갑(20), 및 가상현실시뮬레이터(30)를 포함하는 구성을 가질 수 있다.
가상디플레이장치(10)는 이를 착용한 전술훈련자에게 3D 기반의 가상전술훈련환경(1)을 시각적으로 제공하는 장치를 일컫는 것으로서, 예컨대, HMD(Head mounted Display)가 이에 해당될 수 있다.
햅틱인터랙션장갑(20)은 전술훈련자가 손에 착용하는 햅틱 디바이스를 일컫는 것으로서, 가상전술훈련환경(1) 내에서 햅틱인터랙션장갑(20)와 동기되어 표시되는 전술훈련자의 가상 손과 가상 객체 간에 접촉 발생에 따른 햅틱 자극을 전달할 수 있다.
참고로, 햅틱인터랙션장갑(20)에서의 햅틱 자극 전달 방식은, 예컨대, 전자석을 이용하여 인력 또는 척력을 구현하는 자기 방식, 및 액츄에이터를 이용한 가압 방식 등이 포함될 수 있으며, 이에 제한되는 것이 아닌 햅틱인터랙션장갑(20) 내에서 촉각을 구현할 수 있는 공지의 방식들은 모두 포함될 수 있음은 물론이다.
가상현실시뮬레이터(30)는 전술한 가상디스플레이장치(10)와 햅틱인터랙션장갑(20)과 연계한 가상의 전술 훈련 환경을 제공하는 장치를 일컫는 것으로서, 이는 조종석 플랫폼(2) 내 장착되거나, 또는 별도의 서버 형태로도 구현될 수 있다.
여기서, 본 발명의 일 실시예에 따른 조종석 플랫폼(2)에는 예컨대, 도 2에 도시된 바와 같이 전술훈련자가 탑승할 수 있으며 회전익(예: UH-60), 고정익(예: F-16), 지상장비(예: K-1A1) 등의 전술 장비 별 가변이 가능한 조종석과, 그리고 이러한 조종석에 대해 6 자유도 운동을 구현하여 하나의 조종석 만으로 회전익, 고정익, 지상장비 등의 전술 장비의 운동을 가능하게 하는 6축 모션이 포함될 수 있다.
이상 본 발명의 일 실시예에 따른 가상 전술 훈련 시스템은, 가상디스플레이장치(10)를 통해서 가상전술훈련환경(1)을 시현하고, 가상전술훈련환경(1) 내에서 햅틱인터랙션장갑(20)과 동기되어 표시되는 전술훈련자의 가상 손을 추적하는 방식을 통해서 전술훈련자의 손에 햅틱 자극을 전달하게 된다.
이처럼, 가상전술훈련환경(1) 내에서 전술훈련자의 가상 손을 추적하기 위해선 가상 손과 동기된 햅틱인터랙션장갑(20)의 움직임을 추적할 필요가 있으며, 이와 관련하여 기존에는 위치와 방향을 추적하는 기술과, 손 가락 각도를 측정하여 손 모양을 추적하는 기술들이 제안된 바 있다.
헌데, 이러한 기존 기술들이 경우에는 손가락 관절을 포함하는 손 영역 각 부위에 많은 수의 센서를 부착해야 할 필요가 있으며, 더욱이 각 센서에서 수신되는 센싱정보를 해석하여 손의 위치 및 방향 그리고 그 모양을 결정하는데 오랜 시간이 소요되는 비용적 시간적 한계점이 존재한다.
이에, 본 발명에서는 햅틱인터랙션장갑(20)에 부착되는 센서의 수를 최소화하고, 최소화된 센서로부터 수신되는 센싱정보를 이용하여 전술훈련자 손의 위치 및 방향 그리고 그 모양을 직관적으로 결정할 수 있는 방식과, 그에 따른 보다 현실감 있는 햅틱 자극 전달 방식을 제안하고자 하며, 이하에서는 이를 위한 가상현실시뮬레이터(30)의 구성에 대해 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 가상현실시뮬레이터(30)의 개략적인 구성을 보여주고 있다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 가상현실시뮬레이터(30)는 수신부(31), 결정부(32), 판별부(33), 지정부(34), 및 처리부(35)를 포함하는 구성을 가질 수 있다.
이상의 수신부(31), 결정부(32), 판별부(33), 지정부(34), 및 처리부(35)를 포함하는 가상현실시뮬레이터(30)의 구성 전체 내지는 일부는, 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.
여기서, 소프트웨어 모듈이란, 예컨대, 가상현실시뮬레이터(30) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 가상현실시뮬레이터(30) 내 메모리에 탑재된 형태를 가질 수 있을 것이다.
한편, 본 발명의 일 실시예에 따른 가상현실시뮬레이터(30)는 전술한 구성 이외에, 통신부(36)를 더 포함하는 구성을 가질 수 있다.
여기서, 통신부(26)는 가상디플레이장치(10) 및 햅틱인터랙션장갑(20)와의 통신 기능을 제공하는 역할을 수행하게 되며, 이를 위해 예컨대, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, 코덱(CODEC) 칩셋, 및 메모리 등을 포함하지만 이에 제한되지는 않으며, 이 기능을 수행하는 공지의 회로를 포함할 수 있다.
이러한, 통신부(26)가 지원하는 무선 통신 프로토콜로는, 예컨대, 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 프로토콜로는 예컨대, 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있으며, 이제 제한되는 것이 아닌, 다른 장치와의 통신 환경을 제공할 수 있는 프로토콜은 모두 포함될 수 있다.
결국, 본 발명의 일 실시예에 따른 가상현실시뮬레이터(30)는 전술한 구성을 통해서, 햅틱인터랙션장갑(20)으로부터 수신되는 센싱정보를 이용하여 전술훈련자 손의 위치 및 방향 그리고 그 모양을 직관적으로 결정하고, 그 결정 결과에 따라 햅틱인터랙션장갑(20)에 현실감 있는 햅틱 자극을 전달할 수 있는데, 이하에서는 이를 위한 가상현실시뮬레이터(30) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.
수신부(31)는 햅틱인터랙션장갑(20)으로부터 센싱정보를 수신하는 기능을 수행한다.
보다 구체적으로, 수신부(31)는 가상전술환경(1)에서 전술훈련자가 착용중인 햅틱인터랙션장갑(20)과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 가상 손의 모양을 결정하기 위한 센싱정보를 햅틱인터랙션장갑(20)으로부터 수신하게 된다.
여기서, 햅틱인터랙션장갑(20)으로부터 수신되는 센싱정보에는 예컨대, 도 4에 도시된 바와 같이 햅틱인터랙션장갑의 손바닥 중심 영역에 위치한 기준센서(21)로부터 가속도 센싱 값, 및 자이로스코프 센싱 값, 그리고 기준센서(21)로부터 햅틱인터랙션장갑(20)의 각 손가락 끝 영역에 부착된 종단무선장치(22, 23, 24, 25, 26)까지의 거리 센싱 값(D1, D2, D3, D4, D5)이 포함된다.
참고로, 기준센서(21)로는 예컨대, IMU(Inertial Measurement Unit) 센서가 해당될 수 있다.
또한, 각 손가락 끝 영역에 부착된 종단무선장치(22, 23, 24, 25, 26)는 근거리무선통신신호(예: 블루투스, 지그 비)를 송출할 수 있는 장치는 모두 포함될 수 있다.
이러한 종단무선장치(22, 23, 24, 25, 26)와 관련하여 기준센서(21)에서는 각 종단무선장치(22, 23, 24, 25, 26)로부터 수신되는 근거리무선통신신호의 수신신호세기(RSSI)를 이용하여 각 손가락 끝 영역에 부착된 종단무선장치(22, 23, 24, 25, 26)까지의 거리 센싱 값(D1, D2, D3, D4, D5)을 획득할 수 있다.
즉, 각 종단무선장치(22, 23, 24, 25, 26)로부터 수신되는 근거리무선통신신호의 수신신호세기(RSSI)에 매핑된 거리를 각 손가락 끝 영역에 부착된 종단무선장치(22, 23, 24, 25, 26)까지의 거리 센싱 값(D1, D2, D3, D4, D5)으로 획득할 수 있는 것이다.
결정부(32)는 가상 손의 위치, 방향 그리고 가상 손의 모양을 결정하는 기능을 수행한다.
보다 구체적으로, 결정부(32)는 햅틱인터랙션장갑(20)으로부터 센싱정보가 수신되면, 수신된 센싱정보로부터 가상전술환경(1)에서 전술훈련자가 착용중인 햅틱인터랙션장갑(20)과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 가상 손의 모양을 결정하게 된다.
이때, 결정부(32)는 센싱정보 내 가속도 센싱 값으로부터 확인되는 3차원 공간에서 앞뒤, 상하, 좌우 3축으로의 이동 값과, 센싱정보 내 자이로스코프 센싱 값으로부터 확인되는 피치(Pitch) 롤(Roll) 요(Yaw)의 3축 회전 값을 이용하여 예컨대, 도 5에 도시된 바와 같이 가상훈련환경(1) 내 가상 손의 위치 및 방향을 결정할 수 있다.
한편, 결정부(32)는 센싱정보 내 거리 센싱 값(D1, D2, D3, D4, D5)을 통해서는 가상 손에 대한 모양을 결정한다.
다시 말해, 결정부(32)는 센싱정보 내 거리 센싱 값(D1, D2, D3, D4, D5)을 통해서 햅틱인터랙션장갑(20)을 착용한 전술훈련자가 자신의 손가락을 움직여 취할 수 있는 가상 손의 모양을 결정하게 되는 것이다.
이때, 결정부(32)는 예컨대, 도 6에 도시된 바와 같은 기준센서(21)로부터 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리 조합에 대해 전술훈련자가 손가락 부분을 움직여 취할 수 있는 다수의 손 모양 이미지가 매핑된 매핑 테이블을 참조하여 가상 손의 모양을 결정할 수 있다.
즉, 결정부(32)는 매핑테이블로부터 센싱정보 내 거리 센싱 값(D1, D2, D3, D4, D5)과 매칭되는 거리 조합을 확인하고, 확인된 거리 조합에 매핑되어 있는 가 손 모양 움직임을 가상 손의 모양으로 결정할 수 있는 것이다.
여기서, 센싱정보 내 거리 센싱 값(D1, D2, D3, D4, D5)과 매핑테이블 내 거리 조합이 매칭된다는 것은, 센싱 값(D1, D2, D3, D4, D5)으로부터 확인되는 각 손가락 끝 영역까지의 거리와, 매핑테이블에 정의되어 있는 거리가 서로 기 정의된 오차 범위 이내로 일치한다는 것을 의미할 수 있다.
판별부(33)는 가상전술훈련환경(1) 내에서의 접촉 발생 여부를 판별하는 기능을 수행한다.
보다 구체적으로, 판별부(33)는 햅틱인터랙션장갑(20)으로부터 수신되는 센싱정보를 이용한 가상 손의 위치, 및 방향 그리고 가상 손의 모양이 결정되면, 결정된 가상 손의 위치, 및 방향 그리고 가상 손의 모양을 이용하여 가상전술훈련환경(1) 내 위치한 가상 객체와 가상 손 간에 접촉이 발생하는지 여부를 판별하게 된다.
이때, 가상 객체와 가상 손 간에 접촉 여부에 대한 판단은, 가상전술훈련환경(1) 내에 마련된 위치 좌표 계에서 가상 객체의 위치와, 마찬가지로 가상전술훈련환경(1) 내에서 가상 손의 위치, 및 방향 그리고 가상 손의 모양에 의해 결정되는 가상 손의 위치가 일치되는지 여부를 확인하는 방식을 통해서 판단될 수 있다.
여기서, 가상전술훈련환경(1) 내 위치한 가상 객체란 예컨대, 가상전술훈련환경(1)을 통해서 시현되고 있는 조종간의 조작 버튼일 수 있으며, 나아가 이러한 가상 객체와 가상 손 간에 접촉은, 가상 객체에 해당하는 조작 버튼을 누르기 위해 가상 손과 조작 버튼이 접촉된 상태인 것으로 이해될 수 있다.
지정부(34)는 햅틱자극인가영역을 지정하는 기능을 수행한다.
보다 구체적으로, 지정부(34)는 가상전술훈련환경(1) 내 위치한 가상 객체와 가상 손 간에 접촉이 발생한 것으로 판별되는 경우, 가상 손과 가상 객체 간의 접촉 상태를 기초로 햅틱인터랙션장갑(20)에서 햅틱 자극이 인가될 영역인 햅틱자극인가영역을 지정하게 된다.
이때, 지정부(34)는 가상 손과 가상 객체 간의 접촉 상태에 따라서 햅틱 자극이 인가되는 중심 지점과, 상기 중심 지점을 기준으로 햅틱 자극이 인가되는 면적을 지정하는 방식을 통해서 햅틱자극인가영역을 지정할 수 있다.
여기서, 가상 손과 가상 객체 간의 접촉 상태는, 가상 손의 중심 축과 가상 객체의 중심 축 간에 형성되는 각도로부터 결정될 수 있다.
예를 들어, 도 7을 참조하면, 검지 만을 핀 모양의 가상 손이 가상 객체에 대해 90°의 접근 각도로 접근한 제1접근 상태(a)와, 마찬가지로 검지 만을 핀 모양의 가상 손이 가상 객체에 대해 45°의 접근 각도로 접근한 제1접근 상태(b)를 가지는 경우를 확인할 수 있다.
이때, 제1접근 상태(a)에서는 햅틱 자극이 인가되는 중심 지점은 P1, 그리고, P1을 기준으로 d1만큼의 반지름으로 산정되는 면적의 햅틱자극인가영역이 지정될 수 있으며, 반면 제2접근 상태(b)에서는 햅틱 자극이 인가되는 중심 지점은 P2, 그리고 P2를 기준으로 d2(d2>d1)만큼의 반지름으로 산정되는 면적을 가지는 햅틱자극인가영역이 지정될 수 있다.
즉, 본 발명의 일 실시예에서는 동일한 가상 손의 모양이라 할지라도 가상 손의 위치 및 방향에 따라 달라질 수 있는 가상 손과 가상 객체 간의 접촉 상태를 반영하여 햅틱 자극이 인가될 영역인 햅틱자극인가영역을 지정할 수 있는 것이다.
처리부(35)는 햅틱 자극을 처리하는 기능을 수행한다.
보다 구체적으로, 처리부(35)는 가상 손과 가상 객체 간의 접촉 상태를 기초로 햅틱자극인가영역이 지정되면, 햅틱인터랙션장갑(20)에 햅틱자극인가영역에 대한 정보 즉, 햅틱 자극이 인가되는 중심 지점과 그 중심 지점으로부터의 면적을 전달함으로써, 햅틱인터랙션장갑(20)으로 하여금 햅틱자극인가영역에 해당하는 영역에 대해 가상 손과 가상 객체 간의 접촉에 따른 햅틱 자극을 인가할 수 있도록 처리한다.
즉, 본 발명의 일 실시예에 따르면 가상 손의 위치 및 방향, 그리고 가상 손의 모양에 따라 결정되는 접촉 상태에 따라 햅틱자극인가영역에서 햅틱 자극이 인가되는 중심 지점과, 중심 지점을 기준으로 산정되는 햅틱자극인가영역의 면적이 다르게 지정됨에 따라 전술훈련자에게 보다 현실감 있는 햅틱 자극을 전달할 수 있는 것이다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 가상현실시뮬레이터(30)에 따르면, 가상디스플레이장치(10)를 통해서 가상전술훈련환경을 시현하고, 이러한 가상전술훈련환경 내에서 전술훈련자가 착용중인 햅틱인터랙션장갑(20)과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 가상 손의 모양을 추적하여 그에 따른 현실감 있는 햅틱 자극을 전달함으로써, 전술 훈련의 효과를 제고할 수 있다.
이상, 본 발명의 일 실시예에 따른 가상현실시뮬레이터(30)의 구성에 대한 설명을 마치고, 이하에서는 도 8을 참조하여 본 발명의 일 실시예에 따른 가상현실시뮬레이터(30)에서의 동작 흐름에 대한 설명을 이어 가기로 한다.
먼저, 수신부(31)는 단계 S10에 따라 가상전술환경(1)에서 전술훈련자가 착용중인 햅틱인터랙션장갑(20)과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 가상 손의 모양을 결정하기 위한 센싱정보를 햅틱인터랙션장갑(20)으로부터 수신한다.
여기서, 햅틱인터랙션장갑(20)으로부터 수신되는 센싱정보에는 앞서 예시한 도 4에 도시된 바와 같이 햅틱인터랙션장갑의 손바닥 중심 영역에 위치한 기준센서(21)로부터 가속도 센싱 값, 및 자이로스코프 센싱 값, 그리고 기준센서(21)로부터 햅틱인터랙션장갑(20)의 각 손가락 끝 영역에 부착된 종단무선장치(22, 23, 24, 25, 26)까지의 거리 센싱 값(D1, D2, D3, D4, D5)이 포함된다.
이어서, 결정부(32)는 햅틱인터랙션장갑(20)으로부터 센싱정보가 수신되면, 단계 S20에 따라 수신된 센싱정보로부터 가상전술환경(1)에서 전술훈련자가 착용중인 햅틱인터랙션장갑(20)과 동기되어 표시되는 가상 손의 위치 및 방향을 결정한다.
이때, 결정부(32)는 센싱정보 내 가속도 센싱 값으로부터 확인되는 3차원 공간에서 앞뒤, 상하, 좌우 3축으로의 이동 값과, 센싱정보 내 자이로스코프 센싱 값으로부터 확인되는 피치(Pitch) 롤(Roll) 요(Yaw)의 3축 회전 값을 이용하여 앞서 예시한 도 5에 도시된 바와 같이 가상훈련환경(1) 내 가상 손의 위치 및 방향을 결정할 수 있다.
그런 다음, 결정부(32)는 단계 S30에 따라 센싱정보 내 거리 센싱 값(D1, D2, D3, D4, D5)을 통해서 햅틱인터랙션장갑(20)을 착용한 전술훈련자가 자신의 손가락을 움직여 취할 수 있는 가상 손의 모양을 결정한다.
이때, 결정부(32)는 앞서 예시한 도 6에 도시된 바와 같은 기준센서(21)로부터 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리 조합에 대해 전술훈련자가 손가락 부분을 움직여 취할 수 있는 다수의 손 모양 이미지가 매핑된 매핑 테이블을 참조하여 가상 손의 모양을 결정할 수 있다.
즉, 결정부(32)는 매핑테이블로부터 센싱정보 내 거리 센싱 값(D1, D2, D3, D4, D5)과 매칭되는 거리 조합을 확인하고, 확인된 거리 조합에 매핑되어 있는 가 손 모양 움직임을 가상 손의 모양으로 결정할 수 있는 것이다.
그리고 나서, 판별부(33)는 햅틱인터랙션장갑(20)으로부터 수신되는 센싱정보를 이용한 가상 손의 위치, 및 방향 그리고 가상 손의 모양이 결정되면, 단계 S40에 따라 결정된 가상 손의 위치, 및 방향 그리고 가상 손의 모양을 이용하여 가상전술훈련환경(1) 내 위치한 가상 객체와 가상 손 간에 접촉이 발생하는지 여부를 판별한다.
이때, 가상 객체와 가상 손 간에 접촉 여부에 대한 판단은, 가상전술훈련환경(1) 내에 마련된 위치 좌표 계에서 가상 객체의 위치와, 마찬가지로 가상전술훈련환경(1) 내에서 가상 손의 위치, 및 방향 그리고 가상 손의 모양에 의해 결정되는 가상 손의 위치가 일치되는지 여부를 확인하는 방식을 통해서 판단될 수 있다.
나아가, 지정부(34)는 가상전술훈련환경(1) 내 위치한 가상 객체와 가상 손 간에 접촉이 발생한 것으로 판별되는 경우, 단계 S50 및 S60에 따라 가상 손과 가상 객체 간의 접촉 상태를 기초로 햅틱인터랙션장갑(20)에서 햅틱 자극이 인가될 영역인 햅틱자극인가영역을 지정한다.
이때, 지정부(34)는 가상 손과 가상 객체 간의 접촉 상태에 따라서 햅틱 자극이 인가되는 중심 지점과, 상기 중심 지점을 기준으로 햅틱 자극이 인가되는 면적을 지정하는 방식을 통해서 햅틱자극인가영역을 지정할 수 있다.
이후, 처리부(35)는 가상 손과 가상 객체 간의 접촉 상태를 기초로 햅틱자극인가영역이 지정되면, 단계 S70에 따라 햅틱인터랙션장갑(20)에 햅틱자극인가영역에 대한 정보 즉, 햅틱 자극이 인가되는 중심 지점과 그 중심 지점으로부터의 면적을 전달함으로써, 햅틱인터랙션장갑(20)으로 하여금 햅틱자극인가영역에 해당하는 영역에 대해 가상 손과 가상 객체 간의 접촉에 따른 햅틱 자극을 인가할 수 있도록 처리한다.
즉, 본 발명의 일 실시예에 따르면 가상 손의 위치 및 방향, 그리고 가상 손의 모양에 따라 결정되는 접촉 상태에 따라 햅틱자극인가영역에서 햅틱 자극이 인가되는 중심 지점과, 중심 지점을 기준으로 산정되는 햅틱자극인가영역의 면적이 다르게 지정됨에 따라 전술훈련자에게 보다 현실감 있는 햅틱 자극을 전달할 수 있는 것이다.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 가상현실시뮬레이터(30)에서의 동작 흐름에 따르면, 가상디스플레이장치(10)를 통해서 가상전술훈련환경을 시현하고, 이러한 가상전술훈련환경 내에서 전술훈련자가 착용중인 햅틱인터랙션장갑(20)과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 가상 손의 모양을 추적하여 그에 따른 현실감 있는 햅틱 자극을 전달함으로써, 전술 훈련의 효과를 제고할 수 있다.
한편, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다.　 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 처리 시스템의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.
컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
본 명세서에서 "시스템"이나 "장치"라 함은 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
한편, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함할 수 있다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수도 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 마찬가지로, 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
또한, 본 명세서에서는 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다
이와 같이, 본 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하려는 의도가 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

  1. 전술훈련자가 착용중인 햅틱인터랙션장갑으로부터 수신되는 센싱정보를 기초로 가상디스플레이장치를 통해서 시현되고 있는 가상전술훈련환경 내에서 상기 햅틱인터랙션장갑과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양을 결정하는 결정부;
    상기 가상전술환경 내에서의 상기 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양을 기초로 상기 가상 손과 상기 가상전술훈련환경 내 위치한 가상 객체 간에 접촉이 발생하는지 여부를 판별하는 판별부; 및
    상기 가상 손과 상기 가상 객체 간에 접촉이 발생하는 것으로 판별되는 경우, 상기 가상 손과 상기 가상 객체 간의 접촉 상태를 기초로 상기 햅틱인터랙션장갑에서 햅틱 자극이 인가될 햅틱자극인가영역을 지정하는 지정부를 포함하는 것을 특징으로 하는 가상현실시뮬레이터.
  2. 제 1 항에 있어서,
    상기 센싱정보는,
    상기 햅틱인터랙션장갑의 손바닥 중심 영역에 위치한 기준센서로부터 센싱되는 가속도 센싱 값, 자이로스코프 센싱 값, 및 상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리 센싱 값 중 적어도 하나를 포함하는 것을 특징으로 하는 가상현실시뮬레이터.
  3. 제 2 항에 있어서,
    상기 결정부는,
    상기 가속도 센싱 값으로부터 확인되는 3차원 공간에서 앞뒤, 상하, 좌우 3축으로의 이동 값, 및 상기 자이로스코프 센싱 값으로부터 확인되는 피치(Pitch) 롤(Roll) 요(Yaw)의 3축 회전 값 중 적어도 하나를 기초로 상기 가상 손의 위치, 및 방향을 결정하는 것을 특징으로 하는 가상현실시뮬레이터.
  4. 제 2 항에 있어서,
    상기 결정부는,
    상기 거리 센싱 값으로부터 확인되는 상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리를 기초로 상기 가상 손의 모양을 결정하는 것을 특징으로 하는 가상현실시뮬레이터.
  5. 제 4 항에 있어서,
    상기 결정부는,
    상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리 조합에 대해 전술훈련자가 손가락 부분을 움직여 취할 수 있는 다수의 손 모양 이미지가 매핑된 매핑 테이블을 참조하여 상기 가상 손의 모양을 결정하는 것을 특징으로 하는 가상현실시뮬레이터.
  6. 제 1 항에 있어서,
    상기 햅틱자극인가영역은,
    상기 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양에 따라 결정되는 상기 접촉 상태에 따라 상기 햅틱자극인가영역에서 햅틱 자극이 인가되는 중심 지점과, 상기 중심 지점을 기준으로 산정되는 상기 햅틱자극인가영역의 면적 중 적어도 하나가 다르게 지정되는 것을 특징으로 하는 가상현실시뮬레이터.
  7. 전술훈련자가 착용중인 햅틱인터랙션장갑으로부터 수신되는 센싱정보를 기초로 가상디스플레이장치를 통해서 시현되고 있는 가상전술훈련환경 내에서 상기 햅틱인터랙션장갑과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양을 결정하는 결정단계;
    상기 가상전술환경 내에서의 상기 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양을 기초로 상기 가상 손과 상기 가상전술훈련환경 내 위치한 가상 객체 간에 접촉이 발생하는지 여부를 판별하는 판별단계; 및
    상기 가상 손과 상기 가상 객체 간에 접촉이 발생하는 것으로 판별되는 경우, 상기 가상 손과 상기 가상 객체 간의 접촉 상태를 기초로 상기 햅틱인터랙션장갑에서 햅틱 자극이 인가될 햅틱자극인가영역을 지정하는 지정단계를 포함하는 것을 특징으로 하는 가상현실시뮬레이터의 동작 방법.
  8. 제 7 항에 있어서,
    상기 센싱정보는,
    상기 햅틱인터랙션장갑의 손바닥 중심 영역에 위치한 기준센서로부터 센싱되는 가속도 센싱 값, 자이로스코프 센싱 값, 및 상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리 센싱 값 중 적어도 하나를 포함하는 것을 특징으로 하는 가상현실시뮬레이터의 동작 방법.
  9. 제 8 항에 있어서,
    상기 결정단계는,
    상기 가속도 센싱 값으로부터 확인되는 3차원 공간에서 앞뒤, 상하, 좌우 3축으로의 이동 값, 및 상기 자이로스코프 센싱 값으로부터 확인되는 피치(Pitch) 롤(Roll) 요(Yaw)의 3축 회전 값 중 적어도 하나를 기초로 상기 가상 손의 위치, 및 방향을 결정하는 것을 특징으로 하는 가상현실시뮬레이터의 동작 방법.
  10. 제 8 항에 있어서,
    상기 결정단계는,
    상기 거리 센싱 값으로부터 확인되는 상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리를 기초로 상기 가상 손의 모양을 결정하는 것을 특징으로 하는 가상현실시뮬레이터의 동작 방법.
  11. 제 10 항에 있어서,
    상기 결정단계는,
    상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리 조합에 대해 전술훈련자가 손가락 부분을 움직여 취할 수 있는 다수의 손 모양 이미지가 매핑된 매핑 테이블을 참조하여 상기 가상 손의 모양을 결정하는 것을 특징으로 하는 가상현실시뮬레이터의 동작 방법.
  12. 제 7 항에 있어서,
    상기 햅틱자극인가영역은,
    상기 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양에 따라 결정되는 상기 접촉 상태에 따라 상기 햅틱자극인가영역에서 햅틱 자극이 인가되는 중심 지점과, 상기 중심 지점을 기준으로 산정되는 상기 햅틱자극인가영역의 면적 중 적어도 하나가 다르게 지정되는 것을 특징으로 하는 가상현실시뮬레이터의 동작 방법.
PCT/KR2017/014360 2017-05-31 2017-12-08 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법 WO2018221808A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/617,931 US11249550B2 (en) 2017-05-31 2017-12-08 Haptic interaction-based virtual reality simulator and operation method therefor
MYPI2019006959A MY201863A (en) 2017-05-31 2017-12-08 Haptic interaction-based virtual reality simulator and operation method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170067760A KR101826911B1 (ko) 2017-05-31 2017-05-31 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법
KR10-2017-0067760 2017-05-31

Publications (1)

Publication Number Publication Date
WO2018221808A1 true WO2018221808A1 (ko) 2018-12-06

Family

ID=61203788

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/014360 WO2018221808A1 (ko) 2017-05-31 2017-12-08 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법

Country Status (4)

Country Link
US (1) US11249550B2 (ko)
KR (1) KR101826911B1 (ko)
MY (1) MY201863A (ko)
WO (1) WO2018221808A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697914A (zh) * 2019-03-14 2019-04-30 中国铁建重工集团有限公司 一种盾构机仿真培训系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536289B (zh) * 2018-03-28 2022-11-15 北京凌宇智控科技有限公司 一种虚拟环境的场景切换方法及系统
TR201806590A2 (tr) * 2018-05-09 2018-07-23 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi Patlayici eği̇ti̇m si̇mülatör düzeneği̇
KR102101483B1 (ko) * 2018-06-25 2020-04-16 한국과학기술연구원 가상 객체 조작을 위한 촉각 자극 생성 장치 및 이를 구비한 시스템
KR102233004B1 (ko) 2018-12-28 2021-03-26 중앙대학교 산학협력단 가상현실 노래방 인터랙션 방법 및 장치
CN109897747A (zh) * 2019-03-04 2019-06-18 江苏农林职业技术学院 一种基于虚拟现实的精酿啤酒糖化操作系统及方法
US11467668B2 (en) * 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
KR102202357B1 (ko) * 2020-07-09 2021-01-12 한국해양대학교 산학협력단 햅틱 디바이스의 자극 반응형 가상객체 증강 시스템 및 방법
CN113608619A (zh) * 2021-08-12 2021-11-05 青岛小鸟看看科技有限公司 增强现实中的裸手操作方法、系统
US11995240B2 (en) 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
KR102404728B1 (ko) * 2021-12-15 2022-06-02 박준 영상 및 그림의 인공 맛 구현과 전달 방법
KR102385834B1 (ko) * 2021-12-15 2022-04-12 박준 오감 하드웨어 전달 방법
KR102404705B1 (ko) * 2021-12-15 2022-06-02 박준 장갑을 활용한 인공 미각 전달 방법
KR102404729B1 (ko) * 2021-12-15 2022-06-02 박준 가상현실, 증강현실 및 혼합현실 상황에서의 인공 미각 적용 방법
CN114968055B (zh) * 2022-05-20 2023-07-07 重庆科创职业学院 电子手套同步系统、方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120223907A1 (en) * 2009-11-09 2012-09-06 Gwangju Institute Of Science And Technology Method and apparatus for providing touch information of 3d-object to user
KR20120133347A (ko) * 2011-05-31 2012-12-10 주식회사 네오펙트 원격 협동 재활 훈련 시스템
KR20130101367A (ko) * 2012-03-05 2013-09-13 연세대학교 산학협력단 장갑 기반의 인터페이스 장치, 그리고 이를 이용한 햅틱 시스템 및 방법
KR20140010616A (ko) * 2012-07-16 2014-01-27 한국전자통신연구원 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
KR20160039589A (ko) * 2016-03-22 2016-04-11 주식회사 엣지모 손가락 센싱 방식을 이용한 무선 공간 제어 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
PL2916210T3 (pl) * 2014-03-05 2018-01-31 Markantus Ag Urządzenie noszone na palcu do dostarczania sygnałów wejściowych użytkownika
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
US9665174B2 (en) * 2015-02-20 2017-05-30 Sony Interactive Entertainment Inc. Magnetic tracking of glove fingertips with peripheral devices
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US10055019B2 (en) * 2015-05-20 2018-08-21 Sony Interactive Entertainment Inc. Electromagnet-laden glove for haptic pressure feedback
WO2016205143A1 (en) * 2015-06-14 2016-12-22 Sony Interactive Entertainment Inc. Gloves that include haptic feedback for use with hmd systems
US10551916B2 (en) * 2015-09-24 2020-02-04 Facebook Technologies, Llc Detecting positions of a device based on magnetic fields generated by magnetic field generators at different positions of the device
US10324530B2 (en) * 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
EP3389955A2 (en) * 2015-12-16 2018-10-24 MBL Limited Robotic kitchen including a robot, a storage arrangement and containers therefor
US10642356B1 (en) * 2016-06-26 2020-05-05 Apple Inc. Wearable interactive user interface
US10599217B1 (en) * 2016-09-26 2020-03-24 Facebook Technologies, Llc Kinematic model for hand position
US10241587B2 (en) * 2016-12-22 2019-03-26 Microsoft Technology Licensing, Llc Magnetic tracker power duty cycling
EP3518076B1 (en) * 2018-01-24 2022-09-14 C.R.F. Società Consortile per Azioni System and method for ergonomic analysis, in particular of a worker
US20190391647A1 (en) * 2018-06-25 2019-12-26 Immersion Corporation Real-world haptic interactions for a virtual reality user
US10852827B1 (en) * 2019-03-25 2020-12-01 Facebook Technologies, Llc Tactile simulation of initial contact with virtual objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120223907A1 (en) * 2009-11-09 2012-09-06 Gwangju Institute Of Science And Technology Method and apparatus for providing touch information of 3d-object to user
KR20120133347A (ko) * 2011-05-31 2012-12-10 주식회사 네오펙트 원격 협동 재활 훈련 시스템
KR20130101367A (ko) * 2012-03-05 2013-09-13 연세대학교 산학협력단 장갑 기반의 인터페이스 장치, 그리고 이를 이용한 햅틱 시스템 및 방법
KR20140010616A (ko) * 2012-07-16 2014-01-27 한국전자통신연구원 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
KR20160039589A (ko) * 2016-03-22 2016-04-11 주식회사 엣지모 손가락 센싱 방식을 이용한 무선 공간 제어 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697914A (zh) * 2019-03-14 2019-04-30 中国铁建重工集团有限公司 一种盾构机仿真培训系统

Also Published As

Publication number Publication date
KR101826911B1 (ko) 2018-02-07
US20210141455A1 (en) 2021-05-13
US11249550B2 (en) 2022-02-15
MY201863A (en) 2024-03-20

Similar Documents

Publication Publication Date Title
WO2018221808A1 (ko) 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법
Reddivari et al. Teleoperation control of Baxter robot using body motion tracking
CN106468950A (zh) 电子系统、便携式显示装置及导引装置
US10852832B2 (en) Systems and methods for positional tracking in a virtual reality system
WO2020017890A1 (en) System and method for 3d association of detected objects
WO2023059087A1 (en) Augmented reality interaction method and apparatus
WO2014178693A1 (ko) 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
WO2017065348A1 (ko) 헤드 마운트 디스플레이를 이용한 협업 방법
WO2020130356A1 (en) System and method for multipurpose input device for two-dimensional and three-dimensional environments
WO2016068593A2 (ko) 3차원 형상의 모델링을 위한 블록 및 사용자 단말기와 이를 이용한 3차원 형상의 모델링 방법
WO2021112382A1 (en) Apparatus and method for dynamic multi-camera rectification using depth camera
CN109085766A (zh) 一种多模态无人机人机交互操控半实物仿真系统及方法
WO2021101097A1 (en) Multi-task fusion neural network architecture
CN110187720A (zh) 无人机导引方法、装置、系统、介质及电子设备
WO2022075817A1 (ko) 원격 로봇 코딩 교육 시스템
WO2015163529A1 (en) Head mounted display device displaying thumbnail image and method of controlling therefor
WO2014133258A1 (en) Pen input apparatus and method for operating the same
WO2020209455A1 (en) System and method for natural three-dimensional calibration for robust eye tracking
WO2019124728A1 (ko) 객체를 식별하기 위한 장치 및 방법
WO2015152487A1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
Young et al. The effects of interface views on performing aerial telemanipulation tasks using small UAVs
WO2020184890A1 (ko) 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2016190457A1 (ko) 평면 요소의 속성을 표시하는 방법 및 그 장치
WO2017003040A1 (ko) 그래픽 기반의 웹 벡터 지도 표시 시스템 및 방법
WO2020111308A1 (ko) 차량용 증강현실 디스플레이를 위한 직관적 상호작용 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17911663

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17911663

Country of ref document: EP

Kind code of ref document: A1