WO2023075083A1 - 실시간 행위자 상태 연동을 이용한 가상 현실 기반 hitl 실험 장치 및 방법 - Google Patents

실시간 행위자 상태 연동을 이용한 가상 현실 기반 hitl 실험 장치 및 방법 Download PDF

Info

Publication number
WO2023075083A1
WO2023075083A1 PCT/KR2022/010047 KR2022010047W WO2023075083A1 WO 2023075083 A1 WO2023075083 A1 WO 2023075083A1 KR 2022010047 W KR2022010047 W KR 2022010047W WO 2023075083 A1 WO2023075083 A1 WO 2023075083A1
Authority
WO
WIPO (PCT)
Prior art keywords
environment
virtual
simulation
agent
subject
Prior art date
Application number
PCT/KR2022/010047
Other languages
English (en)
French (fr)
Inventor
김남훈
박수형
알렉스 스티드클린트
박영희
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210143042A external-priority patent/KR102376448B1/ko
Priority claimed from KR1020220035101A external-priority patent/KR102654333B1/ko
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Publication of WO2023075083A1 publication Critical patent/WO2023075083A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Definitions

  • the present invention relates to virtual reality simulation technology. Specifically, a virtual environment that enables efficient behavioral data extraction and quantification by utilizing driving, walking, and interaction environments with objects for the movement of subjects in a virtual environment built around a node-based road network with reference to actual road data. It relates to a reality-based HITL experiment apparatus and method.
  • Korea's radiation accident emergency response plan is composed of a large frame system from the central government to local governments, and guidelines are prepared to enable prompt response by related organizations.
  • the preventive resident introduction time that is, the preliminary evaluation of the evacuation time estimation (ETE) is an essential part.
  • Planning Zone, EPZ should evaluate the resident introduction time.
  • ETE evaluation can be used not only to calculate the evacuation time but also to determine the validity of the resident protection strategy.
  • the technical basis for protection measures is secured.
  • the present invention is to solve the limitations of the social behavior analysis of residents when evaluating the expected introduction time of the prior art. Its purpose is to provide a virtual reality-based HITL experiment apparatus and method that enables efficient behavioral data extraction and quantification by reflecting walking and object interaction environments.
  • the present invention is divided into outdoor environment, indoor environment, road environment, subject environment, and virtual actor to build a virtual background environment for scenario implementation, and sets a scenario in which VR simulation can be executed against the built virtual environment as a background in case of a radiation emergency. Its purpose is to provide a virtual reality-based HITL experiment apparatus and method enabling realistic behavioral observation of an introducer.
  • the present invention provides a virtual reality-based HITL experiment apparatus and method that enables realistic data collection for developing an agent-based model for an emissary in a radiation emergency by setting detailed elements step-by-step for configuring various scenarios according to the assumption of an emergency situation. But it has a purpose.
  • the present invention provides scenarios such as a list of interacted objects, preparation (cumulative required) time in a virtual environment according to objects, required time in a real environment, selected destination, travel time between nodes passed through, and required time in a real environment. Its purpose is to provide a virtual reality-based HITL experiment apparatus and method that enables experiments most similar to real situations by collecting, outputting, and utilizing experiment results for each subject according to the step-by-step progress of .
  • the present invention realistically simulates a virtual evacuation environment to efficiently reduce the resident evacuation time, which is the sum of the evacuation preparation time required for residents to respond to evacuation after an alert is issued and the evacuation movement time required to leave the emergency plan area after evacuation preparation. Its purpose is to provide a virtual reality-based HITL experiment apparatus and method that can be calculated.
  • the present invention specifies the main requirements of the scenario, including the cognitive characteristics of the introducer, with a focus on the correlation between situational awareness and behavioral decisions for radiation accidents, and based on the results, a virtual scenario that can be constructed for VR simulation. Its purpose is to provide a reality-based HITL experiment apparatus and method.
  • An object of the present invention is to perform a simulation for a specific scenario by grafting a human participatory experimental system to an actor-based simulation.
  • An object of the present invention is to interwork in real time with an actor's movement and RTE (Real Time Engine) in an actor-based simulator.
  • RTE Real Time Engine
  • the simulation device is divided into outdoor environment, indoor environment, road environment, subject environment, and virtual actor to build a virtual background environment for scenario implementation, and driving for movement of a subject in the built virtual environment.
  • a simulation implementation processing unit that observes the subject's behavior and extracts data by reflecting the environment of walking and interaction with objects, and supports the subject and experimenter to check and manipulate the VR simulation according to the step-by-step progress of the scenario by the simulation implementation processing unit. It may include a virtual reality-based HITL experiment apparatus comprising a; simulation implementation support unit.
  • the simulation implementation processing unit establishes a virtual background environment for scenario implementation using a scenario data input unit that configures detailed elements step-by-step for configuring various scenarios according to the assumption of an emergency situation, and scenario data input through the scenario data input unit.
  • a scenario data input unit that configures detailed elements step-by-step for configuring various scenarios according to the assumption of an emergency situation, and scenario data input through the scenario data input unit.
  • it may include a VR simulation implementation unit that allows VR simulation to be executed against the background of the built virtual environment, and a behavior data processing unit that collects behavioral data, which are experimental results for each subject, and converts and outputs them in the form of a csv file.
  • the scenario data input unit includes a clue information input unit for inputting visual, social, and official clue information for recognizing the subject's emergency situation, and an interactive object management unit for managing an object list and time required for each object for calculating an introduction preparation time , traffic system management department for establishing vehicle control strategies including police instructions and traffic light operation, traffic system compliance in case of emergency, virtual actor behavior management department for managing destinations, and destinations for managing assembly points and outskirts information in case of emergency It may include a node management unit and a dangerous area management unit that manages map information of the dangerous area provided to the test subject.
  • the VR simulation implementation unit divides the outdoor environment, indoor environment, road environment, subject environment, and virtual actor into a virtual environment construction unit that builds a virtual background environment for scenario implementation, and within the virtual environment built by the virtual environment construction unit.
  • a scenario management unit that manages scenarios in which VR simulation can be executed by reflecting environments for driving, walking, and interaction with objects for the subject's movement.
  • the virtual environment construction unit includes an outdoor environment related to 3D villages and topography based on GIS data of the scenario target area, an indoor environment related to the inside of a house, a road environment related to a node-based road network referring to actual road data, and a virtual environment
  • a virtual background environment can be constructed by dividing a subject environment related to driving, walking, and interaction environments with objects for the movement of my subject, and virtual actors including vehicles and humans moving according to Node-based behavioral algorithms.
  • a data collection unit that collects experimental results for each subject according to the step-by-step progression of the scenario
  • a data conversion unit that converts the collected experimental results into a csv file format, and a first csv information about introduction, interactive object, and introduction preparation time It may include a data output unit that outputs a second csv file related to a file, selected/final destination, introduction travel time, and a third csv file related to a node-based travel route/time.
  • experiment result data for each subject collected by the data collection unit includes a list of interacted objects, cumulative time required for preparation in the virtual environment and time required in the real environment according to the object, selected destination, and movement between nodes passed through. It can include data about time and how long it took in the real environment.
  • the data output unit includes a first output unit outputting data on whether or not to introduce an introduction, a second output unit outputting data on an interactive object, and a third output unit outputting data on an introduction preparation time; It may include a fourth output unit that outputs data on selected/final destinations, a fifth output unit that outputs data on introduction travel time, and a sixth output unit that outputs data on node-based travel routes/times. there is.
  • the simulation implementation support unit includes a VR providing unit having an HMD that visualizes VR to the subject during the experiment and a monitor that checks the VR when data is input before the experiment and visualizes the subject's field of view to the experimenter during the experiment, and the subject drives in VR. and a behavior measurement control unit that supports walking and a VR control unit that supports an experimenter to control VR through a keyboard and a mouse.
  • the behavior measurement control unit may include a controller and a sensor for measuring the HMD, a controller for interaction with an object and confirmation of a location of a subject, and a driving wheel for controlling movement of a vehicle during driving.
  • a simulation implementation method implements a scenario using scenario data input through a scenario data input step of setting detailed elements step-by-step for configuring various scenarios according to the assumption of an emergency situation, and a scenario data input step.
  • the VR simulation implementation step which builds a virtual background environment for the virtual environment and allows VR simulation to be executed against the built virtual environment, collects behavioral data, which is the result of experiments for each subject through simulation implementation, and converts and outputs them in the form of a csv file.
  • Including the data processing step observe the subject's behavior and data by reflecting the driving, walking, and interaction environments with objects for the subject's movement in the virtual environment built based on the node-based road network with reference to actual road data It may include a virtual reality-based HITL experiment method characterized by performing extraction.
  • the scenario data input step includes a clue information input step of inputting visual, social, and official clue information for recognizing an emergency situation of the subject, and an interactive object managing an object list and time required for each object to calculate an introduction preparation time.
  • the VR simulation implementation step is divided into outdoor environment, indoor environment, road environment, subject environment, and virtual actor to build a virtual background environment for scenario implementation, and the virtual environment built in the virtual environment construction step. It may include a scenario management step of managing scenarios in which VR simulation can be executed by reflecting driving, walking, and interaction environments with objects for movement of the subject within the system.
  • the behavioral data processing step includes a data collection step of collecting experimental results for each subject according to the step-by-step progress of the scenario, a data conversion step of converting the collected experimental results into a csv file format, introduction or non-interaction objects, and introduction preparation.
  • a data output step of outputting a first csv file related to time, a second csv file related to selected/final destination, introduction travel time, and a third csv file related to node-based travel route/time may be included.
  • the simulation implementation method according to an embodiment of the present invention may further include the following systems.
  • an actor state interlocking simulation system including a first simulation device having a first simulator including a first agent and a second simulation device having a second simulator including a second agent and communicating with the first simulation device wherein the second simulation device corresponds to the virtual reality-based HITL experiment device of claim 1, and when the simulation is implemented, the first agent transmits state information corresponding to the behavior of the first agent to the second agent;
  • the second agent may include an actor state interlocking simulation system that acts based on state information corresponding to the behavior of the first agent.
  • the first simulator may be an actor-based simulation modeling tool
  • the second simulator may be a real-time engine simulator
  • each of the plurality of agents included in the first agent corresponds to any one of the plurality of agents included in the second agent, and each of the plurality of agents included in the first agent is included in the first agent.
  • state information corresponding to each of the plurality of agents may be transmitted to a corresponding agent among the plurality of agents included in the second agent.
  • the state information may include at least one of a location, direction, speed, shape, and scale corresponding to the behavior of the first agent.
  • the actor state interlocking simulation system includes a state controller that calculates synchronization occurrence errors of the first agent and the second agent and adjusts the speed of the second agent using the synchronization occurrence errors and user parameters. can include more.
  • the synchronization occurrence error may include a value calculated based on the location of the first agent and the location of the second agent.
  • the virtual reality-based HITL experiment apparatus and method according to the present invention have the following effects.
  • the AI technique is used by calculating behavioral data for each node in each scenario by reflecting the driving, walking, and interaction environments with objects for the subject's movement. to facilitate processing for
  • the list of interacted objects, preparation (cumulative required) time in the virtual environment according to the object time required in the real environment, selected destination, travel time between nodes passed through, and time required in the real environment.
  • the resident evacuation time which is the sum of the evacuation preparation time required for residents to respond to evacuation after an alert is issued and the evacuation movement time required to leave the emergency plan area after evacuation preparation, is efficiently calculated.
  • the main requirements of the scenario including the cognitive characteristics of the introducer, are specified, focusing on the correlation between situational awareness and behavioral decisions about radiation accidents, and based on the results, a representative scenario for VR simulation can be built.
  • the present invention can provide a disaster simulation in which the behavioral characteristics of an actor are reflected by performing a simulation for a specific scenario by grafting an actor-based simulation with a human participatory experimental system.
  • the present invention can provide a simulation in which the actor's behavioral characteristics are reflected in a real situation by linking the actor's movement and RTE (Real Time Engine) in real time in the actor-based simulator.
  • RTE Real Time Engine
  • FIG. 1 is a block diagram of a virtual reality-based HITL experiment apparatus according to the present invention
  • FIG. 2 is a detailed configuration diagram of a virtual reality-based HITL experiment apparatus according to the present invention
  • 3A to 3C are configuration diagrams showing an example of road environment construction for a Node-based road network with reference to actual road data.
  • FIG. 4 is a flow chart showing an example of a virtual reality-based HITL experiment method according to the present invention.
  • FIG 5 illustrates a simulation scenario according to an embodiment of the present disclosure.
  • FIG. 6 illustrates an interworking structure of a first agent included in a first simulator and a second agent included in a second simulator according to an embodiment of the present disclosure.
  • FIG. 7 illustrates an example in which a first simulator according to an embodiment of the present disclosure is connected to a plurality of real-time simulators.
  • each component shown in the present disclosure is independently illustrated to indicate different characteristic functions, and does not mean that each component is composed of separate hardware or a single software component. That is, each component is listed and included as each component for convenience of explanation, and at least two components of each component can be combined to form one component, or one component can be divided into a plurality of components to perform a function, and each of these components can be divided into a plurality of components. Integrated embodiments and separated embodiments of components are also included in the scope of the present invention as long as they do not depart from the essence of the present invention.
  • the components may be optional components for improving performance rather than essential components that perform essential functions in the present invention.
  • the present invention can be implemented by including only components essential to implement the essence of the present invention, excluding components used for performance improvement, and a structure including only essential components excluding optional components used for performance improvement. Also included in the scope of the present invention.
  • FIG. 1 is a configuration diagram of a virtual reality-based HITL experiment apparatus according to the present invention.
  • the present invention solves this problem and builds a human-in-the-loop (HITL) experiment system based on virtual reality (VR) to analyze the introduction behavior according to human physical-cognitive ability that made this possible.
  • HTL human-in-the-loop
  • VR virtual reality
  • the virtual reality-based HITL experiment apparatus and method according to the present invention reflects the environment of driving, walking, and interaction with objects for the movement of a subject in a virtual environment built based on a node-based road network with reference to actual road data. It enables efficient behavioral data extraction and quantification.
  • the present invention enhances the effect of immersion through realistic disaster situation simulation and builds a virtual background environment for scenario implementation by dividing it into outdoor environment, indoor environment, road environment, subject environment, and virtual actor for extracting subject's behavior data. And, it may include a configuration for setting a scenario in which VR simulation can be executed against the background of the built virtual environment.
  • the present invention may include a configuration for setting detailed elements step by step for configuring various scenarios according to the assumption of an emergency situation so that the introducer's behavioral change can be observed through the implementation of various situations according to the radiation emergency.
  • the present invention provides a list of interacted objects, preparation (cumulative required) time in the virtual environment according to the object, time required in the real environment, selected destination, and It may include a configuration that collects, outputs, and utilizes experiment results for each subject according to step-by-step progression of scenarios, such as travel time between nodes and time required in a real environment.
  • the present invention may include a configuration in which a subject and an experimenter check and manipulate VR simulation according to the step-by-step progression of a scenario in order to simulate a cognitive and decision-making process according to a faithful disaster.
  • HITL Human In The Loop
  • HITL Human In The Loop
  • the virtual reality-based HITL experiment apparatus is divided into outdoor environment, indoor environment, road environment, subject environment, and virtual actor to build a virtual background environment for scenario implementation, and within the built virtual environment
  • a simulation implementation support unit 200 supporting subjects and experimenters to check and manipulate VR simulations may be included.
  • the simulation implementation processing unit 100 uses the scenario data input unit 10 that sets detailed elements step-by-step for configuring various scenarios according to the assumption of an emergency situation and the scenario data input through the scenario data input unit 10.
  • a VR simulation implementation unit 20 that builds a virtual background environment for implementation and allows VR simulation to be executed against the background of the built virtual environment, collects experiment results (behavior data) for each subject, converts them into csv files It includes a behavioral data processing unit 30 that outputs.
  • the simulation implementation support unit 200 includes a VR providing unit 40 having an HMD that visualizes VR to the subject during the experiment, a monitor that checks the VR when inputting data before the experiment, and visualizes the subject's field of view to the experimenter during the experiment, and in VR. It includes a behavior measurement control unit 50 that supports the subject to run and walk, and a VR control unit 60 that supports the experimenter to control VR through a keyboard and a mouse.
  • the action measurement control unit 50 includes a controller and a sensor for HMD measurement, a controller for interaction with an object and confirmation of a subject's position, and a driving wheel for manipulation of vehicle movement during driving.
  • the detailed configuration of the virtual reality-based HITL experiment apparatus according to the present invention is as follows.
  • FIG. 2 is a detailed configuration diagram of a virtual reality-based HITL experiment apparatus according to the present invention.
  • an interactive object management unit 12 that manages the list of objects and the required time for each object for calculating the introduction preparation time
  • a traffic system management unit 13 for establishing vehicle control strategies such as police instructions and traffic lights
  • an emergency A virtual actor behavior management unit 14 for managing compliance with the city traffic system, destinations, etc. It includes a destination node management unit 15 that manages information such as an assembly point and the outskirts of a village in case of an emergency, and a dangerous area management unit 16 that manages map information of dangerous areas such as radioactivity provided to subjects.
  • the VR simulation implementation unit 20 is divided into outdoor environment, indoor environment, road environment, subject environment, and virtual actor, and a virtual environment construction unit 21 for constructing a virtual background environment for scenario implementation, and a virtual environment construction unit ( 21) includes a scenario management unit 22 that manages scenarios in which VR simulation can be executed by reflecting driving, walking, and interaction environments with objects for the subject's movement within the virtual environment built in 21).
  • the virtual environment building unit 21 constructs an outdoor environment related to 3D villages and topography based on GIS data of the scenario target area, an indoor environment related to the inside of a typical house, and a road environment related to a node-based road network referring to actual road data.
  • Driving for movement of the subject (subject) in the virtual environment, subject environment for walking (indoor) and interaction environment with objects, and virtual actors (vehicles, humans) moving according to node-based behavioral algorithms. to build a virtual background environment.
  • the purpose of the VR simulation through the virtual reality-based HITL experiment apparatus and method according to the present invention is to analyze the subject's individual decision-making process for the introduction behavior, and among them, a series of actions leading to emergency awareness, action selection, preparation, and start to observe the process.
  • the subject becomes aware of the situation through various clues (environmental, social, official) related to the radiation emergency situation in the VR simulation.
  • 3A to 3C are configuration diagrams illustrating an example of road environment construction for a Node-based road network with reference to actual road data.
  • FIG. 3A shows an example of nodes and roads applied to Unity
  • FIG. 3B shows an example of a built road environment
  • FIG. 3C shows an example of a node-based road network.
  • the behavioral data processing unit 30 includes a data collection unit 31 that collects experiment results for each subject according to the step-by-step progress of the scenario, a data conversion unit 32 that converts the collected experiment results into a csv file format, whether introduction, A data output unit 33 that outputs a 1st csv file related to interactive objects, introduction preparation time, selected/final destination, 2nd csv file related to introduction travel time, and 3rd csv file related to node-based travel route/time includes
  • the experiment result data for each subject collected by the data collection unit 31 includes a list of interacted objects, preparation (cumulative required) time in a virtual environment and time required in a real environment according to the object, selected destination, and passed nodes. It may include data about the travel time between them and the time required in the real environment.
  • the data output unit 33 includes a first output unit 33a outputting data on whether or not to introduce, a second output unit 33d outputting data on an interactive object, and data on an introduction preparation time.
  • FIG. 4 is a flow chart showing an example of a virtual reality-based HITL experiment method according to the present invention.
  • the virtual reality-based HITL experiment method is largely divided into a scenario data input step of setting detailed elements for various scenario configurations according to the assumption of an emergency situation, and a scenario data input step using the scenario data input through the scenario data input step.
  • the VR simulation implementation step of building a virtual background environment for implementation and enabling VR simulation to be executed against the built virtual environment, collecting behavior data, which is the experimental result for each subject through simulation implementation, and converting it into a csv file format and and outputting behavior data processing step.
  • the scenario data input step includes a clue information input step of inputting visual, social, and official clue information for the subject's perception of an emergency situation, and an object list for calculating an introduction preparation time and an interactive object for managing the required time for each object.
  • the environmental cues may include smoke generated from a nuclear power plant, an explosion sound, and notification of radioactive hazard area information in a simulation implementation step.
  • social clues may include behavioral changes of residents output through the output unit of the HMD equipment used by the user, UI output corresponding to contacts of acquaintances, and UI output corresponding to SNS in virtual reality.
  • official clues are UI corresponding to the disaster text output through the output of the HMD equipment used by the user, sound and UI output corresponding to TV and radio breaking news, sound output corresponding to siren and street broadcasting, and traffic control situation.
  • UI output, etc. may be applicable.
  • the VR simulation implementation step is divided into outdoor environment, indoor environment, road environment, subject environment, and virtual actor to build a virtual background environment for scenario implementation, and the virtual environment built in the virtual environment construction step.
  • the behavioral data processing step includes a data collection step of collecting experiment results for each subject according to the step-by-step progress of the scenario, a data conversion step of converting the collected experiment results into a csv file format, introduction status, interaction object, and introduction preparation time. It may include a data output step of outputting a first csv file related to selected/final destination, a second csv file related to introduction travel time, and a third csv file related to node-based travel path/time.
  • Table 2 is an example of a csv file of destinations and total times.
  • Table 3 is an example csv wave for interactive indoor object list and time.
  • Table 4 is an example of a csv file for mobile nodes and times.
  • FIG. 4 shows a specific example of a virtual reality-based HITL experiment method according to the present invention, setting a scenario (S301), simulating a virtual environment and a scenario after inputting data according to the progress step.
  • the background of the scenario is a situation in which the mother evacuated to school due to an earthquake in the morning of the day, and a subject living in another area visited the village to check on the mother's safety, and the starting point of the scenario is 8 pm it's poetry
  • steps 0 to 3 tutorials on operation methods, indoor practice (walking and interaction) - outdoor practice (driving) - start experiment upon arrival at school (Phase 0), provision of information on earthquake occurrence, school with mother Moving from house to house (Phase 1), checking the crowd watching the nuclear power plant generating smoke while moving from house to house (Phase 2), and receiving emergency information upon arrival at home (news, disaster text message, siren, contact of acquaintances) ) (Phase 3).
  • Step 4 is a process of determining an action (Phase 4) through interaction with an object.
  • Step 4-1 is a process of moving out of the house and starting the introduction (Phase 4-1) when the introduction is decided, the door is selected immediately, or the door is selected after the bag is prepared.
  • Step 4-2 is a process of terminating VR (Phase 4-2) when the cumulative required time through evacuation and interaction with objects passes the standard (6 hours).
  • Table 5 shows an example of the time required in step 4-2.
  • Step 5 is introduced through vehicle driving after selecting a destination, displaying the route to the selected destination when boarding the vehicle (navigation), checking the radioactive hazard area at the same time (tablet), arriving at the destination or exit node When it arrives, it shows the VR termination (Phase 5) process.
  • the location of the house is set to the location of the 'Gijang police Station' (66, Wollae Coastal Road, Jangan-eup, Gijang-gun, Busan), and the crowd watching the nuclear power plant where smoke is generated is arranged.
  • Maximum time This means the maximum time possible to interact with an object. In the case of 'packing', the maximum time (5 minutes, 10 minutes, 20 minutes) is applied differently depending on the bag capacity (small backpack, large backpack, travel carrier). .
  • the data extraction includes the list of interacted objects, time spent per object (VR) and actual time spent, total preparation time (accumulated time spent in VR) and actual time spent items.
  • the navigation displays the shortest route, and the route is set to pass through the radiation hazard area.
  • nodes about 100 are selected based on actual map data, and data extraction (csv format) includes selected destinations, node-based travel routes, travel time between nodes, and actual time required.
  • the virtual reality-based HITL experiment apparatus and method according to the present invention described above builds a virtual background environment for scenario implementation by dividing it into outdoor environment, indoor environment, road environment, subject environment, and virtual actor, and uses the built virtual environment as a background
  • a scenario in which VR simulation can be executed it is possible to observe the realistic behavior of the introducer in case of a radiation emergency.
  • the present invention makes it possible to collect realistic data for developing an actor-based model for an introducer in case of a radiation emergency by setting detailed elements step-by-step for configuring various scenarios according to the assumption of an emergency situation.
  • Table 6 below shows the configuration of FIG. 5 corresponding to the configuration of the previously described virtual reality-based HITL experiment apparatus (FIG. 2).
  • FIG. 5 Figure 2 First simulator (AnyLogic) (506) - Actors in the first simulator (503, 504) - Communication layer 502 of the first and second simulators - Second simulator RTE (Unity) (507) VR simulation implementation unit (20) Actors in the second simulator (505, 5013) A 'virtual actor' within a virtual environment (21) Head Mounted Display (5012) Provide VR (40), measure/manipulate behavior (50)
  • a first simulation device having a first simulator including a first agent and a second simulation device including a second agent and communicating with the first simulation device are provided.
  • An agent state interlocking simulation system including A head mounted display 5012 for experiencing the simulation system may be provided, and the head mounted display may also be included in the second simulation device.
  • Virtual reality simulation discloses a simulation system using an HMD such as a VR device.
  • the simulation system of the present disclosure may include a plurality of simulators.
  • Each simulator may be mounted on different devices, and one of the devices may be a virtual reality-based HITL test device.
  • it may be a system including a first simulator (external device) including at least one agent (virtual actor) and a second simulator (virtual reality-based HITL device) including at least one agent (virtual actor).
  • a first simulator external device
  • a second simulator virtual reality-based HITL device
  • agents will be able to have immediate action patterns such as running, turning, and stopping based on scenarios and action patterns that can occur in real-life disaster situations.
  • the agent may mean a software entity having autonomy and may mean a virtual actor acting in a simulator. Since the present disclosure assumes a simulation situation such as disaster evacuation, it is preferable that there are a plurality of agents.
  • Each agent of the present disclosure may act based on predetermined state information, and the state information may include at least one of a location, direction, speed, shape, and scale corresponding to the action of the agent.
  • the form of the agent should be interpreted as including various objects that can be simulated, such as people, objects (vehicles, etc.) included in a single entity, and a crowd, which is a set of a plurality of single entities.
  • the agent will be able to reflect the actor's location or behavior in the simulator to the virtual environment (RTE).
  • FIG 5 illustrates a simulation scenario according to an embodiment of the present disclosure.
  • a simulation system may include a first simulator 506, a second simulator 507, and a head mounted display 5012 for observing the simulation.
  • an agent 504 included in the first simulator 506 may correspond to an agent 505 included in the second simulator 507 .
  • another agent 503 included in the first simulator 506 may correspond to another agent 5013 included in the second simulator 507 .
  • each agent has status information, and may have different behavior patterns according to the corresponding status information.
  • the corresponding agent may be a group composed of a plurality of entities. There will be.
  • the agent 504 of the first simulator 506 may transmit status information corresponding to a predetermined action thereof to the agent 505 of the second simulator 507, and Another agent 503 of the first simulator 506 may also transmit predetermined status information to another agent 5013 of the second simulator 507 .
  • the agents 503 and 504 of the first simulator 506 and the agents 505 and 5013 of the second simulator 507 corresponding to the second simulator 507 communicate with each other, and the first simulator 506
  • the agents 503 and 504 of the real-time engine may transmit at least one of location information, direction information, and speed information to the agents 505 and 5013 of the second simulator 507 corresponding to the real-time engine.
  • the agents 503 and 504 of the first simulator may transmit at least one of information on the shape and size of the agents 505 and 5013 of the second simulator 507, respectively.
  • the agents 503 and 504 of the first simulator 506 correspond to the positions of the agents 505 and 5013 of the second simulator 507 after a certain time
  • the agents 505 and 5013 of the second simulator 507 that have received the state information of the agents 503 and 504 can act according to location information (destination), direction information, and speed information based on the received state information. will be.
  • the behavior of the agent may be changed based on the shape and scale information among the state information of the agent of the second simulator 507 .
  • the agent 5013 of the second simulator 507 corresponding to the agent 503 of the first simulator 506 corresponds to the crowd
  • the agent 5013 is included in the crowd. It is also possible for each single entity to move by interacting with each other (moving away from each other, moving certain entities together, etc.).
  • the actor state interlocking simulation system may further include a VR device 5012 capable of observing the simulation.
  • a simulation observer of the VR device 5012 may be placed at an arbitrary position on the second simulator 507 .
  • the VR device 5012 corresponds to an output device equipped with a display, and may correspond to an HMD for observing the actor state interlocking simulation.
  • this is not an embodiment and does not necessarily need to be limited to a VR device, and it can be said that a case corresponding to a device with a general display is also included.
  • FIG. 6 illustrates an interlocking structure of a first agent 5010 included in a first simulator 506 and a second agent 5020 included in a second simulator 507 according to an embodiment of the present disclosure.
  • the first simulator 506 may be an agent-based simulation modeling tool
  • the second simulator 507 may be a real-time engine simulator.
  • the first simulator 506 may be Anylogic, which is software supporting an actor-based model
  • the second simulator 507 may be Unity linked with VR.
  • the agent 5010 of the first simulator 506 transmits connection information (Connection), location information (SendPos), and port information to the agent 5020 of the second simulator 507 ( Port), coordinate information (InitialX), and motion information (Move).
  • connection information may refer to an IP address for connection with the second agent 5020
  • location information may include coordinate information (x, y, z) of a 3D simulation space to be transmitted to the second agent 5020.
  • the second agent 5020 of the second simulator 507 may include a communication unit, a movement unit, and an animation unit.
  • the agent of the first simulator may transmit network information for interworking with the agent of the second simulator to the agent of the second simulator.
  • the position listener (PositionListener) of the second agent 5020 may receive state information of the corresponding agent and deliver the corresponding information to the action unit.
  • the second agent 5020 may interlock status information using the IP information and location information received from the first agent 5010 .
  • the first agent 5010 directly communicates with each of the second agents 5020 . That is, communication is not performed in units of systems between the first simulator and the second simulator. These distributed connections can provide a high level of flexibility to the system.
  • the action unit of the second agent 5020 includes a navigator that controls behavior when the agent is composed of a single entity and controls behavior when the second agent 5020 is composed of a plurality of entities. It can include CrowdController and Mover.
  • the animation unit of the second agent 5020 may include an animator capable of implementing a simulation environment.
  • a synchronization error may occur between the first agent 5010 and the second agent 5020 because the first simulator does not correspond to a real-time operation engine. .
  • the synchronization error may refer to a state difference between an agent of the first simulator 506 and an agent of the second simulator 507 corresponding to a real-time engine.
  • the state difference occurs, an error occurs that the two simulators are not synchronized.
  • the synchronization occurrence error may be calculated based on the location of the first agent and the location of the second agent.
  • the agent state interlocking simulation system calculates a synchronization occurrence error of the first agent and the second agent, and adjusts the speed of the second agent using a user parameter It may further include a state controller.
  • the state controller may use the synchronization error to determine and correct the state of the real-time agent of the second simulator.
  • the state controller can set different user parameters to compensate for synchronization occurrence errors according to the type and size of the agent.
  • the state controller may be mounted on any one of the first simulation device, the second simulation device, and the head-mounted display 5012, and may also be performed in the VR simulation implementation unit 20 of the second simulation device.
  • appropriate user parameters may be assigned according to the information of the type and size of the agent, such as a pedestrian, vehicle, and crowd corresponding to a person.
  • FIG. 5 will be described as an example.
  • the state controller generates synchronization based on the location of the agent 503 of the first simulator 506 and the location of the agent 5014 of the second simulator 507 after moving. error can be calculated.
  • the state controller may adjust user parameters based on the shape and size information of the agent 503 of the first simulator 506 and the agent 5014 of the second simulator 507 after moving.
  • the state controller can adjust the speed of the moving agent 5014 of the moving second simulator 507 using the synchronization occurrence error and the user parameter.
  • the agent 5014 of the second simulator 507 may set the speed information to a higher speed as the distance between the current location and the location (destination) received from the agent 503 increases. Similarly, as the current location and the destination are closer, the set speed information can be adjusted at a slower speed.
  • the user parameter may include a damping coefficient acting as a momentum that affects the speed change rate.
  • it may include a gain coefficient for which a gain value is set based on the distance to the destination.
  • FIG. 7 illustrates an example in which a first simulator according to an embodiment of the present disclosure is connected to a plurality of real-time simulators.
  • the first simulator corresponds to a modeling engine such as Anylogic, and another simulator connected to the first simulator may be a real-time simulation engine.
  • an agent 5031 of the first simulator may transmit its state information to *?* agents 5032 and 5033 of a plurality of real-time simulators, respectively.
  • Each of the agents included in the plurality of real-time simulators will be able to implement a real-time agent state linkage simulation using the received state information.
  • the virtual actor simulation implemented in the virtual reality-based HITL device of FIGS. 5 to 7 can be implemented more smoothly and effectively by the first simulation device.
  • the above-described present invention can be implemented as computer readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. there is

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 실제 도로 데이터를 참고한 노드 기반의 도로망을 중심으로 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 활용하여 광역 소개 시 주민의 인지적 특성이 반영된 행위자 기반 모델 개발을 위한 가상 현실 기반 HITL 실험 장치 및 방법에 관한 것으로, 실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하고, 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 피험자의 행동 관찰 및 데이터 추출을 수행하는 시뮬레이션 구현 처리부;시뮬레이션 구현 처리부에 의한 시나리오의 단계적 진행에 따라 피험자 및 실험자가 VR 시뮬레이션을 확인 및 조작하는 것을 지원하는 시뮬레이션 구현 지원부;를 포함하는 것이다.

Description

실시간 행위자 상태 연동을 이용한 가상 현실 기반 HITL 실험 장치 및 방법
본 발명은 가상 현실 시뮬레이션 기술에 관한 것이다. 구체적으로 실제 도로 데이터를 참고한 노드 기반의 도로망을 중심으로 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 활용하여 효율적인 행동 데이터 추출 및 정량화가 가능하도록 한 가상 현실 기반 HITL 실험 장치 및 방법에 관한 것이다.
대한민국의 방사선 사고 비상대응계획은 중앙 정부에서 지자체로 이어지는 큰 틀의 체계로 구성되어 유관 기관들의 신속한 대응이 가능하도록 지침을 마련하고 있다.
이와 같은 주민보호조치 전략의 실효적인 수립 및 이행을 위해 예방적 차원의 주민소개시간 즉, 소개예상시간(Evacuation Time Estimation, ETE) 사전 평가는 필수적인 부분으로 국내의 원자력 사업자는 방사선비상계획구역(Emergency Planning Zone, EPZ)에 대해 주민소개시간을 평가하여야 한다.
국내 원전에 대한 ETE 평가의 상세한 기준은 없으나 고리원전의 경우, 미국규제지침(NUREG/CR-7002)을 적용하여 각 구역 및 거리별로 상주 주민과 일시 거주 주민에 대한 적절한 보호조치(대피 및 소개 등)에 소요되는 시간을 산정한다.
ETE 평가는 소개시간 산정뿐만 아니라 주민보호조치 전략의 유효성 판단을 위해 활용될 수 있으며, 미국의 경우, 기존 ETE 평가 내용을 활용하여 시나리오별 소개/옥내 대피 등의 전략에 대해 위험도를 평가함으로써 효과적인 주민보호조치에 대한 기술적 근간을 확보하고 있다.
ETE 평가 시, 소개 상황에 관한 주민 사회행동 특성 분석의 경우, 인간 행동의 불확실성으로 인하여 여러가지 방법을 도입하고 있다.
일본에서는 시나리오 설정을 위한 데이터 중 조건을 변화시키고 영향의 정도를 검토하는 항목(소개 준비시간, 배경교통, 자주 소개의 비율 등)에 대해 '상정이 필요한 데이터'로 설정하여 관련 지방공공단체의 ETE 실시담당자가 시나리오마다 협의를 진행 및 검토하도록 제시하고 있다.
국내의 한 연구(이장희(2016))에서는 고리원전의 EPZ에 대한 주민소개시간 분석을 위해 EPZ 주민 및 비거주 주민 1,036명을 대상으로 설문조사를 이용하여 주민의 행동에 대한 성향을 파악하고 소개시간 산정에 필요한 정보를 정립하였다. 국내의 이전 연구에서는 조사 대상을 EPZ로 한정하여 전화 및 면접 조사를 실시하였지만, 해당 연구에서는 조사 대상을 부산광역시 전역의 시민으로 확장하여 폭 넓은 설문결과를 도출하였으며 설문지 내용은 기존 연구보고서를 참고로 교통수단, 의사 결정 시간 등의 요소를 추가하여 구성하였다. 설문조사 결과, EPZ 내외 주민간의 소개준비시간에 약 10~20분 정도의 차이가 있었으며, 자발적 소개대상율은 약 20%에서 최대 40~50% 이상으로 나타나고 있다.
하지만, 스리마일 섬 및 후쿠시마 원자력발전소 사고의 사례를 통해 주민 사회행동 측면에 대한 기존 계획들의 한계가 보고되어 대책 마련의 필요성이 제기되었다. 후쿠시마 사태 시 수차례에 걸친 긴급사태 선언에도 사고에 대한 주민들의 인지도는 매우 낮았으며 원전과의 거리에 따라 사고 발생 사실에 대한 지역별 주민들의 인지도는 약 10%(미나미소마 시, 가와마타 정, 이타테 촌)부터 약 40%(후타바 정, 나라하 정)로 나타나고 있다. 특히 미나미소마 시(후쿠시마 원전에서 14~38 km)에서는 정부 및 도쿄 전력으로부터의 관련 정보 공유가 없는 상황 속에 2011년 3월 15일 옥내 대피 지침이 발표된 이후 해당 구역의 인구가 급격히 감소했으며, 현지의 일부 운송 회사에서는 방사선 피폭이 우려되어 직원이 해당 구역에 들어가는 것을 거부하여 식량 및 의약품과 같은 자원 부족을 악화시킨 사례가 존재한다.
이러한 피해는 정확한 정보의 부재와 주민들 개인의 사회망에 따른 행동 양상을 고려하지 못한 부적절한 대피 명령이 근본적인 원인으로 작용한 것으로, 사람들에게 재난 상황 악화에 대한 두려움과 공포를 불러 일으켜 옥내 대피 구역의 인구들이 대규모로 자발적 소개에 나서면서 무질서한 인구 이동이 초래된 것으로 파악되고 있다.
따라서, 실제 재난 사례와 비교하였을 때 주민소개시간 평가 과정 중 설문조사를 통한 사회행동 특성 분석 및 소개에 따른 평균시간 도출 방식은 그 범위나 깊이에 한계가 존재함을 알 수 있으며, 현 상황을 개선하기 위해서는 무엇보다 재난 상황에서의 소개자 개인의 특성과 상황을 고려한 보호조치 연구의 필요성이 있다.
그럼에도 불구하고 기존 재난 사례를 통해 수집된 자료 중 주민 개개인에 대한 미시적 수준을 다룬 자료는 미미하며, 방사선 비상 상황은 실제로 구현할 수 없는 실험 환경이기에 비교적 최근까지도 ETE 평가를 비롯하여 방사선 사고 비상대응계획 수립에 있어 소개 행동과 관련된 실증적인 자료들이 반영되지 못하고 있다.
현재는 방사선 비상과 유사한 화재, 허리케인과 같은 위험한 상황에서의 인간 행동을 분석한 최근의 연구들이 비약적으로 발전된 가상 현실(Virtual Reality, VR) 기술의 도움을 받아 인간 참여형(Human-in-the-loop, HITL) 실험 시스템을 개발하여 실험 환경의 제약을 극복하고 있는 추세이다.
이와 같이, 시스템 공학적인 관점에서 방사능 재난 소개 시스템을 바라보고, 선진 정보 통신 기술을 이용하여 인간의 물리적-인지적 능력에 따른 소개 거동을 시험하기 위한 기반을 만들고자 하는 노력이 계속되고 있다.
한편, 기존 재난 사례를 통해 수집된 자료 중 주민 개개인에 대한 미시적 수준을 다룬 자료는 미미하며, 방사선 비상 상황은 실제로 구현할 수 없는 실험 환경이기에 실제 환경에서는 인간의 인지적 특성에 따라 이동 경로나 이동 시간이 다른 특성을 반영하기 어렵다는 한계가 존재하였다.
따라서, 광역 비상 소개 시뮬레이션 개발을 위한 정량적인 행동 데이터 수집의 필요성이 대두되고 있고, 광역 비상시 소개자의 개인별 인지적 행동 특성 분석을 위한 인간 참여형 통합 실험 시스템의 개발이 요구되고 있다.
본 발명은 종래 기술의 소개예상시간 평가 시 주민 사회행동 분석 측면의 한계점을 해결하기 위한 것으로, 실제 도로 데이터를 참고한 노드 기반의 도로망을 기반으로 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 효율적인 행동 데이터 추출 및 정량화가 가능하도록 한 가상 현실 기반 HITL 실험 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하고, 구축된 가상환경을 배경으로 VR 시뮬레이션이 실행될 수 있는 시나리오를 설정하여 방사선 비상시 소개자의 사실적인 행동 관찰이 가능하도록 한 가상 현실 기반 HITL 실험 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 비상 상황의 가정에 따른 다양한 시나리오 구성을 위한 단계별 세부 요소 설정으로 방사선 비상시 소개자에 대한 행위자 기반의 모델 개발을 위한 사실적인 데이터 수집이 가능하도록 한 가상 현실 기반 HITL 실험 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 상호작용한 물체의 리스트, 물체에 따른 가상 환경에서의 준비(누적 소요) 시간 및 실제 환경에서의 소요 시간, 선택한 목적지, 거쳐간 Node 사이의 이동 시간 및 실제 환경에서의 소요 시간 등의 시나리오의 단계적 진행에 따른 피험자별 실험 결과를 수집하여 출력 및 활용하는 것에 의해 실제 상황과 가장 유사한 실험이 가능하도록 한 가상 현실 기반 HITL 실험 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 가상의 소개 환경을 사실적으로 모사하여 경보가 발령된 후 주민이 소개에 응하는데 걸리는 소개준비시간과 소개준비 이후 비상계획구역을 벗어나는데 소요되는 소개이동시간의 합인 주민소개시간을 효율적으로 산출할 수 있도록 한 가상 현실 기반 HITL 실험 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 방사선 사고에 대한 상황 인지 및 행동 결정 간의 상관관계를 중심으로 소개자의 인지적 특성을 비롯한 시나리오 주요 요건을 구체화하고, 그 결과를 바탕으로 VR 시뮬레이션을 위한 대표 시나리오를 구축할 수 있도록 한 가상 현실 기반 HITL 실험 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 행위자 기반 시뮬레이션에 인간참여형 실험 시스템을 접목하여 특정 시나리오에 대한 시뮬레이션을 수행하는데 그 목적이 있다.
본 발명은 행위자 기반의 시뮬레이터에서 행위자의 움직임과 RTE(Real Time Engine)에 실시간으로 연동하기 위함에 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시 예에 따른 시뮬레이션 장치는 실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하고, 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 피험자의 행동 관찰 및 데이터 추출을 수행하는 시뮬레이션 구현 처리부, 시뮬레이션 구현 처리부에 의한 시나리오의 단계적 진행에 따라 피험자 및 실험자가 VR 시뮬레이션을 확인 및 조작하는 것을 지원하는 시뮬레이션 구현 지원부;를 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 장치를 포함할 수 있다.
또한, 시뮬레이션 구현 처리부는, 비상상황의 가정에 따른 다양한 시나리오 구성을 위한 단계별 세부요소 설정을 하는 시나리오 데이터 입력부와, 시나리오 데이터 입력부를 통하여 입력된 시나리오 데이터를 이용하여 시나리오 구현을 위한 가상 배경환경을 구축하고, 구축된 가상환경을 배경으로 VR 시뮬레이션이 실행될 수 있도록 하는 VR 시뮬레이션 구현부와, 피험자별 실험결과인 행동데이터를 수집하여 csv 파일 형태로 변환 및 출력하는 행동 데이터 처리부를 포함할 수 있다.
또한, 시나리오 데이터 입력부는, 피험자의 비상 상황 인지를 위한 시각적, 사회적, 공식적 단서 정보를 입력하는 단서 정보 입력부와, 소개 준비 시간 산출을 위한 물체 리스트 및 물체별 소요 시간을 관리하는 상호작용 물체 관리부와, 경찰의 지시, 신호등 동작을 포함하는 차량 통제 전략 수립을 위한 교통 시스템 관리부와, 비상 시 교통 시스템 준수 여부, 향하는 목적지 관리를 위한 가상행위자 행동 관리부와, 비상 시 집결지, 마을 외곽 정보를 관리하는 목적지 노드 관리부와, 피험자에게 제공하는 위험 지역의 지도 정보를 관리하는 위험 지역 관리부를 포함할 수 있다.
또한, VR 시뮬레이션 구현부는, 실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하는 가상 환경 구축부와, 가상 환경 구축부에서 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 VR 시뮬레이션이 실행될 수 있는 시나리오를 관리하는 시나리오 관리부를 포함할 수 있다.
또한, 가상 환경 구축부는, 시나리오 대상 지역의 GIS 데이터 기반 3D 마을 및 지형에 관한 실외환경과, 주택 내부에 관한 실내환경과, 실제 도로 데이터를 참고한 Node 기반의 도로망에 관한 도로환경과, 가상환경 내 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경에 관한 피험자환경과, Node 기반의 행동 알고리즘에 따라 움직이는 차량 및 인간을 포함하는 가상행위자를 구분하여 가상 배경 환경을 구축할 수 있다.
또한, 시나리오의 단계적 진행에 따라 피험자별 실험 결과 수집하는 데이터 수집부와, 수집한 실험 결과를 csv 파일 형태로 변환하는 데이터 변환부와, 소개 여부, 상호작용 물체, 소개 준비 시간에 관한 제 1 csv 파일, 선택/최종 목적지, 소개 이동 시간에 관한 제 2 csv 파일, Node 기반 이동 경로/시간에 관한 제 3 csv 파일을 출력하는 데이터 출력부를 포함할 수 있다.
또한, 데이터 수집부에서 수집하는 피험자별 실험 결과 데이터는, 상호작용한 물체의 리스트, 물체에 따른 가상 환경에서의 준비 누적 소요 시간 및 실제 환경에서의 소요 시간과, 선택한 목적지, 거쳐간 Node 사이의 이동 시간 및 실제 환경에서의 소요 시간에 관한 데이터를 포함할 수 있다.
또한, 데이터 출력부는, 소개 여부에 관한 데이터를 출력하는 제 1 출력부와, 상호작용 물체에 관한 데이터를 출력하는 제 2 출력부와, 소개 준비 시간에 관한 데이터를 출력하는 제 3 출력부와, 선택/최종 목적지에 관한 데이터를 출력하는 제 4 출력부와, 소개 이동 시간에 관한 데이터를 출력하는 제 5 출력부와, Node 기반 이동 경로/시간에 관한 데이터를 출력하는 제 6 출력부를 포함할 수 있다.
또한, 시뮬레이션 구현 지원부는, 실험 시 VR을 피험자에게 시각화하는 HMD 및 실험전 데이터 입력시 VR 확인, 실험시 피험자의 시야를 실험자에게 시각화하는 모니터를 구비하는 VR 제공부와, VR에서의 피험자가 주행 및 보행할 수 있도록 지원하는 행동 측정 조작부와, 키보드 및 마우스를 통해 실험자가 VR 제어를 할 수 있도록 지원하는 VR 제어부를 포함할 수 있다.
또한, 행동 측정 조작부는, 컨트롤러 및 HMD 측정을 위한 센서, 물체와의 상호작용 및 피험자 위치 확인을 위한 컨트롤러, 주행 시 차량 이동에 대한 조작을 위한 드라이빙 휠을 포함할 수 있다.
본 발명의 실시 예에 따른 시뮬레이션 구현 방법은, 비상상황의 가정에 따른 다양한 시나리오 구성을 위한 단계별 세부요소 설정을 하는 시나리오 데이터 입력 단계, 시나리오 데이터 입력 단계를 통하여 입력된 시나리오 데이터를 이용하여 시나리오 구현을 위한 가상 배경환경을 구축하고, 구축된 가상환경을 배경으로 VR 시뮬레이션이 실행될 수 있도록 하는 VR 시뮬레이션 구현 단계, 시뮬레이션 구현을 통한 피험자별 실험결과인 행동데이터를 수집하여 csv 파일 형태로 변환 및 출력하는 행동 데이터 처리 단계를 포함하고, 실제 도로 데이터를 참고한 노드 기반의 도로망을 기반으로 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 피험자의 행동 관찰 및 데이터 추출을 수행하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 방법을 포함할 수 있다.
또한, 시나리오 데이터 입력 단계는, 피험자의 비상 상황 인지를 위한 시각적, 사회적, 공식적 단서 정보를 입력하는 단서 정보 입력 단계와, 소개 준비 시간 산출을 위한 물체 리스트 및 물체별 소요 시간을 관리하는 상호작용 물체 관리 단계와, 경찰의 지시, 신호등 동작을 포함하는 차량 통제 전략 수립을 위한 교통 시스템 관리 단계와, 비상 시 교통 시스템 준수 여부, 향하는 목적지 관리를 위한 가상행위자 행동 관리 단계와, 비상 시 집결지, 마을 외곽 정보를 관리하는 목적지 노드 관리 단계와, 피험자에게 제공하는 위험 지역의 지도 정보를 관리하는 위험 지역 관리 단계를 포함할 수 있다.
또한, VR 시뮬레이션 구현 단계는, 실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하는 가상 환경 구축 단계와, 가상 환경 구축 단계에서 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 VR 시뮬레이션이 실행될 수 있는 시나리오를 관리하는 시나리오 관리 단계를 포함할 수 있다.
또한, 행동 데이터 처리 단계는, 시나리오의 단계적 진행에 따라 피험자별 실험 결과 수집하는 데이터 수집 단계와, 수집한 실험 결과를 csv 파일 형태로 변환하는 데이터 변환 단계와, 소개 여부, 상호작용 물체, 소개 준비 시간에 관한 제 1 csv 파일, 선택/최종 목적지, 소개 이동 시간에 관한 제 2 csv 파일, Node 기반 이동 경로/시간에 관한 제 3 csv 파일을 출력하는 데이터 출력 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 시뮬레이션 구현 방법에 있어서 아래와 같은 시스템을 더 포함할 수 있다.
제1 에이전트를 포함하는 제1 시뮬레이터가 구비된 제1 시뮬레이션 장치 및 제2 에이전트를 포함하는 제2 시뮬레이터가 구비되고 상기 제1 시뮬레이션 장치와 통신하는 제2 시뮬레이션 장치를 포함하는 행위자 상태 연동 시뮬레이션 시스템에 있어서, 상기 제2 시뮬레이션 장치는 청구항 1항의 가상 현실 기반 HITL 실험장치에 해당하고, 시뮬레이션 구현 시, 상기 제1 에이전트가 상기 제1 에이전트의 행동에 대응하는 상태정보를 상기 제2 에이전트에 송신하고, 상기 제2 에이전트는 상기 제1 에이전트의 행동에 대응하는 상태정보에 기초하여 행동하는,행위자 상태 연동 시뮬레이션 시스템을 포함할 수 있다.
또한, 상기 제1 시뮬레이터는 행위자 기반의 시뮬레이션 모델링 도구이고, 상기 제2 시뮬레이터는 실시간 엔진 시뮬레이터일 수 있다.
또한, 상기 제1 에이전트에 포함된 복수의 에이전트 각각은 상기 제2 에이전트에 포함된 복수의 에이전트 중 어느 하나에 대응하고, 상기 제1 에이전트에 포함된 복수의 에이전트 각각은, 상기 제1 에이전트에 포함된 복수의 에이전트 각각에 대응하는 상태정보를 상기 제2 에이전트에 포함된 복수의 에이전트 중 대응하는 에이전트에 송신할 수 있다.
또한, 상기 상태정보는 상기 제1 에이전트의 행동에 대응하는 위치, 방향, 속도, 형태 및 규모 중 적어도 하나를 포함할 수 있다.
또한, 상기 행위자 상태 연동 시뮬레이션 시스템은, 상기 제1 에이전트 및 상기 제2 에이전트의 동기화 발생 오류를 계산하고, 상기 동기화 발생 오류 및 사용자 매개변수를 이용하여 상기 제2 에이전트의 속도를 조정하는 상태 컨트롤러를 더 포함할 수 있다.
또한, 상기 동기화 발생 오류는 상기 제1 에이전트의 위치 및 상기 제2 에이전트의 위치에 기초하여 계산된 값을 포함할 수 있다.
이상에서 설명한 바와 같은 본 발명에 따른 가상 현실 기반 HITL 실험 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 실제 도로 데이터를 참고한 노드 기반의 도로망을 기반으로 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 시나리오별 노드별 행동 데이터 산출로 AI 기법 활용을 위한 처리가 용이하도록 한다.
둘째, 실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하고, 구축된 가상환경을 배경으로 VR 시뮬레이션이 실행될 수 있는 시나리오를 설정하여 피험자에게 사실적인 가상 환경을 제공하여 실제 재난 상황에서의 행동을 모사 가능하도록 한다.
셋째, 비상 상황의 가정에 따른 다양한 시나리오 구성을 위한 방사선 비상 시 소개예상시간(ETE) 평가를 위한 의사결정 소요시간 및 소개준비 소요시간 산출이 가능하도록 한다.
넷째, 상호작용한 물체의 리스트, 물체에 따른 가상 환경에서의 준비(누적 소요) 시간 및 실제 환경에서의 소요 시간, 선택한 목적지, 거쳐간 Node 사이의 이동 시간 및 실제 환경에서의 소요 시간 등의 시나리오의 단계적 진행에 따른 피험자별 실험 결과를 수집하여 노드에 따른 이동 경로 및 시간 등과 같은 피험자의 행동 데이터 정량화가 가능하도록 한다.
다섯째, 가상의 소개 환경을 사실적으로 모사하여 경보가 발령된 후 주민이 소개에 응하는데 걸리는 소개준비시간과 소개준비 이후 비상계획구역을 벗어나는데 소요되는 소개이동시간의 합인 주민소개시간을 효율적으로 산출할 수 있도록 한다.
여섯째, 방사선 사고에 대한 상황 인지 및 행동 결정 간의 상관관계를 중심으로 소개자의 인지적 특성을 비롯한 시나리오 주요 요건을 구체화하고, 그 결과를 바탕으로 VR 시뮬레이션을 위한 대표 시나리오를 구축할 수 있도록 한다.
또한, 본 발명은 행위자 기반 시뮬레이션에 인간참여형 실험 시스템을 접목하여 특정 시나리오에 대한 시뮬레이션을 수행함으로써 행위자의 행동 특성이 반영된 재난 시뮬레이션을 제공할 수 있다.
또한, 본 발명은 행위자 기반의 시뮬레이터에서 행위자의 움직임과 RTE(Real Time Engine)에 실시간으로 연동함으로써 실제 상황에서 행위자 행동 특성이 반영된 시뮬레이션을 제공할 수 있다.
도 1은 본 발명에 따른 가상 현실 기반 HITL 실험 장치의 구성도
도 2는 본 발명에 따른 가상 현실 기반 HITL 실험 장치의 상세 구성도
도 3a 내지 도 3c는 실제 도로 데이터를 참고한 Node 기반의 도로망에 관한 도로환경 구축의 일 예를 나타낸 구성도
도 4는 본 발명에 따른 가상 현실 기반 HITL 실험 방법의 일 예를 나타낸 플로우 차트
도 5은 본 개시의 실시예에 따른 시뮬레이션 시나리오를 나타낸 것이다.
도 6은 본 개시의 실시 예에 따른 제1 시뮬레이터에 포함된 제1 에이전트 및 제2 시뮬레이터에 포함된 제2 에이전트의 연동 구조를 나타낸 것이다.
도 7은 본 개시의 실시 예에 따른 제1 시뮬레이터가 복수개의 실시간 시뮬레이터와 연결된 예시를 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 '모듈' 및 '부'는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 개시에 나타난 각 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
이하, 본 발명에 따른 가상 현실 기반 HITL 실험 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 가상 현실 기반 HITL 실험 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 가상 현실 기반 HITL 실험 장치의 구성도이다.
광역 비상시 주민소개시간 평가 과정 중 기존의 방식(설문조사 등)을 통한 사회행동 특성 도출은 그 범위나 깊이에 한계가 존재한다.
본 발명은 이와 같은 문제를 해결하여 인간의 물리적-인지적 능력에 따른 소개 거동을 분석하기 위한 가상 현실(Virtual Reality, VR) 기반의 인간 참여형(Human-in-the-loop, HITL) 실험 시스템 구축이 가능하도록 한 것이다.
본 발명에 따른 가상 현실 기반 HITL 실험 장치 및 방법은 실제 도로 데이터를 참고한 노드 기반의 도로망을 기반으로 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 효율적인 행동 데이터 추출 및 정량화가 가능하도록 한 것이다.
이를 위하여 본 발명은 사실적인 재난 상황 모사를 통해 몰입의 효과를 높여 피험자의 행동 데이터 추출을 위한 실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하고, 구축된 가상환경을 배경으로 VR 시뮬레이션이 실행될 수 있는 시나리오를 설정하는 구성을 포함할 수 있다.
본 발명은 방사선 비상에 따른 여러 상황 구현을 통해 소개자의 행동 변화를 관찰할 수 있도록 비상 상황의 가정에 따른 다양한 시나리오 구성을 위한 단계별 세부 요소 설정을 하는 구성을 포함할 수 있다.
본 발명은 실제 상황과 가장 유사한 실제 환경에 대한 효율적인 가상 환경 구현을 위해 상호작용한 물체의 리스트, 물체에 따른 가상 환경에서의 준비(누적 소요) 시간 및 실제 환경에서의 소요 시간, 선택한 목적지, 거쳐간 Node 사이의 이동 시간 및 실제 환경에서의 소요 시간 등의 시나리오의 단계적 진행에 따른 피험자별 실험 결과를 수집하여 출력 및 활용하는 구성을 포함할 수 있다.
본 발명은 충실한 재난에 따른 인지 및 의사결정 과정을 모사하기 위해 시나리오의 단계적 진행에 따라 피험자 및 실험자가 VR 시뮬레이션을 확인 및 조작하는 구성을 포함할 수 있다.
본 발명에서 적용하는 HITL(Human In The Loop)은 자동화된 컴퓨팅 작업에서 데이터 전처리, 하이퍼파라미터 조정, 분석 및 평가 등의 인간이 개입되어 최선의 선택이 이루어질 수 있도록 하는 것을 의미하는 것으로 그 개입 범위가 이로 제한되지 않는다.
본 발명에 따른 가상 현실 기반 HITL 실험 장치는 도 1에서와 같이, 실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하고, 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 피험자의 행동 관찰 및 데이터 추출을 수행하는 시뮬레이션 구현 처리부(100)와, 시뮬레이션 구현 처리부(100)에 의한 시나리오의 단계적 진행에 따라 피험자 및 실험자가 VR 시뮬레이션을 확인 및 조작하는 것을 지원하는 시뮬레이션 구현 지원부(200)를 포함할 수 있다.
여기서, 시뮬레이션 구현 처리부(100)는 비상상황의 가정에 따른 다양한 시나리오 구성을 위한 단계별 세부요소 설정을 하는 시나리오 데이터 입력부(10)와, 시나리오 데이터 입력부(10)를 통하여 입력된 시나리오 데이터를 이용하여 시나리오 구현을 위한 가상 배경환경을 구축하고, 구축된 가상환경을 배경으로 VR 시뮬레이션이 실행될 수 있도록 하는 VR 시뮬레이션 구현부(20)와, 피험자별 실험결과(행동데이터)를 수집하여 csv 파일 형태로 변환 및 출력하는 행동 데이터 처리부(30)를 포함한다.
그리고 시뮬레이션 구현 지원부(200)는 실험 시 VR을 피험자에게 시각화하는 HMD 및 실험전 데이터 입력시 VR 확인, 실험시 피험자의 시야를 실험자에게 시각화하는 모니터를 구비하는 VR 제공부(40)와, VR에서의 피험자가 주행 및 보행할 수 있도록 지원하는 행동 측정 조작부(50)와, 키보드 및 마우스를 통해 실험자가 VR 제어를 할 수 있도록 지원하는 VR 제어부(60)를 포함한다.
여기서, 행동 측정 조작부(50)는 컨트롤러 및 HMD 측정을 위한 센서, 물체와의 상호작용 및 피험자 위치 확인을 위한 컨트롤러, 주행 시 차량 이동에 대한 조작을 위한 드라이빙 휠을 포함한다.
본 발명에 따른 가상 현실 기반 HITL 실험 장치의 상세 구성을 설명하면 다음과 같다.
도 2는 본 발명에 따른 가상 현실 기반 HITL 실험 장치의 상세 구성도이다.
본 발명에 따른 가상 현실 기반 HITL 실험 장치는 도 2에서와 같이, 시나리오 데이터 입력부(10)가 피험자의 비상 상황 인지를 위한 시각(환경)적, 사회적, 공식적 단서 정보를 입력하는 단서 정보 입력부(11)와, 소개 준비 시간 산출을 위한 물체 리스트 및 물체별 소요 시간을 관리하는 상호작용 물체 관리부(12)와, 경찰의 지시, 신호등 등의 차량 통제 전략 수립을 위한 교통 시스템 관리부(13)와, 비상 시 교통 시스템 준수 여부, 향하는 목적지 등의 관리를 위한 가상행위자 행동 관리부(14)와. 비상 시 집결지, 마을 외곽 등의 정보를 관리하는 목적지 노드 관리부(15)와, 피험자에게 제공하는 방사능 등의 위험 지역의 지도 정보를 관리하는 위험 지역 관리부(16)를 포함한다.
그리고 VR 시뮬레이션 구현부(20)는 실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하는 가상 환경 구축부(21)와, 가상 환경 구축부(21)에서 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 VR 시뮬레이션이 실행될 수 있는 시나리오를 관리하는 시나리오 관리부(22)를 포함한다.
여기서, 가상 환경 구축부(21)는 시나리오 대상 지역의 GIS 데이터 기반 3D 마을 및 지형에 관한 실외환경, 일반적인 형태의 주택 내부에 관한 실내환경, 실제 도로 데이터를 참고한 Node 기반의 도로망에 관한 도로환경, 가상환경 내 피험자(피험자)의 이동을 위한 주행(실외), 보행(실내) 및 물체와의 상호작용 환경에 관한 피험자환경, Node 기반의 행동 알고리즘에 따라 움직이는 가상행위자(차량, 인간)를 구분하여 가상 배경 환경을 구축한다.
본 발명에 따른 가상 현실 기반 HITL 실험 장치 및 방법을 통한 VR 시뮬레이션의 목적은 소개 행동에 대한 피험자 개인의 의사 결정 과정을 분석하고자 하는 것이며 그 중에서도 비상 상황 인지, 행동 선택, 준비, 시작으로 이어지는 일련의 과정을 관찰하기 위한 것이다.
특히, VR 시뮬레이션상의 방사선 비상 상황과 관련된 여러 단서(환경적, 사회적, 공식적)를 통해 피험자는 상황을 인지하게 된다.
그리고 피험자의 의사 결정 과정과 소개 행동을 알아보기 위해 행동 형태(옥내 대피 혹은 즉시 소개), 소개준비시간, 목적지, 소개이동시간 등을 기록한다.
그리고 VR 시뮬레이션을 구축하기 위한 시나리오는 피험자 개인에 대해 설정해야 하는 반면 ETE 평가를 위한 시나리오는 대규모 주민 이동에 대한 복합적인 과정을 설명하기 때문에 VR 시뮬레이션에 대한 시나리오를 새롭게 구성한다.
도 3a 내지 도 3c는 실제 도로 데이터를 참고한 Node 기반의 도로망에 관한 도로환경 구축의 일 예를 나타낸 구성도이다.
도 3a는 Unity에 적용된 노드 및 도로의 일 예를 나타낸 것이고, 도 3b는 구축된 도로 환경의 일 예를 나타낸 것이고, 도 3c는 노드 기반의 도로망의 일 예를 나타낸 것이다.
그리고 행동 데이터 처리부(30)는 시나리오의 단계적 진행에 따라 피험자별 실험 결과 수집하는 데이터 수집부(31)와, 수집한 실험 결과를 csv 파일 형태로 변환하는 데이터 변환부(32)와, 소개 여부, 상호작용 물체, 소개 준비 시간에 관한 제 1 csv 파일, 선택/최종 목적지, 소개 이동 시간에 관한 제 2 csv 파일, Node 기반 이동 경로/시간에 관한 제 3 csv 파일을 출력하는 데이터 출력부(33)를 포함한다.
여기서, 데이터 수집부(31)에서 수집하는 피험자별 실험 결과 데이터는 상호작용한 물체의 리스트, 물체에 따른 가상 환경에서의 준비(누적 소요) 시간 및 실제 환경에서의 소요 시간, 선택한 목적지, 거쳐간 Node 사이의 이동 시간 및 실제 환경에서의 소요 시간에 관한 데이터를 포함할 수 있다.
그리고 데이터 출력부(33)는 소개 여부에 관한 데이터를 출력하는 제 1 출력부(33a)와, 상호작용 물체에 관한 데이터를 출력하는 제 2 출력부(33d)와, 소개 준비 시간에 관한 데이터를 출력하는 제 3 출력부(33b)와, 선택/최종 목적지에 관한 데이터를 출력하는 제 4 출력부(33e)와, 소개 이동 시간에 관한 데이터를 출력하는 제 5 출력부(33c)와, Node 기반 이동 경로/시간에 관한 데이터를 출력하는 제 6 출력부(33f)를 포함한다.
본 발명에 따른 가상 현실 기반 HITL 실험 방법을 구체적으로 설명하면 다음과 같다.
도 4는 본 발명에 따른 가상 현실 기반 HITL 실험 방법의 일 예를 나타낸 플로우 차트이다.
본 발명에 따른 가상 현실 기반 HITL 실험 방법은 크게, 비상상황의 가정에 따른 다양한 시나리오 구성을 위한 단계별 세부요소 설정을 하는 시나리오 데이터 입력 단계와, 시나리오 데이터 입력 단계를 통하여 입력된 시나리오 데이터를 이용하여 시나리오 구현을 위한 가상 배경환경을 구축하고, 구축된 가상환경을 배경으로 VR 시뮬레이션이 실행될 수 있도록 하는 VR 시뮬레이션 구현 단계와, 시뮬레이션 구현을 통한 피험자별 실험결과인 행동데이터를 수집하여 csv 파일 형태로 변환 및 출력하는 행동 데이터 처리 단계를 포함한다.
여기서, 시나리오 데이터 입력 단계는, 피험자의 비상 상황 인지를 위한 시각적, 사회적, 공식적 단서 정보를 입력하는 단서 정보 입력 단계와, 소개 준비 시간 산출을 위한 물체 리스트 및 물체별 소요 시간을 관리하는 상호작용 물체 관리 단계와, 경찰의 지시, 신호등 동작을 포함하는 차량 통제 전략 수립을 위한 교통 시스템 관리 단계와, 비상 시 교통 시스템 준수 여부, 향하는 목적지 관리를 위한 가상행위자 행동 관리 단계와, 비상 시 집결지, 마을 외곽 정보를 관리하는 목적지 노드 관리 단계와, 피험자에게 제공하는 위험 지역의 지도 정보를 관리하는 위험 지역 관리 단계를 포함할 수 있다.
일 예로, 방사선 비상 상황에 대한 환경적, 사회적, 공식적 단서는 표 1에서와 같이 정리될 수 있고, 이로 제한되지 않는다.
환경적 단서 사회적 단서 공식적 단서
- 원전에서의 연기
- 폭발 소리
- 방사능 위험 지역 정보		 - 주민들의 행동 변화(자발적 소개 등)
- 지인들의 연락
- SNS 전파		 - 재난 문자
- TV, 라디오 속보
- 사이렌, 가두 방송
- 교통 통제
예를 들어, 상기 환경적 단서는 시뮬레이션 구현 단계에서 원전에서 발생하는 연기, 폭발 소리, 방사능 위험 지역 정보 알림 등을 포함할 수 있다.
또한 사회적 단서는 사용자가 사용하는 HMD 장비의 출력부를 통하여 출력되는 주민들의 행동변화, 지인들의 연락에 상응하는 UI 출력, 가상현실에서 SNS에 상응하는 UI 출력등이 포함될 수 있다.
또한 공식적 단서는 사용자가 사용하는 HMD 장비의 출력부를 통하여 출력되는 재난문자에 상응하는 UI, TV 및 라디오 속보에 상응하는 음향 및 UI 출력, 사이렌 및 가두 방송에 상응하는 음향출력 및 교통 통제 상황에 상응하는 UI 출력 등이 해당될 수 있다.
그리고 VR 시뮬레이션 구현 단계는, 실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하는 가상 환경 구축 단계와, 가상 환경 구축 단계에서 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 VR 시뮬레이션이 실행될 수 있는 시나리오를 관리하는 시나리오 관리 단계를 포함할 수 있다.
그리고 행동 데이터 처리 단계는, 시나리오의 단계적 진행에 따라 피험자별 실험 결과 수집하는 데이터 수집 단계와, 수집한 실험 결과를 csv 파일 형태로 변환하는 데이터 변환 단계와, 소개 여부, 상호작용 물체, 소개 준비 시간에 관한 제 1 csv 파일, 선택/최종 목적지, 소개 이동 시간에 관한 제 2 csv 파일, Node 기반 이동 경로/시간에 관한 제 3 csv 파일을 출력하는 데이터 출력 단계를 포함할 수 있다.
표 2는 목적지 및 전체 시간에 관한 csv 파일의 예시이다.
ID Select_node Exit_node time(s)
2021-08-30_13-39-36 1 0 161
2021-08-30-13-43-29 0 4 89
2021-08-30-17-59-16 1 6 235
2021-08-31-16-20-01 4 1 674
2021-09-02_16-12-27 1 6 182
2021-09-15_19-58-28 4 4 327
2021-09-28_17-26-51 3 3 87
표 3은 상호 작용 실내 물체 리스트 및 시간에 관한 csv 파의 예시이다.
ID 침대_VR 냉장고_VR 옷장_VR 서랍_VR 침대_실제 냉장고_실제 옷장_실제
2021-08-30_13-39-36 0 2 3 0 0 60 90
2021-08-30-13-43-29 0 0 3 0 0 0 90
2021-08-30-17-59-16 0 0 2 0 0 0 60
2021-08-31-16-20-01 0 0 0 0 0 0 0
2021-09-28_17-26-51 0 0 0 0 0 0 0
표 4는 이동 노드 및 시간에 관한 csv 파일의 예시이다.
FROM TO tims(s)
70 70 8.930555
70 67 10.82142
69 68 17.21043
68 72 7.386093
72 73 9.107166
도 4는 본 발명에 따른 가상 현실 기반 HITL 실험 방법의 구체적인 일 예를 나타낸 것으로, 시나리오 설정을 하여(S301), 진행 단계에 따른 데이터 입력 후 가상 환경 및 시나리오를 시뮬레이션한다.
일 예에서는 시나리오 배경이, 당일 오전에 지진이 발생하여 어머니가 학교로 대피한 상황이고, 타 지역에 거주하는 피험자가 어머니의 안부를 확인하기 위해 마을에 방문했음을 가정하고, 시나리오 시작 시점은 오후 8시경이다.
단계 0~3(S302)에서는 조작법에 대한 튜토리얼, 실내 연습(보행 및 상호작용)-실외 연습(주행)-학교 도착 시 실험 시작(Phase 0) 및, 지진 발생에 대한 정보 제공, 어머니와 함께 학교에서 가택으로 이동(Phase 1) 및, 가택 이동 중 연기가 발생하는 원전을 바라보는 군중들을 확인(Phase 2) 및, 가택 도착 시 비상 상황에 대한 정보 수신(뉴스, 재난문자, 사이렌, 지인들의 연락)(Phase 3)을 하는 과정이다.
단계 4(S303)에서는 물체와의 상호작용을 통해 행동 결정(Phase 4)을 하는 과정이다.
단계 4-1(S304)는 소개 결정, 즉시 문을 선택하거나 가방 준비 후 문을 선택 시 가택 외부로 이동하여 소개 시작(Phase 4-1)을 하는 과정이다.
단계 4-2(S305)는 옥내 대피, 물체와의 상호작용을 통한 누적 소요시간이 기준(6시간)을 지나면 VR 종료(Phase 4-2)하는 과정이다.
표 5는 단계 4-2에서의 소요 시간의 일 예를 나타낸 것이다.
시간 비율 물체 명 설명 최대 시간
1초당 30분 소파 휴식 6시간
침대 취침 6시간
1초당 30초 냉장고 소개에 필요한 비상식량챙기기 5분/10분/20분
옷장 소개에 필요한 옷 챙기기 5분/10분/20분
서랍 소개에 필요한 물건 챙기기 5분/10분/20분
즉시 문 외부로 이동 즉시
단계 5(S306)는 목적지 선택 후 차량 주행을 통해 소개, 차량 탑승 시 선택한 목적지로의 경로 표출(내비게이션), 동시에 방사능 위험 지역을 확인 가능(태블릿), 목적지에 도착하거나 탈출 지점(exit node)에 도착할 경우 VR 종료(Phase 5) 과정을 나타낸 것이다.
본 발명에 따른 가상 현실 기반 HITL 실험 방법에서 각 단계별로 세부 시나리오의 일 예를 구체적으로 설명하면 다음과 같다.
(Phase 0)
-가택에서 보행 및 상호작용 연습, 조작법에 대한 상세한 안내문 필요
-가택 출발, 페이드 아웃-카메라가 켜지며 안내문 '의자에 앉은 후, 휠의 버튼을 눌러주세요'-버튼 누를 경우, 페이드 인
-차량 탑승 시 정해진 내비게이션의 코스를 따라 주행 연습
-목적지(학교)에 도착하면 실험 시작
(Phase 1)
-페이드 아웃-음성으로 전달되는 뉴스 속보(지진이 발생하였으며 주민들이 학교로 대피했다는 내용)-페이드 인
-뒷좌석에는 어머니 탑승한 상태로 학교에서 출발하는 상황
-안내문 '학교로 대피한 어머니와 함께 집으로 이동하세요', 휠 버튼을 누르면 내비게이션에 가택으로의 경로 표시
(Phase 1 & 2)
본 발명이 일 예에서는 가택의 위치를 '기장파출소'의 위치(부산 기장군 장안읍 월내해안길 66)로 설정하고, 연기가 발생하는 원전을 바라보는 군중들을 배치한 것이다.
이하, 본 발명에 따른 가상 현실 기반 HITL 실험 과정 예시를 설명한다.
(Phase 3)
-가택 도착 시 비상 상황에 대한 정보 수신(뉴스: 음성+화면, 재난 문자 등)
-스마트폰을 통해 재난 문자 수신 시 컨트롤러 진동, 이후 지인들의 카톡('지금 마을을 떠난다' 등의 내용) 수신
-창 밖으로 원전+연기를 확인할 수 있으며 외부로부터 사이렌 소리 들려 옴
-스마트폰 확인 후 안내문 '집에 있는 물체와 상호작용이 가능합니다'
안내문 '각 물체와의 상호작용 시 소요 시간을 확인할 수 있습니다. 실제 상황에서 의사결정과 준비에 얼마나 시간이 소요될지 생각해주세요'
안내문 '소요 시간은 누적되며 6시간이 지나면 집에 계속 머무르는 것으로 판단됩니다'
안내문 '물체를 향해 트리거를 꾹 당기면 상호작용을 시작합니다'
안내문 '중간에 상호작용을 멈추시려면 버튼을 누르세요'
(Phase 4)
상호작용 결과에 따라 단계 진행
(Phase 4-1) 소개 결정 : 문을 선택하여 가택 외부로 이동하여 소개 시작(Phase 5)
(Phase 4-2) 옥내 대피 : 소요 시간이 누적되어 6시간이 지나면 VR 종료
시간 비율 : 실제 소요 시간에 따른 VR에서의 소요 시간,
최대 시간 : 물체와 상호작용이 가능한 최대 시간을 의미하여 '챙기기'의 경우, 가방 용량(작은 배낭, 큰 배낭, 여행용 캐리어)에 따라 최대 시간(5분, 10분, 20분)을 다르게 적용한다.
데이터 추출(csv 형식)은, 상호작용한 물체 리스트, 물체에 따른 소요 시간(VR) 및 실제 소요 시간, 총 준비 시간(VR에서의 누적 소요 시간) 및 실제 소요 시간 항목을 포함한다.
이하 본 발명의 세부 시나리오 목적지 선택에 따른 안내 화면 및 이동 과정의 화면의 일 예를 설명한다.
(Phase 5)
-차량 탑승 전 목적지에 대한 안내문(참고 4)을 통해 목적지 선택
-페이드 아웃-카메라가 켜지며 안내문 '의자에 앉은 후, 휠의 버튼을 눌러주세요'-버튼 누를 경우, 페이드 인
-차량 탑승 시 선택한 목적지로의 경로 표출(내비게이션), 동시에 방사능 위험 지역을 확인 가능(태블릿)
-목적지 선택에 따라 내비게이션에는 최단 경로를 표시하며 해당 경로는 방사능 위험지역을 통과하도록 설정
-목적지에 도착하거나 탈출 지점(exit node)에 도착할 경우 VR 종료
여기서, Node의 경우, 실제 지도 데이터를 기반으로 약 100개 선정하고, 데이터 추출(csv 형식)은 선택한 목적지, Node 기반 이동 경로, Node 간 이동 시간 및 실제 소요 시간 항목을 포함한다.
이상에서 설명한 본 발명에 따른 가상 현실 기반 HITL 실험 장치 및 방법은 실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하고, 구축된 가상환경을 배경으로 VR 시뮬레이션이 실행될 수 있는 시나리오를 설정하여 방사선 비상시 소개자의 사실적인 행동 관찰이 가능하도록 한 것이다.
또한, 본 발명은 비상 상황의 가정에 따른 다양한 시나리오 구성을 위한 단계별 세부 요소 설정으로 방사선 비상시 소개자에 대한 행위자 기반의 모델 개발을 위한 사실적인 데이터 수집이 가능하도록 한 것이다.
한편, 시뮬레이션 상황에서 소개자의 사실행적 행동을 효과적으로 유도하기 위해서 시뮬레이션에서 구현되는 가상행위자의 가상 배경 환경을 구축하는 것이 중요하며, 이를 위한 행위자(소개자 또는 사용자) 기반의 시뮬레이터에서 행위자의 움직임과 RTE(Real Time Engine)에 실시간으로 연동함으로써 실제 상황에서 행위자 행동 특성이 반영된 시뮬레이션을 제공 기술이 필요하다.
종래에는 단일 가상 시뮬레이션 장치가 사용되어, 시뮬레이션 환경 구현 시, 단일 시뮬레이터에서 구현할 수 있는 행위자의 물리적 상태 모사에 한계가 분명히 존재하여 실제 환경과 유사한 시뮬레이션 환경을 구현하는데 어려움이 존재하였다.
이하 도 5 내지 7에서 별도의 추가 장비(제1 시뮬레이션 장치)를 이용하여 행위자 기반 시뮬레이션에 인간참여형 실험 시스템을 접목하여 특정 시나리오에 대한 시뮬레이션을 수행하기 위한 행위자의 움직임과 RTE(Real Time Engine)에 실시간으로 연동방법에 대하여 설명한다.
아래의 표 6은 앞서 설명한 가상 현실 기반 HITL 실험 장치의 구성(도 2)과 대응하는 도 5의 구성을 나타낸 것이다.
도 5 도 2
제1 시뮬레이터(AnyLogic) (506) -
제1 시뮬레이터 내의 행위자 (503, 504) -
제1 시뮬레이터와 제2 시뮬레이터의 통신 레이어(502) -
제2 시뮬레이터 RTE(Unity) (507) VR 시뮬레이션 구현부 (20)
제2 시뮬레이터 내의 행위자 (505, 5013) 가상환경 (21) 내의 '가상행위자'
헤드 마운티드 디스플레이 (5012) VR 제공 (40), 행동 측정/조작 (50)
본 발명의 실시 예에 따르면, 제1 에이전트를 포함하는 제1 시뮬레이터가 구비된 제1 시뮬레이션 장치 및 제2 에이전트를 포함하는 제2 시뮬레이터가 구비되고 상기 제1 시뮬레이션 장치와 통신하는 제2 시뮬레이션 장치를 포함하는 행위자 상태 연동 시뮬레이션 시스템이 개시된다. 상기 시뮬레이션 시스템을 체험하기 위한 헤드 마운티드 디스플레이(5012)가 구비될 수 있으며, 헤드 마운티드 디스플레이는 제2 시뮬레이션 장치에 포함되는 것 또한 가능하다.
본 개시의 실시 예에 따른 가상현실 시뮬레이션은 VR 장치 등과 같은 HMD를 이용한 시뮬레이션 시스템을 개시한다.
표 6 및 도 5를 참고하면, 본 개시의 시뮬레이션 시스템은 복수개의 시뮬레이터를 포함할 수 있다. 각각의 시뮬레이터는 서로 다른 장치에 탑재될 수 있으며 그 중 하나의 장비는 가상 현실 기반 HITL 실험 장치 일 수 있다.
예를 들어, 적어도 하나 이상의 에이전트(가상행위자)를 포함하는 제1 시뮬레이터(외부장치) 및 적어도 하나 이상의 에이전트(가상행위자)를 포함하는 제2 시뮬레이터(가상 현실 기반 HITL 장치)를 포함하는 시스템일 수 있다.
예를 들어, 에이전트들은 실제 재난 상황에서 발생할 수 있는 시나리오 및 행동 양식을 기초로 달리기, 방향전환 및 멈춤 등의 즉각적인 행동 양식을 가질 수 있을 것이다.
이때, 에이전트는 자율성을 가진 소프트웨어 엔터티를 의미할 수 있으며, 시뮬레이터에서 행동하는 가상 행위자를 의미할 수 있다. 본 개시는 재난 대피 등의 시뮬레이션 상황을 가정하므로, 에이전트는 복수로 존재하는 것이 바람직할 것이다.
본 개시의 에이전트 각각은 미리 정해진 상태정보에 기초하여 행동할 수 있으며, 상기 상태정보는 에이전트의 행동에 대응하는 위치, 방향, 속도, 형태 및 규모 중 적어도 하나를 포함할 수 있다.
이때, 에이전트의 형태는 단일 엔터티에 포함되는 사람, 객체(차량 등) 및 복수의 단일 엔터티의 집합인 군중(Crowd) 등 시뮬레이션 가능한 다양한 오브젝트를 포함하는 것으로 해석되어야 할 것이다. 또한 상기 에이전트는 시뮬레이터에서의 행위자 위치나 행동을 가상 환경(RTE)에 반영할 수 있을 것이다.
이하 도 5를 참고하여 본 개시의 실시 예에 따른 시뮬레이션 시스템 및 시뮬레이션 방법을 설명한다.
도 5는 본 개시의 실시예에 따른 시뮬레이션 시나리오를 나타낸 것이다.
본 개시의 실시 예에 따른 시뮬레이션 시스템은 제1 시뮬레이터(506), 제2 시뮬레이터(507) 및 시뮬레이션을 관찰하기 위한 헤드 마운티드 디스플레이(5012)를 포함할 수 있다.
도 5를 참고하면, 제1 시뮬레이터(506)에 포함된 에이전트(504)는 제2 시뮬레이터(507)에 포함된 에이전트(505)에 대응될 수 있다. 또한 제1 시뮬레이터(506)에 포함된 다른 에이전트(503)는 제2 시뮬레이터(507)에 포함된 또 다른 에이전트(5013)에 대응될 수 있다.
이때, 각각의 에이전트는 상태정보를 가지고 있으며, 해당 상태정보에 따라 다른 행동양식을 가질수 있다.
예를 들어, 제2 시뮬레이터(507)의 또 다른 에이전트(5013)와 같이 에이전트의 상태정보 중 형태 또는 규모에 대한 상태값이 군중(crowd)인 경우, 해당 에이전트는 복수의 엔터티로 구성된 그룹일 수 있을 것이다.
본 개시의 실시 예에 따르면, 제1 시뮬레이터(506)의 에이전트(504)는 미리 정해진 자신의 행동에 대응하는 상태정보를 상기 제2 시뮬레이터(507)의 에이전트(505)에 송신할 수 있으며, 제1 시뮬레이터(506)의 다른 에이전트(503) 또한 미리 정해진 상태정보를 제2 시뮬레이터(507)의 또 다른 에이전트(5013)에 송신할 수 있다.
예를 들어, 제1 시뮬레이터(506)의 에이전트(503,504)와 제2 시뮬레이터(507)에 해당하는 제2 시뮬레이터(507)의 에이전트(505,5013)가 각각 통신을 하며, 제1 시뮬레이터(506)의 에이전트(503,504)는 실시간 엔진에 해당하는 제2 시뮬레이터(507)의 에이전트(505,5013) 각각에 위치정보, 방향정보, 속도정보 중 적어도 하나의 정보를 전달할 수 있다.
또는 제1 시뮬레이터의 에이전트(503,504)는 제2 시뮬레이터(507)의 에이전트(505,5013) 각각의 형태 및 규모정보 중 적어도 하나의 정보를 송신할 수 있다.
도 1에 나타난 바와, 같이 제1 시뮬레이터(506)의 에이전트(503,504)는 제2 시뮬레이터(507)의 에이전트(505, 5013)의 일정 시간 이후의 위치에 대응되는 것을 알 수 있으므로, 제1 시뮬레이터의 에이전트(503, 504)의 상태정보를 수신한 제2 시뮬레이터(507)의 에이전트(505, 5013)는 수신한 상태정보에 기초하여 위치정보(목적지), 방향정보 및 속도정보에 따라 행동할 수 있을 것이다.
또한, 제2 시뮬레이터(507)의 에이전트의 상태정보 중 형태 및 규모정보에 기초하여 에이전트의 행동이 달라질 수 있다.
예를 들어, 제1 시뮬레이터(506)의 에이전트(503)와 대응되는 제2 시뮬레이터(507)의 에이전트(5013)의 상태가 군중(Crowd)에 해당하는 경우, 에이전트(5013)의 군중에 포함된 단일 엔터티 각각은 서로 상호작용(서로 멀어지거나, 특정 엔터티끼리 뭉쳐 이동하는 등)하여 움직이는 것도 가능하다.
본 개시의 실시 예에 따르면, 행위자 상태 연동 시뮬레이션 시스템은, 시뮬레이션을 관찰할 수 있는 VR 장치(5012)를 더 포함할 수 있다.
VR 장치(5012)의 시뮬레이션 관찰자는 제2 시뮬레이터(507) 상 임의의 위치에 배치될 수 있다.
VR 장치(5012)는 디스플레이가 구비된 출력장치에 해당하며, 상기 행위자 상태 연동 시뮬레이션을 관찰하기 위한 HMD에 해당할 수 있다.
다만, 이는 실시예에 불가하며 반드시 VR 장치에 한정될 필요는 없으며 일반 디스플레이가 구비된 장치에 해당하는 경우도 포함된다고 할 수 있을 것이다.
이하 도 6에서 시뮬레이션 시스템에 사용되는 시뮬레이터 연동 구조를 구체적으로 설명한다.
도 6는 본 개시의 실시 예에 따른 제1 시뮬레이터(506)에 포함된 제1 에이전트(5010) 및 제2 시뮬레이터(507)에 포함된 제2 에이전트(5020)의 연동 구조를 나타낸 것이다.
도 6을 참고하면, 제1 시뮬레이터(506)는 행위자 기반의 시뮬레이션 모델링 도구이고, 상기 제2 시뮬레이터(507)는 실시간 엔진 시뮬레이터일 수 있다.
예를 들어, 제1 시뮬레이터(506)는 행위자 기반 모형을 지원하는 소프트웨어인 애니로직(Anylogic)이며, 제2 시뮬레이터(507)는 VR을 연동한 유니티(Unity)일 수 있다.
본 개시의 실시 예에 따르면, 제1 시뮬레이터(506)의 에이전트(5010)는 제2 시뮬레이터(507)의 에이전트(5020)에 전달하기 위한 연결정보(Connection), 위치정보(SendPos), 포트정보(Port), 좌표정보(InitialX), 움직임정보(Move)를 포함할 수 있다.
구체적으로 연결정보는 제2 에이전트(5020)와 연결하기 위한 IP 주소를 의미할 수 있으며, 위치정보는 제2 에이전트(5020)에 전송하기 위한 3차원 시뮬레이션 공간의 좌표정보(x,y,z)일 수 있다.
제2 시뮬레이터(507)의 제2 에이전트(5020)는 통신부(Communication), 행동부(Movement), 애니메이션부(Animation)를 포함할 수 있다. 본 개시의 실시 예에 따르면, 제1 시뮬레이터의 에이전트는 제2 시뮬레이터의 에이전트와 연동하기 위한 네트워크 정보를 제2 시뮬레이터의 에이전트에 전송할 수 있다.
예를 들어, 제2 에이전트(5020)의 위치수신부(PositionListener)는 해당 에이전트의 상태정보를 수신하고 해당 정보를 행동부로 전달할 수 있다. 제2 에이전트는(5020) 제1 에이전트(5010)에서 수신한 IP 정보 및 위치정보를 이용하여 상태정보를 연동할 수 있다.
이로 인해 제1 에이전트(5010)는 제2 에이전트(5020) 각각과 직접 통신하게된다. 즉 제1 시뮬레이터와 제2 시뮬레이터의 시스템 단위로 통신이 이루어지지 않는다. 이러한 분산 연결은 시스템에 높은 수준의 유연성을 제공할 수 있다.
본 개시의 실시 예에 따른 제2 에이전트(5020)의 행동부는 에이전트가 단일 엔터티로 구성되는 경우 행동을 제어하는 네비게이터(Navigator), 제2 에이전트(5020)가 복수개의 엔터티로 구성되는 경우 행동을 제어하는 군중 컨트롤러(CrowdController), 무버(Mover)를 포함할 수 있다.
또한, 제2 에이전트(5020)의 애니메이션부는 시뮬레이션 환경을 구현할 수 있는 애니메이터를 포함할 수 있다.
한편, 제1 에이전트(5010)와 제2 에이전트(5020)가 통신하더라도, 제1 시뮬레이터는 실시간 동작 엔진에 해당하지 않으므로 제1 에이전트(5010)와 제2 에이전트(5020) 상에는 동기화 오류가 발생할 수 있다.
구체적으로 동기화 오류는 제1 시뮬레이터(506)의 에이전트와 실시간 엔진에 해당하는 제2 시뮬레이터(507)의 에이전트 사이에서 발생하는 상태차이를 의미할 수 있다. 상기 상태차이가 발생하는 경우, 결국 두 시뮬레이터는 동기화되지 않는 오류가 발생한다.
이때, 동기화 발생 오류는 상기 제1 에이전트의 위치 및 상기 제2 에이전트의 위치에 기초하여 계산될 수 있을 것이다.
이를 보완하기 위하여 본 개시의 실시 예에 따른 행위자 상태 연동 시뮬레이션 시스템은, 상기 제1 에이전트 및 상기 제2 에이전트의 동기화 발생 오류를 계산하고, 사용자 매개변수를 이용하여 상기 제2 에이전트의 속도를 조정하는 상태 컨트롤러를 더 포함할 수 있다.
구체적으로 상태 컨트롤러는 동기화 오류를 사용하여 제2 시뮬레이터의 실시간 에이전트의 상태를 결정 및 보정할 수 있다. 상태 컨트롤러는 에이전트의 형태 및 규모에 따라 동기화 발생 오류를 보완하기 위한 사용자 매개변수를 다르게 설정할 수 있다. 상태 컨트롤러는 제1 시뮬레이션 장치, 제2 시뮬레이션 장치 및 헤드 마운티드 디스플레이(5012) 중 어느 하나에 탑재될 수 있으며, 제2 시뮬레이션 장치의 VR 시뮬레이션 구현부(20)에서 수행되는 것 또한 가능하다.
예를 들어, 에이전트의 형태 및 규모정보가 사람에 해당하는 보행자, 차량 및 군중 등에 따라 적합한 사용자 매개변수가 할당될 수 있다.
다시 도 5를 예시로 설명한다.
도 5를 참고하면, 본 개시의 실시 예에 따른 상태 컨트롤러는 제1 시뮬레이터(506)의 에이전트(503)의 위치 및 이동 후 제2 시뮬레이터(507)의 에이전트(5014)의 위치에 기초하여 동기화 발생 오류를 계산할 수 있다.
상태 컨트롤러는 제1 시뮬레이터(506)의 에이전트(503) 및 이동 후 제2 시뮬레이터(507)의 에이전트(5014)의 형태 및 규모정보에 기초하여 사용자 매개변수를 조정할 수 있다.
이후 상태 컨트롤러는 상기 동기화 발생 오류와 상기 사용자 매개변수를 이용하여 이동중인 제2 시뮬레이터(507)의 에이전트(5014)의 속도를 조절할 수 있다.
예를 들어, 제2 시뮬레이터(507)의 에이전트(5014)는 현재 위치와 에이전트(503)로부터 수신한 위치(목적지)에 대한 거리가 멀수록 속도정보를 빠른 속도로 설정할 수 있다. 마찬가지로 현재위치와 목적지가 가까울수록 느린 속도로 설정 속도정보를 조정할 수 있다.
또한 사용자 매개변수는 속도 변화율에 영향을 미치는 운동량으로 작용하는 감쇠계수를 포함할 수 있다. 또는 목적지의 거리에 기초하여 이득(gain)값이 설정되는 이득 계수를 포함할 수 있다.
위와 같이 다양한 매개변수가 실시간 시뮬레이터의 에이전트의 동작에 영향을 줄 수 있다. 이러한 매개변수는 실시간 시뮬레이터의 에이전트에 유연한 동작을 제공할 수 있을 것이다.
도 7은 본 개시의 실시 예에 따른 제1 시뮬레이터가 복수개의 실시간 시뮬레이터와 연결된 예시를 나타낸 것이다. 앞서 설명한 바와 같이, 제1 시뮬레이터는 애니로직(Anylogic)과 같은 모델링 엔진에 해당하며, 제1 시뮬레이터와 연결되는 다른 시뮬레이터는 실시간 시뮬레이션 엔진일 수 있다.
도 7을 참고하면, 제1 시뮬레이터의 에이전트(5031)는 자신의 상태정보를 *?*복수개의 실시간 시뮬레이터의 에이전트(5032, 5033)에게 각각 전송할 수 있다.
복수개의 실시간 시뮬레이터에 포함된 에이전트 각각은 전송받은 상태정보를 이용하여 실시간 행위자 상태 연동 시뮬레이션을 구현할 수 있을 것이다.
이상에서 설명한 바와 같이 도 5 내지 도 7의 가상 현실 기반 HITL 장치에서 구현되는 가상행위자 시뮬레이션은 제1 시뮬레이션 장치에 의하여 보다 매끄럽고 효과적으로 구현될 수 있을 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 개시의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 소프트웨어로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.

Claims (20)

  1. 실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하고, 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 피험자의 행동 관찰 및 데이터 추출을 수행하는 시뮬레이션 구현 처리부;
    시뮬레이션 구현 처리부에 의한 시나리오의 단계적 진행에 따라 피험자 및 실험자가 VR 시뮬레이션을 확인 및 조작하는 것을 지원하는 시뮬레이션 구현 지원부;를 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 장치.
  2. 제 1 항에 있어서, 시뮬레이션 구현 처리부는,
    비상상황의 가정에 따른 다양한 시나리오 구성을 위한 단계별 세부요소 설정을 하는 시나리오 데이터 입력부와,
    시나리오 데이터 입력부를 통하여 입력된 시나리오 데이터를 이용하여 시나리오 구현을 위한 가상 배경환경을 구축하고, 구축된 가상환경을 배경으로 VR 시뮬레이션이 실행될 수 있도록 하는 VR 시뮬레이션 구현부와,
    피험자별 실험결과인 행동데이터를 수집하여 csv 파일 형태로 변환 및 출력하는 행동 데이터 처리부를 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 장치.
  3. 제 2 항에 있어서, 시나리오 데이터 입력부는,
    피험자의 비상 상황 인지를 위한 시각적, 사회적, 공식적 단서 정보를 입력하는 단서 정보 입력부와,
    소개 준비 시간 산출을 위한 물체 리스트 및 물체별 소요 시간을 관리하는 상호작용 물체 관리부와,
    경찰의 지시, 신호등 동작을 포함하는 차량 통제 전략 수립을 위한 교통 시스템 관리부와,
    비상 시 교통 시스템 준수 여부, 향하는 목적지 관리를 위한 가상행위자 행동 관리부와,
    비상 시 집결지, 마을 외곽 정보를 관리하는 목적지 노드 관리부와,
    피험자에게 제공하는 위험 지역의 지도 정보를 관리하는 위험 지역 관리부를 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 장치.
  4. 제 2 항에 있어서, VR 시뮬레이션 구현부는,
    실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하는 가상 환경 구축부와,
    가상 환경 구축부에서 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 VR 시뮬레이션이 실행될 수 있는 시나리오를 관리하는 시나리오 관리부를 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 장치.
  5. 제 4 항에 있어서, 가상 환경 구축부는,
    시나리오 대상 지역의 GIS 데이터 기반 3D 마을 및 지형에 관한 실외환경과, 주택 내부에 관한 실내환경과, 실제 도로 데이터를 참고한 Node 기반의 도로망에 관한 도로환경과, 가상환경 내 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경에 관한 피험자환경과, Node 기반의 행동 알고리즘에 따라 움직이는 차량 및 인간을 포함하는 가상행위자를 구분하여 가상 배경 환경을 구축하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 장치.
  6. 제 2 항에 있어서, 행동 데이터 처리부는,
    시나리오의 단계적 진행에 따라 피험자별 실험 결과 수집하는 데이터 수집부와,
    수집한 실험 결과를 csv 파일 형태로 변환하는 데이터 변환부와,
    소개 여부, 상호작용 물체, 소개 준비 시간에 관한 제 1 csv 파일, 선택/최종 목적지, 소개 이동 시간에 관한 제 2 csv 파일, Node 기반 이동 경로/시간에 관한 제 3 csv 파일을 출력하는 데이터 출력부를 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 장치.
  7. 제 6 항에 있어서, 데이터 수집부에서 수집하는 피험자별 실험 결과 데이터는,
    상호작용한 물체의 리스트, 물체에 따른 가상 환경에서의 준비 누적 소요 시간 및 실제 환경에서의 소요 시간과,
    선택한 목적지, 거쳐간 Node 사이의 이동 시간 및 실제 환경에서의 소요 시간에 관한 데이터를 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 장치.
  8. 제 6 항에 있어서, 데이터 출력부는,
    소개 여부에 관한 데이터를 출력하는 제 1 출력부와,
    상호작용 물체에 관한 데이터를 출력하는 제 2 출력부와,
    소개 준비 시간에 관한 데이터를 출력하는 제 3 출력부와,
    선택/최종 목적지에 관한 데이터를 출력하는 제 4 출력부와,
    소개 이동 시간에 관한 데이터를 출력하는 제 5 출력부와,
    Node 기반 이동 경로/시간에 관한 데이터를 출력하는 제 6 출력부를 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 장치.
  9. 제 1 항에 있어서, 시뮬레이션 구현 지원부는,
    실험 시 VR을 피험자에게 시각화하는 HMD 및 실험전 데이터 입력시 VR 확인, 실험시 피험자의 시야를 실험자에게 시각화하는 모니터를 구비하는 VR 제공부와,
    VR에서의 피험자가 주행 및 보행할 수 있도록 지원하는 행동 측정 조작부와,
    키보드 및 마우스를 통해 실험자가 VR 제어를 할 수 있도록 지원하는 VR 제어부를 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 장치.
  10. 제 9 항에 있어서, 행동 측정 조작부는,
    컨트롤러 및 HMD 측정을 위한 센서, 물체와의 상호작용 및 피험자 위치 확인을 위한 컨트롤러, 주행 시 차량 이동에 대한 조작을 위한 드라이빙 휠을 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 장치.
  11. 비상상황의 가정에 따른 다양한 시나리오 구성을 위한 단계별 세부요소 설정을 하는 시나리오 데이터 입력 단계;
    시나리오 데이터 입력 단계를 통하여 입력된 시나리오 데이터를 이용하여 시나리오 구현을 위한 가상 배경환경을 구축하고, 구축된 가상환경을 배경으로 VR 시뮬레이션이 실행될 수 있도록 하는 VR 시뮬레이션 구현 단계;
    시뮬레이션 구현을 통한 피험자별 실험결과인 행동데이터를 수집하여 csv 파일 형태로 변환 및 출력하는 행동 데이터 처리 단계를 포함하고,
    실제 도로 데이터를 참고한 노드 기반의 도로망을 기반으로 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 피험자의 행동 관찰 및 데이터 추출을 수행하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 방법.
  12. 제 11 항에 있어서, 시나리오 데이터 입력 단계는,
    피험자의 비상 상황 인지를 위한 시각적, 사회적, 공식적 단서 정보를 입력하는 단서 정보 입력 단계와,
    소개 준비 시간 산출을 위한 물체 리스트 및 물체별 소요 시간을 관리하는 상호작용 물체 관리 단계와,
    경찰의 지시, 신호등 동작을 포함하는 차량 통제 전략 수립을 위한 교통 시스템 관리 단계와,
    비상 시 교통 시스템 준수 여부, 향하는 목적지 관리를 위한 가상행위자 행동 관리 단계와,
    비상 시 집결지, 마을 외곽 정보를 관리하는 목적지 노드 관리 단계와,
    피험자에게 제공하는 위험 지역의 지도 정보를 관리하는 위험 지역 관리 단계를 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 방법.
  13. 제 11 항에 있어서, VR 시뮬레이션 구현 단계는,
    실외환경, 실내환경, 도로환경, 피험자환경, 가상행위자로 구분하여 시나리오 구현을 위한 가상 배경 환경을 구축하는 가상 환경 구축 단계와,
    가상 환경 구축 단계에서 구축한 가상환경내에서 피험자의 이동을 위한 주행, 보행 및 물체와의 상호작용 환경을 반영하여 VR 시뮬레이션이 실행될 수 있는 시나리오를 관리하는 시나리오 관리 단계를 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 방법.
  14. 제 11 항에 있어서, 행동 데이터 처리 단계는,
    시나리오의 단계적 진행에 따라 피험자별 실험 결과 수집하는 데이터 수집 단계와,
    수집한 실험 결과를 csv 파일 형태로 변환하는 데이터 변환 단계와,
    소개 여부, 상호작용 물체, 소개 준비 시간에 관한 제 1 csv 파일, 선택/최종 목적지, 소개 이동 시간에 관한 제 2 csv 파일, Node 기반 이동 경로/시간에 관한 제 3 csv 파일을 출력하는 데이터 출력 단계를 포함하는 것을 특징으로 하는 가상 현실 기반 HITL 실험 방법.
  15. 제1 에이전트를 포함하는 제1 시뮬레이터가 구비된 제1 시뮬레이션 장치 및 제2 에이전트를 포함하는 제2 시뮬레이터가 구비되고 상기 제1 시뮬레이션 장치와 통신하는 제2 시뮬레이션 장치를 포함하는 행위자 상태 연동 시뮬레이션 시스템에 있어서,
    상기 제2 시뮬레이션 장치는 청구항 1항의 가상 현실 기반 HITL 실험장치에 해당하고,
    시뮬레이션 구현 시, 상기 제1 에이전트가 상기 제1 에이전트의 행동에 대응하는 상태정보를 상기 제2 에이전트에 송신하고,
    상기 제2 에이전트는 상기 제1 에이전트의 행동에 대응하는 상태정보에 기초하여 행동하는,
    행위자 상태 연동 시뮬레이션 시스템.
  16. 제 1항에 있어서,
    상기 제1 시뮬레이터는 행위자 기반의 시뮬레이션 모델링 도구이고, 상기 제2 시뮬레이터는 실시간 엔진 시뮬레이터인,
    행위자 상태 연동 시뮬레이션 시스템.
  17. 제 15항에 있어서,
    상기 제1 에이전트에 포함된 복수의 에이전트 각각은 상기 제2 에이전트에 포함된 복수의 에이전트 중 어느 하나에 대응하고,
    상기 제1 에이전트에 포함된 복수의 에이전트 각각은,
    상기 제1 에이전트에 포함된 복수의 에이전트 각각에 대응하는 상태정보를 상기 제2 에이전트에 포함된 복수의 에이전트 중 대응하는 에이전트에 송신하는,
    행위자 상태 연동 시뮬레이션 시스템.
  18. 제 15항에 있어서,
    상기 상태정보는 상기 제1 에이전트의 행동에 대응하는 위치, 방향, 속도, 형태 및 규모 중 적어도 하나를 포함하는,
    행위자 상태 연동 시뮬레이션 시스템.
  19. 제 15항에 있어서,
    상기 행위자 상태 연동 시뮬레이션 시스템은,
    상기 제1 에이전트 및 상기 제2 에이전트의 동기화 발생 오류를 계산하고, 상기 동기화 발생 오류 및 사용자 매개변수를 이용하여 상기 제2 에이전트의 속도를 조정하는 상태 컨트롤러를 더 포함하는,
    행위자 상태 연동 시뮬레이션 시스템.
  20. 제 19항에 있어서,
    상기 동기화 발생 오류는 상기 제1 에이전트의 위치 및 상기 제2 에이전트의 위치에 기초하여 계산된 값을 포함하는,
    행위자 상태 연동 시뮬레이션 시스템.
PCT/KR2022/010047 2021-10-25 2022-07-11 실시간 행위자 상태 연동을 이용한 가상 현실 기반 hitl 실험 장치 및 방법 WO2023075083A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0143042 2021-10-25
KR1020210143042A KR102376448B1 (ko) 2021-10-25 2021-10-25 가상 현실 기반 hitl 실험 장치 및 방법
KR1020220035101A KR102654333B1 (ko) 2022-03-22 2022-03-22 실시간 행위자 상태 연동을 이용한 시뮬레이션 방법 및 시스템
KR10-2022-0035101 2022-03-22

Publications (1)

Publication Number Publication Date
WO2023075083A1 true WO2023075083A1 (ko) 2023-05-04

Family

ID=86159455

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/010047 WO2023075083A1 (ko) 2021-10-25 2022-07-11 실시간 행위자 상태 연동을 이용한 가상 현실 기반 hitl 실험 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2023075083A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090084059A (ko) * 2008-01-31 2009-08-05 성균관대학교산학협력단 텔레매틱스 실험을 위한 차량주행시뮬레이션 시스템 및 그방법
KR20170114371A (ko) * 2016-04-04 2017-10-16 삼성물산 주식회사 가상 현실 영상 및 모션 시뮬레이터 제어 장치, 시스템 및 방법
KR20180069947A (ko) * 2016-12-15 2018-06-26 한양대학교 산학협력단 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법
KR20200000123A (ko) * 2018-06-22 2020-01-02 주식회사 바로텍시너지 네트워크를 통한 상호 연동형 vr 시뮬레이션 시스템
KR102376448B1 (ko) * 2021-10-25 2022-03-18 울산과학기술원 가상 현실 기반 hitl 실험 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090084059A (ko) * 2008-01-31 2009-08-05 성균관대학교산학협력단 텔레매틱스 실험을 위한 차량주행시뮬레이션 시스템 및 그방법
KR20170114371A (ko) * 2016-04-04 2017-10-16 삼성물산 주식회사 가상 현실 영상 및 모션 시뮬레이터 제어 장치, 시스템 및 방법
KR20180069947A (ko) * 2016-12-15 2018-06-26 한양대학교 산학협력단 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법
KR20200000123A (ko) * 2018-06-22 2020-01-02 주식회사 바로텍시너지 네트워크를 통한 상호 연동형 vr 시뮬레이션 시스템
KR102376448B1 (ko) * 2021-10-25 2022-03-18 울산과학기술원 가상 현실 기반 hitl 실험 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2020256418A2 (ko) 디지털 트윈을 이용하여 가상센서를 구현하는 컴퓨팅 시스템 및 이를 이용한 실시간 데이터 수집 방법
CN108259625B (zh) 一种基于建筑建模和人员移动定位的逃生救援方法
WO2019124726A1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
CN110737989A (zh) 一种平行智能应急协同方法、系统及电子装备
CN110689686A (zh) 应急疏散系统及应急疏散方法
Weidmann et al. Pedestrian and evacuation dynamics 2012
CN108806357A (zh) 一种具有评价功能的消防教学训练系统
CN106228497A (zh) 一种多工作模式应急指挥系统及其工作方法
WO2017119656A1 (ko) 모바일 현장조사 시스템 및 방법
JPWO2008066093A1 (ja) 位置依存情報表現システム、位置依存情報表現制御装置および位置依存情報表現方法
KR20170117818A (ko) 가상 재난 시나리오 대응 훈련 시스템 및 방법
CN108831231A (zh) 一种消防仿真虚拟平台
CN209248807U (zh) 一种消防仿真虚拟平台
WO2022019374A1 (ko) 재난 대응역량 강화를 위한 상황전파 플랫폼 제공 방법 및 장치
KR102376448B1 (ko) 가상 현실 기반 hitl 실험 장치 및 방법
WO2022196945A1 (ko) 개체군 분산 모사 모델 기반 개체군 분산 예측 장치 및 이를 이용한 개체군 분산 예측 방법
WO2021070983A1 (ko) Vr 훈련 시스템 및 방법
US20220114529A1 (en) Training and risk management system and method
WO2023075083A1 (ko) 실시간 행위자 상태 연동을 이용한 가상 현실 기반 hitl 실험 장치 및 방법
Picallo et al. Design and experimental validation of an augmented reality system with wireless integration for context aware enhanced show experience in auditoriums
WO2023014191A1 (ko) 재난 최적 대피 경로 정보 제공 방법 및 그를 위한 시스템
WO2021119833A1 (en) Training and risk management system and method
CN111402672A (zh) 基于vr技术的输电线路直升机仿真培训方法及系统
KR102681205B1 (ko) 5g 기반 가상현실 원전사고 합동 대피훈련 시스템
Supangkat Designing a distribution emergency information service in earthquake post-disaster based on service computing system engineering

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22887289

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE