WO2023093397A1 - 一种基于海量对抗仿真推演数据建模与分析的效能评估方法 - Google Patents

一种基于海量对抗仿真推演数据建模与分析的效能评估方法 Download PDF

Info

Publication number
WO2023093397A1
WO2023093397A1 PCT/CN2022/126613 CN2022126613W WO2023093397A1 WO 2023093397 A1 WO2023093397 A1 WO 2023093397A1 CN 2022126613 W CN2022126613 W CN 2022126613W WO 2023093397 A1 WO2023093397 A1 WO 2023093397A1
Authority
WO
WIPO (PCT)
Prior art keywords
equipment
uncertainty
evaluation
deduction
simulation
Prior art date
Application number
PCT/CN2022/126613
Other languages
English (en)
French (fr)
Inventor
吴志壕
Original Assignee
中国运载火箭技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国运载火箭技术研究院 filed Critical 中国运载火箭技术研究院
Publication of WO2023093397A1 publication Critical patent/WO2023093397A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Definitions

  • This application relates to simulation deduction technology, in particular to an effectiveness evaluation method based on modeling and analysis of massive confrontation simulation deduction data, which belongs to the field of aerospace equipment effectiveness evaluation.
  • model evaluation is mainly carried out around the traditional system contribution, system maturity, system satisfaction and other aspects.
  • system contribution evaluation mainly adopt test evaluation methods, deduction, technology evaluation methods based on scientific advisory groups, and quantitative technology evaluation.
  • assessment of the maturity of the technology system methods based on technology readiness (TRL), integration readiness level (IRL) and system readiness level (SRL) are mainly used.
  • system satisfaction evaluation it is mainly used to evaluate whether the equipment system meets various capability requirements and equipment requirements, and the degree of satisfaction with capability requirements and equipment requirements.
  • the comprehensive evaluation analysis method combining qualitative and quantitative is mainly adopted.
  • the embodiment of the present application provides a multi-scenario-based comprehensive performance evaluation method, which relies on the game deduction system and solves the The performance evaluation of traditional equipment models is not comprehensive enough, accurate enough, and not objective enough, which provides a more friendly and effective evaluation method for simulation modeling designers and simulation verification personnel.
  • the technical solution of the present invention is: an efficiency evaluation method based on massive confrontation simulation deduction data modeling and analysis, the steps are as follows:
  • step 1) when the evaluation index system is constructed, based on the principles of purpose, integrity and measurability, the evaluation index system is constructed by using the target decomposition method, and the specific steps are as follows:
  • the capability assessment test process described in the step 1) is designed using an orthogonal test design method.
  • the entire capability assessment test process includes parameter preprocessing, important factor screening, initial test design, sequential test design, prediction model construction and There are six steps in prediction error analysis and decision maker sensitive factor analysis.
  • the decision-making assessment scenarios of the "five more" requirements are: uncertainty of information incompleteness, uncertainty of the deployment strategy of both the enemy and the enemy, uncertainty of the accusation strategy, and uncertainty of the environmental elements designed in the deduction scenario.
  • the drag-and-drop scene editing tool refers to quickly constructing a scene scenario by dragging and dropping, including the number of equipment, the location of the equipment, the parameters of the equipment, the size of the map, the constraints of the scene, and the victory and defeat conditions , Character design.
  • the simulation deduction platform includes a user configuration module, a simulation engine module, an intelligent drive module, an interactive display module and a data management module.
  • Parameter splitting, parameter merging, and indicative function representation methods were used for parameter preprocessing; uniform design methods under deviation criteria were used for important factor screening, initial experimental design, and sequential experimental design; nonparametric estimation methods, Multinomial regression model; cross-validation method and mean square error model were used in the construction of forecast model and forecast error analysis; Bonferroni simultaneous test method was used in the analysis of sensitive factors of decision maker.
  • Incomplete information means that there is a scene fog in the game confrontation process, and the opponent’s information is partially detectable.
  • the key consideration is the proportion of equipment unit elements that are invisible to the opponent.
  • Uncertain deployment strategy means that the deployment strategy of the number and location of the opponent's equipment units is uncertain, and it is difficult for us to know the determined opponent's deployment strategy; based on certain knowledge constraints, through random changes in the number of opponent's equipment units and deployment locations, Realize the adjustment of deployment strategy uncertainty;
  • the uncertainty of the accusation strategy refers to the uncertainty of the opponent's confrontation method, the priority of offensive or defensive targets, etc.;
  • the uncertainty of environmental elements refers to the complexity of the electromagnetic environment and natural environment under the influence of the opponent.
  • the impact of different electromagnetic environments, natural environments, and geographic information environments on equipment is considered, and a countermeasure simulation environment is constructed; in addition, it is also The influence of the earth model on the simulation dynamic model should be considered;
  • Uncertainty of equipment performance elements refers to the performance of the opponent's equipment in different scenarios, and the uncertainty of the opponent's equipment capabilities during the confrontation process.
  • the data management module in the simulation deduction platform is capable of recording and replaying massive game deduction data, supports data collection during the deduction process and storage management of scenes and equipment libraries, and provides data selection, playback, and pause functions.
  • the simulation engine module in the simulation deduction platform adopts a multi-mode, variable step-size simulation confrontation promotion mechanism to support instant acceleration and deceleration during the confrontation game between the two sides.
  • the present invention proposes an efficiency evaluation method based on modeling and analysis of massive confrontation simulation deduction data.
  • the orthogonal Experimental design means determine the experimental factors and level elements, and construct a system that satisfies "more incompleteness of information", "many deployment strategies of both sides”, “many accusation strategies”, “many simulation environment elements”, and “many equipment performance elements of both sides”.
  • a matrix evaluation method for massive game data is developed, and a query table for evaluation results is formed, which realizes a fast, effective, objective and comprehensive evaluation of the equipment model. It provides a set of comprehensive performance analysis and evaluation methods for equipment model performance evaluation, promotes the deep integration of simulation deduction and simulation performance evaluation, and facilitates users to conduct a comprehensive evaluation of simulation performance.
  • Figure 1 is a flow chart of equipment capability deduction and evaluation
  • Figure 2 is a flow chart of deduction data storage
  • Figure 3 is a composition diagram of the equipment capability deduction and evaluation platform
  • Figure 4 is a flowchart of the deduction and evaluation of the deduction platform.
  • the present invention provides an efficiency evaluation method based on modeling and analysis of massive confrontation simulation deduction data, forms a process for comprehensive evaluation of equipment effectiveness, designs "five more" scenarios through orthogonal experiments, generates massive deduction data relying on a simulation deduction platform, and constructs The mapping table of interval parameters and corresponding indicators realizes the comprehensive evaluation of equipment effectiveness.
  • an effectiveness evaluation method based on modeling and analysis of massive countermeasure simulation deduction data is divided into four parts: experimental design verification, capability evaluation method, simulation scenario design, and core support platform, as shown in Figure 1.
  • This method takes the game deduction platform as the core, edits and designs diverse game confrontation scenarios through rapid integration of functional-level equipment and accelerated deduction engine, covers equipment performance and randomness and uncertainty in the confrontation process, and constructs reasonable equipment capabilities Evaluation index system, design evaluation test process, generate a large amount of data through rapid massive game deduction, carry out retest data mining and statistical analysis, and realize the effectiveness evaluation of equipment.
  • the steps of the present invention are as follows:
  • Step 1 According to the mission of the equipment, determine the comprehensive performance index that affects the equipment capability.
  • Step 2 Analyze the main factors affecting each comprehensive performance index and determine the single performance index.
  • Step 3 Decompose each individual performance index until the performance parameter at the bottom of the system, that is, the basic index.
  • the data storage and reading module is generally used to realize the recording and playback of deduction data, support data collection during the deduction process and storage management of scenes and equipment libraries, and provide functions such as data selection, playback, and pause.
  • the process of realizing the storage/playback function of deduction data is as follows: 1. Classify the deduction data and determine the storage format of the process data; 2. Receive the deduction process data and record them in the memory and write them into the specified file; 3. From the specified file Read the deduced process data in and send the data to the interface.
  • the data storage process of the simulation deduction platform is shown in Figure 2.
  • a data storage management attribute table is established, as shown in the following table.
  • Incomplete information refers to the presence of environmental fog in the process of offensive and defensive game confrontation, and the information of the opponent is partially detectable.
  • the main focus is to consider the proportion of the equipment unit elements that are invisible to the opponent. By setting the proportion and within a certain constraint range, the number of invisible elements in different scenarios can be randomly changed to achieve Adjustment for incompleteness of information.
  • Uncertain deployment strategy means that the deployment strategies such as the number and location of equipment units are uncertain, and it is difficult for both parties to know the determined deployment strategy of the other side. Based on certain knowledge constraints, the deployment strategy uncertainty is adjusted through random changes in the number of equipment units and deployment locations.
  • Uncertain accusation strategy refers to the uncertainty of the opponent's strategy, the uncertainty of the defensive formation, and the uncertainty of the main requirements of the defense.
  • the complexity of the elements of the confrontation environment mainly refers to the electromagnetic environment constructed by the opponent, as well as the complexity of the natural environment and geographical environment.
  • the influence of different environments on equipment capabilities is considered to build a countermeasure simulation environment.
  • the influence of the earth model on the simulation dynamic model should also be considered.
  • the simulation promotion mechanism and application environment technology suitable for multi-agent joint confrontation are studied, and the visual editing tools and random quantity configuration are used to realize the model management of both sides of the confrontation.
  • Scalable, flexible, and fast human-computer interaction platform to realize the functions of confrontation process promotion, confrontation progress management, model management, event and message management, data recording and acquisition, and human-computer interaction interface.
  • design a value-centered two-party strength evaluation model, a task/behavior decision-making model oriented to incomplete information, adopt massive deduction and self-game methods, and use data/scenario mixed-driven deduction evaluation to be effective Provide a platform tool to accurately evaluate the system capability and performance of equipment.
  • the equipment capability deduction and evaluation platform has multi-deployment, multi-information, multi-strategy, multi-capability, and multi-environment simulation capabilities, that is, the platform supports massive game deduction in multiple scenarios, massive game deduction with adjustable information incompleteness, and multiple AI decision-making Algorithms, support intervalization of equipment model parameters, support electromagnetic, different lighting and other environmental diversity settings.
  • the platform uses massive game deduction to cover the uncertainty of the situation, the uncertainty of equipment performance, the uncertainty of strategy, the diversity of the environment, and the diversity of information to improve the accuracy and confidence of performance evaluation.
  • Its platform consists of user configuration module, simulation engine module, intelligent drive module, interactive display module and data management module, as shown in Figure 3.
  • the equipment capability deduction and evaluation process is generally divided into three stages: the initial preparation stage, the simulation deduction stage, and the simulation analysis stage.
  • the process is shown in Figure 4.
  • the initial preparation stage the user sets the scenario scenario and their respective equipment models through the configuration file, including the scene map, confrontation environment, equipment distribution, capabilities, etc.), and transmits the configuration information to the simulation deduction through data communication;
  • the set scene information starts the simulation deduction.
  • the situation information is displayed in real time and transmitted to the AI at the same time.
  • the AI makes decisions based on the current situation information and controls the equipment model;
  • the simulation analysis stage analyzes the deduction data and makes decisions on the AI. effects are evaluated.
  • This project innovatively proposes an effectiveness evaluation method based on modeling and analysis of massive confrontation simulation deduction data to solve the problems brought by traditional equipment capability evaluation methods for static and deterministic scenarios in high dynamic, uncertain and complex scenarios in game confrontation Objective, incomplete, and inaccurate questions.
  • the "five more" scenarios of experimental design based on the orthogonal method can cover the key elements required for equipment evaluation in a more comprehensive and focused manner.
  • the evaluation index system is constructed by using the target decomposition method. Relying on the equipment capability deduction and evaluation platform, a large amount of deduction data is generated, the mapping relationship between interval parameters and evaluation index results is constructed, and a matrix mapping table is formed to improve the comprehensiveness of model evaluation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供一种基于海量对抗仿真推演数据建模与分析的效能评估方法，该方法采用正交试验设计手段，通过数据将维等方法，确定试验因子及水平要素，构建满足"信息不完全度多"、"双方力量部署策略多"、"指控策略多"、"仿真环境要素多"、"装备性能要素多"的"五多"需求的决策评估场景，建立指标权重矩阵和评估目标函数，通过多层智能感知机和隶属度优化，确定指标参数与决策效果的关联关系，生成指标权重的优化分布结果，采用大数据与知识融合方法，对海量博弈推演结果进行综合评估，提高装备效能评估的客观性和准确性，同时构建一个"五多"相关的区间化参数与相应指标的映射关系，形成矩阵式评估结果查询表，提高装备效能评估的全面性。

Description

一种基于海量对抗仿真推演数据建模与分析的效能评估方法 技术领域
本申请涉及仿真推演技术，尤其涉及一种基于海量对抗仿真推演数据建模与分析的效能评估方法，属于航天装备效能评估领域。
背景技术
对于装备模型能力评估，主要围绕传统的体系贡献度、体系成熟度、体系满意度等方面开展模型评估。在体系贡献度评估方面，主要采用试验评估方法、推演、基于科学顾问小组的技术评估方法、定量化技术评估。在技术体系成熟度的评估方面，主要采用基于技术成熟度(technology readiness TRL)、集成成熟度(integration readiness level，IRL)和系统成熟度(system readiness level，SRL)的方法。在体系满意度评估方面，主要用于评估装备体系是否满足各项能力需求和装备需求，以及对能力需求和装备需求的满意程度。主要采用定性和定量相结合的综合评估分析方法。
发明内容
本申请实施例中提供一种基于多场景的综合效能评估方法，该方法依托博弈推演系统，在信息不完全、部署策略不确定等多场景下，基于海量推演数据的矩阵式评估方法，解决了传统装备模型效能评估不够全面、不够准确、不够客观的问题，为仿真建模设计人员和仿真验证人员提供了更友好、更有效的评估手段。
本发明的技术解决方案是：一种基于海量对抗仿真推演数据建模与分析的效能评估方法，步骤如下：
1)构建装备能力的评估指标体系，设计评估试验流程；
2)通过正交试验手段，设计“五多”需求的决策评估场景，依托可拖拽 式的场景编辑工具编辑出场景文件；
3)基于场景想定，配置相应的装备模型及决策智能体，通过仿真推演平台产生海量推演数据；
4)基于数据统计工具和生成的推演数据，构建“五多”相关的区间化参数与相应指标的映射关系，形成矩阵式评估结果查询表。
所述步骤1)中，评估指标体系构建时，基于目的性、整体性、可测度性原则，采用目标分解法构建评估指标体系，具体步骤如下：
11)依据装备使命任务，确定影响装备能力的综合效能指标；
12)分析影响各个综合效能指标的主要因素，确定单项效能指标；
13)将各单项效能指标分解，直到系统最底层的性能参数，即基础指标。
所述步骤1)中所述能力评估试验流程，采用正交试验设计方法进行设计，整个能力评估试验流程包含有参数预处理、重要因素筛选、初始试验设计、序贯试验设计、预测模型构建及预测误差分析、决策器敏感因素分析六个步骤。
所述步骤2)中，“五多”需求的决策评估场景为：信息不完全度不确定性、敌我双方部署策略不确定性、指控策略的不确定性、推演场景中设计的环境要素的不确定性、敌我双方力量的不确定性的五种决策评估不确定要素场景。
所述步骤2)中，可拖拽式的场景编辑工具指采用拖拽的方式快速构建场景想定，包含装备的数量、装备的位置、装备的参数、地图的大小、场景的约束、胜负条件、角色的设计。
所述步骤3)中，仿真推演平台包含有用户配置模块、仿真引擎模块、智能驱动模块、交互显示模块和数据管理模块。
参数预处理时采用参数拆分、参数合并、示性函数表示方法；重要因素筛选、初始试验设计和序贯试验设计时采用偏差准则下的均匀设计方法；预测模型构建时采用非参数估计方法、多项式回归模型；预测模型构建及预测误差分析时采用交叉校验方法、均方误差模型；决策器敏感因素分析采用Bonferroni同时检验法。
所述信息不完全度不确定性、敌我双方部署策略不确定性、指控策略不确定性、推演仿真环境不确定性、双方装备性能不确定性具体为：
a)信息不完全是指在博弈对抗过程中存在着场景迷雾，对方的信息是部分可探测的，重点考虑对手不可见的装备单元要素所占的比例，可通过设定比例，在一定的约束范围内，随机改变不同场景下的不可见要素数量，实现信息不完全度的调整；
b)部署策略不确定是指对手装备单元数量和位置的部署策略不确定，我方难以得知确定的对手部署策略；基于一定的知识约束，通过对手装备单元的数量以及部署位置的随机变化，实现部署策略不确定度的调整；
c)指控策略的不确定是指对手对抗方式、进攻或防御目标优先级等的不确定；
d)环境要素不确定是指对手影响下电磁环境、自然环境的复杂性，在场景设计中考虑不同的电磁环境、自然环境和地理信息环境对于装备的影响，构建出对抗仿真环境；此外，还要考虑地球模型对于仿真动力学模型的影响；
e)装备性能要素不确定是指对方装备在不同场景下表现出的性能不同，和双方在对抗过程中对方装备能力不确定性。
仿真推演平台中的数据管理模块具备海量博弈推演数据的记录和回放，支持推演过程的数据采集以及场景、装备库的存储管理，提供数据的选择、播放、暂停功能。
仿真推演平台中的仿真引擎模块采用多模式、可变步长的仿真对抗推进机制，支持双方对抗博弈过程中的即时加减速。
本发明与现有技术相比的有益效果是：
本发明提出一种基于海量对抗仿真推演数据建模与分析的效能评估方法，针对传统装备模型评估方法仅采用少量固定场景的评估导致其结果不客观、不准确、不全面的问题，采用正交试验设计手段，确定试验因子及水平要素，构建满足“信息不完全度多”、“双方力量部署策略多”、“指控策略多”、“仿真环 境要素多”、“双方装备性能要素多”的“五多”需求的决策评估场景，依托博弈推演平台，研发一种针对海量博弈数据的矩阵式评估方法，形成评估结果查询表，实现了对装备模型的快速、有效、客观、全面的评估，为装备模型效能评估提供了一套全面的效能分析评估手段，推动仿真推演与仿真效能评估的深度融合，便于用户进行对仿真效能进行全面评估。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为装备能力推演与评估流程图；
图2为推演数据存储流程图；
图3为装备能力推演与评估平台组成图；
图4为推演平台推演与评估流程图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明提供一种基于海量对抗仿真推演数据建模与分析的效能评估方法，形成了装备效能综合评估的流程，通过正交试验设计“五多”场景，依托仿真推演平台生成海量推演数据，构建区间化参数与相应指标的映射表，实现装备效能的综合评估。
在具体实施方法上，将一种基于海量对抗仿真推演数据建模与分析的效能评估方法分为试验设计验证、能力评估方法、仿真场景设计、核心支撑平台四个部分，如图1所示。
该方法以博弈推演平台为核心，通过对功能级装备的快速集成和加速推演引擎，编辑设计多样性博弈对抗场景，覆盖装备性能与对抗过程中的随机性与不确定性，构建合理的装备能力评估指标体系，设计评估试验流程，通过快速的海量博弈推演生成大量数据，进行复盘数据挖掘与统计分析，实现对装备的效能评估。
具体地，本发明步骤如下：
(1)试验设计阶段。重点关注装备在对抗场景中效能的评估。通常装备效能指标体系受到如部署位置、指控策略、信息完全度等参数的影响，因此需要采用多场景、多策略、多信息的海量博弈推演仿真，得到不同场景、策略、信息完全度条件下的各项指标数值。
根据设定好的典型想定，基于知识驱动的双方指控策略，设定场景参数，利用博弈推演平台开展海量推演仿真，每个场景想定下进行1000至10000次推演仿真，在每次推演仿真中记录装备效能的各项指标等数据，同时对推演仿真的过程数据进行存储。
针对评估推演试验因子、水平及试验设计如下表所示：
表1试验因子及其水平
序号 因子 水平1 水平2 水平3
1. 信息完全度 50％ 75％ 100％
2. 指控策略 1 2 3
3. ...... ...... ...... ......
表2试验场景设计
场景 信息完全度 指控策略 ......
1. 50％ 1 ......
2. 50％ 2 ......
3. 50％ 1 ......
4. 75％ 3 ......
5. 75％ 1 ......
6. 75％ 2 ......
7. 75％ 3 ......
8. 100％ 2 ......
9. 100％ 3 ......
10. 100％ 2 ......
(2)能力评估阶段。面向在博弈对抗中高动态、不确定、复杂的场景对传统针对静态、确定场景的装备能力评估方法带来的巨大挑战，主要体现在：博弈对抗场景中要素信息不完全，对关键要素难以完全的建模分析，传统采用建模分析评估的方法难以适应；博弈对抗场景中环境动态变化大，静态分析方法难以适用；双方指控策略不确定，传统的固定流程的仿真推演评估方法无法覆盖策略多样性；装备能力变化以及认知不同，造成不同的评估方法的结果差异性很大，评估结果说服力差。
针对以上挑战和问题，在能力评估阶段，设计面向装备能力的博弈推演架构，形成具备海量博弈推演能力的模拟系统，根据所构建的装备能力评估指标体系，采用快速博弈推演的方法，通过海量推演，覆盖不完全、不确定、高动态对抗场景的多样性，形成综合、客观的评估能力，基于百万级以上量级的智能博弈推演，可覆盖主要场景想定、装备要素、指控策略动态变化，能力验证试验的试验覆盖性显著超过传统评估方法。
(2.1)、指标体系构建
考虑评估的最终目的，明确能力评估需求，以目的性、整体性、可测度性为原则，建立装备能力与影响装备能力发挥的各种因素之间的映射关系，采用目标分解法构建评估指标体系。充分考虑指标之间的因果关系和隶属关系，逐次进行分解，直到分解出来的指标达到可测的要求，进而形成自上而下的指标体系层次结构图。借鉴该方法思想进行指标体系构建的步骤如下：第一步：依据装备使命任务，确定影响装备能力的综合效能指标。第二步：分析影响各个综合效能指标的主要因素，确定单项效能指标。第三步：将各单项效能指标分解，直到系统最底层的性能参数，即基础指标。
(2.2)、海量博弈推演
针对博弈对抗场景，基于“进化博弈理论”的博弈推演架构，形成具备海量各型装备博弈推演能力的“博弈进化环境”模拟系统，满足推演分析需求、装备性能需求的推演结果分析，该技术主要考虑场景设计的要求采用变颗粒度可调的仿真引擎技术、样式可灵活定义的装备模型架构技术实现海量的博弈推演。
(2.3)、数据复盘分析
针对在推演平台上进行的海量博弈推演并伴随产生大量的博弈数据，在对人人、人机、机机对抗数据的有效记录与存储的基础上，才能进行对数据的特征分析与高效复盘工作。在仿真推演平台中，一般通过数据存储读取模块，实现推演数据的记录和回放，支持推演过程的数据采集以及场景、装备库的存储管理，提供数据的选择、播放、暂停等功能。实现推演数据的存储/回放功能过程为：①、将推演数据进行分类并确定过程数据的存储格式；②、接收推演的过程数据记录在内存中，并写入到指定文件；③、从指定文件中读取推演的过程数据，并将数据发送到界面。仿真推演平台数据存储流程如图2所示。
为了便于数据管理，建立了数据存储管理类属性表，如下表所示。
表3数据管理类属性表
Figure PCTCN2022126613-appb-000001
Figure PCTCN2022126613-appb-000002
(3)、对抗场景设计阶段。传统的装备效能评估主要是在固定的对抗场景、固定的对抗环境、透明的双方态势、确定的装备能力定界、指定的博弈对抗策略的前提下进行的评估，综合来说是单环境、单位置部署和数量配置、单装备能力、单信息完全度、单策略的条件下进行装备效能评估。而目前对抗场景中面临着信息不完全度“多”、双方力量部署策略“多”、指控策略“多”、环境要素“多”、双方装备性能要素“多”。要实现装备效能的全面评估，首先需要对“五多”特点进行分析，通过基于知识约束的随机偏差方法，构建出具有“五多”特征的对抗场景，以作为装备能力评估方法和试验验证的基础。
(3.1)、信息不完全
信息不完全是指在攻防博弈对抗过程中存在着环境迷雾，对方的信息是部分可探测的。在对抗场景的不完全信息设计中，主要重点考虑对手不可见的装备单元要素所占的比例，可通过设定比例，在一定的约束范围内，随机改变不同场景下的不可见要素数量，实现信息不完全度的调整。
(3.2)、部署策略不确定
部署策略不确定是指装备单元数量和位置等部署策略不确定，双方难以得知确定的对方部署策略。基于一定的知识约束，通过装备单元的数量以及 部署位置的随机变化，实现部署策略不确定度的调整。
(3.3)、策略不确定
指控策略不确定是指对手策略不确定、防御阵型的不确定、防御的主要需求不确定。
(3.4)、环境要素复杂
对抗环境要素复杂主要是指对手构造的电磁环境，以及自然环境、地理环境的复杂性，在场景设计中考虑不同的环境对于装备能力的影响，构建对抗仿真环境。此外，还要考虑地球模型对于仿真动力学模型的影响。
(3.5)、装备性能要素多
装备性能要素多是指对方装备在不同场景下表现出的性能不同，影响装备性能的要素多。
(4)、核心支撑平台。
针对装备评估需求，结合“五多”仿真想定场景，研究适用于多智能体联合对抗的仿真推进机制和应用环境技术，采用可视化的编辑工具和随机量配置实现对对抗双方的模型管理，构建可伸缩、灵活、快速的人机交互平台，实现对抗过程推进、对抗进度管理、模型管理、事件与消息管理、数据记录与获取、人机交互接口等功能。基于不对称自博弈架构，设计以价值为核心的双方力量评判模型、面向不完备信息的任务/行为决策模型、采用海量推演与自博弈方法，并通过数据/场景混合驱动的推演评估，为有效准确评估装备的体系能力与效能提供平台工具。
装备能力推演与评估平台具备多部署、多信息、多策略、多能力、多环境模拟能力，即平台支持多场景海量博弈推演，支持信息不完全度可调的海量博弈推演，支持多种AI决策算法，支持装备模型参数区间化，支持电磁、不同光照等环境多样性设置。平台通过海量博弈推演覆盖态势的不确定性、装备性能的不确定性、策略的不确定性、环境的多样性以及信息的多样性以提升效能评估的准确性和置信度。其平台组成包括用户配置模块、仿真引擎 模块、智能驱动模块、交互显示模块和数据管理模块，如图3所示。
装备能力推演与评估流程总体分为初始准备阶段、仿真推演阶段和仿真分析阶段三个阶段，流程如图4所示。初始准备阶段用户通过配置文件对场景想定和各自的装备模型进行设置，包括场景地图、对抗环境、装备分布、能力等)，通过数据通信将配置信息传输到仿真推演中；仿真推演阶段仿真推进依据设定好的场景信息开始仿真推演，推演过程中将态势信息实时进行显示，并同时传输给AI，AI根据当前态势信息进行决策对装备模型进行控制；仿真分析阶段通过分析推演数据，对AI决策效果等进行评估。
本项目创新性地提出一种基于海量对抗仿真推演数据建模与分析的效能评估方法，解决博弈对抗中高动态、不确定、复杂场景对传统针对静态、确定场景的装备能力评估方法带来的不客观、不全面、不准确问题。基于正交方法的试验设计“五多”场景能够更全面、更聚焦地覆盖装备评估所需的关键要素，以目的性、整体性、可测度性为原则，采用目标分解法构建评估指标体系，依托装备能力推演与评估平台，生成海量推演数据，构建区间化参数和评估指标结果映射关系，形成矩阵式映射表，提高模型评估的全面性。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。
本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括一些可选的实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

  1. 一种基于海量对抗仿真推演数据建模与分析的效能评估方法，其特征在于步骤如下：
    1)构建装备能力的评估指标体系，设计评估试验流程；
    2)通过正交试验手段，设计“五多”需求的决策评估场景，依托可拖拽式的场景编辑工具编辑出场景文件；
    3)基于场景想定，配置相应的装备模型及决策智能体，通过仿真推演平台产生海量推演数据；
    4)基于数据统计工具和生成的推演数据，构建“五多”相关的区间化参数与相应指标的映射关系，形成矩阵式评估结果查询表。
  2. 根据权利要求1所述的一种基于海量对抗仿真推演数据建模与分析的效能评估方法，其特征在于：所述步骤1)中，评估指标体系构建时，基于目的性、整体性、可测度性原则，采用目标分解法构建评估指标体系，具体步骤如下：
    11)依据装备使命任务，确定影响装备能力的综合效能指标；
    12)分析影响各个综合效能指标的主要因素，确定单项效能指标；
    13)将各单项效能指标分解，直到系统最底层的性能参数，即基础指标。
  3. 根据权利要求1所述的一种基于海量对抗仿真推演数据建模与分析的效能评估方法，其特征在于：所述步骤1)中所述能力评估试验流程，采用正交试验设计方法进行设计，整个能力评估试验流程包含有参数预处理、重要因素筛选、初始试验设计、序贯试验设计、预测模型构建及预测误差分析、决策器敏感因素分析六个步骤。
  4. 根根据权利要求1所述的一种基于海量对抗仿真推演数据建模与分析的效能评估方法，其特征在于：所述步骤2)中，“五多”需求的决策评估场景为：信息不完全度不确定性、双方力量部署策略不确定性、指控策略的不确定性、推演场景中设计的环境要素的不确定性、双方装备性能的不确定性的 五种决策评估不确定要素场景。
  5. 根根据权利要求1所述的一种基于海量对抗仿真推演数据建模与分析的效能评估方法，其特征在于：所述步骤2)中，可拖拽式的场景编辑工具指采用拖拽的方式快速构建场景想定，包含装备的数量、装备位置、装备的参数、地图的大小、场景的约束、胜负条件、角色的设计。
  6. 根根据权利要求1所述的一种基于海量对抗仿真推演数据建模与分析的效能评估方法，其特征在于：所述步骤3)中，仿真推演平台包含有用户配置模块、仿真引擎模块、智能驱动模块、交互显示模块和数据管理模块。
  7. 根根据权利要求3所述的一种基于海量对抗仿真推演数据建模与分析的效能评估方法，其特征在于：参数预处理时采用参数拆分、参数合并、示性函数表示方法；重要因素筛选、初始试验设计和序贯试验设计时采用偏差准则下的均匀设计方法；预测模型构建时采用非参数估计方法、多项式回归模型；预测模型构建及预测误差分析时采用交叉校验方法、均方误差模型；决策器敏感因素分析采用Bonferroni同时检验法。
  8. 根根据权利要求4所述的一种基于海量对抗仿真推演数据建模与分析的效能评估方法，其特征在于：所述信息不完全度不确定性、双方力量部署策略不确定性、指控策略的不确定性、推演场景中设计的环境要素的不确定性、装备性能要素的不确定性具体为：
    a)信息不完全是指在博弈对抗过程中存在着环境迷雾，对方的信息是部分可探测的，重点考虑对手不可见的装备单元要素所占的比例，可通过设定比例，在一定的约束范围内，随机改变不同场景下的不可见要素数量，实现信息不完全度的调整；
    b)部署策略不确定是指装备单元数量和位置等的部署策略不确定，难以得知确定的对手部署策略；基于一定的知识约束，通过对手防御单元的数量以及部署位置的随机变化，实现部署策略不确定度的调整；
    c)指控策略的不确定是指对手对抗方式、进攻或防御目标优先级等的不确 定；
    d)环境要素不确定是指对手影响下电磁环境、自然环境的复杂性，在场景设计中考虑不同的电磁环境、自然环境和地理信息环境对于装备的影响，构建出对抗仿真环境；此外，还要考虑地球模型对于仿真动力学模型的影响；
    e)装备性能要素不确定是指对方装备在不同场景下表现出的性能不同，和双方在对抗过程中对方装备能力不确定性。
  9. 根根据权利要求6所述的一种基于海量对抗仿真推演数据建模与分析的效能评估方法，其特征在于：仿真推演平台中的数据管理模块具备海量博弈推演数据的记录和回放，支持推演过程的数据采集以及场景、装备库的存储管理，提供数据的选择、播放、暂停功能。
  10. 根根据权利要求6所述的一种基于海量对抗仿真推演数据建模与分析的效能评估方法，其特征在于：仿真推演平台中的仿真引擎模块采用多模式、可变步长的仿真对抗推进机制，支持双方对抗博弈过程中的即时加减速。
PCT/CN2022/126613 2021-11-24 2022-10-21 一种基于海量对抗仿真推演数据建模与分析的效能评估方法 WO2023093397A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111406625.4A CN114239228A (zh) 2021-11-24 2021-11-24 一种基于海量对抗仿真推演数据建模与分析的效能评估方法
CN202111406625.4 2021-11-24

Publications (1)

Publication Number Publication Date
WO2023093397A1 true WO2023093397A1 (zh) 2023-06-01

Family

ID=80750854

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/126613 WO2023093397A1 (zh) 2021-11-24 2022-10-21 一种基于海量对抗仿真推演数据建模与分析的效能评估方法

Country Status (2)

Country Link
CN (1) CN114239228A (zh)
WO (1) WO2023093397A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116702476A (zh) * 2023-06-09 2023-09-05 中国人民解放军92493部队试验训练总体研究所 一种基于气囊式结构的岛岸靶区仿真模型验证方法
CN116975041A (zh) * 2023-08-29 2023-10-31 上海乐响网络科技发展有限公司 Ab实验分流及分析系统
CN116979530A (zh) * 2023-09-25 2023-10-31 中国电力科学研究院有限公司 电网运行方式数字化推演的方法及装置
CN117150821A (zh) * 2023-10-30 2023-12-01 中国科学院长春光学精密机械与物理研究所 基于智能化仿真的装备效能评估数据集的构建方法
CN117236783A (zh) * 2023-10-19 2023-12-15 北京归一科技有限公司 用于装甲装备保障效能的各项评估指标计算方法、系统
CN117473739A (zh) * 2023-10-30 2024-01-30 中国人民解放军军事科学院系统工程研究院 一种分布式lvc试验系统及方法
CN117592385A (zh) * 2024-01-19 2024-02-23 中国电子科技集团公司信息科学研究院 基于影响因子的体系设计优化方法、服务器及存储介质
CN117670001A (zh) * 2024-02-02 2024-03-08 中国人民解放军战略支援部队航天工程大学 一种基于计算机兵棋的对地观测任务模拟系统
CN117687322A (zh) * 2024-02-04 2024-03-12 青岛哈尔滨工程大学创新发展中心 一种考虑个体故障的auv集群对抗仿真系统及方法
CN117811961A (zh) * 2024-03-01 2024-04-02 南京航空航天大学 一种面向海上移动目标的异构星座观测效能评估方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239228A (zh) * 2021-11-24 2022-03-25 中国运载火箭技术研究院 一种基于海量对抗仿真推演数据建模与分析的效能评估方法
CN115310345B (zh) * 2022-06-23 2023-10-03 中国人民解放军军事科学院国防科技创新研究院 基于人工势场的智能算法评估方法及装置
CN115374392B (zh) * 2022-10-26 2023-11-24 北京方州科技有限公司 获取目标事件的对象参数的方法、电子设备和存储介质
CN116739115B (zh) * 2023-08-15 2023-11-10 北京航天晨信科技有限责任公司 面向无人飞行器逃逸策略建模的数据样本生成方法和系统
CN117057171B (zh) * 2023-10-12 2024-02-06 中国电子科技集团公司第十研究所 一种实测数据与仿真数据相结合的半实装仿真方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007035017A (ja) * 2005-02-16 2007-02-08 Yamaguchi Univ 防災事業計画支援システム
BRPI0806035A2 (pt) * 2008-09-23 2010-09-14 Inst Alberto Luiz Coimbra De P ferramenta cognitiva de apoio à decisão estratégica
CN112052608A (zh) * 2020-10-16 2020-12-08 中国直升机设计研究所 一种作战推演仿真与效能评估一体化集成方法
CN112100866A (zh) * 2020-11-05 2020-12-18 湖南卫导信息科技有限公司 导航装备效能评估方法及仿真平台
CN114239228A (zh) * 2021-11-24 2022-03-25 中国运载火箭技术研究院 一种基于海量对抗仿真推演数据建模与分析的效能评估方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007035017A (ja) * 2005-02-16 2007-02-08 Yamaguchi Univ 防災事業計画支援システム
BRPI0806035A2 (pt) * 2008-09-23 2010-09-14 Inst Alberto Luiz Coimbra De P ferramenta cognitiva de apoio à decisão estratégica
CN112052608A (zh) * 2020-10-16 2020-12-08 中国直升机设计研究所 一种作战推演仿真与效能评估一体化集成方法
CN112100866A (zh) * 2020-11-05 2020-12-18 湖南卫导信息科技有限公司 导航装备效能评估方法及仿真平台
CN114239228A (zh) * 2021-11-24 2022-03-25 中国运载火箭技术研究院 一种基于海量对抗仿真推演数据建模与分析的效能评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUANG XIAODONG, XIE KONGSHU, LI NI, YAN XUEFENG, ZHAO YALI: "Research and Application of Simulation Support Platform for System-of-Systems Combat", JOURNAL OF SYSTEM SIMULATION, vol. 33, no. 8, 1 August 2021 (2021-08-01), pages 1914 - 1926, XP093069086, DOI: 10.16182/j.issn1004731x.joss.21-0227 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116702476A (zh) * 2023-06-09 2023-09-05 中国人民解放军92493部队试验训练总体研究所 一种基于气囊式结构的岛岸靶区仿真模型验证方法
CN116702476B (zh) * 2023-06-09 2023-12-22 中国人民解放军92493部队试验训练总体研究所 一种基于气囊式结构的岛岸靶区仿真模型验证方法
CN116975041A (zh) * 2023-08-29 2023-10-31 上海乐响网络科技发展有限公司 Ab实验分流及分析系统
CN116975041B (zh) * 2023-08-29 2024-05-14 上海乐响网络科技发展有限公司 Ab实验分流及分析系统
CN116979530A (zh) * 2023-09-25 2023-10-31 中国电力科学研究院有限公司 电网运行方式数字化推演的方法及装置
CN116979530B (zh) * 2023-09-25 2023-12-12 中国电力科学研究院有限公司 电网运行方式数字化推演的方法及装置
CN117236783A (zh) * 2023-10-19 2023-12-15 北京归一科技有限公司 用于装甲装备保障效能的各项评估指标计算方法、系统
CN117473739A (zh) * 2023-10-30 2024-01-30 中国人民解放军军事科学院系统工程研究院 一种分布式lvc试验系统及方法
CN117150821B (zh) * 2023-10-30 2024-01-30 中国科学院长春光学精密机械与物理研究所 基于智能化仿真的装备效能评估数据集的构建方法
CN117150821A (zh) * 2023-10-30 2023-12-01 中国科学院长春光学精密机械与物理研究所 基于智能化仿真的装备效能评估数据集的构建方法
CN117592385A (zh) * 2024-01-19 2024-02-23 中国电子科技集团公司信息科学研究院 基于影响因子的体系设计优化方法、服务器及存储介质
CN117592385B (zh) * 2024-01-19 2024-04-05 中国电子科技集团公司信息科学研究院 基于影响因子的体系设计优化方法、服务器及存储介质
CN117670001A (zh) * 2024-02-02 2024-03-08 中国人民解放军战略支援部队航天工程大学 一种基于计算机兵棋的对地观测任务模拟系统
CN117687322A (zh) * 2024-02-04 2024-03-12 青岛哈尔滨工程大学创新发展中心 一种考虑个体故障的auv集群对抗仿真系统及方法
CN117687322B (zh) * 2024-02-04 2024-05-03 青岛哈尔滨工程大学创新发展中心 一种考虑个体故障的auv集群对抗仿真系统及方法
CN117811961A (zh) * 2024-03-01 2024-04-02 南京航空航天大学 一种面向海上移动目标的异构星座观测效能评估方法

Also Published As

Publication number Publication date
CN114239228A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
WO2023093397A1 (zh) 一种基于海量对抗仿真推演数据建模与分析的效能评估方法
US20170300657A1 (en) Computerized Event Simulation Using Synthetic Populations
CN107018004B (zh) 用户满意度管理系统及方法
Heilbrunn et al. Tools for gamification analytics: A survey
CN103093035A (zh) 用于城市危机应急决策演练的计算机仿真系统及仿真方法
Jenkins et al. A formative approach to developing synthetic environment fidelity requirements for decision-making training
Soomro et al. Participatory governance in smart cities: The urbanAPI case study
Hassan et al. Identification of trainees enrollment behavior and course selection variables in technical and vocational education training (TVET) program using education data mining
CN113326400B (zh) 基于深度伪造视频检测的模型的评价方法及系统
CN113496638A (zh) 网络安全训练系统及方法
CN111597176A (zh) 延迟供应链生成的教学仿真实训方法及系统
Bertsch et al. Multi-criteria decision support and stakeholder involvement in emergency management
Liu et al. A Policy-Graph Approach to Explain Reinforcement Learning Agents: A Novel Policy-Graph Approach with Natural Language and Counterfactual Abstractions for Explaining Reinforcement Learning Agents
CN114282795A (zh) 网络靶场人员技能评估方法、装置、设备及可读存储介质
CN113592311A (zh) 用于复杂人机系统选择人因方法的方法
Bohner Decision-support systems for sustainable urban planning
Zhu et al. Participatory and evolutionary fire simulation via a sensitive control of key scenery parameters
Ge RETRACTED: Research on the Construction of Early Warning Index System of Network Public Opinion Emergency Based on Computer Simulation
Morrison et al. Simulating terrorist threat with the hats simulator
Pillai et al. Simulation of human criminal behavior using clustering algorithm
Palavalli et al. Analyzing gaming-simulations using video based techniques
Zhi-peng et al. Evaluation of Large-scale Complex Systems Effectiveness Based on Big Data
Wong Social Distance and Contact Tracing Dashboard
Quijada et al. A spatio temporal simulation model for evaluating delinquency and crime policies
Hagen-Zanker Measuring the performance of geosimulation models by map comparison

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22897480

Country of ref document: EP

Kind code of ref document: A1