RU2725783C1 - Method of testing electronic hardware based on hardware-software faults with routing - Google Patents

Method of testing electronic hardware based on hardware-software faults with routing Download PDF

Info

Publication number
RU2725783C1
RU2725783C1 RU2019104746A RU2019104746A RU2725783C1 RU 2725783 C1 RU2725783 C1 RU 2725783C1 RU 2019104746 A RU2019104746 A RU 2019104746A RU 2019104746 A RU2019104746 A RU 2019104746A RU 2725783 C1 RU2725783 C1 RU 2725783C1
Authority
RU
Russia
Prior art keywords
faults
model
array
tests
malfunctions
Prior art date
Application number
RU2019104746A
Other languages
Russian (ru)
Inventor
Дмитрий Александрович Недорезов
Original Assignee
Акционерное общество "Информационные спутниковые системы" имени академика М.Ф. Решетнёва"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Акционерное общество "Информационные спутниковые системы" имени академика М.Ф. Решетнёва" filed Critical Акционерное общество "Информационные спутниковые системы" имени академика М.Ф. Решетнёва"
Priority to RU2019104746A priority Critical patent/RU2725783C1/en
Application granted granted Critical
Publication of RU2725783C1 publication Critical patent/RU2725783C1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/261—Functional testing by simulating additional hardware, e.g. fault simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/263—Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers
    • G06F11/2635—Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers using a storage for the test inputs, e.g. test ROM, script files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

FIELD: computer equipment.
SUBSTANCE: invention relates to a method of testing electronic hardware based on hardware-software faults with routing. Method comprises the following steps: using the test process control device, creating a design of an operational and faulty models of the electronic device, which imitates behaviour of its input/output channels, recording the models into a field programmable gate array (FPGA) of the fault simulation device, forming an array of control actions, successively including faults realized in the model and specified in the array, comparing the test results against the faulty and faulty models, if during tests of faulty model of faults there is no detecting, and during faulty tests, the whole array of introduced faults is detected, electronic equipment and its control software are considered to have passed tests.
EFFECT: technical result of invention is higher accuracy of monitoring during testing by electronic equipment.
1 cl, 6 dwg

Description

Изобретение относится к компьютерным системам, основанным на специфических вычислительных моделях с использованием электронных средств.The invention relates to computer systems based on specific computational models using electronic means.

Известен способ испытаний электронной аппаратуры на основе аппаратно-программного внесения неисправностей основанного на языках описания аппаратуры (патент США № US 8418012 В2). Способ заключается в том, что получают базовый проект испытываемого электронного устройства на языке описания аппаратуры. Создают математические модели неисправностей для конфигурируемой интегральной схемы испытываемого электронного устройства. Описывают эти неисправности на языке описания аппаратуры. Вносят описанные неисправности в базовый проект особой конфигурируемой интегральной схемы испытываемого устройства. Проводят несколько экспериментов по внесению неисправностей, где каждый эксперимент включает неисправность, по крайней мере, одного сигнала.There is a known method of testing electronic equipment based on hardware-software fault-based equipment description languages (US patent No. US 8414012 B2). The method consists in the fact that they get the basic design of the tested electronic device in the language of the description of the equipment. Create mathematical models of faults for a configurable integrated circuit of the electronic device under test. Describe these malfunctions in the hardware description language. The described faults are introduced into the basic design of the special configurable integrated circuit of the device under test. Several faulting experiments are conducted, where each experiment includes a fault in at least one signal.

Недостатками данного способа являются: невозможность имитации неисправностей устройств, не имеющих в своем составе программируемых логических интегральных схем (ПЛИС), по причине того, что неисправности вносятся в ПЛИС самого испытываемого устройства, при этом в составе испытательного комплекса ПЛИС отсутствует; отсутствие возможности управления включением/выключением неисправностей в моделях без перекомпиляций проекта ПЛИС при помощи программного обеспечения (ПО) высокого уровня; отсутствие в способе описания правил локализации неисправностей; отсутствие описания алгоритмов маршрутизации активации неисправностей, позволяющих повысить полноту контроля.The disadvantages of this method are: the inability to simulate device malfunctions that do not have programmable logic integrated circuits (FPGAs), due to the fact that faults are introduced into the FPGA of the device under test, while the FPGA test complex is absent; the inability to control the on / off faults in models without recompiling the FPGA project using high-level software; the lack of a method for describing the rules for localizing faults; the lack of a description of routing algorithms for the activation of faults, allowing to increase the completeness of control.

В рамках заявляемого способа, под термином алгоритм маршрутизации активации неисправностей следует понимать набор и последовательность выполнения операций активации отдельных неисправностей, описанные математически и позволяющие повысить полноту контроля электронной аппаратуры.In the framework of the proposed method, the term routing algorithm for activation of faults should be understood as a set and sequence of operations of activation of individual faults, described mathematically and to increase the completeness of control of electronic equipment.

В рамках заявляемого способа, под термином набор неисправностей следует понимать совокупность программных модулей на языках описания аппаратуры, каждый из которых реализует функционирование испытательной аппаратуры в режиме наличия одной неисправности. Данные модули могут содержаться в составе программной библиотеки, либо в отдельных файлах, не входящих в библиотеку.In the framework of the proposed method, the term set of faults should be understood as a set of software modules in the description languages of the equipment, each of which implements the functioning of the test equipment in the mode of one fault. These modules can be contained in the software library, or in separate files that are not included in the library.

Известен способ испытаний электронной аппаратуры (патент РФ №2549523). Способ заключается в том, что на языке описания аппаратуры создают два проекта модели электронного устройства: с неисправностями и исправный; затем проводят испытания с использованием обоих проектов; сравнивают результаты испытаний от исправной и неисправной моделей на каждой неисправности из заданного массива, если в процессе испытаний исправной модели неисправностей не обнаруживают, а при испытаниях неисправной обнаруживают весь массив внесенных неисправностей, то испытываемую электронную аппаратуру или ее управляющее ПО считают прошедшими испытания. При этом в состав испытательного комплекса входит ПЛИС для вышеописанного моделирования электронных устройств.A known method of testing electronic equipment (RF patent No. 2549523). The method consists in the fact that in the language of the description of the equipment, two projects of the model of the electronic device are created: with faults and serviceable; then conduct tests using both designs; compare the test results from a working and faulty models for each fault from a given array, if during the tests of a working model of faults they do not detect faults, and during testing of the faulty, the entire array of faults detected is detected, then the tested electronic equipment or its control software is considered tested. At the same time, the FPGA for the above-described simulation of electronic devices is included in the test complex.

Недостатками данного способа являются: отсутствие описания правил локализации неисправностей; отсутствие описания алгоритмов маршрутизации активации неисправностей, позволяющих повысить полноту контроля электронной аппаратуры.The disadvantages of this method are: the lack of a description of the rules for localizing faults; the lack of a description of routing algorithms for activation of faults, allowing to increase the completeness of control of electronic equipment.

Наиболее близким (прототипом) является способ испытаний электронной аппаратуры (патент РФ №2661535).The closest (prototype) is a method of testing electronic equipment (RF patent No. 2661535).

Недостатком данного способа является отсутствие описания алгоритмов маршрутизации активации неисправностей, позволяющих повысить полноту контроля.The disadvantage of this method is the lack of a description of the routing algorithms for the activation of faults, allowing to increase the completeness of control.

Для заявленного способа выявлены основные общие с прототипом существенные признаки: на языке описания аппаратуры создают два проекта модели электронного устройства - с неисправностями и исправный; затем проводят испытания с использованием обоих проектов; сравнивают результаты испытаний от исправной и неисправной моделей на каждой неисправности из заданного массива, если в процессе испытаний исправной модели неисправностей не обнаруживают, а при испытаниях неисправной обнаруживают весь массив внесенных неисправностей, то испытываемую электронную аппаратуру или ее управляющее ПО считают прошедшими испытания; при этом в состав испытательного комплекса входит ПЛИС для вышеописанного моделирования электронных устройств.For the claimed method, the main essential features common with the prototype are identified: in the language of the equipment description, two projects of the electronic device model are created - with malfunctions and serviceable; then conduct tests using both designs; comparing the test results from a working and faulty models for each fault from a given array, if during the testing of a working model of faults they do not detect faults, and when testing faults, the entire array of faults detected is detected, then the tested electronic equipment or its control software is considered tested; at the same time, the FPGA is included in the test complex for the above simulation of electronic devices.

Технической проблемой прототипа является недостаточный уровень полноты контроля, ввиду отсутствия описания алгоритмов маршрутизации активации неисправностей, которые позволили бы в автоматическом режиме определять все существующие маршруты активации моделируемых неисправностей и проходить их.The technical problem of the prototype is the insufficient level of completeness of control, due to the lack of a description of routing algorithms for fault activation, which would automatically determine all the existing activation paths of simulated faults and go through them.

Поставленная техническая проблема изобретения решается тем, что в проекты ПЛИС, реализованные на языках описания аппаратуры, намеренно вносят модели неисправностей; затем проводят испытания с целью оценки вероятности обнаружения внесенных моделей неисправностей испытываемой аппаратурой или ПО; на языке описания аппаратуры создают проект исправной модели электронного устройства, имитирующей поведение каналов ввода-вывода объекта испытаний (электронного устройства, разрабатываемого для конечного потребителя); записывают получившийся проект модели в ПЛИС устройства имитации неисправностей, встроенного в устройство управления процессом испытаний и содержащего интерфейсные каналы ввода-вывода; проводят испытания на этой модели; результаты испытаний заносят в протокол при помощи устройства управления процессом испытаний; разрабатывают номенклатуру неисправностей необходимых для проведения испытаний и описывают каждую из неисправностей входящих в номенклатуру на языках описания аппаратуры; создают проект модели объекта испытаний с неисправностями, причем предусматривают возможность их включения/выключения в процессе испытаний без перекомпиляции проекта, при помощи управляющего ПО высокого уровня; записывают получившийся проект модели в ПЛИС устройства имитации неисправностей, встроенного в устройство управления процессом испытаний; ПО высокого уровня, активирующее и дезактивирующее любые комбинации неисправностей без перекомпиляции проекта ПЛИС разрабатывают на основе следующего далее алгоритма маршрутизации активации неисправностей; каждую из неисправностей, входящих в номенклатуру неисправностей, необходимую для проведения испытаний электронного устройства, представляют в виде вершины ориентированного графа, вершины соединяют дугами, которые выражают строго заданную последовательность активации неисправностей, разработанную на основе исторических данных об их появлении в ходе эксплуатации испытываемого устройства конечным потребителем или в процессе ранее проведенных испытаний, а также результатов теоретического анализа возможных исходов гипотетических ситуаций в рамках определенных входных данных, которыми являются принятые в номенклатуру неисправностей неисправности; для сформированного ориентированного графа составляют матрицу смежности, в которой нули - это отсутствие дуги между вершинами, единицы - наличие дуги между вершинами; на основе матрицы смежности составляют матрицу маршрутов, путем замены всех единиц уникальными для каждого столбца матрицы буквами или любыми другими уникальными знаками; возводят получившуюся матрицу маршрутов в степень соответствующую длине искомых маршрутов, взятой из технического задания на испытания, что позволяет вычислить все вершины, которые необходимо последовательно активировать в процессе испытаний для достижения абсолютной полноты контроля в рамках заданного ограничения -определенной, например, в техническом задании на испытания длины маршрутов; далее, в соответствие с результатами проведенных по вышеописанному алгоритму расчетов, при помощи устройства управления процессом испытаний, формируют массив управляющих воздействий поочередно включающих неисправности, реализованные в модели и указанные в массиве; проводят испытания на этой модели; результаты испытаний заносят в протокол при помощи устройства управления процессом испытаний; при помощи устройства управления испытаниями, сравнивают результаты испытаний от исправной и неисправной моделей на каждой неисправности из заданного массива, если в процессе испытаний исправной модели неисправностей не обнаруживают, а при испытаниях неисправной, обнаруживают весь массив внесенных неисправностей, то испытываемую аппаратуру или ПО считают прошедшими испытания; если в процессе испытаний исправной модели обнаруживают неисправности, то определяют коэффициент первого этапа

Figure 00000001
, где о - количество обнаруженных неисправностей; если в процессе испытаний неисправной модели обнаруживают не все неисправности, то определяют коэффициент второго этапа
Figure 00000002
, где oν - количество внесенных в модель неисправностей, оо - количество обнаруженных неисправностей.The technical problem of the invention is solved by the fact that FPGA projects implemented in hardware description languages intentionally introduce fault models; then conduct tests to assess the likelihood of detection of introduced fault models by the tested hardware or software; in the language of the equipment description, they create a project of a working model of an electronic device that simulates the behavior of the input-output channels of the test object (an electronic device developed for the end user); write the resulting model project into the FPGA of a fault simulation device integrated into the test process control device and containing interface input-output channels; carry out tests on this model; test results are recorded using the test process control device; develop a nomenclature of faults necessary for testing and describe each of the malfunctions included in the nomenclature in the languages describing the equipment; create a draft model of the test object with malfunctions, and provide for the possibility of turning them on / off during the test process without recompiling the project, using high-level control software; write the resulting model project into the FPGA of a fault simulation device built into the test process control device; High-level software that activates and deactivates any combination of faults without recompiling the FPGA project is developed on the basis of the following fault activation routing algorithm; each of the malfunctions included in the nomenclature of malfunctions necessary for testing an electronic device is represented as a vertex of a directed graph, the vertices are connected by arcs that express a strictly defined sequence of activation of malfunctions, developed on the basis of historical data on their occurrence during operation of the tested device by the end user or in the process of previously conducted tests, as well as the results of a theoretical analysis of the possible outcomes of hypothetical situations within the framework of certain input data, which are faults accepted in the nomenclature of malfunctions; for the formed directed graph, they form an adjacency matrix in which zeros are the absence of an arc between vertices, units are the presence of an arc between vertices; on the basis of the adjacency matrix, they compose a route matrix by replacing all units with letters unique to each column of the matrix or any other unique characters; the resulting route matrix is raised to the power corresponding to the length of the desired routes taken from the technical specifications for testing, which allows you to calculate all the vertices that must be sequentially activated during the tests in order to achieve absolute completeness of control within a given restriction, defined, for example, in the technical specifications for testing route lengths; further, in accordance with the results of the calculations carried out according to the above-described algorithm, using the test process control device, an array of control actions is formed that alternately include faults implemented in the model and indicated in the array; carry out tests on this model; test results are recorded using the test process control device; using the test management device, compare the test results from the working and faulty models for each fault from a given array, if during the testing of a working model of faults they do not detect faults, and during the testing of faults, the entire array of faults detected is detected, then the tested hardware or software is considered tested ; if malfunctions are detected during the testing of a working model, then the coefficient of the first stage is determined
Figure 00000001
where o is the number of faults detected; if during the test of the faulty model not all faults are detected, then the coefficient of the second stage is determined
Figure 00000002
where oν is the number of faults introduced into the model, oo is the number of faults detected.

Применение вышеописанного алгоритма маршрутизации активации неисправностей позволяет автоматически вычислить все возможные маршруты активации неисправностей в рамках любого заданного ограничения и пройти их в ходе испытаний, что повышает полноту контроля испытаний.Using the above-described fault activation routing algorithm allows you to automatically calculate all possible fault activation paths within any given restriction and pass them during the tests, which increases the completeness of test control.

Заявка поясняется изображениями:The application is illustrated by the images:

Фиг. 1 - изображение графа составленного на основе исторических данных о фактически произошедших неисправностях в ходе штатной эксплуатации конечным потребителем электронного устройства; шесть вершин графа соответствуют произошедшим неисправностям, дуги соответствуют последовательности появления неисправностей в нештатной ситуации.FIG. 1 - image of a graph compiled on the basis of historical data on the actually occurred malfunctions during normal operation by the end user of the electronic device; six vertices of the graph correspond to the malfunctions that have occurred, arcs correspond to the sequence of occurrence of malfunctions in an emergency.

Фиг. 2 - матрица смежности, составленная на основе графа изображенного на фигуре 1; если между вершинами имеется дуга, то на пересечении этих двух вершин в матрице смежности выставлена 1, если дуга отсутствует, то 0.FIG. 2 - adjacency matrix, based on the graph depicted in figure 1; if there is an arc between the vertices, then 1 is set at the intersection of these two vertices in the adjacency matrix; if there is no arc, then 0.

Фиг. 3-матрица маршрутов Р, составленная на основе матрицы смежности изображенной на фигуре 2, путем замены всех единиц буквами, одноименными с названиями столбцов; матрица на данной фигуре отображает маршруты длинной в 1 вершину, т.е

Figure 00000003
.FIG. 3-matrix of routes P, compiled on the basis of the adjacency matrix depicted in figure 2, by replacing all units with letters of the same name with the column names; the matrix in this figure displays the routes with a length of 1 vertex, i.e.
Figure 00000003
.

Фиг. 4 - матрица маршрутов Р для маршрутов длинной

Figure 00000004
, рассчитанная по формуле
Figure 00000005
.FIG. 4 - matrix of routes P for long routes
Figure 00000004
calculated by the formula
Figure 00000005
.

Фиг. 5 - матрица маршрутов Р для маршрутов длинной

Figure 00000006
, рассчитанная по формуле
Figure 00000007
.FIG. 5 - route matrix P for long routes
Figure 00000006
calculated by the formula
Figure 00000007
.

Фиг. 6 - матрица маршрутов Р для маршрутов длинной

Figure 00000008
, рассчитанная по формуле
Figure 00000009
.FIG. 6 - route matrix P for long routes
Figure 00000008
calculated by the formula
Figure 00000009
.

Способ осуществляют следующим образом.The method is as follows.

На языке описания аппаратуры создают проект исправной модели электронного устройства, имитирующей поведение каналов ввода-вывода объекта испытаний (электронного устройства или его составных частей), связывающих устройство имитации неисправностей с устройством управления процессом испытаний, содержащим устройства контроля. Записывают получившийся проект в ПЛИС устройства имитации неисправностей, встроенного в устройство управления процессом испытаний и содержащего интерфейсные каналы ввода-вывода. Реализация модели на ПЛИС позволяет исключить моделирование временных промежутков, так как современные ПЛИС поддерживают такой же уровень скоростей, как и аппаратура, создаваемая для конечного потребителя, имеющая исключительно аппаратную реализацию. В то же время на ПЛИС можно реализовывать любые устройства, требуемые для испытаний, путем простого перепрограммирования, что занимает гораздо меньше времени, чем аппаратное макетирование, которое требует приобретения натуральной компонентной базы электроники и сложного процесса ее монтажа на печатные платы. Далее проводят испытания на этой модели. Результаты испытаний автоматически заносят в протокол устройством управления процессом испытаний. На языке описания аппаратуры создают проект модели электронной аппаратуры с неисправностями, причем предусматривают возможность их включения/выключения в процессе испытаний, при помощи управляющего ПО высокого уровня, что сильно сокращает количество перекомпиляций проектов ПЛИС. Например, необходимо имитировать 10 различных неисправностей, причем ввести их в процесс испытаний во всех возможных комбинациях. На каждую комбинацию потребуется переделать проект ПЛИС и провести его перекомпиляцию. Допустим, что наличие неисправности это 1, а отсутствие 0, это значит, что количество перекомпиляций (исключая исправную модель) составит 1023 (1111111111двоичная=1024десятичная)- В предлагаемом способе в проекте ПЛИС модели предусматривают возможность включения/выключения каждой отдельной неисправности путем введения программируемой логической структуры «ЕСЛИ», которая управляется ПО высокого уровня формированием массива управляющих воздействии включения/выключения. Далее записывают получившийся проект в ПЛИС того же самого устройства имитации неисправностей, встроенного в устройство управления процессом испытаний. При помощи устройства управления процессом испытаний формируют массив управляющих воздействий автоматически поочередно включающих неисправности, реализованные в модели и указанные в массиве. Проводят испытания на этой модели. Результаты испытаний автоматически заносят в протокол устройством управления процессом испытаний. При помощи устройства управления процессом испытаний, сравнивают результаты испытаний от исправной и неисправной моделей на каждой неисправности из заданного массива. Если в процессе испытаний исправной модели неисправностей не обнаружено, а также обнаружен весь массив внесенных неисправностей в неисправную модель, то аппаратура или ее управляющее ПО считаются прошедшими испытания. Если в процессе испытаний исправной модели обнаруживают неисправности, то определяют коэффициент первого этапа

Figure 00000010
, где о - количество обнаруженных неисправностей; если в процессе испытаний неисправной модели обнаруживают не все неисправности, то определяют коэффициент второго этапа
Figure 00000011
, где oν - количество внесенных в модель неисправностей, оо - количество обнаруженных неисправностей.In the language of the equipment description, a project is created for a working model of an electronic device that simulates the behavior of the input / output channels of the test object (electronic device or its components) that connect the malfunction simulation device to the test process control device containing control devices. The resulting project is recorded in the FPGA of a fault simulation device integrated in the test process control device and containing interface input-output channels. The implementation of the model on the FPGA allows you to exclude the modeling of time intervals, since modern FPGAs support the same level of speeds as the equipment created for the end user, which has exclusively hardware implementation. At the same time, any devices required for testing can be implemented on FPGAs by simple reprogramming, which takes much less time than hardware prototyping, which requires the purchase of a natural component base of electronics and the complex process of mounting it on printed circuit boards. Next, tests are carried out on this model. Test results are automatically logged by the test process control device. In the language of the hardware description, a draft model of electronic equipment with malfunctions is created, and it is possible to turn them on / off during the test using high-level control software, which greatly reduces the number of recompilations of FPGA projects. For example, you need to simulate 10 different faults, and introduce them into the test process in all possible combinations. For each combination, you will need to redo the FPGA project and recompile it. Suppose that the presence of a malfunction is 1, and the absence of 0, this means that the number of recompilations (excluding a healthy model) will be 1023 (1111111111 binary = 1024 decimal ) - In the proposed method in the FPGA project, the models provide the ability to enable / disable each individual malfunction by introducing “IF” programmable logic structure, which is controlled by high-level software by forming an array of control actions on / off. Next, the resulting project is recorded in the FPGA of the same fault simulation device built into the test process control device. With the help of the test process control device, an array of control actions is automatically generated alternately including faults implemented in the model and indicated in the array. Carry out tests on this model. Test results are automatically logged by the test process control device. Using the test process control device, test results from the serviceable and faulty models are compared for each fault from a given array. If during the testing process a faulty model of malfunctions was not detected, and the entire array of introduced faults in the malfunctioning model was found, then the equipment or its control software are considered tested. If malfunctions are found during the testing of a working model, then the coefficient of the first stage is determined
Figure 00000010
where o is the number of faults detected; if during the test of the faulty model not all faults are detected, then the coefficient of the second stage is determined
Figure 00000011
where oν is the number of faults introduced into the model, oo is the number of faults detected.

Описанный способ осуществим также с реализацией исправной и неисправной моделей в двух отдельных одинаковых устройствах. В этом случае испытания исправной и неисправной моделей можно проводить одновременно, что дополнительно сократит время испытаний.The described method is also feasible with the implementation of healthy and faulty models in two separate identical devices. In this case, tests of healthy and faulty models can be carried out simultaneously, which will additionally reduce the test time.

Для повышения полноты контроля, в ходе испытаний, предлагается алгоритм маршрутизации активации неисправностей, заключающийся в следующем: каждую из неисправностей, входящих в номенклатуру неисправностей, необходимую для проведения испытаний электронного устройства, представляют в виде вершины ориентированного графа, вершины соединяют дугами, которые выражают строго заданную последовательность активации неисправностей, разработанную на основе исторических данных об их появлении в ходе эксплуатации испытываемого устройства конечным потребителем или в процессе ранее проведенных испытаний, а также результатов теоретического анализа возможных исходов гипотетических ситуаций в рамках определенных входных данных, которыми являются принятые в номенклатуру неисправностей неисправности; для сформированного ориентированного графа составляют матрицу смежности, в которой нули - это отсутствие дуги между вершинами, единицы - наличие дуги между вершинами; на основе матрицы смежности составляют матрицу маршрутов, путем замены всех единиц уникальными для каждого столбца матрицы буквами или любыми другими уникальными знаками; возводят получившуюся матрицу маршрутов в степень соответствующую длине искомых маршрутов, взятой из технического задания на испытания, что позволяет вычислить все вершины, которые необходимо последовательно активировать в процессе испытаний для достижения абсолютной полноты контроля в рамках заданного ограничения - определенной в техническом задании на испытания длины маршрутов; далее, в соответствие с результатами проведенных по вышеописанному алгоритму расчетов, при помощи устройства управления процессом испытаний, формируют массив управляющих воздействий поочередно включающих неисправности, реализованные в модели и указанные в массиве.To increase the completeness of control, during the tests, a routing algorithm for the activation of faults is proposed, which consists in the following: each of the faults included in the nomenclature of faults necessary for testing an electronic device is represented as a vertex of a directed graph, the vertices are connected by arcs that express a strictly defined the sequence of activation of faults, developed on the basis of historical data on their occurrence during the operation of the tested device by the end user or in the course of previously conducted tests, as well as the results of a theoretical analysis of the possible outcomes of hypothetical situations within the framework of certain input data, which are faults accepted in the nomenclature of faults; for the formed directed graph, they form an adjacency matrix in which zeros are the absence of an arc between vertices, units are the presence of an arc between vertices; on the basis of the adjacency matrix, they compose a route matrix by replacing all units with letters unique to each column of the matrix or any other unique characters; elevate the resulting route matrix to a power corresponding to the length of the desired routes taken from the technical specifications for testing, which allows you to calculate all the vertices that must be sequentially activated during the tests to achieve absolute completeness of control within the specified limit defined in the technical specifications for testing the length of the routes; further, in accordance with the results of the calculations performed according to the above-described algorithm, using the test process control device, an array of control actions is formed, which alternately include faults implemented in the model and indicated in the array.

Рассмотрим предложенный алгоритм маршрутизации активации неисправностей на примере графа изображенного на фигуре 1. Граф имеет 6 вершин, а значит, описывает 6 неисправностей. Дуги графа выражают последовательность активации неисправностей, рассчитанную в результате анализа, например, исторических данных, о ситуации, произошедшей в действительности, в ходе штатной эксплуатации, например, конечным потребителем устройства. Т.е при появлении неисправности а, в ходе штатной эксплуатации, обязательно появятся неисправности b или/и с, при появлении неисправности с последовательно появятся неисправности d, е и f, что спровоцирует факторы, которые повторно приведут к появлению неисправности с и.т.д. Для дальнейших расчетов составляют матрицу смежности для предложенного графа неисправностей (фигура 2). Если из вершины в вершину имеется дуга, то в пересечении столбца и строки выставляют 1, если дуги нет, то 0. На основе матрицы смежности составляют матрицу маршрутов Р, путем замены всех единиц уникальными для каждого столбца матрицы одноименными буквами или любыми другими уникальными знаками, (фигура 3). Возводят получившуюся матрицу маршрутов в степень соответствующую длине искомых маршрутов, взятой из технического задания на испытания, что позволяет вычислить все маршруты, которые необходимо последовательно активировать в процессе испытаний для достижения абсолютной полноты контроля в рамках заданного ограничения - определенной в техническом задании на испытания длины маршрутов. Т.е маршруты длины

Figure 00000012
рассчитывают по формуле
Figure 00000013
. На фигурах с 4 по 6 приведены расчеты для разных
Figure 00000014
:
Figure 00000015
- фигура 4,
Figure 00000016
- фигура 5,
Figure 00000017
- фигура 6. Далее, в соответствие с результатами проведенных по вышеописанному алгоритму расчетов, при помощи устройства управления процессом испытаний, формируют массив управляющих воздействий поочередно включающих неисправности, реализованные в модели и указанные в массиве.Consider the proposed routing algorithm for activation of faults using the example of the graph shown in figure 1. The graph has 6 vertices, which means it describes 6 faults. The arcs of the graph express the sequence of activation of faults, calculated as a result of the analysis, for example, of historical data, about the situation that actually occurred during normal operation, for example, by the end user of the device. Ie the appearance of a fault, during normal operation, will necessarily fault b and / or c, when a fault occurs with the malfunction consistently appear d, e and f, which provoke the factors that will lead to re-occurrence of a fault with IT d. For further calculations make up the adjacency matrix for the proposed fault graph (figure 2). If there is an arc from vertex to vertex, then 1 is set at the intersection of the column and row; if there is no arc, then 0. Based on the adjacency matrix, make up the route matrix P by replacing all units with unique letters for each matrix column or any other unique characters, (figure 3). The resulting matrix of routes is raised to the power corresponding to the length of the required routes taken from the technical specifications for testing, which allows you to calculate all the routes that must be sequentially activated during the tests to achieve absolute completeness of control within the specified limit defined in the technical specifications for testing the length of the routes. I.e. length routes
Figure 00000012
calculated by the formula
Figure 00000013
. The figures 4 to 6 show the calculations for different
Figure 00000014
:
Figure 00000015
- figure 4,
Figure 00000016
- figure 5,
Figure 00000017
- figure 6. Further, in accordance with the results of the calculations performed according to the above algorithm, using the test process control device, an array of control actions is formed that alternately include faults implemented in the model and indicated in the array.

В качестве доказательства повышения полноты контроля заявляемым способом испытаний электронной аппаратуры на основе аппаратно-программного внесения неисправностей с маршрутизацией приведем пример, когда предлагаемый алгоритм маршрутизации не используется. Тогда, в виду человеческого фактора или недостатков примененного другого алгоритма расчета маршрутов некоторые маршруты могут быть не рассчитаны и не учтены для их активации в ПЛИС в процессе испытательных прогонов. Например, для приведенного графа (фигура 1) общее количество маршрутов длины 6 составляет 7 штук, т.е {abcdefc}, {acdefcd}, {bcdefcd}, {fcdefcd}, {cdefcde}, {defcdef}, {efcdefc}. Предложенный, в рамках заявляемого способа испытаний электронной аппаратуры на основе аппаратно-программного внесения неисправностей с маршрутизацией, алгоритм позволил рассчитать все 7 маршрутов, т.е все существующие маршруты длиной 6, когда без его применения было получено, например, 5 маршрутов длиной 6 вершин, тогда полнота контроля

Figure 00000018
, где λк - количество проконтролированных в ходе испытательных прогонов активированных маршрутов длиной 6 вершин в модели на ПЛИС, рассчитанных по алгоритму маршрутизации; λ0 - суммарное наличие маршрутов длиной 6 вершин в модели на ПЛИС. Тогда для способа испытаний электронной аппаратуры на основе аппаратно-программного внесения неисправностей с маршрутизацией
Figure 00000019
, для способа противопоставляемого в данном примере
Figure 00000020
. Таким образом, в рамках примера, полнота контроля повышена на 29 процентов. Также следует отметить, что в обнаруженных, в ходе анализа уровня техники, аналогах отсутствует какое либо описание алгоритмов расчета маршрутов активации неисправностей в принципе, что и вынесено в отличительную часть формулы заявляемого изобретения.As evidence of increasing the completeness of control by the claimed method of testing electronic equipment based on hardware-software troubleshooting with routing, we give an example when the proposed routing algorithm is not used. Then, due to the human factor or the shortcomings of the other route calculation algorithm used, some routes may not be calculated and not taken into account for their activation in the FPGA during the test runs. For example, for the graph shown (Figure 1), the total number of routes of length 6 is 7, that is, {abcdefc}, {acdefcd}, {bcdefcd}, {fcdefcd}, {cdefcde}, {defcdef}, {efcdefc}. The algorithm proposed in the framework of the proposed method for testing electronic equipment based on hardware-software troubleshooting with routing made it possible to calculate all 7 routes, that is, all existing routes with a length of 6, when without it, for example, 5 routes with a length of 6 vertices were received, then full control
Figure 00000018
where λ k is the number of activated routes monitored during test runs of 6 vertices in the FPGA model, calculated by the routing algorithm; λ 0 - the total availability of routes with a length of 6 vertices in the model on the FPGA. Then, for the method of testing electronic equipment based on hardware-software routing faults
Figure 00000019
, for the method contrasted in this example
Figure 00000020
. Thus, as an example, control completeness is increased by 29 percent. It should also be noted that in the analogues found during the analysis of the prior art there is no description of the algorithms for calculating the paths for activation of faults in principle, which is included in the distinguishing part of the claims of the claimed invention.

Необходимо отметить, что, в рамках предлагаемого способа испытаний электронной аппаратуры на основе аппаратно-программного внесения неисправностей с маршрутизацией, модели на ПЛИС функционируют как «Черный ящик», лишь функционально имитируя поведение каналов ввода-вывода электронных устройств или их частей, при этом ставится задачей максимально адекватно воспроизвести входные и выходные сигналы по временным параметрам, для обеспечения взаимодействия с внешней аппаратурой, подключенной к данным каналам в процессе испытаний. Внутренняя реализация моделей на ПЛИС имеет лишь отдаленную схожесть с внутренней реализацией имитируемого прибора.It should be noted that, in the framework of the proposed method for testing electronic equipment based on hardware-software fault-routing with routing, FPGA models function as a "Black Box", only functionally simulating the input-output channels of electronic devices or parts thereof, and the task is maximally adequately reproduce the input and output signals according to time parameters, to ensure interaction with external equipment connected to these channels during the test process. The internal implementation of models on the FPGA has only a distant similarity with the internal implementation of the simulated device.

Устройство управления процессом испытаний реализовано в крейт-шасси, управляемом крейт-контроллером, к которому подключаются манипуляторы (мышь и клавиатура). Данные о процессе испытаний выводятся на монитор. Управление крейт-контроллером обеспечивает операционная система и пакет прикладных программ. Также при помощи пакета прикладных программ задается массив неисправностей для неисправной модели. Данные, полученные в процессе испытаний, протоколируются, и результаты сравниваются. Вычисляются коэффициенты покрытия неисправностей проведенных испытаний (R1 и R2). Устройство имитации неисправностей в модульном исполнении, содержащее ПЛИС и каналы ввода-вывода для соединения с устройством управления, встраивают в крейт-шасси устройства управления. При помощи вышеописанного пакета прикладных программ, реализованных на основе алгоритмов маршрутизации активации неисправностей, происходит автоматический перебор всех возможных комбинаций неисправностей в определенной последовательности, что позволяет достичь максимальной полноты контроля в рамках заданного в техническом задании ограничения. Для каждой комбинации неисправностей автоматически поочередно проводится испытательный прогон. Результаты автоматически анализируются и заносятся в протокол, содержащийся в памяти крейт-контроллера устройства управления.The test process control device is implemented in a crate chassis controlled by a crate controller, to which manipulators (mouse and keyboard) are connected. Data on the test process is displayed on the monitor. The crate controller is controlled by the operating system and application package. Also, using the application package, an array of faults is set for the faulty model. Data obtained during the test are recorded and the results are compared. Fault coverage coefficients for the tests performed (R1 and R2) are calculated. A modular fault simulation device comprising an FPGA and I / O channels for connecting to a control device is built into the control device's chassis. Using the above-described application package implemented on the basis of fault activation routing algorithms, all possible combinations of faults are automatically sorted in a certain sequence, which allows to achieve maximum control completeness within the limits specified in the technical task. For each combination of faults, a test run is automatically performed alternately. The results are automatically analyzed and entered into the protocol contained in the memory of the crate controller of the control device.

Таким образом, заявляемый способ, содержащий алгоритмы маршрутизации активации неисправностей, позволяет в автоматическом режиме определять, в какой последовательности необходимо вносить моделируемые неисправности в процессе испытаний для полного перебора всех существующих комбинаций неисправностей, что повышает полноту контроля объектов.Thus, the inventive method containing routing algorithms for activation of faults, allows you to automatically determine in what sequence it is necessary to introduce simulated faults in the test process for a complete enumeration of all existing combinations of faults, which increases the completeness of monitoring objects.

Claims (2)

1. Способ испытаний электронной аппаратуры на основе аппаратно-программного внесения неисправностей с маршрутизацией, при реализации которого в проекты программируемых логических интегральных схем (ПЛИС), реализованные на языках описания аппаратуры, намеренно вносят модели неисправностей, затем проводят испытания с целью оценки вероятности обнаружения испытываемой аппаратурой или ее управляющим ПО внесенных моделей неисправностей, заключающийся в том, что на языке описания аппаратуры создают проект исправной модели электронного устройства, имитирующей поведение его каналов ввода-вывода; записывают получившийся проект исправной модели в ПЛИС устройства имитации неисправностей содержащего интерфейсные каналы ввода-вывода; проводят испытания исправной модели; результаты испытаний заносят в протокол при помощи устройства управления процессом испытаний (УУПИ); на языках описания аппаратуры создают проект модели электронного устройства с неисправностями (ПМСН), причем предусматривают возможность их включения/выключения без перекомпиляции проекта в процессе испытаний при помощи управляющего программного обеспечения высокого уровня; записывают получившийся ПМСН в ПЛИС устройства имитации неисправностей; при помощи УУПИ формируют массив управляющих воздействий, поочередно включающих неисправности, реализованные в ПМСН и указанные в массиве; проводят такие же испытания на ПМСН, как и в предыдущем случае с исправной моделью; результаты испытаний заносят в протокол при помощи УУПИ; при помощи УУПИ сравнивают результаты испытаний от исправной и неисправной моделей на каждой неисправности из заданного массива, если в процессе испытаний исправной модели неисправностей не обнаруживают, а при испытаниях неисправной обнаруживают весь массив внесенных неисправностей, то испытываемую электронную аппаратуру или ее управляющее ПО считают прошедшими испытания; если в процессе испытаний исправной модели обнаруживают неисправности, то определяют коэффициент первого этапа
Figure 00000021
, где о - количество обнаруженных неисправностей; если в процессе испытаний неисправной модели обнаруживают не все неисправности, то определяют коэффициент второго этапа
Figure 00000022
, где oν - количество внесенных в модель неисправностей, оо - количество обнаруженных неисправностей, отличающийся тем, что каждую из неисправностей, входящих в номенклатуру неисправностей, необходимую для проведения испытаний электронного устройства, представляют в виде вершины ориентированного графа, вершины соединяют дугами, которые выражают строго заданную последовательность активации неисправностей; для сформированного ориентированного графа составляют матрицу смежности, в которой нули - это отсутствие дуги между вершинами, единицы - наличие дуги между вершинами; на основе матрицы смежности составляют матрицу маршрутов путем замены всех единиц уникальными для каждого столбца матрицы буквами или любыми другими уникальными символами; возводят получившуюся матрицу маршрутов в степень, соответствующую длине искомых маршрутов, что позволяет вычислить все вершины, которые необходимо последовательно активировать в процессе испытаний для достижения абсолютной полноты контроля в рамках заданного ограничения - определенной длины маршрутов; далее в соответствии с результатами проведенных по вышеописанному алгоритму расчетов при помощи устройства управления процессом испытаний формируют массив управляющих воздействий, поочередно включающих неисправности, реализованные в модели и указанные в массиве.1. A method of testing electronic equipment based on hardware-software fault input with routing, during the implementation of which the programmable logic integrated circuits (FPGA) implemented in the hardware description languages intentionally introduce fault models, then conduct tests to assess the probability of detection of the tested equipment or its managing software of the introduced fault models, consisting in the fact that, in the language of the equipment description, they create a project of a working model of an electronic device that simulates the behavior of its input-output channels; write the resulting design of a working model into the FPGA of a fault simulation device containing input / output interface channels; test a working model; test results are recorded using the test process control device (UPI); in the languages of the equipment description, they create a draft model of an electronic device with malfunctions (PMSN), and provide for the possibility of turning them on / off without recompiling the project during the tests using high-level control software; write the resulting PMSN in the FPGA device simulating faults; using UPI form an array of control actions, which in turn include malfunctions implemented in the PMSN and indicated in the array; carry out the same tests for PMSN, as in the previous case with a working model; test results are recorded using UPI; using UPI compare the test results from a working and faulty models for each fault from a given array, if during the tests of a working model of faults they do not detect faults, and when testing faults, the entire array of introduced faults is detected, then the tested electronic equipment or its control software is considered tested; if malfunctions are detected during the testing of a working model, then the coefficient of the first stage is determined
Figure 00000021
where o is the number of faults detected; if during the test of the faulty model not all faults are detected, then the coefficient of the second stage is determined
Figure 00000022
, where oν is the number of malfunctions introduced into the model, oo is the number of malfunctions detected, characterized in that each of the malfunctions included in the nomenclature of malfunctions necessary for testing the electronic device is represented as the vertices of a directed graph, the vertices are connected by arcs that express strictly specified sequence of activation of faults; for the formed directed graph, they form an adjacency matrix in which zeros are the absence of an arc between vertices, units are the presence of an arc between vertices; on the basis of the adjacency matrix, they compose a route matrix by replacing all units with letters unique to each column of the matrix or any other unique characters; elevate the resulting route matrix to a degree corresponding to the length of the desired routes, which allows you to calculate all the vertices that must be sequentially activated in the test process to achieve absolute control completeness within a given limit - a certain length of routes; further, in accordance with the results of the calculations performed according to the above-described algorithm, an array of control actions is formed using the test process control device, which in turn include faults implemented in the model and indicated in the array. 2. Способ по п. 1, отличающийся тем, что испытания исправной модели и модели с неисправностями проводят одновременно.2. The method according to p. 1, characterized in that the tests of a working model and a model with faults are carried out simultaneously.
RU2019104746A 2019-02-19 2019-02-19 Method of testing electronic hardware based on hardware-software faults with routing RU2725783C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2019104746A RU2725783C1 (en) 2019-02-19 2019-02-19 Method of testing electronic hardware based on hardware-software faults with routing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2019104746A RU2725783C1 (en) 2019-02-19 2019-02-19 Method of testing electronic hardware based on hardware-software faults with routing

Publications (1)

Publication Number Publication Date
RU2725783C1 true RU2725783C1 (en) 2020-07-06

Family

ID=71510409

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019104746A RU2725783C1 (en) 2019-02-19 2019-02-19 Method of testing electronic hardware based on hardware-software faults with routing

Country Status (1)

Country Link
RU (1) RU2725783C1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2764837C1 (en) * 2021-01-25 2022-01-21 Акционерное общество «Информационные спутниковые системы» имени академика М.Ф.Решетнёва» Method for testing computing devices of spacecraft control systems
RU2781091C2 (en) * 2020-09-07 2022-10-05 Общество с Ограниченной Ответственностью "Измерительные технологии" Device and method for hybrid scanning of radio-electronic equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8418012B2 (en) * 2010-09-21 2013-04-09 Ansaldo Sts Usa, Inc. Method of analyzing the safety of a device employing on target hardware description language based fault injection
RU2549523C1 (en) * 2014-04-29 2015-04-27 Открытое акционерное общество "Информационные спутниковые системы " имени академика М.Ф. Решетнева" Method for mutation testing of radio-electronic equipment and control software thereof
RU2601534C1 (en) * 2015-09-22 2016-11-10 Акционерное общество "Военно-промышленная корпорация "Научно-производственное объединение машиностроения" Method and device for testing radio products
EP2801872B1 (en) * 2013-05-06 2018-06-06 dSPACE digital signal processing and control engineering GmbH Test device for testing a virtual control device
RU2661535C1 (en) * 2017-06-14 2018-07-17 Российская Федерация, от имени которой выступает Государственная корпорация по космической деятельности "РОСКОСМОС" Method of mutation testing of electronic equipment and its control software with determination of mutation localization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8418012B2 (en) * 2010-09-21 2013-04-09 Ansaldo Sts Usa, Inc. Method of analyzing the safety of a device employing on target hardware description language based fault injection
EP2801872B1 (en) * 2013-05-06 2018-06-06 dSPACE digital signal processing and control engineering GmbH Test device for testing a virtual control device
RU2549523C1 (en) * 2014-04-29 2015-04-27 Открытое акционерное общество "Информационные спутниковые системы " имени академика М.Ф. Решетнева" Method for mutation testing of radio-electronic equipment and control software thereof
RU2601534C1 (en) * 2015-09-22 2016-11-10 Акционерное общество "Военно-промышленная корпорация "Научно-производственное объединение машиностроения" Method and device for testing radio products
RU2661535C1 (en) * 2017-06-14 2018-07-17 Российская Федерация, от имени которой выступает Государственная корпорация по космической деятельности "РОСКОСМОС" Method of mutation testing of electronic equipment and its control software with determination of mutation localization

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2781091C2 (en) * 2020-09-07 2022-10-05 Общество с Ограниченной Ответственностью "Измерительные технологии" Device and method for hybrid scanning of radio-electronic equipment
RU2764837C1 (en) * 2021-01-25 2022-01-21 Акционерное общество «Информационные спутниковые системы» имени академика М.Ф.Решетнёва» Method for testing computing devices of spacecraft control systems

Similar Documents

Publication Publication Date Title
Sandberg Feasibility of whole brain emulation
CN107633155B (en) Method and apparatus for computer-based generation of component fault trees
US8645118B2 (en) Fault support in an emulation environment
CN108508852B (en) Isolation management system and isolation management method
Simeu-Abazi et al. Fault diagnosis for discrete event systems: Modelling and verification
US20150121148A1 (en) Malfunction influence evaluation system and evaluation method
US20110040441A1 (en) Device for system diagnosis
Kelly The CRITTER System--Automated Critiquing of Digital Circuit Designs
Podivinsky et al. Functional verification based platform for evaluating fault tolerance properties
RU2549523C1 (en) Method for mutation testing of radio-electronic equipment and control software thereof
RU2661535C1 (en) Method of mutation testing of electronic equipment and its control software with determination of mutation localization
RU2725783C1 (en) Method of testing electronic hardware based on hardware-software faults with routing
Kharchenko et al. Multi-diversity versus common cause failures: FPGA-based multi-version NPP I&C systems
Murrell et al. A survey of tools for the validation and verification of knowledge-based systems: 1985–1995
Lojda et al. FT-EST Framework: Reliability Estimation for the Purposes of Fault-Tolerant System Design Automation
Mamoutova et al. The ontology-based approach to data storage systems technical diagnostics
RU2717630C1 (en) Method of determining adequacy of monitoring electronic equipment in failure mode
Bozzano et al. Automated analysis of reliability architectures
Gomes et al. Constructive model-based analysis for safety assessment
Kim et al. A method for evaluating fault coverage using simulated fault injection for digitalized systems in nuclear power plants
Pichette et al. Knowledge-intensive diagnostics using case-based reasoning and synthetic case generation
Harward et al. A fault injection system for measuring soft processor design sensitivity on Virtex-5 FPGAs
Yu et al. A state of research review on fault injection techniques and a case study
US10948549B2 (en) Apparatus and method for a reusable functional failure test for a specific technical system
Alderighi et al. Soft errors in SRAM-FPGAs: A comparison of two complementary approaches