RU2817186C1 - Система подтверждения тестов и тестирования встроенного программного обеспечения электронных устройств - Google Patents

Abstract

Изобретение относится к области вычислительной техники, а именно к системам подтверждения тестов и тестирования встроенного программного обеспечения электронных устройств. Технический результат заключается в повышении надежности тестирования встроенного программного обеспечения электронных устройств. Технический результат достигается за счет того, что среда тестирования дополнительно содержит средства выбора режимов выполнения тестов, средства выполнения подтверждения тестов, средства обеспечения подтверждения тестов и средства обеспечения информационного взаимодействия; средства обеспечения информационного взаимодействия связаны с моделями функциональных устройств, со средствами анализа и обработки информации, со средствами динамической реконфигурации и управления, со средствами визуализации данных и сущностей и со средствами написания, редактирования и выполнения тестов; средства написания, редактирования и выполнения тестов также связаны со средствами управления хранением тестовых наборов и их подключения, со средствами обеспечения подтверждения тестов, со средствами выбора режимов выполнения тестов; средства выбора режимов выполнения тестов связаны со средствами выполнения подтверждения тестов; средства управления хранением тестовых наборов и их подключения связаны с сервером хранения тестов. 1 ил.

Description

Изобретение относится к вычислительной технике, а именно к системам подтверждения тестов и отработки встроенного программного обеспечения (ПО) электронных устройств (ЭУ).

Известно изобретение «Способ и система автоматизации тестирования программного обеспечения», заключающееся в том, что система автоматизации тестирования программного обеспечения включает, по крайней мере, одно устройство пользователя и/или тестировщика, по крайней мере, одну базу данных, по крайней мере, одну базу тестов и программно-аппаратный комплекс, выполненный с возможностью: тестирования программного обеспечения по составленным планам тестирования посредством интерактивного взаимодействия тестировщика с пользовательским интерфейсом тестируемого программного обеспечения, записи указанных действий пользователя в автоматическом режиме в заранее заданных терминах уровня бизнес-логики тестируемого программного обеспечения, сохраняя результаты в базе тестов в качестве тестовых сценариев, записи изменений в базе данных, производимых при выполнении указанных тестовых сценариев, в автоматическом режиме в заранее заданных терминах, присваивая данным изменениям признак «Эталонные изменения» и сохраняя результаты в базе тестов, после изменения программного обеспечения осуществления его регрессионного тестирования, проигрывания тестовых сценариев из базы тестов в автоматическом режиме, записи изменений в базе данных, производимых при выполнении указанных тестовых сценариев, в автоматическом режиме в заранее заданных терминах, присваивая данным изменениям признак «Фактические изменения» и сохраняя результаты в базе тестов, осуществления верификации по каждому тестовому сценарию, сравнивая «Эталонные изменения» и «Фактические изменения» и сохраняя результаты сравнения в базе тестов, формирования списка тестовых сценариев, не прошедших верификацию, при этом под изменениями, не прошедшими верификацию подразумеваются расхождения «Эталонных изменений» и «Фактических изменений» и выполнен дополнительно с возможностью: выявления основных бизнес-процессов, выполняемых с использованием тестируемого программного обеспечения, составления детального плана тестирования выявленных бизнес-процессов, фиксируя варианты интерактивного взаимодействия тестировщика с пользовательским интерфейсом тестируемого программного обеспечения (заявка на патент РФ №2013126869/08).

В данном изобретении к недостаткам можно отнести:

• отсутствие средств визуализации (как основного инструмента предоставления результатов тестирования) для оперативного и гибкого контроля состояния средств моделирования, а также их данных и сущностей;

• отсутствие средств управления хранением тестовых наборов и их использования может быть причиной неструктурированного хранения, что может затруднить доступ для нескольких тестировщиков или привести к потере части тестовых наборов с возрастанием их количества;

• отсутствие средств динамической реконфигурации и управления и средств защиты и восстановления, обеспечивающих стабильную работу комплекса и восстановление его в случае непредвиденного сбоя;

• отсутствуют средства подтверждения тестов, позволяющих гарантировать срабатывание теста в точке контроля.

Наиболее близкими к предлагаемому по технической сущности является изобретение «Комплекс автоматизации и визуализации тестирования встроенного программного обеспечения электронных устройств» (патент RU №2678717), заключающееся в том, что комплекс включает среду тестирования, содержащую средства написания, редактирования и выполнения тестов, автоматизированного анализа и обработки информации, визуализации данных и сущностей в процессе тестирования и на этапе подготовки к нему, хранения тестовых наборов и подключения их в состав комплекса на любом этапе тестирования, динамической реконфигурации и управления в любой момент времени комплексом и любых компонент входящих в его состав, выделения общего буфера для взаимодействия подключаемых моделей и произвольную их реконфигурацию, как в ручном режиме, так и во время выполнения тестов, защиты и восстановления комплекса при наличии непредвиденных сбоев в процессе его работы, динамически подключаемые модели функциональных устройств, реализуемые в виде независимых унифицированных модулей с заранее определённым единым набором методов и функций и средствами визуализации и представления состояния их внутренних данных и сущностей, разработанных по единым правилам построения и реализации на базе унифицированного шаблона и вызываемых из среды тестирования, базу данных хранения представлений данных и сущностей, средства автоматизированного заполнения базы данных информацией на основе анализа документации, по которой разрабатывается тестируемое программное обеспечение.

При написании тестов тестировщик может допускать ошибки в точках контроля, из-за чего тест не будет выявлять потенциальную ошибку в тестируемом встроенном программном обеспечении электронного устройства. Отсутствие средств подтверждения тестов в данном изобретении влечет проверку контрольных точек визуально в ручном режиме, выполняемую тестировщиком или дополнительно привлекаемым специалистом. При такой организации не исключены ошибки в данном процессе из-за наличия человеческого фактора, что может говорить о низком качестве средств тестирования и как следствие надежности самого тестирования встроенного программного обеспечения электронных устройств.

По совокупности признаков изобретение по патенту RU №2678717 является наиболее близким к заявляемому и выбрано в качестве прототипа.

Заявленное изобретение предлагается рассматривать как систему, включающую совокупный и структурированный порядок аппаратно-программных средств взаимодействия, для выполнения главной цели – подтверждение тестов и тестирование встроенного программного обеспечения электронных устройств.

Для заявленного изобретения выявлены следующие общие с прототипом существенные признаки: система подтверждения тестов и тестирования встроенного программного обеспечения электронных устройств, заключающаяся в том, что она включает модели функциональных устройств; базу данных; средства автоматизированного анализа и заполнения базы данных; сервер хранения тестов; аппаратуру ввода-вывода; среду тестирования, содержащую средства написания, редактирования и выполнения тестов, средства анализа и обработки информации, средства управления хранением тестовых наборов и их подключения, средства динамической реконфигурации и управления, средства визуализации данных и сущностей, средства защиты и восстановления; среда тестирования подключается к базе данных; база данных связана со средствами автоматизированного анализа и заполнения базы данных; модели функциональных устройств связаны с аппаратурой ввода-вывода; аппаратура ввода-вывода связана с электронным устройством.

Технической проблемой является расширение функциональных возможностей и повышение качества средств тестирования и надежности тестирования встроенного программного обеспечения электронных устройств.

Техническая проблема решается за счет реализации в среде тестирования средств подтверждения тестов, позволяющих через имитацию ошибки во встроенном программном обеспечении электронного устройства, отработать срабатывание всех контрольных точек теста, то есть подтвердить способность всех тестов обнаруживать ошибки, и средств выбора режимов выполнения, позволяющих выбирать между выполнением тестирования или выполнением подтверждения тестов и исключающих взаимовлияние данных процессов.

На фиг. 1 представлена структурная схема заявленного изобретения.

Заявленное изобретение реализуется следующим образом:

Система состоит из сервера хранения тестов 5, аппаратуры ввода-вывода 6, среды тестирования (СТ) 1, моделей функциональных устройств 2, базы данных (БД) 3, средств автоматизированного анализа и заполнения базы данных 4.

Сервер хранения тестов 5 осуществляет хранение и доступ к тестам из среды тестирования 1 через средства управления хранением тестовых наборов и их подключения 1.1.

Аппаратура ввода-вывода 6 обеспечивает обмен данными между моделями функциональных устройств 2 и электронным устройством со встроенным программным обеспечением 7.

Модели функциональных устройств 2 – аппаратно-программные блоки, реализующие конечную функцию, путем работы аппаратных компонент вычислительной машины, таких как память, шина данных, процессор и т.д.

Модели функциональных устройств 2 включают заранее определённый универсальный набор методов, функций и средств представления состояния и визуализации их внутренних данных и сущностей, разработанных по единым правилам построения и реализации, и управляемых средой тестирования 1 в реальном времени на любом этапе тестирования.

Среда тестирования 1 – аппаратно-программный набор средств, включающий выполнение последовательностей инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд. Работа средств среды тестирования обеспечивается взаимодействием центрального процессора, шины данных, памяти и других аппаратных элементов вычислительной машины.

Среда тестирования 1 содержит средства управления хранением тестовых наборов и их подключения 1.1 на любом этапе испытаний, которые обеспечивают взаимодействие с сервером хранения тестов 5; средства написания, редактирования и выполнения тестов 1.2, которые обеспечивают задание параметров конфигурации; средства анализа и обработки информации 1.3; средства динамической реконфигурации и управления 1.4 в любой момент времени любых компонент входящих в состав среды тестирования 1; средства визуализации данных и сущностей 1.5; средства защиты и восстановления 1.6 среды тестирования 1 при наличии непредвиденных сбоев в процессе работы, средства обеспечения информационного взаимодействия 1.7; средства выбора режимов выполнения тестов 1.8; средства выполнения подтверждения тестов 1.9; средства обеспечения подтверждения тестов 1.10.

Для обмена между средой тестирования 1 и моделями функциональных устройств 2 разрабатывается протокол информационно-логического обмена. В протоколе описываются форматы пакетов данных для обмена между компонентами системы, и алгоритмы формирования и обработки данных.

БД 3 хранит информацию, включающую в себя параметры моделей функциональных устройств 2 и информацию необходимую для корректной работы СТ 1 и моделей функциональных устройств 2. В качестве такой информации выступают: коды команд управления и их названия, обозначения и адреса функциональных устройств для работы их моделей, значения данных и констант, внутренняя кодовая информация тестируемого встроенного программного обеспечения электронного устройства, позволяющая контролировать его вычислительный процесс. БД 3 реализуется во внутренней памяти вычислительной машины в виде набора связанных таблиц в соответствии с определенным типом назначения и использования, с привязкой к определенным видам тестируемого программного обеспечения.

Средства автоматизированного анализа информации и заполнения БД 4 выполняют анализ документации описывающей устройства взаимодействия с тестируемым встроенным программным обеспечением электронного устройства и формирование БД 3 в порядке принадлежности данных к своему типу назначения и использования, и внутренней привязки между собой.

Подтверждение тестов реализуется с помощью средств выбора режимов выполнения тестов 1.8, средств выполнения подтверждения тестов 1.9 и средств обеспечения подтверждения тестов 1.10.

Средства выбора режимов выполнения тестов 1.8 позволяют тестировщику включать выполнение теста в режиме тестирования программного обеспечения электронного устройства или в режиме подтверждения тестов.

Средства обеспечения подтверждения тестов 1.10 позволяют задавать соответствующие операций имитации ошибки в тест, и выполнять их для отработки срабатывания контрольных точек.

Средства выполнения подтверждения тестов 1.9 позволяют выполнять тесты в режиме подтверждения, т.е. с выполнением операций имитации ошибки в тестируемом встроенном программном обеспечении электронного устройства для проверки срабатывания контрольных точек.

Средства и их компоненты заявляемой системы не ограничиваются реализацией аппаратными компонентами отдельной вычислительной машины, а могут быть выполнены на нескольких, объединенных например сетевым взаимодействием.

Заявляемая система работает следующим образом.

С помощью средств автоматизированного анализа и заполнения базы данных 4 в БД 3 формируется основная информация по тестируемому встроенному программному обеспечению электронного устройства (принадлежность прибора и идентификатор ПО, который является уникальным для любого ПО электронного устройства).

На основе идентификатора ПО создается типизированный файл в формате Microsoft Excell (*.xls) с таблицами для заполнения данных, в который по таблично заносится информация из документации на ПО электронного устройства (спецификация на разработку ПО) в соответствующие таблицы типизированного файла.

Средств автоматизированного анализа и заполнения базы данных 4 автоматически заполняют БД 3 информацией, привязывая ее к идентификатору ПО, а также осуществляя присвоение идентификаторов для каждой записи в БД 3 с привязкой данных друг к другу, в соответствии с построением таблиц БД 3.

Тестировщик запускает компоненты СТ 1 и модели функциональных устройств 2. СТ 1 определяет доступность сервера хранения тестов 5 и выполняет подключение к нему в режиме доступа на запись и чтение. Далее СТ 1 осуществляет конфигурацию внутренних структур и данных, и на основе идентификатора тестируемого ПО выполняет подключение соответствующих моделей функциональных устройств 2, с передачей каждой модели параметров их конфигурации (данные предыдущей конфигурации, текущий выбранный идентификатор ПО, и другие параметры необходимые для настройки и запуска аппаратно-программных компонент моделирования.

СТ 1 в ходе работы осуществляет взаимодействие с моделями функциональных устройств 2 и их управление согласно информационно-логическому протоколу. Модели функциональных устройств 2 могут конфигурироваться, как на начальном этапе подготовки к тестированию, так и в процессе его проведения.

В модели функционального устройства 2 тестировщик может управлять следующим минимумом функций:

• настройка внутренних параметров (частота потока, адреса устройств и данных, необходимые, как для настройки аппаратной части взаимодействия с электронным устройством 7, так и внутренних структур, данных и сущностей модели);

• управление потоком модели, который выполняет функции моделирования логики функционального устройства;

• визуализация данных и сущностей модели (данные представляются как в виде непосредственно кодов информации, так и в виде различных типов представления: пиктограммы, иконки, графики, изображения, LED индикация и т.д.).

Каждая модель функционального устройства 2 протоколирует в своем буфере информацию за весь период работы (прием команд, сигналов, воздействия как со стороны электронного устройства, так и со стороны СТ 1), что позволяет на любом этапе тестирования осуществлять контроль событий в модели функционального устройства 2. Например, при не прохождении теста можно легко оценить предшествующее состояние модели и наличие событий в модели от тестируемого ПО в процессе выполнения теста.

Модели функциональных узлов 2 взаимодействует со СТ 1 с помощью средства обеспечения информационного взаимодействия 1.7 среды тестирования 1, которые осуществляют формирование пакетов данных и их обработку.

Для выполнения тестирования в СТ 1 реализуется два режима: «Редактор» и «Рабочий». Оба режима выбираются соответствующими вкладками.

В режиме «Редактор» тестировщик составляет тестовые последовательности (циклограммы), их редактирует и сохраняет в рабочем каталоге. Рабочий каталог формирует СТ 1 в соответствии с выбранной текущей конфигурацией, т.е. создавая соответствующие каталоги по принадлежности к типу электронного устройства и идентификатору тестируемого ПО.

В режиме «Рабочий» представлен инструмент для выполнения тестовых наборов, в нескольких режимах: одиночного прогона, бесконечного зацикливания, и пошагового выполнения, а также представлены средства, выполняющие функции точек останова для выполнения тестового набора до указанной позиции.

В СТ 1 реализуются средства управления хранением тестовых наборов и их подключения 1.1 к серверу хранения тестов 5:

• скопировать/переместить текущий тестовый набор на сервер хранения тестов 5, при этом на сервере хранения тестов 5 создастся цепочка каталогов соответствующая рабочему и добавится еще один каталог с номером версии, для которой данный набор был разработан и отработан;

• скопировать/переместить тестовый набор с сервера хранения тестов 5 при этом выбрав из перечня доступных наборов по принадлежности к версиям ПО;

• открыть в проводнике каталог, содержащий тестовый набор;

• просмотреть полный список тестов, как в рабочем каталоге, так и на сервере хранения тестов 5.

В случае непредвиденного сбоя или «падения» СТ 1, при следующем запуске, с помощью средств защиты и восстановления 1.6, она восстанавливает конфигурацию СТ 1, не сохраненные наборы тестов, протоколы выполнения и др.

Визуализация тестирования реализуется в виде набора графического сопровождения выполняемого средствами визуализации данных и сущностей 1.5 СТ 1 и который включает такие средства представления информации, как выделение цветом типов операций, подсветка хода выполнения тестирования, выделение операций не прохождения, выделение определенной информации, не прошедшей контроль, отображение интерактивных элементов в ходе тестирования, индикация средств тестирования о текущем состоянии конфигурации аппаратной средствами (например LED подсветкой и др.) компонентов среды тестирования, и т.д.

Подтверждение тестов заключается в отработке гарантированного срабатывания контрольных точек всех тестов.

Подтверждение тестов реализуется следующим образом: тестировщик в среде тестирования вводит операцию подтверждения теста, реализующую ошибку в данных встроенного программного обеспечения электронного устройства. Тестировщик выполняет тест в режиме подтверждения тестов, в котором выполняются операции подтверждения теста, а срабатывание контрольной точки является инверсным штатному. Таким образом, проходя через контрольную точку, если ошибка обнаруживается, то для режима подтверждения тестов это считается нормой и тест продолжает выполняться до следующей контрольной точки и т.д.

В режиме тестирования операции имитации ошибки игнорируются, и тесты выполняются штатно, то есть по их прямому назначению. В этом режиме прохождение контрольной точки говорит о том, что данные проверяемой функции в норме. Остановка хода выполнения тестов в контрольной точке говорит о наличии ошибки в контролируемых данных, полученных от встроенного программного обеспечения электронного устройства.

Система реализована в АО «РЕШЕТНЁВ» в соответствии с заявляемым изобретением в стандарте PXI, но не ограничивается данным исполнением, состоящим из:

• вычислительного модуля с программным обеспечением, выступающего в качестве электронного устройства;

• крейта NI PXI-1045, с контроллером шины PXI-8110, выступающего в качестве вычислительной машины, обеспечивающей устройство среды тестирования;

• модулей обмена (фирмы National Instruments), таких как PXI-C1553M-EF-4 (модуль МКО), PXI-8431/4(модуль RS-485/422), PXI-7813R (модуль цифрового ввода-вывода с ПЛИС) и др., выступающих в качестве аппаратуры ввода-вывода и обеспечивающих обмен по приборным интерфейсам электронного устройства и моделей функциональных устройств реализованных аппаратно-программными средствами среды тестирования;

• вычислительная машина, обеспечивающая реализацию средств автоматизированного анализа и заполнения базы данных, и включающая запоминающее устройство, содержащее структурированный особым образом объем данных и логических структур называемых базой данных.

• вычислительная машина, выступающая в качестве сервера хранения тестов, с реализуемой в ее программно-аппаратных компонентах логикой диспетчеризации и управления хранением тестов.

С использованием данной системы выполняется тестирование встроенного программного обеспечения блоков управления бортового комплекса управления, блоков управления нагревателями и блоков интерфейсных бортового комплекса управления современных и перспективных КА производства АО «РЕШЕТНЁВ».

За счет реализации данного технического решения достигается необходимый технический результат: расширение функциональных возможностей и повышение качества средств тестирования и надежности тестирования встроенного программного обеспечения электронных устройств за счет реализации в среде тестирования средств подтверждения тестов, позволяющих через имитацию ошибки во встроенном программном обеспечении электронного устройства, отработать срабатывание всех контрольных точек теста, т.е. подтвердить способность всех тестов обнаруживать ошибки, и средств выбора режимов выполнения, позволяющих выбирать между выполнением тестирования или выполнением подтверждения тестов и исключающих взаимовлияние данных процессов.

Из известных заявителю патентно-информационных материалов не обнаружены признаки, сходные с совокупностью признаков заявляемого способа.

Claims (1)

1. Система подтверждения тестов и тестирования встроенного программного обеспечения электронных устройств, заключающаяся в том, что она включает модели функциональных устройств; базу данных; средства автоматизированного анализа и заполнения базы данных; сервер хранения тестов; аппаратуру ввода-вывода; среду тестирования, содержащую средства написания, редактирования и выполнения тестов, средства анализа и обработки информации, средства управления хранением тестовых наборов и их подключения, средства динамической реконфигурации и управления, средства визуализации данных и сущностей, средства защиты и восстановления; среда тестирования подключается к базе данных; база данных связана со средствами автоматизированного анализа и заполнения базы данных; модели функциональных устройств связаны с аппаратурой ввода-вывода; аппаратура ввода-вывода связана с электронным устройством, отличающаяся тем, что среда тестирования дополнительно содержит средства выбора режимов выполнения тестов, средства выполнения подтверждения тестов, средства обеспечения подтверждения тестов и средства обеспечения информационного взаимодействия; средства обеспечения информационного взаимодействия связаны с моделями функциональных устройств, со средствами анализа и обработки информации, со средствами динамической реконфигурации и управления, со средствами визуализации данных и сущностей и со средствами написания, редактирования и выполнения тестов; средства написания, редактирования и выполнения тестов также связаны со средствами управления хранением тестовых наборов и их подключения, со средствами обеспечения подтверждения тестов, со средствами выбора режимов выполнения тестов; средства выбора режимов выполнения тестов связаны со средствами выполнения подтверждения тестов; средства управления хранением тестовых наборов и их подключения связаны с сервером хранения тестов.