RU115098U1

RU115098U1 - Многослойная нейронная сеть

Info

Publication number: RU115098U1
Application number: RU2011139784/08U
Authority: RU
Inventors: Константин Дмитриевич Белов
Original assignee: Константин Дмитриевич Белов
Priority date: 2011-09-29
Filing date: 2011-09-29
Publication date: 2012-04-20

Abstract

Использование: для определения перспективных краткосрочных и среднесрочных объемов электропотребления краткосрочного и среднесрочного прогнозирования объемов электропотребления. Сущность: многослойная нейронная сеть, включающая первый скрытый слой нейронов с логистическими функциями активации, второй скрытый слой нейронов с сигмоидальными функциями активации и выходной слой с линейной функцией активации, причем первый скрытый слой нейтронов содержит 11-12 нейронов, второй скрытый слой нейронов содержит 9-10 нейронов с сигмоидальными функциями активации, третий слой содержит один нейрон, выходы первого слоя нейронов соединены только со входами второго слоя нейронов, выходы второго слоя нейронов соединены только со входами третьего слоя нейронов, а выход третьего слоя нейронов не имеет соединения со входами нейронов первого и второго слоев нейронов. Технический результат: снижение времени обучения и переобучения, увеличение скорости обработки информации, повышение точности прогноза. 1 н.п. формулы, 1 фиг.

Description

Заявленная полезная модель относиться к вычислительной технике и может быть использована для определения перспективных краткосрочных и среднесрочных объемов энергопотребления, краткосрочного и среднесрочного прогнозирования объемов электропотребления, производить текущее уточнение прогнозов для целей регулирования электропотребления.

Известна многослойная нейронная сеть (патент RU 2070417, МПК G06G 7/60, опубл. 27.02.1997), содержащая первую группу оптоэлектронных модулей, каждый из которых содержит последовательно включенные первый входной фотоприемный узел, интегрирующий узел и первый выходной узел светоизлучателей. В модель введена вторая группа оптоэлектронных модулей, каждый из которых содержит последовательно включенные второй входной фотоприемный узел, кодирующий узел и второй выходной узел светоизлучателей, при этом оптические входы первых входных фотоприемных узлов оптоэлектронных модулей первой группы оптически связаны с оптическими выходами вторых выходных узлов светоизлучателей оптоэлектронных модулей второй группы, а оптические входы вторых входных фотоприемных узлов оптоэлектронных модулей второй группы связаны с оптическими выходами первых выходных узлов светоизлучателей оптоэлектронных модулей первой группы.

Однако, известная нейронная сеть обладает следующими недостатками: нелинейное преобразование входного сигнала в дискретный (импульсный), не образуя дополнительных каналов связи между нейронами, не повышает степени распараллеливания вычислительных процессов и скорости обработки информации в сети; уровень энергопотребления высокий и не связан с характером вычислительных процессов в сети; имеются значительные технологические трудности при создании сетей с большим числом нейронов или в микросхемном исполнении. Кроме того, в известном патенте (патент RU 2070417, МПК G06G 7/60, опубл. 27.02.1997) не указана возможность применения данного типа сети для решения задачи прогнозирования электропотребления предприятий.

Известна многослойная нейронная сеть (патент RU 2070334, MПК G06G 7/60, опубл. 10.12.1996), содержащая два взаимосвязанных оптоэлектронных операционных блока распределенной моделирующей среды, блок опорных напряжений, оптоэлектронный узел обратной связи, электрооптические индикаторы, группу аксоноподобных интегрирующих узлов нелинейной связи, в которых производится преобразование оптических непрерывных сигналов в оптические дискретные сигналы, синапсоподобные интегрирующие узлы, где производится преобразование оптических дискретных сигналов в непрерывные оптические сигналы. Оптические выходы электрооптических индикаторов оптоэлектронных узлов обратной связи, установленные на плоском фоторезисторе, моделирующем дивергенцию выходных сигналов, оптически связаны с оптическими входами плоского операционного фоторезистора, моделирующего конвергенцию входных сигналов, что позволяет реализовать функции адаптации и обучения в нейронных сетях.

Однако, известная модель нейронной сети обладает следующими недостатками: нелинейное преобразование входного сигнала в дискретный (импульсный), не образуя дополнительных каналов связи между нейронами, данное преобразование не повышает степени распараллеливания вычислительных процессов и не обеспечивает повышения скорости обработки информации в сети; уровень электропотребления известной модели нейтронной сети высокий и не связан с характером вычислительных процессов в сети; имеются значительные технологические трудности при создании сетей с большим числом нейронов или в микросхемном исполнении. Кроме того, в известном патенте (патент RU 2070334, МПК G06G 7/60, опубл. 10.12.1996) не указана возможность применения данного типа сети для решения задачи прогнозирования электропотребления предприятий.

Известна нейронная сеть (патент РФ 2309457, МПК G06N 3/06 от 06.05.2006) с высокой скоростью обработки информации. Известная нейронная сеть содержит, по меньшей мере, один узел обратной связи, по меньшей мере, один блок напряжений, группу аксоноподобных узлов нелинейной связи, включающих преобразователи потока излучения и локальные излучатели, причем каждый аксоноподобный узел дополнительно содержит, по меньшей мере, одну цепь последовательно соединенных схемы согласования и выделения огибающей радиоимпульса на входе и на выходе аксоноподобного узла, автогенератора со схемой самогашения и отрезка коаксиальной линии.

Однако недостатком известной нейронной сети, является достаточно сложная структура нейронной сети, значительное время на ее обучение нейронной сети и переобучение. Кроме того, в известном патенте (патент РФ 2309457, МПК G06N 3/06 от 06.05.2006) не указана возможность применения данного типа сети для решения задачи прогнозирования электропотребления предприятий.

Известна многослойная нейронная сеть, раскрытая в публикации «Прогнозирование потребления электроэнергии фабрикой окускования горно-обогатительного комбината методом искусственных нейронных сетей», 2008 г, ekektroenergii-fabrikoi-okuskovaniea-gorno-obogatitelnogo-kombi. Сеть содержит первый скрытый слой нейронов с логистическими функциями активации, содержащий 11 или 12 нейронов, второй скрытый слой с логистическими функциями активации или гиперболическим тангенсом, содержащий 9 или 10 нейронов, один нейрон выходного слоя с линейной функцией активации.

Однако этого не достаточно для достижения высокой точности прогнозирования потребления электроэнергии, как отдельными цехами, так и фабрикой окускования в целом. Этот результат достигается совокупностью признаков, которая помимо характеристики слоев нейронов, включает характер связи между первым и вторым слоем нейронов, между вторым и третьим при отсутствии соединения между третьим слоем со вторым и первым слоями нейронов. Экспериментальная проверка заявленной нейронной сети показала, что требуемая точность прогноза выходной величины (объема электропотребления) достигается на нейронной сети с двумя скрытыми слоями с количеством нейронов в слоях, описанных в заявке с соответствующими функциями активации нейронов в слоях - в первом скрытом слое нейроны с логистическими функциями активации, во втором слое - нейроны с сигмоидальными функциями активации, третий слой нейронов - выходной слой, содержащий один нейрон с линейной функцией активации, при этом выходы первого слоя нейронов соединены только со входами второго слоя нейронов, выходы второго слоя нейронов соединены только со входами третьего слоя нейронов, а выход третьего слоя нейронов не имеет соединения со входами нейронов первого и второго слоев нейронов. Эта структура сети, оставаясь постоянной, позволяет синтезировать некоторое множество нейронных сетей путем изменения числа нейронов в слоях в указанном в заявке диапазоне с достижением не только увеличения точности прогноза потребления электрической энергии, но облегчения процедуры обучения сети, повышения ее устойчивости, а так же усиления слабых сигналов и ненасыщения от сильных.

Предлагаемое техническое решение - многослойная нейронная сеть - иллюстрируется фиг.1 и состоит из трех слоев нейронов: первый слой содержит 11-12 нейронов с логистическими функциями активации, второй слой содержит 9-10 нейронов с сигмоидальными функциями активации, третий слой содержит единственный нейрон с линейной функцией активации. Слои связаны между собой последовательно, без обратных связей, т.е. выходы первого слоя нейронов соединены только со входами второго слоя, выходы второго слоя нейронов соединены только со входами третьего слоя, а выход третьего слоя не имеет соединения со входами нейронов первого или второго слоя нейронов. Общее число синаптических связей в предлагаемой нейронной сети находится в диапазоне от 295 до 322.

Теоретическая база функционирования предлагаемого технического решения строится на известных сведениях о том, что наиболее точное прогнозирование электропотребления (как задачи математической регрессии) может быть выполнено многослойной нейронной сетью с прямым распространением сигнала без обратных связей. Посредством набора статистических методов (метод аналитической группировки, многофакторной аналитической группировки, оценки надежности корреляционных связей между переменными, анализа трехмерной диаграммы рассеяния) и методики их применения были установлены показатели влияния входных факторов на величину электропотребления, на основании которых в сочетании с экспериментами с обобщенно-регрессионными сетями, был осуществлен отбор значимых входных факторов для синтеза предлагаемой многослойной нейронной сети промышленного объекта: количество произведенной продукции рассматриваемого объекта прогнозирования за смену, время работы основного технологического оборудования в смену, расход основных материалов для производства продукции в смену, среднесуточное значение температуры уличного воздуха, номер смены, порядковый номер дня в году, значения потребления электрической энергии в предыдущие десять смен. Точность прогноза, даваемого обученной обобщенно-регрессионной сетью, оценивалась остаточной дисперсией реального значения потребления электроэнергии, не объясняемая нейронной сетью.

В зависимости от сложности объекта энергопотребления при его моделировании с помощью предлагаемой многослойной нейронной сети число нейронов в слоях устанавливается в диапазоне от 11 до 12 для первого слоя и от 9 до 10 для второго слоя, изменяются параметры функций активации нейронов, но структура нейронной сети и вид функций активации нейронов в слоях остаются при этом неизменными.

Для обучения предлагаемой многослойной нейронной сети применяется нелинейный метод Левенберга-Марквардта с учителем, который показал наилучшие показатели сходимости. Использование алгоритма Левенберга-Марквардта позволяет получить минимум среднею квадратического отклонения между фактическим значением потребления электроэнергии и полученным на выходе сети. Оценка точности прогноза, даваемого предлагаемой многослойной нейронной сетью, производится по относительному среднему квадратическому отклонению фактических значений от прогноза на тестовом множестве.

Использование в предлагаемом техническом решении структуры многослойной нейронной сети с прямым распространением сигнала без обратных связей (многослойный персептрон) позволяет увеличить точность прогноза потребления электрической энергии, так как данный вид нейронной сети позволяет работать с непрерывными данными, успешно обрабатывать зашумленные данные, а также дает возможность применять в качестве входных и выходных данных данные весьма разнообразных типов. Использование логистической функции активации в первом скрытом слое и сигмоидальной функции активации во втором скрытом слое нейронов облегчает процедуру обучения сети, повышает устойчивость нейронной сети, а так же позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов.

Предлагаемая многослойная нейронная сеть позволяет определять перспективные объемы электропотребления при погрешности задания входных факторов ±15% для краткосрочного и среднесрочного прогноза при составления достоверной заявки на покупку электроэнергии на оптовом или розничном рынке, производить текущее уточнение прогнозов для целей регулирования электропотребления, а так же снизить погрешность прогноза почти в двое по сравнению с существующим статистическими методами и построить модель предприятия-потребителя в целом без отраслевых ограничений.

Claims

Многослойная нейронная сеть, включающая первый скрытый слой нейронов с логистическими функциями активации, содержащий 11 или 12 нейронов, второй скрытый слой с логистическими функциями активации или гиперболическим тангенсом, содержащий 9 или 10 нейронов, один нейрон выходного слоя с линейной функцией активации, отличающаяся тем, что выходы первого слоя нейронов соединены только со входами второго слоя нейронов, выходы второго слоя нейронов соединены только со входами третьего слоя нейронов, а выход третьего слоя нейронов не имеет соединения со входами нейронов первого и второго слоев нейронов.