WWW.DISS.SELUK.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА
(Авторефераты, диссертации, методички, учебные программы, монографии)

 

Pages:   || 2 |

«ГИБРИДНЫЕ НЕЙРОСЕТЕВЫЕ МЕТОДЫ МОДЕЛИРОВАНИЯ СЛОЖНЫХ ОБЪЕКТОВ МОНОГРАФИЯ Смоленск 2011 УДК 519.254 ББК 30.17 У 75 Рецензенты: профессор Российского университета кооперации – Курилин С. П. ...»

-- [ Страница 1 ] --

А. А. Усков, С. А. Котельников,

Е. М. Грубник, В. М. Лаврушин

ГИБРИДНЫЕ НЕЙРОСЕТЕВЫЕ

МЕТОДЫ МОДЕЛИРОВАНИЯ

СЛОЖНЫХ ОБЪЕКТОВ

МОНОГРАФИЯ

Смоленск 2011

УДК 519.254

ББК 30.17

У 75

Рецензенты:

профессор Российского университета кооперации – Курилин С. П.

профессор Военной академии войсковой ПВО ВС РФ – Фомин А. И.

У 75 Усков А. А., Котельников С. А., Е. Грубник Е. М., Лаврушин В. М. Гибридные нейросетевые методы моделирования сложных объектов: Монография. – Смоленск:

Смоленский филиал АНО ВПО ЦС РФ "Российский университет кооперации", 2011. – 132 с.: ил.

ISBN 978-5-91805-019- В коллективной монографии рассматривается аппарат обобщеннорегрессионных нейронных сетей с полиномиальной коррекцией и его применение для моделирования объектов из различных предметных областей.

Для специалистов в области информатики и математического моделирования.

Монография издается в авторской редакции.

АНО ВПО ЦС РФ

"Российский университет кооперации" Смоленский филиал, Усков А. А., Котельников С. А., Грубник Е. М., Лаврушин В. М.,

ВВЕДЕНИЕ

Задача построения систем автоматического управления (САУ), способных функционировать в условиях неопределенности математического описания объекта управления, является одной из важнейших задач современного системного анализа и имеет общенаучное значение. Один из важных этапов синтеза систем управления – идентификация объекта управления.

При функциональной идентификации на основе априорной информации и экспериментальных данных ищется неизвестная зависимость вход-выход объекта моделирования. Различают два основных подхода к получению функциональных моделей:

аналитический и аппроксимационный.

При аналитическом подходе структура модели строится на основе закономерностей, действующих в объекте моделирования. При аппроксимационном подходе выбор аппроксимирующей зависимости не связан с внутренним устройством объекта моделирования.

Как известно, выделяют два основных вида аппроксимационных моделей: параметрические и непараметрические (локальнопараметрические).

При параметрическом подходе вначале выбирается аппроксимирующая зависимость, известная с точностью до параметров, затем на основе обучающей выборки производится адаптация ее параметров (обучение). К параметрическим методам моделирования относятся: регрессионные модели, полиномиальные нейронные сети (- нейронные сети), многослойные персептроны и др. Достоинством параметрических методов является следующее: если аппроксимируемая зависимость достаточно проста (например, представима полиномом невысокого порядка), то достаточно просто подобрать аппроксимирующую зависимость, при этом качество моделирования будет весьма высоко, даже в случае небольшой или зашумленной обучающей выборки. В тоже время, в случае неудачно выбранной аппроксимирующей зависимости точность моделирования часто неудовлетворительная.

При непараметрическом подходе так же вначале выбирается тип аппроксимирующей зависимости, но, в данном случае, по экспериментальным данным строится большое количество указанных зависимостей, каждая из которых действует в некоторой локальной области входных факторов и имеет свои параметры. К непараметрическим методам моделирования относятся:

непараметрические статистические оценки, метод М-ближайших узлов, нейронные сети с радиальными базисными элементами и др.

Достоинством непараметрических методов является отсутствие необходимости выбирать тип глобальной аппроксимирующей зависимости, что позволяет значительно увеличить точность моделирования сложных существенно нелинейных объектов. В тоже время, отклик модели в непараметрических методах определяется не всей, а лишь частью обучающей выборки, что делает такие модели мало эффективными при значительной зашумленности обучающей выборки.

На практике часто моделируемая зависимость представляет собой сумму гладкой функции, аппроксимируемой полиномом невысокого порядка, и сложной негладкой нелинейной зависимости, что нивелирует достоинства как параметрического, так и непараметрического подходов.

Проведенные исследования позволяют сделать вывод о том, что в данном случае будут наиболее эффективны гибридные методы идентификации, выполненные на основе методов относящихся как к параметрическому, так и непараметрическому подходам.

Ввиду того, что в настоящее время большое развитие получили нейросетевые методы идентификации целесообразно решение научной задачи проводить на основе нейросетевого подхода, в частности, с использованием аппарата радиально-базисных нейронных сетей, как наиболее перспективного представителя непараметрических методов идентификации.

В качестве параметрического метода идентификации для построения гибридного метода выбраны полиномиальные модели, которые широко распространены на практике благодаря возможности аналитически определять параметры модели на основе метода наименьших квадратов.

В связи с вышесказанным актуальной научной задачей, имеющей как чисто теоретическое, так и прикладное значение, является разработка гибридных нейросетевых алгоритмов идентификации сложных промышленных объектов, сочетающих достоинства параметрического и непараметрического подходов:





высокую точность и малую чувствительностью к шуму в обучающей выборке.

Монография состоит из введения, четырех разделов, заключения, списка литературы и приложений.

В первом разделе проанализированы известные из литературных источников методы функциональной идентификации, в том числе регрессионный анализ, комбинаторные, непараметрические и нейросетевые методы. Конкретизированы задачи дальнейших исследований.

Во втором разделе рассматривается разработанный аппарат обобщенно-регрессионных нейронных сетей с полиномиальной коррекцией. Доказана сходимость получаемых моделей, рассмотрены методики оценки точности и планирования эксперимента.

В третьем разделе рассмотрены разработанные методики моделирования динамических объектов на основе обобщеннорегрессионных нейронных сетей с полиномиальной коррекцией.

В четвертом разделе описано применение разработанных методов при моделировании и управлении обектом химической технологии (отсадочной машиной).

В заключении приводятся выводы по работе.

1 СОСТОЯНИЕ НАУЧНЫХ ИССЛЕДОВАНИЙ

В ОБЛАСТИ МЕТОДОВ ФУНКЦИОНАЛЬНОЙ

ИДЕНТИФИКАЦИИ СЛОЖНЫХ ОБЪЕКТОВ

1.1 Задачи функциональной идентификации Объектом принято называть ту часть окружающего мира, состояние которой интересует исследователя [1-3]. Схематично взаимодействие объекта с остальными частями окружающего мира (средой) представлено на рисунке 1.1 [1].

Рисунок 1.1 – Схема взаимодействия объекта со средой Объект всегда выделяется некоторым субъектом, формирующим как определение объекта, как части среды, так и цели такого определения.

Под субъектом совершенно не обязательно подразумевать конкретную личность: это может быть группа людей, объединенная по некоторому признаку, и даже все человечество, если, например, изучению подлежат глобальные объекты (космос, окружающая среда и т. д.) [1].

На рисунке 1.2 схематично показано выделение субъекта из среды.

Рисунок 1.2 – Схема взаимодействия субъекта со средой и объектом Здесь под у понимаются интересующие субъекта состояния объекта, под х – измеряемые контролируемые или учитываемые входы, а под – неконтролируемые воздействия.

Априори (субъектом) предполагается, что между указанными переменными существует причинно-следственная связь, отображаемая соотношением где R ( ) - оператор, вообще говоря, неизвестного вида.

Исследование объекта может проводиться c помощью математической модели или математического описания объекта.

Существует огромное число определений этого фундаментального понятия.

отображение наиболее существенных сторон (свойств) реальной системы, выраженное в математической форме [1 - 3].

Конкретизируя это определение, в дальнейшем под математической моделью будем понимать правило преобразования входных переменных в выходные в виде функциональной зависимости где x – входные переменные (сигналы) объекта, (x ) - некоторая функция, - вектор неконтролируемых возмущений, y – выходной сигнал объекта.

Процесс получения математической модели объекта в виде (1.2) называется функциональной идентификацией [1].

Приступая к поиску математической модели (функции (x ) ), исследователь обладает некоторой априорной информацией, степень его информированности можно охарактеризовать двумя основными уровнями.

1. Вид функции (x ) неизвестен. Известно лишь, что функция (x ) в интересующей исследователя области может быть достаточно хорошо аппроксимирована конечным рядом по некоторой системе (или системам) наперед заданными функциями. Требуется найти наилучшее приближение функции (x ).

2. Функция (x ) известна с точностью до параметров, т. е.

где c - вектор параметров модели. В этом случае, очевидно, имеем а прогноз состояния объекта дается соотношением где оценка c находится исходя из некоторого критерия ошибки или функции потерь, определяющих меру близости выходов объекта и их прогноза:

т. е. в результате подгонки c к имеющимся экспериментальным данным.

В свете изложенного, при классическом подходе можно выделить следующие этапы построения математической модели исследуемого объекта [2, 3]:

1) выбор модели, т. е. установление каким-то образом вида зависимости (x ) с точностью до вектора параметров c ;

2) нахождение c (этап оценивания);

3) проверка и подтверждение модели (диагностическая проверка, проверка адекватности).

1.2 Классические методы идентификации Второй и третий этапы описанной процедуры в достаточной степени формализованы и наибольшее затруднение при моделировании обычно вызывает первый этап, на котором применяются два основных подхода - аналитический и аппроксимационный.

При аналитическом подходе (называемом также физическим или имитационным) объект отображается состоящим из отдельных взаимосвязанных элементов, для каждого из которых составляются частные описания, на основе закономерностей известных из электротехники, механики, химии и других наук, например, уравнениям материального баланса [3].

дифференциальных (разностных) или алгебраических уравнений и их объединение с учетом внутренних (для объекта) перекрестных или обратных связей между элементами дает общую структуру модели.

Для относительно простых объектов (например, во многих ситуациях встречающихся в технике) аналитический подход дает очень хорошие результаты и является основным при построении математических моделей.

Однако для сложных объектов точность моделей, полученных аналитическим путем, невелика.

Это связано со следующими причинами [3, 4]: во-первых, при устойчивости объекта прогнозы быстро «затухают» и теряют свою информативность, во-вторых, при неполных данных коэффициенты модели определяются со смещением, что может привести к нарастанию ошибки прогнозирования, кроме того, объект моделирования может содержать не формализуемые элементы, обладать стохастическими свойствами или подвергаться влиянию случайных внешних воздействий.

В связи с этим аналитические модели используются в основном для изучения относительно простых объектов (прежде всего технических), а для сложных объектов могут использоваться лишь для познавательных целей.

Аналитические методы моделирования имеют особенность:

чрезмерное увеличение числа уравнений и учитываемых переменных не всегда приводит к улучшению результата, часто это способствует получению противоречивых уравнений и невозможности использования их для прогнозирования [3].

Кроме того, аналитический подход имеет еще один существенный недостаток: получаемая с его помощью модель, как правило, нелинейная по параметрам, что приводит к большим проблемам на этапе оценивания (если такую оценку нельзя провести отдельно для каждого из элементов модели) [5, 6].

Указанные недостатки привели к развитию аппроксимационного подхода в моделировании [2, 3].

Основная идея аппроксимационного подхода состоит в отказе от аналитического поиска структуры описания (1.2) на основе предположения, что в некоторой окрестности x выбранной базовой точки x0 зависимость (x ) (предположим, для простоты, что в данном случае (x ) — гладкая функция) с достаточной степенью точности может быть представлена некоторой зависимостью, например, отрезком ряда Тейлора:

При необходимости аппроксимационные свойства модели можно улучшить, добавив в нее, например, компоненты типа xi x j, xi и т. п. В любом случае модель оказывается линейной по параметрам которые на этапе оценивания находятся обычно из минимума критерия в виде суммы квадратов ошибок [6]:

где N – общий объем экспериментальных данных, что приводит к известному методу наименьших квадратов (МНК) с решением где y T ( y1, y 2,..., y N ), а матрица базисных функций F составлена из строк вида 1 x1 x2... xn x1 x1..., i=1, 2, …, N [6, 10 - 14].

Модель вида (1.8) называется регрессионной, и теоретический аппарат построения данных моделей является хорошо изученным [6Применение регрессионных моделей во многих случаях дает хорошие результаты, но только при достаточно гладких зависимостях между входами и выходами объекта.

Следует заметить, что формула (1.10) соответствует процедуре так называемого классического регрессионного анализа, при котором в начале определяются все элементы обучающей выборки (экспериментальные данные), а затем по ним вычисляются коэффициенты регрессии. Известна также процедура последовательного регрессионного анализа, при котором коэффициенты регрессии последовательно уточняются по мере добавления обучающей выборки [10].

Недостаток peгрессионного подхода хорошо известен: если зависимость между x и у имеет существенно нелинейный характер, то использование в (1.8) полиномов высоких порядков (для noлучения надлежащего качества аппроксимации) приводит к резкому увеличению размерности задачи (увеличению количества оцениваемых параметров модели), что в свою очередь приводит к существенным вычислительным проблемам и, в конечном счете, к неадекватной модели. Так, если регрессионная модель имеет n входов и представляет собой полином m-го порядка, то общее число коэффициентов регрессии определяется формулой [3, 15]:

Например, при n = 5 и m = 4 получим К = 126.

Для исключения указанных проблем была предложена целая группа методов, наиболее развитым из которых представляются комбинаторный подход.

В комбинаторных методах вид уравнения регрессии жестко не фиксируется, а может варьироваться, с включением в него или выключением отдельных факторов, изменением степени аппроксимирующего полинома (так называемые методы пошаговой регрессии) [4, 13]. Наиболее ярким представителем данного вида аппроксимационного подхода следует считать метод группового учета аргументов (МГУА) [4, 16, 17].

Алгоритмы, реализующие МГУА, воспроизводят схему массовой селекции. В них есть генераторы усложняющихся из ряда в ряд комбинаций и механизм отбора лучших из них. Полное описание объекта заменяется несколькими рядами частных описаний.

Первый ряд селекции где s Cn ( C n – число сочетаний из n по m).

Второй ряд селекции Различные алгоритмы МГУА отличаются друг о друга по виду функции. Известны алгоритмы с квадратичными или линейными полиномами, вероятностные алгоритмы МГУА, использующие формулы Байеса или теории статистических решений и многие другие.

В основном алгоритме МГУА в качестве опорных используются квадратичные полиномы. При этом степень полного описания повышается с каждым рядом селекции, т. е. удваивается. В первом ряду реализуется квадратичная регрессия, во втором – регрессия четвертой степени, в третьем - регрессия восьмой степени и т. д.

Каждое частное описание является функцией только двух аргументов.

Поэтому коэффициенты частных описаний легко определить по данным обучающей последовательности (методом наименьших квадратов) при малом числе узлов интерполяции (первая операция).

Исключая промежуточные переменные (вторая операция), можно получить аналог полного описания. В результате удается определить числовые значения коэффициентов сколь угодно сложного описания по малому числу узлов интерполяции. Например, по десяти узлам интерполяции можно получить оценки коэффициентов полинома седьмой степени и т. д. [4, 15].

Из ряда в ряд селекции при помощи пороговых отборов пропускается только некоторое количество самых регулярных или несмещенных переменных.

среднеквадратической ошибки на отдельной (объемом Nnp) проверочной последовательности где f ki и y i, - соответственно значения f k и выхода объекта в i-ом опыте, а степень несмещенности – по специальному критерию.

По алгоритмам МГУА после каждого ряда селекции выбирается по L уравнений регрессии следующего вида:

Для расчета критерия несмещенности все имеющиеся экспериментальные точки y i ранжируются и делятся на 2 части. Точки с четными номерами образуют первую последовательность R1, а точки с нечетными - вторую последовательность R2.

Первый ряд селекции. Синтез уравнений выполняется два раза.

Сначала первая последовательность является обучающей, а вторая проверочной: R1 N об, R2 N пр.

Уравнения регрессии, полученные при этом, обозначим как f k*.

Затем, наоборот, первая служит проверочной, а вторая - обучающей:

обозначим f k**. Каждое из найденных уравнений оценивается по величине nсм среднеквадратического отклонения, рассчитанного по всем точкам обеих последовательностей:

Из всех уравнений регрессии на первом ряду выбираются L (число L задается исследователем) уравнений, имеющих меньшую ошибку n1 (k ) (1 k L).

Критерий несмещенности решений для первого ряда селекции определяется как среднее значение показателя несмещенности для L отобранных уравнений:

Второй и последующие ряды селекции. Последующие ряды селекции построены так же, как и первый. Например, на втором ряду находятся оценки несмещенности каждого из уравнений регрессии второго ряда Критерий несмещенности решений для второго ряда Для третьего и последующих рядов справедливы аналогичные формулы.

Ряды селекции наращиваются до тех пор, пока критерий несмещенности падает: Nсм min; как только достигнут минимум несмещенности (или ошибки), селекцию следует остановить.

Следует указать, что алгоритмы МГУА были весьма популярны в 70-80-е годы; в последнее время интерес к ним уменьшился.

Возможно, причиной этому является громоздкость метода при большом числе входных переменных. Так, например, при 10 входах объекта только на первом ряду селекции необходимо строить и анализировать C10 45 частных регрессии. Кроме того, алгоритмы МГУА достаточно сложны в программной реализации.

Общим недостатком параметрического подхода является необходимость заранее знать с точностью до параметров аппроксимируемую зависимость (например, должно быть точно известно, что она представима полиномом или какой-либо другой функцией).

1.3 Непараметрические методы идентификации параметрическом вначале выбирается тип аппроксимирующей зависимости, но, в данном случае, на основе экспериментальных данных строится большое число указанных зависимостей, каждая из которых действует в некоторой локальной области входных факторов и имеет свои параметры [2].

«Непараметрическая» модель функции y (x ) в окрестности величины (неизвестные коэффициенты), в данном случае зависящие от текущего значения, т. е. являющегося постоянными только в некоторой локальной области изменения аргумента x, m — параметр, устанавливаемый при моделировании.

Так, если в качестве j (x ) взяты полиномы, то для нулевой и первой степеней для второй степени Определение коэффициентов c j ( ) производится исходя из минимизации функционала экспериментальные значения выхода, x i — соответствующие значения вектора входов, 0 — скалярный параметр, так называемый параметр локальности, (z ) — некоторая функция от п переменных ( z так называемая функция локальности.

Предполагается, что (z ) 0, достигает максимума при z 0, является невозрастающей функцией по каждой из величин zi ( z i - i-я компонента вектора z ) и, наконец, (z ) 0 при z 0, где евклидова норма вектора.

Функции (z ), удовлетворяющие перечисленным условиям, могут быть построены, например, при помощи функций (скалярной переменной) вида, приведенного на рисунке 1.3.

Для этого достаточно в качестве аргумента в них взять какуюлибо норму вектора-аргумента или принять Если обозначить, далее, через ( x ) ( 1 ( x ), 2 ( x ),..., m ( x ))T вектор функций n переменных, входящих в модель (1.19), и минимизировать (1.22) по c ( ), то получаем [3]:

Отметим, что строгих правил для выбора входящего в приведенные соотношения параметра локальности не существует; в качестве рекомендации в [2] отмечается, что величина не может быть меньше некоторого предельного значения, при этом должно выполняться равенство:

Выбор величины существенно влияет на точность идентификации.

В случае модели нулевого порядка конечное выражение имеет вид [3]:

оптимальности имеет следующий характер. При малых функция y (x, ) близка к кусочно-постоянной, проходящей через точки y i, причем для каждого x величина y (x, ) определяется как значение y i для x i, ближайшего к x в смысле метрики, определяемой функцией постоянная величина. При промежуточных значениях и гладкой функцией веса (x ) оценка y (x, ) - гладкая функция, имеющая в узлах x i «тяготение» к соответствующим y i.

В общем случае при n 1 и использовании полиномиальной модели степени выше нулевой, получить аналитическое выражение для y(x, ), аналогичное (1.27), затруднительно. В этом случае с использованием соотношений (1.25) расчеты могут быть выполнены только численно.

Разновидностью непараметрического подхода являются оценки типа «М ближайших узлов» [2, 3, 18, 19].

Проведем упорядочение узлов x i в зависимости от величин расстояния между узлом и точкой x. Для такого упорядочения может быть выбран любой способ определения расстояния в n-мерном евклидовом пространстве; так, если - некоторая норма, то Будем далее считать, что упорядочивание узлов выполнено в соответствии с рядом (1.28). Всюду x(i ) есть i-й ближайший узел к точке x. Оценками типа «М ближайших узлов» называются такие оценки, веса наблюдений в которых зависят только от номеров узлов, упорядоченных относительно центра x, а не от величин этих расстояний.

Введем весовые коэффициенты, зависящие лишь от индекса i:

Непараметрические оценки y (x, ) типа «М ближайших узлов»

определяются соотношениями Представляется, что непараметрический подход (точнее, локально-параметрический) является достаточно мощным средством для идентификации сложных объектов [2].

В то же время можно указать на его существенный недостаток: в соответствии с (1.24) - (1.27) следует, что использование построенной модели предполагает хранение в оперативной памяти всего массива (объемом N многомерных точек) данных, собранных на этапе идентифицирующего эксперимента. Объем такого массива, в силу применяемых процедур локальной интерполяции, может быть весьма существенным.

В работах [3, 20, 21] изложена модификация метода «М ближайших узлов» – локально-аппроксимационные модели. В данном случае экспериментальные данные редуцируются, путем оставления наиболее информативных точек, которые затем используются для оценки состояния объекта методом «М ближайших узлов» с применением локальных аппроксимирующих функций порядка, обычно, не выше второго.

1.4 Нейросетевые методы идентификации Бурно развивающийся в последние годы аппарат искусственных классификации/кластеризации, распознавания образов, аппроксимации функций, оптимизации управления, прогноза случайных процессов и др.

Рассмотрим основные понятия теории искусственных нейронных сетей [22 - 39]. Под искусственными нейронными сетями (далее просто нейронными сетями (НС)) подразумевают вычислительные структуры, состоящие из большого количества однотипных элементов, каждый из которых выполняет относительно простые функции. Процессы в искусственных НС иногда ассоциируют с процессами происходящими в нервной системе живых организмов.

К настоящему времени разработано большое количество различных типов нейронных сетей, имеющих свои отличительные особенности.

Среди различных видов НС наибольший интерес вызывает многослойная нейронная сеть прямого распространения или многослойный персептрон, сокращенно MLP (Multi Layer Perceptron).

Элементарным преобразователем в рассматриваемых сетях является искусственный нейрон или просто нейрон, названный так по аналогии с биологическим прототипом. Искусственный нейрон обычно представляют в виде структуры, приведенной на рисунке 1.4.

Рисунок 1.4 – Структура искусственного нейрона Такой нейрон имеет n входов x1, x2, …, xn и один выход y, а его математическая модель описывается соотношениями:

где w1, w2, … wn – весовые коэффициенты, b – постоянное смещение, F ( ) – функция активации или передаточная функция нейрона.

Обычно в качестве активационной функции используется сигмоид:

где а – некоторая положительная постоянная.

Выходное значение нейрона лежит в диапазоне [0, 1]. Ценные свойства сигмоидальной функции – дифференцируемость на всей оси абсцисс и простое выражение для ее производной, что используется в некоторых алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем большие, что предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.

Известно также большое количество других разновидностей активационных функций.

Нейронная сеть состоит из ряда связанных между собой нейронов, обычно, образующих несколько слоев. На рисунке 1.5 в качестве примера приведена простейшая двухслойная нейронная сеть.

Отметим, что нейроны первого слева (входного) слоя сети на рисунке 1.5 математических операций не выполняют, а служат лишь для размножения сигналов и при определении числа слоев не учитываются.

Чтобы нейронная сеть могла решить поставленную задачу, ее предварительно необходимо обучить. Сущность обучения состоит в подстройке весов нейронов по примерам обучающей выборки.

устанавливается рядом так называемых теорем о полноте. Смысл данных теорем сводиться к тому, что любая непрерывная функция на замкнутом ограниченном множестве может быть равномерно приближена функциями, вычисленными нейронными сетями, при выполнении некоторых достаточно легко реализуемых условий; таким образом, нейронные сети являются универсальными аппроксиматорами.

Основным алгоритмом обучения MLP является алгоритм обратного распространения ошибки. В данном случае нейронная сеть обучается воспроизводить зависимость, заданную набором из N пар точек n=1, 2, … N, с минимизацией суммарной квадратичной ошибки где En Алгоритм состоит в последовательном выполнении следующих шагов.

1. Задаются параметр [0, 1] и некоторые малые случайные веса сети w ijk – k-й вес j-го нейрона в i-м слое нейронной сети, а также Еmax – максимальное значение суммарной функции ошибок сети.

2. Устанавливается n=1 – номер текущей обучающей точки и Е=0 – текущее значение суммарной функции ошибок сети.

3. Вводится очередная обучающая пара x x n и y y n.

Вычисляется выходной сигнал сети On.

Производится корректировка весов в соответствии с формулой:

где wi – матрица весов i–го слоя нейронов, причем коррекция весов происходит в направлении от последнего слоя к первому, т.е. i последовательно меняется от М – число слоев в сети до 1.

Корректируются (наращивается) значение функции ошибки:

6. Если nN, то n=n+1 и переход к п.3.

7. Если ЕЕmax, то переход к п.2.

В формуле (1.35) под понимается матрица элементами которой являются частные производные. Элементы данной матрицы в ряде случаев могут быть определены в аналитическом виде.

Например, если нейроны сети описываются сигмоидальными функциями вида:

где x n - вектор входных сигналов нейрона, Оn – выходной сигнал нейрона, w j - вектор весов нейрона; то для выходного нейрона сети:

где Оn – выход сети, On M 1 - выходной сигнал (М-1) слоя; для предыдущего слоя нейронной сети:

где: OnM - выходной сигнал М-2 слоя.

Аналогично для всех остальных слоев сети.

Если вид частных производных аналитически определить не удается, то пользуются приближенными формулами для численной оценки производных:

Рассмотренный алгоритм реализует процедуру градиентного метода наискорейшего спуска. Данный метод имеет линейную скорость сходимости, а также резкое замедление оптимизационного процесса в окрестности точки оптимального решения, что делает рассматриваемый алгоритм на практике малоэффективным. Тем не менее, благодаря своей простоте он остается одним из наиболее распространенных. Более эффективными методами настройки весов многослойной сети являются квазиньютоновские алгоритмы, например, методы переменной метрики (Бройдена-ФлетчераГольдфарба-Шенно, Девидона-Флетчера-Пауэлла) или ЛевенбергаМарквардта.

При большом числе настраиваемых весов (десятки тысяч и более) очень хорошо зарекомендовал себя алгоритм сопряженных градиентов, хотя при меньшей размерности он уступает квазиньютоновским алгоритмам. Разработано также большое число алгоритмов эвристического типа, не имеющих строгого теоретического обоснования, но показавших свою эффективность на практике; в качестве примеров таких алгоритмов можно привести: симплекс метод, Quickprop, RPROP и ряд других.

Как известно, перечисленные выше алгоритмы является алгоритмами локальной оптимизации, и для увеличения вероятности нахождения глобального экстремума необходимо проводить обучение несколько раз с разными начальными весами нейронов.

Для надежного нахождения глобального решения разработан ряд алгоритмов глобальной оптимизации, наиболее известными из которых являются метод имитации отжига и генетические алгоритмы.

Многослойные персептроны, с точки зрения математики выполняют аппроксимацию функции нескольких переменных путем преобразования множества входных переменных во множество выходных переменных. Вследствие характера сигмоидальной функции активации преобразование значения функции в произвольной точке пространства выполняется объединенными усилиями всех нейронов, что позволяет отнести многослойный персептрон к методам глобальной аппроксимации или параметрическим методам.

Другой способ отображения входного множества в выходное заключается в преобразовании путем адаптации нескольких одиночных аппроксимирующих функций к ожидаемым значениям, причем эта адаптация проводится только в ограниченной области многомерного пространства. При таком подходе отображение всего множества данных представляет собой сумму локальных преобразований.

Наиболее известными из НС, реализующих принцип локальной аппроксимации являются радиально-базисные нейронные сети или RBFN (от Radial Basis Function Network), в которых скрытые нейроны реализуют функции, радиально изменяющиеся вокруг выбранного центра и принимающие ненулевые значения только в окрестности этого центра.

RBFN – это двухслойная нейронная сеть. Первый слой данной сети состоит из так называемых радиальных нейронов. Нейроны данного слоя реализуют нелинейные зависимости в соответствии с соотношением:

где o k – выходной сигнал r-го нейрона; x – входной сигнал сети (данный сигнал подается на каждый нейрон рассматриваемого слоя);

r, c r – постоянные параметры, которые могут настраиваться в процессе обучения.

Часто в качестве ( ) используется функция Гаусса:

Второй слой RBFN осуществляет линейное или нелинейное преобразование выходных сигналов первого слоя (в частности, если выходной сигнал сети – скаляр, данный слой состоит из одного нейрона).

Линейный выходной нейрон выполняет операцию взвешенного суммирования:

В общем случае процесс обучения RBFN сводится к определению ряда параметров:

1) числа нейронов входного слоя М;

2) координат центров c r и отклонений радиальных базисных функций (см. формулу (1.41));

3) весов нейронов выходного слоя wk (см. формулу (1.43)).

Разработано большое количество алгоритмов настройки указанных параметров. Перечислим основные из них.

Настройка параметров c r и r может осуществляться методом обратного распространения ошибки, аналогично тому, как это происходит в сигмоидальных нейронных сетях, например, градиентным методом.

Кроме того, для определения координат центров c r могут использоваться алгоритмы обучения без учителя, помещающие центры радиальных функций в центры кластеров обучающих данных.

Для определения отклонений r также существуют различные эмпирические методы, использующие в качестве исходной информации расстояния между центрами радиальных функций.

Веса нейронов выходного слоя обычно входят линейно в выражение для выходного сигнала сети (см. формулу (1.43)), и их настройку можно осуществить с помощью формул для определения коэффициентов линейной регрессии по методу наименьших квадратов.

Наиболее сложным является выбор числа радиальных базисных функций M. Существует несколько методов выбора параметра М, однако данную задачу пока нельзя считать решенной.

В обобщенно-регрессионных нейронных сетях или GRNN (от Generalized Regression Neural Network), являющихся разновидностью RBFN, второй слой осуществляет взвешенное суммирование выходных сигналов первого слоя:

где wr – веса, настраиваемые при обучении, M – число нейронов первого слоя, y – выходной сигнал сети.

Структура обобщенно-регрессионной нейронной сети показана на рисунке 1.6.

БВС – блок взвешенного суммирования Рисунок 1.6 – Обобщенно-регрессионная нейронная сеть Достоинство обобщенно-регрессионной нейронной сети – очень простой алгоритм обучения.

Допустим, что обучающая выборка состоит из N пар значений x, y, i=1, 2, …N. В простейшем случае при обучении формируется радиальный слой из M=N нейронов с параметрами cr x i, а параметры второго слоя выбираются из условия wr y i. В описанном алгоритме обучение GRNN происходит практически мгновенно (один такт). Однако сеть получается достаточно громоздкой, поэтому разработаны алгоритмы обучения GRNN, в которых число радиальных нейронов меньше числа элементов обучающей выборки (MN). В одном из наиболее простых из указанных алгоритмов обучающая точка становится центром радиальной функции лишь только в том случае, если она расположена на расстоянии больше заданного от уже имеющихся в сети центров радиальных функций [32].

Для радиальных нейронных сетей доказано ряд теорем, согласно которым, данные сети, при выполнении определенных условий, могут аппроксимировать произвольную гладкую функцию.

Обычно RBFN обладают худшими обобщающими свойствами по сравнению с сигмоидальными нейронными сетями при больших объемах обучающей выборки. Особенно сильно это проявляется в задачах экстраполяции. Однако RBFN показали очень хорошие результаты, в случае если объем обучающей выборки мал. В RBFN нет проблемы выбора числа слоев сети. Кроме того, большинство алгоритмов обучения RBFN работают значительно быстрее по сравнению с алгоритмами обучения многослойных персептронов.

Приведенный обзор литературных источников позволяет сделать следующие выводы.

1. Под функциональной идентификацией понимается процедура определения зависимости между входными и выходными сигналами объекта на основе экспериментальных данных. Существует два подхода к функциональной идентификации: аналитический и аппроксимационный. При аналитическом подходе структура математической модели объекта строится на основе описания действующих в объекте закономерностей. Для сложных систем при аналитическом подходе возникает ряд трудностей: во-первых, невозможно учесть все закономерности, действующие в объекте, а пренебрежение рядом из них может существенно ухудшить точность модели; во-вторых, после определения структуры модели необходимо провести определение ее параметров, что для сложного объекта является нетривиальной задачей. Указанные трудности привели к развитию так называемого аппроксимационного подхода к решению задачи идентификации. В данном случае связь вход – выход объекта аппроксимируется некоторой зависимостью (функцией или функционалом), в общем случае не базирующемся на процессах, происходящих в объекте, отражающей общий характер связи.

2. Аппроксимационные модели можно разделить на параметрические и непараметрические. При параметрическом подходе во всей области нахождения входных факторов выбирается одна аппроксимирующая зависимость между входами и выходами объекта, параметры которой определяются на основе экспериментальных данных. Достоинство параметрических моделей состоит в том, что, если аппроксимирующая зависимость выбрана правильно, т. е.

отражает основные тенденции связи «вход – выход», то точность модели может быть весьма высока даже при небольшом объеме и существенной зашумленности экспериментальных данных. В тоже время, для сложных объектов достаточно трудно подобрать единую для всей области действия входных факторов зависимость, а неверный ее выбор существенно снижает точность моделей. При непараметрическом подходе также строятся аппроксимирующие зависимости, но они не остаются постоянными, изменяются в зависимости от значений входов объекта. Достоинством непараметрического подхода являются хорошие аппроксимирующие непараметрический подход имеет ряд недостатков, в частности: плохие экстраполирующие свойства моделей и высокая чувствительность к шуму обучающей выборки.

3. Искусственные нейронные сети представляют собой алгоритмы обработки информации на основе большого числа однотипных элементов – искусственных нейронов. Достоинствами нейронных сетей являются: высокий параллелизм решения задач, позволяющий достигнуть быстродействия и надежности; возможность легко изменять масштаб сети, путем выбора числа нейронов без изменения алгоритма обработки информации; наличие разработанных высокоэффективных алгоритмов обучения. Различные нейросетевые парадигмы реализуют, как параметрические (например, полиномиальные нейронные сети, персептроны), так и не параметрические (например, сети с радиальными базисными элементами) аппроксимационные методы функциональной идентификации.

4. Перспективным представляется развитие гибридных нейросетевых алгоритмов функциональной идентификации, сочетающие достоинства различных подходов (параллелизм решения задач, возможность использовать уже разработанные высокоэффективные алгоритмы обучения, точность моделей при экспериментальных данных, хорошие аппроксимирующие свойства для сложных зависимостей).

1.5 Конкретизация задач исследования статического объекта в n -мерной области адекватно представляется соотношением:

а динамического – где ( ) – функция неизвестного вида;, i – аддитивная случайная помеха (отражает действие неучитываемых факторов) с нулевым математическим ожиданием и неизвестным распределением на m, m, независящая от x и x i соответственно и имеющая значения в различных опытах независимые друг от друга; для статического объекта: x x1, x2,..., xn T – векторный вход объекта, y – скалярный выход объекта; для динамического объекта:

xi [ yi 1,..., yi l, ui, ui 1,..., ui l1 ]T ; u i, y i – значения входного и выходного сигнала объекта соответственно, измеренные в эквидистантные (равноудаленные) моменты времени ti, i 1, 2,... ; l, l1 – заданные целые положительные константы.

Отношение составляющей выхода модели (y и yi соответственно), обусловленное действием входных факторов, к шумовой (случайной) компоненте ( и i соответственно) намного превышает единицу.

Предположим далее, что функция ( ) представима в виде:

где p(x ) – полиномиальная функция:

a k – постоянные параметры, K – целый положительный параметр, – целые неотрицательные параметры; g (x ) – нелинейная функция общего вида.

соотношение:

где S – функционал, возвращающий среднеквадратичное значение функции-аргумента в области x :

На объекте реализован эксперимент, заключающийся в регистрации N пар значений:

для статического случая – для динамического случая – где i 1, 2,..., N.

При этом значения x, y, u i и y i измерены без ошибок;

Требуется на основе экспериментальных данных (1.50) или (1.51) восстановить неизвестную зависимость ( ) с максимально возможной точностью.

Для решения поставленной задачи необходимо:

1. Разработать нейросетевые методы идентификации сложных статических и динамических объектов, которые могут быть адекватно представлены моделями вида (1.45) и (1.46) при принятых допущениях.

2. Провести аналитическое исследование свойств и точности моделей, получаемых с использованием предложенных методов.

3. Разработать статистическую методику оценки точности полученных нейросетевых моделей.

4. Разработать метод получения модели сложного статического объекта требуемой точности с элементами планирования.

1.6 Выводы по главе Основные результаты настоящей главы можно отразить в следующих выводах.

Рассмотрены основные понятия теории идентификации.

Описаны аналитический и аппроксимационный подходы построения математических моделей. Отмечается, что аналитические модели не всегда применимы при идентификации сложных объектов.

Рассмотрены основные группы методов, относящихся к аппроксимационному подходу: регрессионные модели, комбинаторные (методы группового учета аргументов), непараметрические и искусственные нейронные сети.

Рассмотрены параметрические и непараметрические аппроксимационные методы идентификации. Отмечается, что достоинством параметрических методов является высокая точность моделирования даже в случае небольшой или зашумленной обучающей выборки, если аппроксимируемая зависимость достаточно проста (например, представима полиномом невысокого порядка). В тоже время, в случае неудачно выбранной аппроксимирующей зависимости точность моделирования параметрическими методами часто неудовлетворительная. Достоинством непараметрических методов является отсутствие необходимости выбирать тип глобальной аппроксимирующей зависимости, что позволяет значительно увеличить точность моделирования сложных существенно нелинейных объектов. В тоже время, отклик модели в непараметрических методах определяется не всей, а лишь частью обучающей выборки, что делает такие модели мало эффективными при значительной зашумленности обучающей выборки.

Отмечается, что на практике часто моделируемая зависимость представляет собой сумму гладкой функции, аппроксимируемой полиномом невысокого порядка, и сложной негладкой нелинейной зависимости, что нивелирует достоинства как параметрического, так и непараметрического подходов. Сделан вывод о том, что в данном случае будут наиболее эффективны гибридные методы идентификации, выполненные на основе методов относящихся как к параметрическому, так и непараметрическому подходам.

Ввиду того, что в настоящее время большое развитие получили нейросетевые методы идентификации целесообразно решение научной задачи проводить на основе нейросетевого подхода, в частности, с использованием аппарата радиально-базисных нейронных сетей, как наиболее перспективного представителя непараметрических методов идентификации. В качестве параметрического метода идентификации для построения гибридного метода выбраны полиномиальные модели, которые широко распространены на практике благодаря возможности аналитически определять параметры модели на основе метода наименьших квадратов.

МОДЕЛИ СТАТИЧЕСКИХ ОБЪЕКТОВ

НА ОСНОВЕ ОБОБЩЕННО-РЕГРЕССИОННЫХ

НЕЙРОННЫХ СЕТЕЙ С ПОЛИНОМИАЛЬНОЙ

КОРРЕКЦИЕЙ

полиномиальной коррекцией В работе [17] сформулирован принцип адекватности, согласно которому объект и его система моделирования или управления для наиболее оптимального решения задачи должны обладать рядом общих черт. В соответствии с принципом адекватности, для решения рассматриваемой задачи предложена обобщенно-регрессионная нейронная сеть с полиномиальной коррекцией (сокращенно GRNN PC от Generalized Regression Neural Network Polynomial Сorrection), структурно состоящая из радиально-базисной части (РБЧ), полиномиальной части (ПЧ) и блока взвешенного суммирования (БВС), см. рисунок 2.1.

Предложенная искусственная нейронная сеть реализует следующую нелинейную зависимость:

где wr – весовые коэффициенты, u – параметр, определяющий влияние полиномиальной и радиально-базисной частей на выход сети y, r (x ), П (x ) – функции, реализуемые радиальными нейронами и полиномиальной частью сети соответственно:

параметры.

РН r – радиальные нейроны, – блоки умножения, – блоки суммирования, – блок деления, k – пи-нейроны Рисунок 2.1 – Структура обобщенно-регрессионной нейронной сети с полиномиальной коррекцией (GRNN PC) Предположим, далее, что на объекте реализован эксперимент, заключающийся в регистрации N пар значений:

При этом значения x и y измеряются без ошибок; x i x, x – некоторая n-мерная область.

Формирование GRNN PC на основе обучающей выборки (2.4) состоит в последовательной реализации трех этапов.

Этап 1. Формирование полиномиальной части сети, в предположении, что радиальнобазисная часть отсутствует ( u ). В рассматриваемом случае выражение (2.1) с учетом (2.3) принимает вид:

где f (x ) – вектор базисных функций [10].

Из формулы (2.6) видно, что формирование полиномиальной части заключается в определении количества пи-нейронов L (числа базисных функций) и значений параметров данных нейронов jk, а также весовых коэффициентов bk.

Структура полиномиальной зависимости может выбираться как на основе информации о предметной области, так и путем оптимизации вида данной зависимости, например, с использованием метода группового учета аргументов (МГУА) [4].

Этап 2. Формирование радиальнобазисной части сети, в предположении, что полиномиальная часть отсутствует (u = 0). В этом случае выражение (2.1) с учетом (2.2) принимает вид:

Из соотношения (2.7) следует, что формирование радиальнобазисной части заключается в определении числа радиальных нейронов M, значений параметров c r и данных нейронов, а также весовых коэффициентов wr.

При формировании радиальнобазисной части сети могут использоваться методы, разработанные для создания и обучения GRNN сетей [22-26].

Этап 3. Настройка параметра u, определяющего соотношение между влиянием радиально-базисной и полиномиальной частей на выход сети.

В случае, если обучающая выборка содержит обучающие точки x, y, расположенные случайным образом в n-мерной области x, с использовать алгоритм формирования GRNN PC состоящий из следующих шагов.

Шаг 0 (предварительный). Обучающая выборка (2.4) разбивается на две части: собственно обучающую и контрольную заданный параметр 0, 1 ; по умолчанию выбирается 0.2.

Устанавливается параметр R – минимально допустимое расстояние между центрами радиальных нейронов.

Шаг 1. Определение вектора параметров b полиномиальной части сети.

Вариант А. С использованием нерекуррентного метода наименьших квадратов (МНК) [10-14]:

где Вариант B. С использованием рекуррентного МНК [10, 14]:

где Шаг 2. Определение числа радиальных нейронов M, значений параметров c r и весов wr.

2.1. Устанавливаются переменные i=1 и M=0.

2.2. Из обучающей выборки извлекается элемент x i, yi и находится минимальное расстояние:

где c r - центры радиальных нейронов. Если радиальных параметрами cM 1 x i, устанавливаются wM 1 y i и M =M+1.

(Идея такого просеивания обучающих точек предложена в работах [32, 51]).

Если i= N, то останов, иначе i=i+1 и переход к пункту 2.2.

2.4.

Шаг 3. Определение значения параметра отклонения радиальных нейронов.

Вариант А. С использованием эмпирической формулы [22-26]:

где d ( xmax xmin ) /(n M 1), x max и x min – максимальное и минимальное значения компонент входного вектора x соответственно.

принадлежности при регулярном расположении базисных функций в узлах равномерной сетки пересекаются на уровне 0.5.

Вид функций, реализуемых радиальными нейронами в случае, когда исследуемый объект имеет только один вход, полученных с использованием формулы (2.14), представлен на рисунке 2.2.

Вариант B. С использованием алгоритма оптимизации.

Нейронная сеть обучается на основе обучающей выборке (2.8), после чего параметр определяется путем минимизации ошибки на тестирующей выборке (2.9):

где y ( x h, ) – отклик обученной сети при подаче на ее вход x h. Для решения задачи (2.15) используется метод золотого сечения [52, 53].

Рисунок 2.2 – Вид функций, реализуемых радиальными нейронами 4. Настройка параметра u.

Вариант А. С использованием алгоритма оптимизации.

Нейронная сеть обучается по обучающей выборке (2.8), после чего параметр u определяется путем минимизации ошибки на тестирующей выборке (2.9):

где y ( x h, u ) – отклик обученной сети при подаче на ее вход x h. Для решения задачи (2.16) используется метод золотого сечения [52, 53].

Вариант Б. С использованием эвристической формулы среднеквадратическая ошибка полиномиальной части сети, определенная по тестирующей выборке.

Рассмотрим метод золотого сечения, используемый при нахождении параметров и u [52, 53]. Предположим, необходимо найти минимум функции f (x) на отрезке a, b с заданной точностью. Метод золотого сечения состоит в реализации следующих шагов.

L2 1 L1, ak xmin, bk xmax.

Вычисляются значения:

иначе указанный критерий не выполнен, то k=k+1 и переход к шагу 2. В противном случае, останов, решением считается (ak 1 bk 1 ) / 2.

Для упрощения поиска параметра u можно использовать модификацию предложенной GRNN PC, которая реализует зависимость:

частью сети.

На рисунке 2.3 приведена структура модифицированной обобщенно-регрессионной нейронной сети с полиномиальной коррекцией (M GRNN PC).

РН r – радиальные нейроны, – блоки умножения, – блоки суммирования, – блок деления, Пk– пи-нейроны Рисунок 2.3 – Структура модифицированной обобщеннорегрессионной нейронной сети с полиномиальной коррекцией Обучение полиномиальной и радиальнобазисной частей происходит аналогичным базовому варианту образом. Выбор параметров u1 и u2 может осуществляться двумя способами.

Вариант А. С использованием метода наименьших квадратов.

среднеквадратических ошибок полиномиальной и радиально-базисной части.

E ПЧ E РБЧ

E РБЧ E ПЧ E РБЧ E ПЧ

где ЕРБЧ и ЕПЧ – такие же, как и в формуле (2.17).

2.2 Численное исследование обобщенно-регрессионных нейронных сетей с полиномиальной коррекцией моделируемый объект описывается зависимостью вида (1.45), функция (x ) удовлетворяет условию (1.46) и имеет вид:

где q – постоянный параметр, q 0, 1.

математическим ожиданием M 0 и СКО.

x1 [ 3, 3]; x2 [ 3, 3].

Обучающая выборка (2.4) расположена в области x равномерно случайным образом и содержит 64 точки.

Тестирующая выборка содержит 400 точек, расположенных по равномерному закону в области x.

Использовались следующие методы построения моделей:

полиномиальная МНК модель 2-го порядка (LMS2);

обобщенно-регрессионная нейронная сеть (GRNN);

метод локальной аппроксимации с числом ближайших узлов М=5 (LA5);

многослойный персептрон со структурой 12-5-1 (MLP)).

обобщенно-регрессионная нейронная сеть с полиномиальной коррекцией (GRNN PC);

модифицированная обобщенно-регрессионная нейронная сеть с полиномиальной коррекцией (M GRNN PC).

В качестве полиномиальной части GRNN PC и M GRNN PC была выбрана структура, реализующая квадратичную зависимость:

Использовались различные варианты алгоритма обучения GRNN PC и M GRNN PC:

GRNN PC AA – параметр определялся по эмпирической формуле (2.14), параметр u определялся методом оптимизации.

GRNN PC AB – параметр определялся по эмпирической формуле (2.14), параметр u определялся по эмпирической формуле (2.17);

оптимизации;

оптимизации, параметр u определялся по эмпирической формуле (2.17);

M GRNN PC AA – параметр определялся по эмпирической формуле (2.14), параметры u1 и u 2 определялись по эмпирической формуле (2.24).

M GRNN PC AB – параметр определялся по эмпирической формуле (2.14), параметры u1 и u 2 определялись по методу наименьших квадратов;

оптимизации, параметры u1 и u 2 определялись по методу наименьших квадратов;

оптимизации, параметры u1 и u 2 определялись по эмпирической формуле (2.24);

На рисунках 2.4 – 2.6 показаны графики среднеквадратичной ошибки моделей на тестовой выборке в зависимости от параметра q для разных методов и значений СКО шума: =0, =0,25 и =0, соответственно.

Рисунок 2.4 – Зависимость среднеквадратичной погрешности аппроксимации от параметра q при СКО шума = Рисунок 2.5 – Зависимость среднеквадратичной погрешности аппроксимации от параметра q при СКО шума =0, Рисунок 2.6 – Зависимость среднеквадратичной погрешности аппроксимации от параметра q при СКО шума =0, Введем в рассмотрение среднюю ошибку модели по множеству значений параметра q:

где E (q) – среднеквадратичная ошибка модели в зависимости от параметра q.

Таблица 2.1 – Средняя ошибка моделей по множеству значений параметра q

GRNN GRNN

Из приведенных графиков видно, что предложенная GRNN PC в среднем при различных значениях параметра q обеспечивает наилучшую точность моделирования из всех представленных методов.

При этом выбор параметра осуществляется по эмпирической формуле (2.14), параметр u – определяется методом оптимизации.

Однако следует заметить, что модели, полученные с использованием метода наименьших квадратов, а так же полученные с использованием обобщенно-регрессионных нейронных сетей (GRNN) дают лучший результат, чем предложенная гибридная нейронная сеть (GRNN PC) при значении параметра q=0 и q=1 соответственно.

Это связано с тем, что объем обучающей выборки невелик, вследствие чего исключение части обучающих точек приводит к ухудшению точности даваемых каждым из методов положенных в основу гибридной сети в отдельности, причем неодинаковому, а значит неадекватному выбору значения параметра u.

В приведенных примерах особенно это характерно при значении параметра q=1, так как радиально-базисная составляющая более чувствительна к уменьшению и так небольшого объема обучающей выборки.

С увеличением объема обучающей выборки указанное явление становится незначительным.

На рисунках 2.7 – 2.9 показаны графики среднеквадратичной ошибки моделей на тестовой выборке в зависимости от параметра q для разных вариантов обучения GRNN PC и значений СКО шума: =0, =0,25 и =0,5 соответственно.

Рисунок 2.7 – Зависимость среднеквадратичной погрешности аппроксимации от параметра q при СКО шума = Рисунок 2.8 – Зависимость среднеквадратичной погрешности аппроксимации от параметра q при СКО шума =0, Рисунок 2.9 – Зависимость среднеквадратичной погрешности аппроксимации от параметра q при СКО шума =0, На рисунках 2.10 – 2.12 показаны графики среднеквадратичной ошибки моделей на тестовой выборке в зависимости от параметра q для разных вариантов обучения M GRNN PC и значений СКО шума:

=0, =0,25 и =0,5 соответственно.

Рисунок 2.10 – Зависимость среднеквадратичной погрешности аппроксимации от параметра q при СКО шума = Рисунок 2.11 – Зависимость среднеквадратичной погрешности аппроксимации от параметра q при СКО шума =0, Рисунок. 2.12 – Зависимость среднеквадратичной погрешности аппроксимации от параметра q при СКО шума =0, Из приведенных на рисунках 2.4 – 2.12 графиков видно, что при различных значениях параметра q наилучшую точность моделирования обеспечивается когда выбор параметра осуществляется по эмпирической формуле (2.14), параметр u – определяется методом оптимизации, при использовании модифицированной обобщеннорегрессионной нейронной сети с полиномиальной коррекцией, когда параметры u1 и u 2 определяются по эмпирической формуле (2.24).

В дальнейшем будем полагать, что для обучения GRNN PC используется алгоритм, в котором выбор параметра осуществляется по эмпирической формуле (2.14), параметр u – определяется методом оптимизации, кроме случаев оговоренных отдельно.

2.3 Аналитическое исследование свойств обобщеннорегрессионных нейронных сеть с полиномиальной коррекцией Проведем исследование свойств моделей, получаемых с использованием рассмотренного выше алгоритма формирования обобщенно-регрессионной нейронной сети с полиномиальной коррекцией.

Теорема 2.1. Пусть обучающие точки из выборки (2.4) расположены на n-мерном гиперкубе x с размером грани D, тогда число радиальных нейронов M, при работе алгоритма ограничено сверху величиной 1, т. е.

Доказательство. Согласно шагу 2.3 в алгоритме обучения в радиально-базисную часть добавляются только те радиальные нейроны, центры которых отдалены от центров уже имеющихся радиальных нейронов более чем на R. Очевидно, максимальное число радиальных нейронов может быть добавлено при регулярном расположении обучающих точек с шагом R и составляет 1. Во всех остальных случая число добавленных радиальных нейронов будет меньше указанной величины. Что и доказывает теорему.

Теорема 2.2 (теорема сходимости). Пусть обучающие точки из выборки (2.4) расположены на n-мерном гиперкубе x с размером грани L с плотностью распределения вероятности f (x ) 0, аппроксимируемая зависимость (x ) – непрерывная ограниченная на обучения минимальное расстояние между точками R=0. Тогда для x с вероятностью p 1 выполняется соотношение:

Доказательство.

Алгоритм обучения GRNN PC состоит в независимом обучении радиально-базисной и полиномиальной частей сети. Независимо обучаемая радиально-базисная часть – это по сути обощеннорегрессионная нейронная сеть (GRNN). В работе [24] показано, что при объеме обучающей выборки N и числе радиальных нейронов равному числу обучающих точек (R=0) GRNN дает оценку обобщенной регрессии [6], т. е.

Выражение (2.29) при отсутствии шума в обучающей выборке принимает вид:

с вероятностью p 1. При этом, очевидно, ошибка аппроксимации (2.16) достигает своего минимального значения при отсутствии полиномиальной части сети т. е. из u=0 следует E(u)=0. Откуда в свою очередь следует выражение (2.28), что и доказывает теорему.

2.4 Статистическая оценка ошибки моделирования с помощью обобщенно-регрессионных нейронных сеть с полиномиальной коррекцией Задача оценки точности модели, обычно, решается следующим образом. Обучающая выборка (2.4) случайным образом делится на, собственно, обучающую:

по которой и проводится обучение нейронной сети, и тестирующую:

(объем тестирующей выборки (2.31) выбирается, обычно, во много раз меньше объема обучающей выборки (2.32), то есть N 2 N1 ), на основе которой производится оценка точности модели.

Рассмотрим ошибку модели:

где Y - выход объекта, Y – выход модели.

Ввиду наличия случайного шума погрешность модели можно считать случайной величиной. Максимальное абсолютное значение ошибки модели Max и среднеквадратическое отклонения (СКО) ошибки модели определяется формулами [56, 57]:

где - область моделирования, f ( ) - плотность распределения помощью формул [56, 57]:

Описанные точечные оценки Max и часто не позволяют сделать однозначный вывод о качестве полученных моделей, преодолеть указанную сложность позволяют интервальные оценки, методика получения которых изложена ниже.

Для конкретизации метода построения интервальных оценок необходимо проверить гипотезу нормальности распределения величины. Проверка указанной гипотезы может быть проведена с помощью критерия 2 Пирсона [56, 57].

Сведем результаты опытов в J интервалов и оформим в виде статистического ряда (см. таблицу 2.2).

Таблица 2.2 – Статистический ряд распределения ошибки модели На основе функции нормального закона распределения можно найти теоретические вероятности попадания в каждый интервал [55, 56]:

Проверка согласованности нормального и статистического распределений производится на основе анализа расхождения между теоретическими вероятностями p j и наблюдаемыми частотами p j. В квадратов отклонений:

Распределение 2 зависит от параметра r, называемого числом степеней свободы распределения. Число степеней свободы r, определяемое согласно формуле:

где R число независимых условий (связей).

Если выполняется условие 1 1 ~ 2, то закон распределения случайной величины соответствует нормальному закону распределения с доверительной вероятностью 1 [56, 57].

В зависимости от результатов проверки гипотезы нормальности распределения рассмотрим два случая.

1. Гипотеза нормальности распределения величины выполняется.

Доверительный интервал для ошибки модели выражается в виде [56, 57]:

нормальная функция распределения.

Из формулы (2.41) воспользовавшись свойствами функции модуль можно получить оценку максимальной абсолютной ошибки модели Max с доверительной вероятностью [69]:

уровнем значимости определятся формулой [56, 57]:

значимости ( 3 1 3, 3 – доверительная вероятность).

2. Гипотеза нормальности не выполняется (закон распределения неизвестен).

На основании неравенства Чебышева можно записать [56, 57]:

где P ( ) – вероятность выполнения условия, стоящего внутри скобок, – положительный параметр.

Проведя преобразования на основе (2.44) можно получить доверительный интервал для ошибки модели :

где 4 - уровень значимости ( 4 1 4, 4 – доверительная вероятность).

В случае, когда для закона распределения случайной величины выполняется гипотеза симметричности, можно получить более точную оценку [57]:

Метод проверки гипотезы симметричности закона распределения случайной величины описан в работе [58].

Для получения верхней оценки значения СКО ошибки модели с заданной доверительной вероятностью 5 можно воспользоваться следующей приближенной формулой [56]:

нормальная функция распределения.

Рассмотрим следующий пример. Выполним построение нейросетевых моделей и оценку их ошибки для объектов со структурой (1.46), описываемых следующими выражениями:

при нормальном законе распределения аддитивной помехи (математическое ожидание m( ) 0, СКО ( ) ) и доверительных Для построения моделей использовались следующие методы:

обобщенно-регрессионная нейронная сеть (GRNN), обобщеннорегрессионная нейронная сеть с полиномиальной коррекцией (GRNN PC), многослойный персептрон (MLP), сеть с радиальными базисными функциями и линейным выходным слоем (RBFN) [23, 32].

( N1 2500, N 2 400 ). Точки из обучающей выборки располагались случайным образом с равномерным законом распределения.

Результаты вычислительного эксперимента приведены в таблице 2.3.

Объект моделирования Из приведенного примера, а также большого количества других проведенных исследований можно сделать вывод, что практически всегда гипотеза нормальности распределения ошибки моделей на основе GRNN РС выполняется, что дает возможность оценивать указанные ошибки моделей с заданной доверительной вероятностью.

2.5 Планирование эксперимента для обучения обобщеннорегрессионных нейронных сетей с полиномиальной коррекцией В случае наличия возможности проведения активного эксперимента для формирования GRNN PC можно использовать алгоритм, позволяющие строить модели статических объектов, удовлетворяющие заданной точности, идея, которого состоит в следующем.

Предположим необходимо построить модель статического объекта в области x представляющей собой n-мерный гиперкуб.

На первой стадии активного эксперимента реализуется план Бокса-Бенкена и на основе данных этого эксперимента строится полиномиальная часть сети [81, 82].

В планах Бокса-Бенкена каждый фактор может изменяться на трех уровнях, то есть каждый из факторов принимает значения -1, 0, +1. Планы Бокса-Бенкена представляют собой определенную выборку строк из матрицы плана полного факторного эксперимента (ПФЭ) 3 n.

Отличительной особенностью этих планов, является то обстоятельство, что в каждом опыте основной части плана отлично от нулевого значения лишь вполне определенное число факторов: всего два фактора, если n = 3, 4, 5, три фактора, когда n = 6, 7, 9 и четыре, если n = 10, 11, 12, 16.

Кроме того, в пределах некоторой группы опытов варьируется лишь это же количество факторов, а остальные в пределах этой группы опытов стабилизированы на нулевом уровне. Указанные особенности планов Бокса-Бенкена делает их в ряде случаев весьма удобными при практических применениях, упрощая и удешевляя эксперимент. При n = 4 и n =7 эти планы являются ротатабельными, а для прочих п – весьма близкими к ротатабельным.

Рассмотрим матрицу основной части спектра плана БоксаБенкена. Для п = 3, 4, 5 это построение ясно из таблицы 2.4.

Таблица 2.4 – Матрица основной части спектра плана БоксаБенкена для п = 3, 4, В таблице 2.4 использованы следующие обозначения векторстолбцов:

Для п = 6 и п = 7 матрицы основной части планов Бокса-Бенкена указаны соответственно в таблицах 2.4 и 2.5, где Таблица 2.5 – Матрица основной части спектра плана БоксаБенкена для п = Таблица 2.6 – Матрица основной части спектра плана БоксаБенкена для п = Основная часть матрицы спектра плана Бокса-Бенкена дополняется нулевыми точками, количество которых N0 указано в таблице 2.7 (иногда в планах Бокса-Бенкена используется всего одна центральная точка). Там же приведено число точек основной части этих планов и суммарное число точек N.

Таблица 2.7 – Число точек плана Бокса-Бенкена Если гипотеза адекватности не выполняется, то факторное пространство дополнятся еще обучающими точками, после чего строится модель уже с привлечением, как полиномиальной, так и радиально-базисной части сети. На основе тестирующей выборки находится среднеквадратичная ошибка модели. Если указанная ошибка меньше заданной (критерий останова), то процесс построения модели завершен. В противном случае факторное пространство вновь увеличивается путем добавления обучающих точек между уже имеющимися, после чего цикл построения модели, проверки условия останова и добавления обучающих точек повторяется.

Приведем алгоритм.

Шаг 0. Выбирается вид полиномиальной зависимости, максимальное значение среднеквадратичной ошибки модели Emax, максимально допустимое число опытов N max, начальное число точек регулярной сетки на каждый вход p (общее число точек определяется как N p n, где n – число входов).

Шаг 1. Реализуется план Бокса-Бенкена.

В каждой из точек плана проводиться m параллельных опытов.

В результате имеем обучающую выборку:

где Шаг 2. Формирование GRNN PC на основе экспериментальных данных, полученных при реализации плана Бокса-Бенкена и проверка адекватности.

осуществляется на основе обучающей выборки (2.48). Определение вектора параметров b полиномиальной части сети может осуществляться как с использованием нерекуррентного МНК, так и с использованием рекуррентного МНК.

Радиальнобазисная часть сети не содержит ни одного нейрона (M=0) и параметр u=1.

В связи с отсутствием радиальнобазисной части сети, вид GRNN PC сводится к виду регрессионной модели, следовательно, возможно использование процедуры проверки адекватности для регрессионной модели.

Проверка адекватности состоит, по сути дела, в выяснении соотношения между дисперсией адекватности и оценкой дисперсии воспроизводимости значения выхода модели Если эти оценки дисперсий однородны, то математическое описание адекватно представляет результаты опытов; если же нет, то описание считается неадекватным. F-критерий Фишера позволяет проверить гипотезу об однородности двух выборочных дисперсий S ад характеризуется отношением Если вычисленное по результатам наблюдений эмпирическое значение критерия F меньше критического Fкр для соответствующих степеней свободы:

при заданном уровне значимости q ад (обычно q ад = 0,05), то гипотезу об адекватности принимают. В противном случае гипотезу отвергают и математическое описание признается неадекватным.

Если S ад S вос, то числитель и знаменатель в (2.52), а также В случае выполнения гипотезы адекватности построенной модели формирование GRNN PC заканчивается.

Шаг 3. Реализация эксперимента.

Проводится эксперимент таким образом, чтобы точки результирующей обучающей выборки были расположены в узлах регулярной сетки в области определения входов, на основе которых строится обучающая выборка. Причем число точек на один вход было равным p. На основе проведенных опытов формируется обучающая выборка объемом N p n :

Проводится дополнительный набор опытов, в точках расположенных равномерно случайным образом в области определения входов, на основе которых строится тестирующая выборка объемом V, лежащим в диапазоне от 0.1 N до 0.25N:

На рисунке 2.14 представлен пример расположения обучающих точек для двух итераций при n=2. Изначально расположение точек соответствует ПФЭ 3 (p=3). После первой итерации p=5, после второй p=9.

Рисунок 2.14 – Пример расположения обучающих точек Шаг 4. Формирование GRNN PC.

На основе полученной обучающей выборке строится полиномиальная часть сети с использованием рекуррентного или не рекуррентного МНК.

Формирование радиально-базисной части сети осуществляется следующим образом. Число радиальных нейронов M совпадает с числом точек в обучающей выборке. Каждый радиальный нейрон формируется на основе соответствующей обучающей точки. То есть Отклонения нейронов выбираются в соответствии с эмпирической формулой (2.14).

Поиск параметра u осуществляться из условия минимизации среднеквадратической ошибки на тестирующей выборке:

В качестве алгоритма поиска может быть использован метод одномерной оптимизации (дихотомии, золотого сечения и т.п.).

Шаг 5. Проверка критерия останова.

На тестирующей выборке находятся точечная оценка значения среднеквадратической ошибки модели:

Если E Emax, то заданная точность достигнута, и формирование искусственной нейронной сети на этом заканчивается.

В противном случае число точек p увеличивается:

Выражение (2.59) позволяет повторно использовать экспериментальные данные, полученные на предыдущих этапах для формирования обучающей выборки на шаге 3.

Если общее число требуемых опытов превышает допустимое, то модель с заданной точностью не может быть построена, формирование искусственной нейронной сети на этом заканчивается.

Иначе переход к шагу 3.

Рассмотрим следующий пример. Предположим, что объект описывается зависимостью вида (1.62), функция (x ) имеет вид:

математическим ожиданием M 0 и СКО 0.25.

x1 [ 3, 3]; x2 [ 3, 3]. Необходимо построить модель объекта со среднеквадратичной ошибкой не более чем Emax =0.5 и количество экспериментальных данных не должно превышать N max =200.

Выберем начальное число точек регулярной сетки на каждый вход p=9. Формирование GRNN PC в соответствии с алгоритмом предполагает выполнение следующих шагов:

Шаг 1. Реализации плана Бокса-Бенкена.

Объект имеет два входа (n=2). Для данного числа факторов план Бокса-Бенкена совподает с планом ПФЭ 3. Матрица плана имеет вид:

На объекте проводится m=3 параллельных экспериментов в соответствии с матрицей плана (общее количество экспериментов 27).

Шаг 2. Формируется GRNN PC (радиальнобазисная часть отсутствует) и осуществляется проверка адекватности.

Для уровня значимости 0.05 критическое значение составляет Fкр = 8.6745, фактическое значение F= 15.9274. Гипотеза адекватности полиномиальной части GRNN PC не выполняется.

Шаг 3. Проводится эксперимент таким образом, чтобы точки результирующей обучающей выборки были расположены в узлах регулярной сетки в области определения входов, на основе которых строится обучающая выборка. На основе проведенных опытов формируется обучающая выборка объемом N 81 (общее количество экспериментов с учетом повторного использования экспериментальных данных: 99=81-9+27).

Шаг 4. Формирование GRNN PC.

Величина отклонения радиальных нейронов составляет 0.3185, значение параметра u= 0.8681. Данные значения получены следующим образом:

Шаг 5. Проверка критерия останова Оценка среднеквадратичной ошибки HPRBFN:

В виду выполнения условия E Emax формирование GRNN PC считается законченным.

В таблице 2.7 приведена среднеквадратичная ошибка на тестирующей выборке, содержащей 1600 точек расположенных в узлах регулярной сетки, для полученной модели, а так же для других видов моделей построенных на той же обучающей выборке: полиномиальная МНК модель 2-го порядка (LMS2); обобщенно-регрессионная нейронная сеть (GRNN); метод локальной аппроксимации с числом ближайших узлов M=5 (LA5); многослойный персептрон со структурой 12-5-1 (MLP). Среди представленных методов, обощеннорегрессионная нейронная сеть с полиномиальной коррекцией показала лучший результат.

Таблица 2.7 – Среднеквадратические ошибки моделей 2.6 Выводы по главе Основные результаты настоящей главы можно отразить в следующих выводах.

Предложена обобщенно-регрессионная нейронная сеть с полиномиальной коррекцией, позволяющая решать задачу идентификации сложного статического объекта. Описан алгоритм обучения сети. Рассмотрены различные модификации сети.

На основе вычислительных экспериментов проведено сравнение GRNN PC с существующими методами идентификации сложных статических объектов и установлено, что предложенный метод идентификации в среднем обеспечивает наилучшую точность по сравнению с известными методами идентификации.

Проведено аналитическое исследование свойств GRNN PC. Была получена оценка верхнего значения числа нейронов радиальнобазисной части GRNN PC, показана сходимость аппроксимационной модели на основе GRNN PC к искомой зависимости.

Получены оценки точности нейросетевых моделей с использованием принципов интервального статистического оценивания, проведены экспериментальные исследования по оценке точности получаемых моделей с использованием полученных формул для различных методов идентификации (в том числе и для GRNN PC).

Предложена методика планирования эксперимента для получения нейросетевой модели сложного статического объекта с использованием GRNN PC, удовлетворяющей требованиям по заданной точности и допустимому объему эксперимента.

МОДЕЛИ ДИНАМИЧЕСКИХ ОБЪЕКТОВ

НА ОСНОВЕ ОБОБЩЕННО-РЕГРЕССИОННЫХ

НЕЙРОННЫХ СЕТЕЙ С ПОЛИНОМИАЛЬНОЙ

КОРРЕКЦИЕЙ

объекта Ведем в рассмотрение обобщенную нейросетевую модель динамического объекта, пригодную для описания большинства односвязных динамических объектов встречающихся на практике.

Данная модель включает, как подкласс, математическое описание объектов управления использующееся в большинстве работ по нейросетевому управлению [29, 30, 33, 83].

Определение 1.1. Под обобщенной нейросетевой моделью динамического объекта (ОНМДО) понимается математическая модель динамического объекта, состоящая из линейного динамического звена (ЛДЗ) и блока нейронной сети (БНС), имеющая структуру, приведенную на рисунке 3.1.

u – управляющее воздействие, y – выходной сигнал Рисунок 3.1 – Обобщенная нейросетевая модель динамического Линейное динамическое звено описывается системой векторноматричных разностных уравнений [60, 70]:

где A, B, C, D – заданные постоянные матрицы, i ui, yi T, i – номер такта.

Блок нейронной сети реализует функциональную зависимость Одним из общих вариантов классического математического описания объектов управления является их представление в виде нелинейных разностных уравнений l-го порядка [60, 70]:

где f ( ) – непрерывная и ограниченная на R n ( n l l1 1 ) нелинейная функция; l, l1 – заданные целые положительные константы.

Матрицы при этом A, B, C, D имеют вид:

где l, l1 – постоянные параметры.

На рис. 3.2 показана обобщенная нечеткая модель динамического объекта, реализующая оператор, эквивалентный разностному уравнению (3.4). С помощью БНС в данном случае аппроксимируется функция f ( ) т. е. ( ) f ( ).

Рисунок 3.2 – Реализация нелинейного разностного уравнения (3.4) с 3.2 Модели на основе аппроксимации разностного уравнения 3.2.1 Подход к построению модели на основе аппроксимации разностного уравнения контролируемой помехи i, сигнал неконтролируемой аддитивной помехи и выход y i, как это показано на рисунке 3.3.

Рисунок 3.3 – Односвязный динамический объект Предположим, далее, что объект может быть адекватно описан обобщенной нечеткой моделью, введенной в рассмотрение в параграфе 3.1.

Применительно к рассматриваемому случаю, указанная модель имеет структуру, приведенную на рисунке 3.4.

Рисунок 3.4 – Обобщенная нечеткая модель односвязного динамического объекта, представленного на рисунке 3. Линейное динамическое звено (ЛДЗ) описывается системой векторно-матричных разностных уравнений:

где A, B, C, D – заданные постоянные матрицы, i ~i, ui, i T, i– номер такта.

Блок нейронной сети реализует нелинейную функциональную зависимость:

Выходной сигнал определяется формулой:

Допустим, известны результаты эксперимента на объекте, заключающийся в регистрации в эквидистантные (равноудаленные друг от друга) моменты времени N троек значений Необходимо определить оценку неизвестной зависимости (3.6):

формулы (3.7) можно считать, что yi ~i. Тогда используя экспериментальные данные (3.8), можно найти решение разностных уравнений (3.5) и определить N пар значений x i, y i.

На основании указанных данных может быть определена оценка зависимости (3.9) на основе GRNN PC.

Наиболее простой вид решение уравнения (3.5) принимает, если выбрать:

C I – единичная матрица, D 0 – нулевая матрица, условия).

Модель объекта в этом случае имеет вид:

Описанные модели динамических объектов далее будем называть моделями на основе аппроксимации разностного уравнения нейронной сетью, в литературе они также известны под названием модель типа авторегрессия – скользящее среднее [5, 9].

Достоинством модели типа авторегрессия – скользящее среднее является универсальность, в смысле применимости к объектам с любой структурой, в том числе и не известной.

Недостаток описанного подхода: накопление погрешности, в следствии наличия шума наблюдения и неточностью аппроксимации, что вызвано использованием информации, полученной на предыдущих итерациях работы алгоритма.

Исходными данными для построения модели является следующее: массив экспериментальных данных (3.8), матрицы A, B, C, D, входящие в уравнения (3.5).

Определение 3.2. Под базовым алгоритмом моделирования динамических объектов с помощью GRNN PC на основе аппроксимации разностного уравнения будет пониматься алгоритм использующий матрицы A, B, C, D вида (3.10) и разностное уравнение (3.12).

На стадии эксплуатации, полученной нейросетевой модели, производится совместное решение разностных уравнений (3.5) и нелинейного уравнения:

где ( xi ) – функция восстанавливаемая с помощью GRNN PC.

аппроксимации разностного уравнения Часто можно предположить, что объект управления в первом приближении представляет собой линейное динамическое звено n-го порядка.

Допустим, что модель первого приближения объекта управления может быть представлена структурой приведенной на рисунке 3.5.

Рисунок 3.5 – Структура модели объекта управления На рис. 3.5 приняты следующие обозначения: М – амплитудноимпульсный модулятор с фиксатором нулевого порядка и периодом выходных импульсов T0 ; непрерывное ЛДЗ – непрерывное линейное динамическое звено, описываемое системой дифференциальных уравнений:

В моменты срабатывания модулятора система на рис. 3. описывается разностными уравнениями [60, 70]:

единичная матрица.

Применив к уравнениям (5.15) дискретное преобразование Лапласа [60, 70] получим импульсную передаточную функцию линейной части системы на рисунке 3.5:

Используя импульсную передаточную функцию (3.16) получим разностное уравнение системы на рисунке 3.5:

Матрицы (3.10) в этом случае имеет вид:

Наиболее часто на практике встречается случай, когда можно предположить, что в первом приближении объект управления представляет собой звено второго порядка с передаточной функцией:

параметры уравнения (3.14) в данном случае принимают вид:

а уравнения (3.15) – Если для периода работы модулятора выполняется соотношение: T0 T1, T2, то разностное уравнение (3.17) имеет вид:

Рассмотрим пример моделирования нелинейного дискретного динамического объекта. Пусть имеется объект, имеющий один вход u и один выход y. Состояние входа и выхода объекта измеряются в дискретные моменты времени i 0, 1, 2,....

Объект имитируется существенно нелинейным разностным уравнением где i – случайная помеха, распределенная по равномерному закону на интервале 5, 5.

На данном интервале два первых слагаемых рассматриваемой модели объекта в первом приближении достаточно точно описываются полиномом второго порядка.

Входной сигнал объекта представляет собой дискретный шум распределенный по равномерному закону ui ( 200, 200).

Зависимость yi 2 ( yi, yi 1 ) при ui 0 приведена на рисунке 3.6.

Для идентификации использовалась выборка из 200 отсчетов.

Идентификация объекта производилась с помощью следующих методов:

1) многослойного персептрон, содержащий три слоя нейронов:

1-й слой – 10 нейронов, 2-й – 5 нейронов, 3-й – 1 нейрон с сигмоидальными функциями активации [22, 23, 32].

2) метод наименьших квадратов (МНК) [6, 10], с полиномиальной моделью второго порядка:

3) базовый алгоритм моделирования динамических объектов на основе GRNN PC на основе аппроксимации разностного уравнения.

Рисунок 3.7 – Процесс на выходе модели и объекта На рисунке 3.7 показан процесс на выходе объекта (сплошная линия) и на выходе модели (линия, помеченная звездочками).

В таблице 3.1 приведены значения средней абсолютной погрешности моделей eср, полученных разными методами, при тестировании данных моделей реализацией входного сигнала, отличной от обучающей.

Таблица 3.1 – Средняя погрешность моделей Из данных таблицы 3.1 видно, что точность модели полученной с помощью алгоритма на основе GRNN PC выше, чем при применении других методов.

Остановимся на выборе порядка модели m. В работе [84] рекомендуется последовательно увеличивать порядок модели до получения минимального значения оценки средней погрешности. В то же время, численное моделирование показывает, что зависимость средней погрешности eср (m) от порядка модели m представляет собой унимодальную функцию дискретного аргумента (возрастание средней погрешности при превышении порядком модели истинного порядка объекта объясняется недостатком информации для обучения модели).

В качестве иллюстрации на рисунке 3.8 приведена данная зависимость для рассмотренного выше примера.

Рисунок 3.8 – Зависимость средней ошибки аппроксимации Воспользовавшись тем, что зависимость eср (m) унимодальная, а также тем, что максимальное значение порядка модели m обычно выбирается не больше 5-7, можно рекомендовать для поиска оптимального значения m дискретный вариант метода дихотомии [85].

Рассмотрим объект управления со структурой представленной на рисунке 3.9.

На рисунке 3.9 приняты следующие обозначения: М – амплитудно-импульсный модулятор, с периодом следования выходных импульсов T0 0.1 ; НЭ – статическая нелинейность z 3 th u * ;

ЛДЗ – линейное динамическое звено с передаточной функцией W ( p) распределенная по нормальному закону с математическим ожиданием m 0 и среднеквадратическим отклонением 0.0129.

На рисунке 3.10 представлены графики обучающих сигналов (линия 1 – вход объекта, линия 2 – выход объекта).

Рисунок 3.10 – Входной и выходной обучающие сигналы объекта Для построения модели использовался алгоритм на основе GRNN PC для динамических объектов на основе аппроксимации разностного уравнения и алгоритм на основе МНК модели второго порядка.

Для тестирования модели сравнивалась реакция объекта и модели на ступенчатое входное воздействие u 1. Средняя абсолютная погрешность для модели на основе МНК составляет eср 0.212, для GRNN PC –– eср 0.136.

Таким образом, использование GRNN PC в рассматриваемом случае позволяет уменьшить погрешность модели более чем на 35 %.

3.3. Модели на основе аппроксимации весовой функции 3.3.1 Подход к построению модели на основе аппроксимации весовой функции В разделе 3.2 рассмотрен алгоритм идентификации нелинейных динамических объектов на основе GRNN PC и аппроксимации разносного уравнения (модели типа авторегрессия – скользящее среднее). Недостаток такого подхода к построению модели хорошо известен: для оценки выхода объекта в текущий момент времени используются оценки выхода объекта полученные ранее, что приводит к накоплению погрешности [10, 60].

Ниже описан подход к построению нечеткой модели динамического объекта основанной на аппроксимации весовой функции, позволяющий прогнозировать его выход только по значениям входного сигнала [3, 10].

Допустим, как и ранее, что стационарный динамический объект имеет скалярные вход u (t ) и выход y (t ). Допустим далее, что на объекте может быть реализован эксперимент, заключающийся в регистрации N пар значений:

Пусть структурно рассматриваемый динамический объект может быть представлен состоящим из последовательно соединенных линейного динамического звена (ЛДЗ) и статического нелинейного элемента (НЭ), как это показано на рисунке 3.11.

Рисунок 3.11 – Структура динамического объекта Линейное динамическое звено характеризуется импульсной весовой функцией (i ), нелинейный элемент – функцией НЭ (z ).

Предполагается, что (i ) и НЭ (z ) неизвестны.

При нулевых начальных условиях выходной сигнал ЛДЗ определяется формулой [70]:

Представим импульсную весовую функцию в виде суммы [70]:

Введя обозначения:

решая совместно (3.20) и (3.21) получим:

Выходной сигнал объекта на рисунке 3.11 описывается выражением:

где – нелинейная зависимость реализуемая НЭ.

Перепишем формулу (3.24) в виде:

или формуле (3.22).

На основании уравнения (3.25) модель объекта управления можно представить обобщенной нейросетевой моделью, приведенной на рисунке 3.12 ( ЛДЗ j – линейные динамические звенья с импульсной Рисунок 3.12 – Обобщенная нечеткая модель на основе аппроксимации дискретной весовой функции По известным u(i), y(i), с использованием формулы (3.22), определяются пар значений x (i), y (i). На основе данной информации, можно провести аппроксимацию зависимости ( ) (см.

формулы (3.25)) с помощью GRNN PC.

Достоинством данного алгоритма является отсутствие накопления погрешности, свойственного модели типа авторегрессия – скользящее среднее.

Теорема 3.1. Если выбранный базис таков, что в области допустимых значений аргумента возможно представление то для вектора x T (i ) x1 (i ), x2 (i ),..., xn (i ), с компонентами справедливо разностное уравнение:

Доказательство. Решение уравнения (3.29) при нулевых начальных условиях имеет вид [70]:

G (i ) – переходная матрица системы (3.29).

Решение уравнения (3.30) при нулевых начальных условиях имеет вид [70]:

Подставляя (3.31) в (3.28) получим:

Сопоставляя (3.30) и (3.32) на основании теоремы существования и единственности решения разностного уравнения [70], получим:

Таким образом (3.28) является решением разностного уравнения (3.29), что и доказывает теорему.

Замечание. Аналогичная теорема для непрерывного случая доказана в работе [3].

Выберем в качестве базисных функций (такой базис введен в работе [33]):

Для момента времени i 1 имеем Воспользовавшись формулой бинома Ньютона [57] из последнего выражения получим:

Выражение (3.35) можно переписать в матричной форме:



Pages:   || 2 |
 
Похожие работы:

«RUSSIAN ACADEMY OF SCIENCES FAR EASTERN BRANCH North-East Scientific Center Institute of Biological Problems of the North I.A. Chereshnev FRESHWATER FISHES OF CHUKOTKA Magadan 2008 РОССИЙСКАЯ АКАДЕМИЯ НАУК ДАЛЬНЕВОСТОЧНОЕ ОТДЕЛЕНИЕ Северо-Восточный научный центр Институт биологических проблем Севера И.А. Черешнев ПРЕСНОВОДНЫЕ РЫБЫ ЧУКОТКИ Магадан 2008 УДК 597.08.591.9 ББК Черешнев И.А. Пресноводные рыбы Чукотки. – Магадан: СВНЦ ДВО РАН, 2008. - 324 с. В монографии впервые полностью описана...»

«Н.А. Ярославцев О существовании многоуровневых ячеистых энергоинформационных структур Невидимое пространство в материальных проявлениях Омск - 2005 1 Рекомендовано к публикации ББК 28.081 решением научно-методического УДК 577.4 семинара химико-биологического Я 80 факультета Омского государственного педагогического университета от 05.04.2004 г., протокол №3 Я 80 Н.А. Ярославцев. О существовании многоуровневых ячеистых энергоинформационных структур. Монография – Омск: Полиграфический центр КАН,...»

«МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ЭКОНОМИКИ, СТАТИСТИКИ И ИНФОРМАТИКИ Кафедра Иностранных языков Лингводидактический аспект обучения иностранным языкам с применением современных интернет-технологий Коллективная монография Москва, 2013 1 УДК 81 ББК 81 Л 59 ЛИНГВОДИДАКТИЧЕСКИЙ АСПЕКТ ОБУЧЕНИЯ ИНОСТРАННЫМ ЯЗЫКАМ С ПРИМЕНЕНИЕМ СОВРЕМЕННЫХ ИНТЕРНЕТ ТЕХНОЛОГИЙ: Коллективная монография. – М.: МЭСИ, 2013. – 119 с. Редколлегия: Гулая Т.М, доцент...»

«Министерство образования и науки Украины ГОСУДАРСТВЕННОЕ ВЫСШЕЕ УЧЕБНОЕ ЗАВЕДЕНИЕ НАЦИОНАЛЬНЫЙ ГОРНЫЙ УНИВЕРСИТЕТ Р.Н. ТЕРЕЩУК КРЕПЛЕНИЕ КАПИТАЛЬНЫХ НАКЛОННЫХ ВЫРАБОТОК АНКЕРНОЙ КРЕПЬЮ Монография Днепропетровск НГУ 2013 УДК 622.281.74 ББК 33.141 Т 35 Рекомендовано вченою радою Державного вищого навчального закладу Національний гірничий університет (протокол № 9 від 01 жовтня 2013). Рецензенти: Шашенко О.М. – д-р техн. наук, проф., завідувач кафедри будівництва і геомеханіки Державного вищого...»

«И.А. САВИНА МОДЕЛИРОВАНИЕ СИСТЕМЫ УПРАВЛЕНИЯ КАЧЕСТВОМ В ЖКХ ИЗДАТЕЛЬСТВО ТГТУ УДК 640.6 (4707571) ББК 65.441 С13 Рецензенты: Доктор экономических наук, профессор Б.И. Герасимов Доктор экономических наук, профессор В.А. Шайтанов Савина И.А. С13 Моделирование системы управления качеством в ЖКХ / Под науч. ред. д-ра экон. наук Б.И. Герасимова. Тамбов: Изд-во Тамб. гос. техн. ун-та, 2006. 88 с. Проводится анализ проблем современной теории и практики организации работ по обслуживанию...»

«МИНИСТЕРСТВО ЗДРАВООХРАНЕНИЯ И СОЦИАЛЬНОГО РАЗВИТИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ ГОУ ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ МЕДИЦИНСКИЙ УНИВЕРСИТЕТ ИКСОДОВЫЕ К Л Е Щ Е В Ы Е ИНФЕКЦИИ В ПРАКТИКЕ УЧАСТКОВОГО ВРАЧА Иркутск - 2007 1 МИНИСТЕРСТВО ЗДРАВООХРАНЕНИЯ И СОЦИАЛЬНОГО РАЗВИТИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ МЕДИЦИНСКИЙ УНИВЕРСИТЕТ MINISTRY OF PUBLIC HEALTH AND SOCIAL DEVELOPMENT OF RUSSIAN FEDERATION IRKUTSK STAT MEDICAL UNIVERSITI I.V. MALOV V.A. BORISOV A.K. TARBEEV...»

«ИНСТИТУТ СОЦИАЛЬНО-ПОЛИТИЧЕСКИХ ИССЛЕДОВАНИЙ РОССИЙСКОЙ АКАДЕМИИ НАУК ЦЕНТР СОЦИАЛЬНОЙ ДЕМОГРАФИИ И ЭКОНОМИЧЕСКОЙ СОЦИОЛОГИИ УНИВЕРСИТЕТ ТОЯМА ЦЕНТР ДАЛЬНЕВОСТОЧНЫХ ИССЛЕДОВАНИЙ Сергей Рязанцев, Норио Хорие МОДЕЛИРОВАНИЕ ПОТОКОВ ТРУДОВОЙ МИГРАЦИИ ИЗ ЦЕНТРАЛЬНОЙ АЗИИ В РОССИЮ Трудовая миграция в цифрах, фактах и лицах Москва-Тояма, 2010 1 УДК ББК Рязанцев С.В., Хорие Н. Трудовая миграция в лицах: Рабочие-мигранты из стран Центральной Азии в Москвоском регионе. – М.: Издательство Экономическое...»

«Л.В. БАЕВА Толерантность: идея, образы, персоналии 1 УДК 17 (075.8) ББК 87.61 Рекомендовано к печати редакционно-издательским советом Астраханского государственного университета Рецензенты: Морозова Е.В. – доктор философских наук, профессор, зав. кафедрой государственной политики и государственного управления Кубанского государственного университета (г. Краснодар) Тимофеев М.Ю. – доктор философских наук, профессор кафедры философии Ивановского государственного университета (г. Иваново) Баева,...»

«2013 Вып.1 11 Труды ученых Балаковского института экономики и бизнеса (филиал) СГСЭУ 2007-2012 Библиографический указатель Балаково 2013 ТРУДЫ УЧЕНЫХ БАЛАКОВСКОГО ИНСТИТУТА ЭКОНОМИКИ И БИЗНЕСА (ФИЛИАЛ) СГСЭУ (2007-2012) Библиографический указатель литературы. Вып. 1 Составитель Никитина Ирина Владимировна Балаково 2013 УДК 011/016 ББК 91 Т 78 Составитель Никитина Ирина Владимировна Т 78 Труды ученых Балаковского института экономики и бизнеса (филиал) СГСЭУ (2007-2012): библиографический...»

«Иркутский государственный технический университет Научно-техническая библиотека БЮЛЛЕТЕНЬ НОВЫХ ПОСТУПЛЕНИЙ Новые поступления литературы по естественным и техническим наукам 1 октября 2012 г. – 31 октября 2012 г. Архитектура 1) Кулаков, Анатолий Иванович (Архитектурный)     Архитектурно-художественные особенности деревянной жилой застройки Иркутска XIX XX веков : монография / А. И. Кулаков, В. С. Шишканов ; Иркут. гос. техн. ун-т. – Иркутск :  Издательство ИрГТУ, 2012. – 83 с. : ил....»

«Министерство здравоохранения и социального развития Российской Федерации Северный научный центр СЗО РАМН Северное отделение Академии полярной медицины и экстремальной экологии человека Северный государственный медицинский университет А.Б. Гудков, О.Н. Попова ВНЕШНЕЕ ДЫХАНИЕ ЧЕЛОВЕКА НА ЕВРОПЕЙСКОМ СЕВЕРЕ Монография Издание второе, исправленное и дополненное Архангельск 2012 УДК 612.2(470.1/.2) ББК 28.706(235.1) Г 93 Рецензенты: доктор медицинских наук, профессор, директор Института...»

«1 ГБОУ ВПО КАЗАНСКИЙ ГОСУДАРСТВЕННЫЙ МЕДИЦИНСКИЙ УНИВЕРСИТЕТ МИНИСТЕРСТВА ЗДРАВООХРАНЕНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ Кафедра офтальмологии А.Н. САМОЙЛОВ, Г.Х. ХАМИТОВА, А.М. НУГУМАНОВА ОЧЕРКИ О СОТРУДНИКАХ КАФЕДРЫ ОФТАЛЬМОЛОГИИ КАЗАНСКОГО МЕДИЦИНСКОГО УНИВЕРСИТЕТА: ПРОШЛОЕ И НАСТОЯЩЕЕ КАЗАНЬ, 2014 2 УДК 378.661(470.41-25).096:617.7 ББК 56.7+74.58 С17 Печатается по решению Центрального координационнометодического совета Казанского государственного медицинского университета Авторы: заведующий кафедрой,...»

«АКАДЕМИЯ НАУК РЕСПУБЛИКИ ТАДЖИКИСТАН Г.Н. Петров, Х.М. Ахмедов Комплексное использование водно-энергетических ресурсов трансграничных рек Центральной Азии. Современное состояние, проблемы и пути решения Душанбе – 2011 г. ББК – 40.62+ 31.5 УДК: 621.209:631.6:626.8 П – 30. Г.Н.Петров, Х.М.Ахмедов. Комплексное использование водно-энергетических ресурсов трансграничных рек Центральной Азии. Современное состояние, проблемы и пути решения. – Душанбе: Дониш, 2011. – 234 с. В книге рассматриваются...»

«А.В. Иванов ЛОГИКА СОЦИУМА ЦСП и М Москва • 2012 1 УДК 740(091) ББК 60.0 И20 Иванов А.В. И20 Логика социума : [монография] / А.В. Иванов. – 256 c. – М.: ЦСП и М, 2012. ISBN 978-5-906001-20-7. Книга содержит изложенную в форме социальной философии систему взглядов на историю цивилизации. Опираясь на богатый антропологический материал, автор осуществил ретроспективный анализ развития архаичных сообществ людей, логически перейдя к критическому анализу социологических концепций цивилизационного...»

«МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ КАЛИНИНГРАДСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ А.А. Девяткин ЯВЛЕНИЕ СОЦИАЛЬНОЙ УСТАНОВКИ В ПСИХОЛОГИИ ХХ ВЕКА Калининград 1999 УДК 301.151 ББК 885 Д259 Рецензенты: Я.Л. Коломинский - д-р психол. наук, проф., акад., зав. кафедрой общей и детской психологии Белорусского государственного педагогического университета им. М. Танка, заслуженный деятель науки; И.А. Фурманов - д-р психол. наук, зам. директора Национального института образования Республики...»

«Н.А. Березина РАСШИРЕНИЕ АССОРТИМЕНТА И ПОВЫШЕНИЕ КАЧЕСТВА РЖАНО-ПШЕНИЧНЫХ ХЛЕБОБУЛОЧНЫХ ИЗДЕЛИЙ С САХАРОСОДЕРЖАЩИМИ ДОБАВКАМИ МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ - УЧЕБНО-НАУЧНО-ПРОИЗВОДСТВЕННЫЙ КОМПЛЕКС Н.А. Березина РАСШИРЕНИЕ АССОРТИМЕНТА И ПОВЫШЕНИЕ КАЧЕСТВА РЖАНО-ПШЕНИЧНЫХ ХЛЕБОБУЛОЧНЫХ ИЗДЕЛИЙ С САХАРОСОДЕРЖАЩИМИ ДОБАВКАМИ...»

«Министерство образования и науки Российской Федерации Ивановский государственный химико-технологический университет ХИМИЧЕСКИЕ ТЕХНОЛОГИИ В ДИЗАЙНЕ ТЕКСТИЛЯ Под редакцией профессора А.В. Чешковой Иваново 2013 УДК 677.027.042:577.1 Авторы: А.В. Чешкова, Е.Л.Владимирцева, С.Ю. Шибашова, О.В. Козлова Под редакцией проф. А.В. Чешковой Химические технологии в дизайне текстиля [монография]/ [А.В. Чешкова, Е.Л.Владимирцева, С.Ю. Шибашова, О.В. Козлова]; под ред. проф. А.В.Чешковой; ФГБОУ ВПО...»

«Санкт-Петербургский университет управления и экономики Национальный исследовательский Иркутский государственный технический университет Н. М. Пожитной, В. М. Хромешкин Основы теории отдыха САНКТ-ПЕТЕРБУРГСКИЙ УНИВЕРСИТЕТ УПРАВЛЕНИЯ И ЭКОНОМИКИ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ Н. М. Пожитной, В. М. Хромешкин ОСНОВЫ ТЕОРИИ ОТДЫХА Монография Под общей редакцией доктора экономических наук, профессора, заслуженного деятеля науки РФ А. И. Добрынина...»

«В.С. Щербаков, Н.В. Беляев, П.Ю. Скуба АВТОМАТИЗАЦИЯ ПРОЕКТИРОВАНИЯ ПЛАНИРОВОЧНЫХ МАШИН НА БАЗЕ КОЛЕСНЫХ ТРАКТОРОВ Омск • 2013 Министерство образования и науки РФ Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования Сибирская государственная автомобильно-дорожная академия (СибАДИ) В.С. Щербаков, Н.В. Беляев, П.Ю. Скуба АВТОМАТИЗАЦИЯ ПРОЕКТИРОВАНИЯ ПЛАНИРОВОЧНЫХ МАШИН НА БАЗЕ КОЛЕСНЫХ ТРАКТОРОВ Монография Омск СибАДИ УДК 681.5: 621. ББК 31.965:...»

«Г.М. Федоров, В.С. Корнеевец БАЛТИЙСКИЙ РЕГИОН Калининград 1999 Г.М. Федоров, В.С. Корнеевец БАЛТИЙСКИЙ РЕГИОН: СОЦИАЛЬНО-ЭКОНОМИЧЕСКОЕ РАЗВИТИЕ И СОТРУДНИЧЕСТВО Калининград 1999 УДК 911.3:339 (470.26) Федоров Г.М., Корнеевец В.С. Балтийский регион: социальноэкономическое развитие и сотрудничество: Монография. Калининград: Янтарный сказ, 1999. - 208 с. - ISBN Книга посвящена социально-экономическому развитию одного из европейских макрорегионов – региона Балтийского моря, на берегах которого...»






 
© 2013 www.diss.seluk.ru - «Бесплатная электронная библиотека - Авторефераты, Диссертации, Монографии, Методички, учебные программы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.