Для решения сложных неформализованных задач прогнозирования и классификации с учителем широко применяются искусственные нейронные сети, обучаемые на выборках данных. Перед обучением нейросети все независимые и зависимые признаки выборки нужно специальным образом предобработать. Разработано много приемов и правил предобработки признаков. Однако, корректная с точки зрения семантики признаков их предобработка еще не гарантирует дальнейшего быстрого обучения нейросети на полученной выборке. Рост объемов баз данных в технике, бизнесе, медицине, экологии требует поэтому разработки индикаторов интегральной "сложности" выборок, чтобы иметь возможность сравнивать результаты разных стратегий предобработки и целенаправленно оптимизировать схемы предобработки.
Предлагается использовать в качестве индикатора сложности выборки оценку константы Липшица (далее КЛ) выборки. Для ускорения обучения нейросети необходимо минимизировать КЛ выборки.
Описаны эксперименты на широко известной базы данных Statlog NASA Shuttle (классификация на 7 классов, 43500 примеров в обучающей и 14500 в тестовой выборках). Выполнено несколько шагов целенаправленного снижения КЛ выборки путем подбора схем предобработки отдельных независимых признаков; снижение КЛ составило 2 порядка. Указана скорость обучения нейросети для всех последовательных вариантах предобработки, изучены внутренние свойства обученных нейросетей (законы распределения весов синапсов). Все эти показатели демострируют динамику, качественно совпадающую с динамикой КЛ. Так, при снижении КЛ наблюдается ускорение обучения сети, число шагов обучения для начального и итогового шагов предобработки различается на порядок. Показано, что даже для линейных способов масштабирования признаков разные варианты (сдвиг в интервал, приведение к единичному разбросу и т.д.) могут давать сильно различающийся в итоге результат по КЛ и свойствам нейросети.
Результат [1] расширен описанием дополнительных экспериментов и сравнением с иными критериями оптимальности предобработки.
ЛИТЕРАТУРА
1. Царегородцев В.Г. Предобработка обучающей выборки, выборочная константа Липшица и свойства обученных нейронных сетей // Материалы Х Всеросс. семинара "Нейроинформатика и ее приложения", Красноярск, 2002. 185с. - с.146-150.
Примечание. Тезисы докладов публикуются в авторской редакции
Ваши комментарии Обратная связь |
[Головная страница] [Конференции] |
© 1996-2000, Институт вычислительных технологий СО РАН, Новосибирск
© 1996-2000, Сибирское отделение Российской академии наук, Новосибирск