Список литературы к курсу

Введение в искусственные нейронные сети и генетические алгоритмы

Общая литература

• Mohamad H.Hassoun. Fundamentals of Artificial Neural Networks. MIT Press, Cambridge, Massachusetts, 1995.
• А.А.Ежов, С.А.Шумский. Нейрокомпьютинг и его применения в экономике и бизнесе. М., МИФИ, 1998. Электронная версия книги находится здесь.
• С.Хайкин. Нейронные сети: полный курс. 2-е изд. М., "Вильямс", 2006.
• Л.Г.Комарцова, А.В.Максимов. Нейрокомпьютеры. М., Изд-во МГТУ им.Баумана, 2004.
• А.И.Галушкин. Нейронные сети. Основы теории. М., Горячая линия - Телеком, 2010.
• B.Kosko. Neural Networks and Fuzzy Systems. A Dynamical Systems Approach to Machine Intelligence. Prentice Hall, Englewood Cliffs, 1992.
• В.А.Головко. Нейронные сети: обучение, организация и применение. М., ИПРЖР, 2001.
• Г.Э.Яхъяева. Основы теории нейронных сетей. Интернет-университет информационных технологий, изд-во "Открытые системы".
• Д.А.Тархов. Нейронные сети. Модели и алгоритмы. (Справочник.) М., Радиотехника, 2005.
• В.В.Круглов, М.И.Дли, Р.Ю.Голунов. Нечёткая логика и искусственные нейронные сети. Физматлит, 2001.

Лекция 1. Основные понятия. Типология задач, решаемых адаптивными алгоритмами. Многослойный персептрон.

См. общую литературу. См.также:

• Нейронные сети: история развития теории. Под общей ред. А.И.Галушкина, Я.З.Цыпкина. М., ИПРЖР, 2001.
• З.М.Шибзухов. Некоторые вопросы теоретической нейроинформатики. В кн.: XIII Всероссийская научно-техническая конференция "Нейроинформатика-2011". Лекции по нейроинформатике. М., НИЯУ МИФИ, 2010. С.44-72.
• В.Сидоров. Что такое закон Мура?
• А.Скробов. Закон Мура
• W.S.McCulloch, W,Pitts. A Logical Calculus of the Ideas Immanent in Nervous Activity. Bulletin of Mathematical Biophysics, 1943, V. 5, pp. 115-133.
• F.Rosenblatt. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychological Review, 1958, V.65, No. 6, pp. 386-408.
• K.Hornick, M.Stinchcombe, H.White. Multilayer Feedforward Networks are Universal Approximators. Neural Networks, 1989, v. 2, № 5, pp.359-366.
• G.Cybenko. Approximation by Superpositions of a Sigmoidal Function. Mathematics of Control, Signals. and Systems, 1989, v. 2, № 4, pp.303-314.
• K.Funahashi. On the Approximate Realization of Continuous Mappings by Neural Networks. Neural Networks, 1989, v. 2, № 3, pp.183-191.

Лекция 2. Алгоритм обратного распространения ошибки и его модификации. Многослойные персептроны. Рекуррентные сети. Выбор оптимальных параметров сети

См. общую литературу и литературу к Лекции 1. См.также:

• I.Sutskever, J.Martens, G.Dahl, G.Hinton. On the importance of initialization and momentum in deep learning. J. of Machine Learning Research, 2013, V. 28, No. 3, pp. 1139-1147.
• А.В.Гасников, П.Е.Двуреченский, Ю.Е.Нестеров. Стохастические градиентные методы с неточным оракулом. Труды МФТИ, 2016, т.8, № 1, с.41-91.
• N.Srivastava, G.Hinton, A.Krizhevsky, I.Sutskever, R.Salakhutdinov. Dropout: A Simple Way to Prevent Neural Networks from Overfitting. J. of Machine Learning Research, 2014, V.15, pp.1929-1958.

Лекция 3. Нейронные сети с общей регрессией и вероятностные нейронные сети. Сети Кохонена

• Specht, D. Probabilistic Neural Networks. Neural Networks, 1990, 3, 109-118.
• Specht, D. A General Regression Neural Network. IEEE Trans. on Neural Networks, Nov. 1991, 2, 6, 568-576.
• Burrascano, P. Learning Vector Quantization for the Probabilistic Neural Network. IEEE Trans. on Neural Networks, July 1991, 2, 458-461.
• Schieler, H., Hartmann, U. Mapping neural network derived from the parzen window estimator. Neural Networks, 1992, V.5, pp.903-909.
• Specht, D. The General Regression Neural Network - Rediscovered. Neural Networks, 1993, V.6, pp.1033-1034.
• Caudill, M. The Kohonen Model. Neural Network Primer. AI Expert, 1990, 25-31.
• P.Tavan, H.Grubmuller, H.Kuhnel. Self-organization of associative memory and pattern classification: recurrent signal processing on topological feature maps. Biological Cybernetics, 64 (1990), pp.95-105.
• Т.Кохонен. Самоорганизующиеся карты. М., "Бином", 2008. 656 с.
• Г.Дебок, Т.Кохонен. Анализ финансовых данных с помощью самоорганизующихся карт. М., "Альпина", 2001.

Лекция 4. Кодирование и нормировка данных. Анализ главных компонент

См. общую литературу. См.также:

• Нелинейный метод главных компонент. http://pca.narod.ru
• Алексей Померанцев. Метод главных компонент (PCA)
• Алексей Померанцев. Многомерное разрешение кривых
• De Juan, Anna and Tauler, Roma. Multivariate Curve Resolution (MCR) from 2000: Progress in Concepts and Applications. Critical Reviews in Analytical Chemistry, 2006, V.36, No:3, pp.163-176.
• Herve Abdi. Partial Least Square Regression (PLS-Regression). In: Neil Salkind (Ed.) Encyclopedia of Measurement and Statistics. Thousand Oaks (CA): Sage, 2007.

Лекция 5. Фрактальная размерность и алгоритмы ее определения

• Ричард М. Кроновер. Фракталы и хаос в динамических системах. Основы теории. М, Техносфера, 2006.
• Edgar E.Peters. Chaos and Order in the Capital Markets: A New View of Cycles, Prices, and Market Volatility. 2nd Edition. Wiley Finance, 1996. Имеется перевод: Э.Петерс. Хаос и порядок на рынках капитала. Новый аналитический взгляд на циклы, цены и изменчивость рынка. М., "Мир", 2000.
• Edgar E.Peters. Fractal Market Analysis: Applying Chaos Theory to Investment and Economics. Wiley Finance, 1994. Имеется перевод: Э.Петерс. Фрактальный анализ финансовых рынков. Приложение теории хаоса к инвестициям и экономике. "Интернет-трейдинг", 2004.
• М.М.Дубовиков, А.В.Крянев, Н.В.Старченко. Размерность минимального покрытия и локальный анализ фрактальных временных рядов. Вестник РУДН. Серия Прикладная и компьютерная математика. 2004, Т.3, №1, с.30-44.

Лекция 6. Вейвлет-анализ

• Gilbert Strang and Truong Nguyen. Wavelets and filter banks. Wellesley-Cambridge Press, 1996.
• М.Фрейзер. Введение в вэйвлеты в свете линейной алгебры. Бином, Лаборатория знаний, 2008.
• И.М. Дремин, О.В. Иванов, В.А. Нечитайло. Вейвлеты и их использование. Успехи физических наук, Май 2001, т.171, стр.5.
• Р.Поликар. Введение в вейвлет-преобразование. Электронная версия книги находится здесь.
• J.Lewalle. Введение в анализ данных с применением непрерывного вейвлет-преобразования. Электронная версия книги находится здесь.
• Вадим Грибунин. Теория и практика вейвлет-преобразования. Очень полезная страница с большим количеством ссылок на материалы по вейвлетам.
• Q.Zhang and A.Benveniste. Wavelet Networks. IEEE Transactions on Neural Networks, v.3, No.6, pp. 889-898.

Лекция 7. Метод группового учета аргументов (МГУА)

• Ивахненко А.Г. Индуктивный метод самоорганизации моделей сложных систем. Киев, Наукова думка, 1982.
• Ивахненко А.Г., Мюллер Й.А. Самоорганизация прогнозирующих моделей. Киев, Наукова думка, 1985.
• Farlow, S. J. (ed.). Self-organizing Method in Modeling: GMDH Type Algorithms. Statistics: Textbooks and Monographs, 54, 1984.
• Madala, H.R., and Ivakhnenko, A.G. Inductive Learning Algorithms for Complex Systems Modeling. Boca Raton, CRC Press Inc., 1994.
• Ivakhnenko, A.G. and Muller, J.-A. Present state and new problems of further GMDH development. SAMS, 1995, vol.20, pp.3-16.
• Основной сайт метода. http://www.gmdh.net
• Сайт лаборатории разработчиков метода. http://www.mgua.irtc.org.ua/
• On-line применение программы, реализующей полиномиальные сети.
• GMDH Shell. Forecasting Software and Services.

Лекция 8. Генетические алгоритмы

• David E.Goldberg. Genetic algorithms in search, optimization, and machine learning. Addison-Wesley Publishing Co., Inc., 1989.
• Practical Handbook of Genetic Algorithms. (Complex Coding Systems, v.III). Ed.L.D.Chambers. CRC Press, 1998.
• Статьи о генетических алгоритмах на сайте http://algolist.manual.ru/
• Сайт Группы по исследованию и применению генетических алгоритмов (Genetic Algorithms Research and Application Group, GARAGe) в Мичиганском государственном университете
• Интересная демонстрация использования ГА: генетическая оптимизация автомобилей

Лекция 9. Генетическое программирование

• John R.Koza. Genetic programming. On the programming of computers by means of natural selection. MIT Press, 1992.
• http://www.genetic-programming.com/
• Библиография по генетическому программированию от William Langdon, Steven Gustafson, and John Koza

Лекция 10. Нейронные сети Хопфилда

• J.J.Hopfield. Neural networks and physical systems with emergent collective computational abilities. Proceedings of National Academy of Sciences of USA, 1982, V.79, No.8, pp.2554-2558. Электронная версия находится здесь.
• Я.М.Карандашев, Б.В.Крыжановский, Л.Б.Литинский. Обобщённая модель Хопфилда и статфизический подход: общий случай. Нейроинформатика-2011. XIII Всероссийская научно-техническая конференция. Сборник научных трудов, ч.3, с.181-190. М., НИЯУ МИФИ, 2010.

См. также общую литературу

Лекция 11. Конструктивные алгоритмы. Комбинированное использование НС. Оценка значимости входов

• S.E.Fahlman, Ch.Lebierre. The Cascade-Correlation Learning Architecture. Research Report CMU-CS-90-100. School of Computer Science, Carnegie Melon University, Pittsburgh, USA. August 29, 1991.
• D.H.Wolpert. Stacked Generalization. Neural Networks, 1992, v.5, pp.241-259.
• С.А.Терехов. Гениальные комитеты умных машин. IX Всероссийская научно-техническая конференция "Нейроинформатика-2007": Лекции по нейроинформатике. Часть 2, с.11-42. М., МИФИ, 2007. Электронная версия находится здесь.
• С.А.Доленко, Ю.В.Орлов, И.Г.Персианцев, Ю.С.Шугай. Адаптивное построение иерархических нейросетевых классификаторов. Нейрокомпьютеры: разработка, применение, 2005, №1-2, с.4-11.
• И.Г.Персианцев. Адаптивное построение иерархических нейросетевых систем для классификации и для сегментации временных рядов. Научная сессия НИЯУ МИФИ-2010. XII Всероссийская научно-техническая конференция «Нейроинформатика-2010»: Лекции по нейроинформатике. М., НИЯУ МИФИ, 2010, с.212-242.
• А.Г.Гужва, С.А.Доленко, И.Г.Персианцев, Ю.С.Шугай. Сравнительный анализ методов определения существенности входных переменных при нейросетевом моделировании: методика сравнения и её применение к известным задачам реального мира. Нейроинформатика-2008. X Всероссийская научно-техническая конференция. Сборник научных трудов, ч.2, с.216-225. М., МИФИ, 2008.
• А.Г.Гужва, С.А.Доленко, И.Г.Персианцев. Методика отбора существенных входных признаков при нейросетевом решении задач регрессии. Нейрокомпьютеры: разработка, применение, 2010, №3, с.20-32.

См. также общую литературу

Лекция 12. Нечёткая логика

• Прикладные нечёткие системы. К.Асаи, Д,Ватада, С.Иваи и др.; под редакцией Т.Тэрано, К.Асаи, М.Сугэно. М., Мир, 1993.
• L.A.Zadeh. Fuzzy sets and their applications to cognitive and decision processes. Academic Press, 1975.
• Г.Э.Яхъяева. Нечёткие множества и нейронные сети. М., Интернет-Университет Информационных Технологий; БИНОМ. Лаборатория знаний, 2011.
• М.Гарднер. Казнь врасплох и связанный с ней логический парадокс. В кн.: М.Гарднер. Математические досуги. М., "Мир", 1972. Электронная версия находится здесь.
• Лотфи Заде, отец нечёткой логики. http://zadeh.narod.ru/
• J.-S.R.Jang, C.-T.Sun, E.Mizutani. Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence. Prentice Hall, 1997.
• O.Castillo, P.Melin. Type-2 Fuzzy Logic: Theory and Applications. Studies in Fuzziness and Soft Computing, Vol.223. Springer-Verlag Berlin Heidelberg, 2008.

Лекция 13. Некоторые практические применения ИНС в науке и технике

• R.C.Frye. Adaptive neural network algorithms for computing proximity effect corrections. J.Vac.Sci.Technol. B, V.9, n.6, Nov/Dec 1991, pp.3054-3058
• K.D.Cummings, R.C.Frye, E.A.Rietman. Using a neural network to proximity correct patterns written with a Cambridge electron beam microfabricator 10.5 lithography system. Appl.Phys.Lett. V.57, n.14, 1 Oct 1990, pp.1431-1433
• C.M.Bishop, et al. Real-Time control of a Tokamak plasma using neural networks. Neural Computation, v.7, 1995, pp.206-217
• B.Denby. The Use of Neural Networks in High-Enegry Physics. Neural Computation, v.5, 1993, pp. 505-549
• С.В.Клименко и др. Искусственные нейронные сети в физике высоких энергий. Информационные Технологии, №12, 1998 (ч.1) и №1, 1999 (ч.2). См. также Препринт ИФВЭ 96-75, Протвино, 1996.
• A. Dmitriev, A. Belov, Yu. Orlov, M. Riazantseva, I. Veselovsky, Solar Activity Forecasting on 1999-2000 by Means of Artificial Neural Networks. Abs. of International INTERBALL Zvenigorod Symposium, Zvenigorod, Russia, February 8-13, 1999, p. 86.
• A.A.Deviatov, Yu.V.Orlov, I.G.Persiantsev, S.P.Rebrik, J.S.Shugai.The Diagnostics of Auditory Evoked Potentials. Pattern Recognition and Image Analysis, 1995, Vol.5, No.4, pp.602-612.
• Yu.V.Orlov, S.P.Rebrik, I.G.Persiantsev, S.M.Babichenko. Application of neural networks to fluorescent diagnostics of organic pollution in a water. Proc.SPIE, V.2503, 1995, pp.150-156.
• Le Cun et.al. Backpropagation applied to handwritten ZIP code recognition. Neural Computation, v.1, n.4, 1989, pp.541-551.
• T.J.Seinowski, C.R.Rosenberg. Parallel networks that learn to pronounce English test. Complex Systems, v.1, 1987, pp.145-168.
• Нейроинформатика-2007. IX Всероссийская научно-техническая конференция. Сборник научных трудов в 3-х частях. М., МИФИ, 2007. См. также сборники трудов этой же конференции за все другие годы с 1999 г. по настоящее время.
• А.А.Лукьяница. Применение адаптивных методов для обработки экспериментальных данных. В сб.: Нейроинформатика-2009. XI Всероссийская научно-техническая конференция. Лекции по нейроинформатике, с.126-162. НИЯУ МИФИ, 2009.
• Г.А.Ососков. Практические аспекты нейровычислений в экспериментальной физике. В сб.: Нейроинформатика-2009. XI Всероссийская научно-техническая конференция. Лекции по нейроинформатике, с.163-206. НИЯУ МИФИ, 2009.
• В.А.Головко. От многослойных персептронов к нейронным сетям глубокого доверия: парадигмы обучения и применение. В сб.: Нейроинформатика-2015. XVII Всероссийская научно-техническая конференция с международным участием. Лекции по нейроинформатике, с.47-84. НИЯУ МИФИ, 2015.
• K.He, X.Zhang, Sh.Ren, J.Sun. Deep Residual Learning for Image Recognition. http://arxiv.org/abs/1512.03385v1
• L.A.Gatys, A.S.Ecker, M.Bethge. A Neural Algorithm of Artistic Style. http://arxiv.org/abs/1508.06576v1
• A.Mordvintsev, C.Olah, M.Tyka. Inceptionism: Going Deeper into Neural Networks. Google Research Blog, June 17, 2015. http://googleresearch.blogspot.ru/2015/06/inceptionism-going-deeper-into-neural.html

Лекция 14. Решение обратных задач в физике

• А.Н. Тихонов, В.Я. Арсенин. Методы решения некорректных задач. М., Наука, 1979.
• А.С.Леонов. Решение некорректно поставленных обратных задач: Очерк теории, практические алгоритмы и демонстрации в МАТЛАБ. М., Книжный дом "Либроком", 2010.
• S.A.Dolenko, T.A.Dolenko, O.V.Kozyreva, I.G.Persiantsev, V.V.Fadeev, and E.M.Filippova. Solution of Inverse Problem in Nonlinear Laser Fluorimetry of Organic Compounds with the Use of Artificial Neural Networks. Pattern Recognition and Image Analysis, 1999, v.9, No.3, pp.510-515.
• T.A.Dolenko, I.V.Churina, V.V.Fadeev, and S.M.Glushkov. Valence band of liquid water Raman scattering: some peculiarities and applications in the diagnostics of water media. J. Raman Spectroscopy, 2000, v.31, p. 863-870.
• И.В. Бойчук, Т.А. Доленко, А.Р. Сабиров, В.В. Фадеев, Е.М. Филиппова. Исследование единственности и устойчивости решения обратной задачи флуориметрии насыщения. Квантовая электроника, 2000, т.30, N7, с 611-616.
• С.А.Доленко, И.В.Гердова, Т.А.Доленко, В.В.Фадеев. Лазерная флуориметрия смесей сложных органических соединений с использованием искусственных нейронных сетей. Квантовая электроника, 2001, т.31, N 9, стр.834-838.
• T.A.Dolenko, V.V.Fadeev, I.V.Gerdova, S.A.Dolenko, and R.Reuter. Fluorescence Diagnostics of Oil Pollution in Coastal Marine Waters by Use of Artificial Neural Networks. Applied Optics, 2002, v.41, No.24, pp.5155-5166.
• В.В.Апанасович, А.Ю.Балахонцев, В.М.Лутковский, П.Я.Мисаков, П.В.Назаров. Нейросетевой метод выделения пиков при анализе атомно-эмиссионных спектров. Цифровая обработка информации и управление в чрезвычайных ситуациях. Материалы Второй международной конференции (28-30 ноября 2000 г., Минск). Минск, Институт технической кибернетики НАН Беларуси, 2000. Том 1, стр.36-40.
• A.Tanaka, M.Kishino, T.Oishi, R.Doerffer, H.Schiller. Application of neural network method to case II water. In: Proc. SPIE, Remote Sensing of the Ocean and Sea Ice 2000 (Ed. C.R.Bostater, R.Santoleri), 2000, v.4172, pp. 144-152.
• K.Hennig, T. de Vries, R.Paetzold, K.Jantos, E.Voss, A.Anders. Multi Sensor System for Fast Analyses in Environmental Monitoring with an Application in Waste Water Treatment. European Association of Remote Sensing Laboratories (EARSeL) eProceedings (Workshop on LIDAR on Land and Sea) Editor: R.Reuter. 2001, v. 1, pp.61-67.
• С.А.Доленко, Е.А.Оборнев, И.Г.Персианцев, А.К.Столповский, М.И.Шимелевич, Ю.С.Шугай. Сравнение методов адаптивной нейросетевой классификации данных при решении обратной задачи электроразведки. Нейроинформатика-2008. X Всероссийская научно-техническая конференция. Сборник научных трудов, ч.1, с.70-79. М., МИФИ, 2008.
• S.Dolenko, A.Guzhva, E.Obornev, I.Persiantsev, M.Shimelevich. Comparison of Adaptive Algorithms for Significant Feature Selection in Neural Network Based Solution of the Inverse Problem of Electrical Prospecting. In: C.Alippi et al (Eds.): ICANN 2009, Part II. (Lecture Notes in Computer Science, 2009, V.5769, pp.397-405.) Springer-Verlag Berlin Heidelberg 2009.
• А.Г.Гужва, С.А.Доленко, И.В.Исаев, Е.А.Оборнев, И.Г.Персианцев, М.И.Шимелевич. Исследование влияния количества одновременно определяемых параметров на погрешность нейросетевого решения обратной задачи электроразведки. Нейроинформатика-2012. XIV Всероссийская научно-техническая конференция. Сборник научных трудов, ч.3, с.55-65. М., НИЯУ МИФИ, 2012.
• S.A.Burikov, S.A.Dolenko, T.A.Dolenko, I.G.Persiantsev. Application of Artificial Neural Networks to Solve Problems of Identification and Determination of Concentration of Salts in Multi-Component Water Solutions by Raman spectra. Optical Memory and Neural Networks (Information Optics), 2010, V.19, No.2, pp.140-148.
• S.Dolenko, T.Dolenko, S.Burikov, V.Fadeev, A.Sabirov, and I.Persiantsev. Comparison of Input Data Compression Methods in Neural Network Solution of Inverse Problem in Laser Raman Spectroscopy of Natural Waters. In: A.E.P. Villa et al. (Eds.): ICANN 2012, Part II. Lecture Notes in Computer Science, 2012, V.7553, pp.443-450.
• S.Dolenko, I.Isaev, E.Obornev, I.Persiantsev, M.Shimelevich. Study of Influence of Parameter Grouping on the Error of Neural Network Solution of the Inverse Problem of Electrical Prospecting. L.Iliadis, H.Papadopoulos, and C.Jayne (Eds.): EANN-2013, Part 1. Communications in Computer and Information Science (CCIS), 2013, V.383, pp.81-90.
• С.А.Доленко, И.В.Исаев, Е.А.Оборнев, И.Г.Персианцев, М.И.Шимелевич. Сравнение методов нейросетевого решения многопараметрической обратной задачи магнитотеллурики. Известия ВУЗов. Геология и разведка, 2013, №5, с.47-52.
• S.Dolenko, S.Burikov, T.Dolenko, A.Efitorov, K.Gushchin, I.Persiantsev. Neural Network Approaches to Solution of the Inverse Problem of Identification and Determination of Partial Concentrations of Salts in Multi-сomponent Water Solutions. S.Wermter et al. (Eds.): ICANN 2014. Lecture Notes in Computer Science (LNCS), 2014, V.8681, pp.805–812.
• S.Dolenko, A.Efitorov, S.Burikov, T.Dolenko, K.Laptinskiy, and I.Persiantsev. Neural Network Approaches to Solution of the Inverse Problem of Identification and Determination of the Ionic Composition of Multi-сomponent Water Solutions. L.Iliadis and C.Jayne (Eds.): EANN 2015. Springer International Publishing Switzerland 2015. Communications in Computer and Information Science (CCIS), 2015, v.517, pp.109-118.

На начальную страницу

Страница изменена 27.03.17