Благодаря успешному обучению в различных областях искусственные нейронные сети в настоящее время являются одним из наиболее широко используемых методов искусственного интеллекта. Основываясь на свойствах биологических нейронных сетей (например, редкость, масштабируемость), мы утверждаем, что (вопреки общепринятой практике) искусственные нейронные сети также не должны иметь полностью связанных слоев. Также если вам интересно, как работают нейронные сети читать здесь, на нашем сайте.
Здесь мы предлагаем небольшое эволюционное обучение искусственных нейронных сетей, алгоритм, который запускает первоначальную редкую топологию двух последовательных слоев нейронов в безмасштабную топологию во время обучения. Наш метод предварительного обучения заменяет полностью соединенные слои искусственными нейронами перед обучением, уменьшая количество параметров ежеквартально без ущерба для точности.
Мы демонстрируем наши требования к ограниченным машинам Больцмана, многослойные персептроны и сверхточные нейронные сети, так что они не поддерживаются наборами данных. Наш подход может предоставить возможность искусственным нейронным сетям расширяться больше, чем это возможно в настоящее время.
Современные методы искусственного интеллекта — это искусственные нейронные сети (ИНС). ИНС привели к крупным достижениям в различных областях, таких как физика элементарных частиц, углубленное обучение, распознавание языков, компьютерное зрение и т. д.
Как правило, ИНС имеют 3 уровня полностью связанных нейронов, которые содержат множество сетевых параметров, что приводит к квадратичному количеству соединений в зависимости от количества их нейронов. В свою очередь, из-за вычислительных ограничений размер сети очень ограничен.
Было показано, что в отличие от ИНС биологические нейронные сети имеют редкую (а не плотную) топологию, а также другие важные особенности, которые важны для эффективности обучения. Подробно это исследовалось в работе, и включают безмасштабность и малый мир. Тем не менее, ИНС не изменили эти топологические особенности, поэтому на практике они вызывают очень большие паттерны.
Предыдущие исследования показали, что после фазы обучения ИНС моделирует полные гистограммы весов с пиками около нуля. Кроме того, в предыдущей работе мы заметили похожий факт. Однако в современной области машинного обучения редкое топологическое соединение продолжается только после обучения, что полезно только на этапе завершения.
