ivdon3@bk.ru
В данной статье рассматривается применение сетей двунаправленной долговременной кратковременной памяти (Bi-LSTM) для генерации исходного кода. В исследовании анализируется, как Bi-LSTM обрабатывают последовательные данные в двух направлениях, собирая контекстную информацию как из прошлых, так и из будущих токенов для генерации синтаксически корректного и семантически согласованного кода. Представлен всесторонний анализ архитектур моделей, включая механизмы внедрения, сетевые конфигурации и уровни вывода. В исследовании подробно описываются процессы подготовки данных, особое внимание уделяется методам токенизации, которые позволяют сбалансировать объем словарного запаса с использованием терминологии, специфичной для предметной области. Методологии обучения, алгоритмы оптимизации и показатели оценки обсуждаются со сравнительными результатами по нескольким языкам программирования. Несмотря на многообещающие результаты, остаются проблемы с функциональной корректностью и генерацией сложной структуры кода. Будущие направления исследований включают механизмы внимания, инновационные архитектуры и усовершенствованные процедуры обучения.
Ключевые слова: генерация кода, глубокое обучение, рекуррентные нейронные сети, трансформаторы, токенизация