Оптимизация процесса дедупликации на основе баз данных

Аннотация

Плотникова Н.П., Кевбрин В.А.

Дата поступления статьи: 30.12.2023

Нельзя представить настоящее время без программного обеспечения. Огромные потоки информации проходят через компьютерные вычислительные системы. Совершенно невозможно обработать неструктурированные бесконечно поступающие данные, поэтому необходимо выделять конкретные задачи и подготавливать информацию к обработке. Одним из подобных действий является дедупликация. В данной статье рассматриваются возможные оптимизации метода удаления дубликатов с использованием баз данных.

Ключевые слова: дедупликация, база данных, поле, строка, текстовые данные, запрос, программное обеспечение, неструктурированные данные

2.3.1 - Системный анализ, управление и обработка информации

.