Библиографическое описание:ИССЛЕДОВАНИЕ ВЛИЯНИЯ МЕТОДОВ ПРЕДОБРАБОТКИ ДАННЫХ НА ЭФФЕКТИВНОСТЬ РАБОТЫ LLM МОДЕЛИ : доклад, тезисы доклада / В. Д. Хашин. - [Б. м. : б. и.], 2025. - Текст : непосредственный // Актуальные проблемы авиации и космонавтики : Сборник материалов XI Международной научно-практической конференции, посвященной Дню космонавтики и 10-летию науки и технологий. В 3-х томах. - Красноярск, 2025. - С. 137-139.
Аннотация:В работе рассматривается влияние различных методов предобработки данных на эффективность работы больших лингвистических моделей (LLM). Исследование направлено на анализ того, как разные подходы к подготовке и очистке данных могут сказаться на качестве эмбедингов для решения задач машинного обучения.
The paper examines the impact of various data preprocessing methods on the effectiveness of large language models (LLM). The research aims to analyze how different approaches to data preparation and purification can affect the quality of embeddings for solving machine learning tasks.
Ключевые слова:llm, большая лингвистическая модель, предобработка данных, стемминг, лемматизация, очистка данных, векторизация, эмбединг, токенизация, large language model, data preprocessing, stemming, lemmatization, data cleaning, vectorization, embedding, tokenization
