Exploring Evaluation Techniques in Controlled Text Generation: A Comparative Study of Semantics and Sentiment in ruGPT3large-Generated and Human-Written Movie Reviews
доклад, тезисы доклада, статья из сборника материалов конференций
Библиографическое описание:Exploring Evaluation Techniques in Controlled Text Generation: A Comparative Study of Semantics and Sentiment in ruGPT3large-Generated and Human-Written Movie Reviews : доклад, тезисы доклада / A. A. Margolina, A. A. Kolmogorova. - [S. l. : s. n.], 2023. - Текст : непосредственный // Computational Linguistics and Intellectual Technologies : Papers from the Annual International Conference = Компьютерная лингвистикаи интеллектуальные технологии : материалы ежегодной международной конференции / Диалог 2023 (2023 ; 14.06 - 16.06 ; Москва). - Москва : Б. и., 2023. - Выпуск 22. Доп. том. - P. 1082-1090. - This article is an output of a research project “Text as Big Data”: modeling of convergent processes in language and speech by digital methods” implemented as part of the Basic Research Program at the National Research University "Higher School of Economics" (HSE University) in 2023. - DOI 10.28995/2075-7182-2023-22-1082-1090. Перевод заглавия: Оценка контролируемой генерации текста: сравнительное исследование семантики и сентимента в отзывах на фильмы, написанных ruGPT3large и человеком
Аннотация:The paper describes the proposed strategy for evaluation controlled text generation with the sentiment as attribute. Our approach mainly consists of automatic sentiment analysis (ruBERT) and topic modelling (BERTopic), which are applied to a parallel corpus with artificially produced and human-written texts. The model for evaluation is fine-tuned on the parsed reviews from big Russian movie-related website ruGPT3Large with the sentiment as prompt. The results of the analysis demonstrate that the proposed methods can offer a more comprehensive understanding of the advantages and limitations in the context of semantics and sentiment. Additionally, the paper employs metrics such as BERTscore and self-BLEU to further evaluate the generated text. The proposed methodology provides a novel approach for evaluating the quality of generated text and may have implications for future studies in the field.
В статье предлагается новая стратегия оценки контролируемой генерации текста с тональностью в качестве атрибута. Наш подход включает автоматический анализ тональности (ruBERT) и тематическое моделирование (BERTopic). Эти инструменты применяются к параллельному корпусу, состоящему из пар “сгенерированный отзыв - реальный отзыв”. Модель используемая для оценки - ruGPT3Large, которая была ранее дообучена на собранных с Кинопоиска отзывах на фильмы с тональностью “вшитой” в затравку. Результаты анализа демонстрируют, что использованные методы предлагают более полное понимание преимуществ и ограничений в контексте семантики и эмоциональной окраски языковой модели. Кроме того, в статье применяются такие метрики, как BERTscore и self-BLEU, для дополнительной оценки сгенерированного текста. Наша методология представляет новый подход для оценки качества генерируемого текста и может дать основу для будущих исследований в этой области. Ключевые слова: контролируемая генерация текста, стратегия оценки качества, тематическое моделирование, сентимент-анализ, кинорецензии.
Ключевые слова:controlled text generation, strategy for quality measurement, topic modelling, sentiment-analysis, movie reviews, контролируемая генерация текста, стратегия измерения качества, тематическое моделирование, анализ тональности, отзывы на кино
