Нейросетевая классификация русскоязычных предложений по тональности на четыре класса

Работа посвящена классификации русскоязычных предложений по тональности на четыре класса: положительный, отрицательный, смешанный и нейтральный. В отличие от большинства современных работ в этой области, вводится в рассмотрение класс предложений смешанной тональности. Предложения со смешанной тональностью содержат в себе одновременно и положительно, и отрицательно окрашенную речь. Для решения данной задачи были применены: нейронная сеть LSTM с механизмом внимания, нейронная сеть GRU с двойным механизмом внимания, нейронная сеть BERT с несколькими модификациями выходного слоя для обеспечения классификации на четыре класса. Эксперименты по сравнению эффективности различных нейронных сетей производилось на трёх корпусах русскоязычных предложений. Два корпуса составлены из пользовательских отзывов: один с отзывами на одежду, другой с отзывами на отели. Третий корпус составлен из новостных статей российских изданий. Лучшая средняя взвешенная F-мера в экспериментах, составляющая 0.90, была достигнута моделью BERT на корпусе отзывов на одежду. На этом же корпусе были отмечены лучшие F-меры для положительных и отрицательных предложений, составившие 0.92 и 0.93 соответственно. Наилучшие показатели классификации нейтральных и смешанных предложений достигаются на корпусе новостных статей. Для них F-мера составляет 0.72 и 0.58 соответственно. В результате экспериментов было продемонстрировано значительное превосходство трансферных нейронных сетей BERT над нейронными сетями предыдущего поколения LSTM и GRU, наиболее ярко выражающееся при классификации текстов со слабо выраженной эмоциональной окраской. Анализ ошибок показал, что на «смежные» классы тональности (положительный/отрицательный и смешанный) приходится большая доля ошибок при классификации с помощью BERT, чем в случае «противоположных» классов (положительный и отрицательный, нейтральный и смешанный).

1. C. Potts, Z. Wu, A. Geiger, and D. Kiela, Dynasent: A dynamic benchmark for sentiment analysis, 2020. arXiv: 2012.15349 [cs.CL].

2. F. Hamborg and K. Donnay, “NewsMTSC: a dataset for (multi-) target-dependent sentiment classification in political news articles”, in Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, Association for Computational Linguistics (ACL), 2021, pp. 1663-1675.

3. B. Liu, “Sentiment analysis and opinion mining”, Synthesis lectures on human language technologies, vol. 5, no. 1, pp. 1-167, 2012.

4. O. Habimana, Y. Li, R. Li, X. Gu, and G. Yu, “Sentiment analysis using deep learning approaches: an overview”, Science China Information Sciences, vol. 63, no. 1, pp. 1-36, 2020.

5. S. Smetanin and M. Komarov, “Deep transfer learning baselines for sentiment analysis in Russian”, Information Processing & Management, vol. 58, no. 3, p. 102 484, 2021.

6. A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, and I. Sutskever, “Language models are unsupervised multitask learners”, Technical report, OpenAI, 2019.

7. Z. Yang, Z. Dai, Y. Yang, J. Carbonell, R. R. Salakhutdinov, and Q. V. Le, “XLNet: Generalized autoregressive pretraining for language understanding”, Advances in neural information processing systems, vol. 32, pp. 5754-5764, 2019.

8. J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2018. arXiv: 1810.04805v2 [cs.CL].

9. N. Kalchbrenner, E. Grefenstette, and P. Blunsom, A convolutional neural network for modelling sentences, 2014. arXiv: 1404.2188 [cs.CL].

10. I. Paramonov and A. Poletaev, “Adaptation of Semantic Rule-Based Sentiment Analysis Approach for Russian Language”, in Proceedings of 30th Conference of Open Innovations Association FRUCT, IEEE, 2021, pp. 155-164.

11. K. Kenyon-Dean, E. Ahmed, S. Fujimoto, J. Georges-Filteau, C. Glasz, B. Kaur, A. Lalande, S. Bhanderi, R. Belfer, N. Kanagasabai, et al., “Sentiment analysis: It’s complicated!”, in Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), 2018, pp. 1886-1895.

12. X. Tan, Y. Cai, and C. Zhu, “Recognizing conflict opinions in aspect-level sentiment classification with dual attention networks”, in Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019, pp. 3426-3431.

13. M. Soleymani, D. Garcia, B. Jou, B. Schuller, S.-F. Chang, and M. Pantic, “A survey of multimodal sentiment analysis”, Image and Vision Computing, vol. 65, pp. 3-14, 2017.

14. L. A. M. Oberla¨nder and R. Klinger, “An analysis of annotated corpora for emotion classification in text”, in Proceedings of the 27th International Conference on Computational Linguistics, 2018, pp. 2104-2119.

15. A. Radford, R. Jozefowicz, and I. Sutskever, Learning to generate reviews and discovering sentiment, 2017. arXiv: 1704.01444v2 [cs.LG].

16. Y. Wang, M. Huang, L. Zhao, and X. Zhu, “Attention-based LSTM for aspect-level sentiment classification”, in Proceedings of the 2016 conference on empirical methods in natural language processing, 2016, pp. 606-615. Neural Network-Based Sentiment Classification of Russian Sentences into Four Classes

17. P. Chen, Z. Sun, L. Bing, and W. Yang, “Recurrent attention network on memory for aspect sentiment analysis”, in Proceedings of the 2017 conference on empirical methods in natural language processing, 2017, pp. 452-461.

18. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser, and I. Polosukhin, “Attention is all you need”, in Advances in neural information processing systems, 2017, pp. 5998-6008.

19. R. Socher, A. Perelygin, J. Wu, J. Chuang, C. D. Manning, A. Y. Ng, and C. Potts, “Recursive deep models for semantic compositionality over a sentiment treebank”, in Proceedings of the 2013 conference on empirical methods in natural language processing, 2013, pp. 1631-1642.

20. S. Smetanin and M. Komarov, “Sentiment Analysis of Product Reviews in Russian using Convolutional Neural Networks”, in IEEE 21st Conference on Business Informatics (CBI), vol. 1, 2019, pp. 482-486.