Непараметрический алгоритм автоматической классификации многомерных статистических данных большого объёма и его применение : научное издание

Зеньков Игорь Владимирович; Лапко Александр Васильевич; Лапко Василий Александрович; Им Сергей Тхекдеевич; Тубольцев Виталий Павлович; Авдеенок Валерий Леонидович

Дополнительные ссылки: eLibrary · WOS · Scopus. All Open Access, Gold, Green

База данных: Каталог библиотеки СФУ

Библиографическое описание: Непараметрический алгоритм автоматической классификации многомерных статистических данных большого объёма и его применение : научное издание / И. В. Зеньков [и др.]. - Текст : непосредственный // Компьютерная оптика = Computer optics. - 2021. - Т. 45, № 2. - С. 253-260. - Cited Reference Count: 13. - Acknowledgements: The research was funded by RFBR, Krasnoyarsk Territory and Krasno-. - yarsk Regional Fund of Science, project number 20-41-240001. - ISSN 0134-2452. - ISSN 2412-6179, DOI 10.18287/2412-6179-CO-801.

Аннотация: Предлагается непараметрический алгоритм автоматической классификации статистических данных большого объёма. Основу алгоритма составляет процедура оптимальной дискретизации области значений случайной величины. Под классом понимается компактная группа наблюдений случайной величины, соответствующих одномодальному фрагменту плотности вероятности. Рассматриваемый алгоритм автоматической классификации основан на «сжатии» исходной информации на основе декомпозиции многомерного пространства признаков. В результате статистическая выборка большого объёма преобразуется в массив данных, составленный из центров многомерных интервалов дискретизации и соответствующих им частот принадлежности случайных величин. Для обоснования процедуры оптимальной дискретизации используются результаты исследования асимптотических свойств регрессионной оценки плотности вероятности ядерного типа. Из условия минимума среднеквадратического отклонения регрессионной оценки плотности вероятности определяются оптимальные количества интервалов дискретизации области значений одномерной и двухмерной случайных величин. Полученные результаты обобщаются на дискретизацию области значений многомерной случайной величины. Формула оптимальной дискретизации содержит составляющую, которая характеризуется нелинейным функционалом от плотности вероятности. Устанавливается аналитическая зависимость обнаруженной составляющей от коэффициента контрэксцесса одномерной случайной величины. Для независимых компонент многомерной случайной величины определяется методика расчёта оценок оптимального количества интервалов дискретизации случайных величин и их длин. На этой основе разрабатывается непараметрический алгоритм автоматической классификации, который основан на последовательной процедуре проверки близости центров многомерных интервалов дискретизации и соотношений между частотами принадлежности случайных величин из исходной выборки этим интервалам. Для дополнительного повышения вычислительной эффективности предлагаемого алгоритма автоматической классификации используется многопоточный метод его программной реализации. Практическая значимость разработанных алгоритмов подтверждается результатами их применения при обработке данных дистанционного зондирования.
A nonparametric algorithm for automatic classification of large statistical data sets is proposed. The algorithm is based on a procedure for optimal discretization of the range of values of a random variable. A class is a compact group of observations of a random variable corresponding to a unimodal fragment of the probability density. The considered algorithm of automatic classification is based on the «compression» of the initial information based on the decomposition of a multidimensional space of attributes. As a result, a large statistical sample is transformed into a data array composed of the centers of multidimensional sampling intervals and the corresponding frequencies of random variables. To substantiate the optimal discretization procedure, we use the results of a study of the asymptotic properties of a kernel-type regression estimate of the probability density. An optimal number of sampling intervals for the range of values of one- and two-dimensional random variables is determined from the condition of the minimum root-mean square deviation of the regression probability density estimate. The results obtained are generalized to the discretization of the range of values of a multidimensional random variable. The optimal discretization formula contains a component that is characterized by a nonlinear functional of the probability density. An analytical dependence of the detected component on the antikurtosis coefficient of a one-dimensional random variable is established. For independent components of a multidimensional random variable, a methodology is developed for calculating estimates of the optimal number of sampling intervals for random variables and their lengths. On this basis, a nonparametric algorithm for the automatic classification is developed. It is based on a sequential procedure for checking the proximity of the centers of multidimensional sampling intervals and relationships between frequencies of the membership of the random variables from the original sample of these intervals. To further increase the computational efficiency of the proposed automatic classification algorithm, a multithreaded method of its software implementation is used. The practical significance of the developed algorithms is confirmed by the results of their application in processing remote sensing data.
A nonparametric algorithm for automatic classification of large statistical data sets is proposed. The algorithm is based on a procedure for optimal discretization of the range of values of a random variable. A class is a compact group of observations of a random variable corresponding to a unimodal fragment of the probability density. The considered algorithm of automatic classification is based on the "compression" of the initial information based on the decomposition of a multidimensional space of attributes. As a result, a large statistical sample is transformed into a data array composed of the centers of multidimensional sampling intervals and the corresponding frequencies of random variables. To substantiate the optimal discretization procedure, we use the results of a study of the asymptotic properties of a kernel-type regression estimate of the probability density. An optimal number of sampling intervals for the range of values of one- and two-dimensional random variables is determined from the condition of the minimum root-mean square deviation of the regression probability density estimate. The results obtained are generalized to the discretization of the range of values of a multidimensional random variable. The optimal discretization formula contains a component that is characterized by a nonlinear functional of the probability density. An analytical dependence of the detected component on the antikurtosis coefficient of a one-dimensional random variable is established. For independent components of a multidimensional random variable, a methodology is developed for calculating estimates of the optimal number of sampling intervals for random variables and their lengths. On this basis, a nonparametric algorithm for the automatic classification is developed. It is based on a sequential procedure for checking the proximity of the centers of multidimensional sampling intervals and relationships between frequencies of the membership of the random variables from the original sample of these intervals. To further increase the computational efficiency of the proposed automatic classification algorithm, a multithreaded method of its software implementation is used. The practical significance of the developed algorithms is confirmed by the results of their application in processing remote sensing data.
A nonparametric algorithm for automatic classification of large statistical data sets is proposed. The algorithm is based on a procedure for optimal discretization of the range of values of a random variable. A class is a compact group of observations of a random variable corresponding to a unimodal fragment of the probability density. The considered algorithm of automatic classification is based on the «compression» of the initial information based on the decomposition of a multidimensional space of attributes. As a result, a large statistical sample is transformed into a data array composed of the centers of multidimensional sampling intervals and the corresponding frequencies of random variables. To substantiate the optimal discretization procedure, we use the results of a study of the asymptotic properties of a kernel-type regression estimate of the probability density. An optimal number of sampling intervals for the range of values of one-and twodimensional random variables is determined from the condition of the minimum root-mean square deviation of the regression probability density estimate. The results obtained are generalized to the discretization of the range of values of a multidimensional random variable. The optimal discretization formula contains a component that is characterized by a nonlinear functional of the probability density. An analytical dependence of the detected component on the antikurtosis coefficient of a one-dimensional random variable is established. For independent components of a multidimensional random variable, a methodology is developed for calculating estimates of the optimal number of sampling intervals for random variables and their lengths. On this basis, a nonparametric algorithm for the automatic classification is developed. It is based on a sequential procedure for checking the proximity of the centers of multidimensional sampling intervals and relationships between frequencies of the membership of the random variables from the original sample of these intervals. To further increase the computational efficiency of the proposed automatic classification algorithm, a multithreaded method of its software implementation is used. The practical significance of the developed algorithms is confirmed by the results of their application in processing remote sensing data. © 2021, Institution of Russian Academy of Sciences. All rights reserved.

Год издания: 2021

Авторы: Зеньков Игорь Владимирович , Лапко Александр Васильевич , Лапко Василий Александрович , Им Сергей Тхекдеевич , Тубольцев Виталий Павлович , Авдеенок Валерий Леонидович

Издательство: Федеральный научно-исследовательский центр "Кристаллография и Фотоника" Российской академии наук, Самарский национальный исследовательский университет им. акад. С.П. Королева, Самара

Источник: Компьютерная оптика

Выпуск: Т. 45, № 2

Номера страниц: 253-260

Держатель оригинала документа: Институт вычислительного моделирования СО РАН, Институт леса им. В.Н. Сукачева СО РАН, Сибирский государственный университет науки и технологий имени академика М.Ф. Решетнева, Сибирский федеральный университет, Федеральный исследовательский центр информационных и вычислительных технологий

Количество экземпляров:

Твёрдая копия издания отсутствует в фонде библиотеки

Показать дополнительные сведения

ПРОГРАММНЫЕ СРЕДСТВА РЕАЛИЗАЦИИ НЕПАРАМЕТРИЧЕСКОГО АЛГОРИТМА АВТОМАТИЧЕСКОЙ КЛАССИФИКАЦИИ… : научное издание

Лапко А.В. и др.
2019 год

НЕПАРАМЕТРИЧЕСКИЙ АЛГОРИТМ ВЫДЕЛЕНИЯ КЛАССОВ, СООТВЕТСТВУЮЩИХ ОДНОМОДАЛЬНЫМ ФРАГМЕНТАМ ПЛОТНОСТИ… : научное издание

ЛАПКО АЛЕКСАНДР ВАСИЛЬЕВИЧ и др.
2019 год

Системный анализ данных дистанционного зондирования природных объектов на основе непараметрических… : научное издание

Лапко А. В. и др.
2026 год

System Analysis of Remote Sensing Data of Natural Objects Based on Nonparametric Decision-Making… : научное издание

Lapko A.V. и др.
2026 год

Nonparametric pattern recognition algorithm for testing a hypothesis of the independence of… : статья из журнала

Zenkov I.V. и др.
2021 год

ОЦЕНКА ПОВРЕЖДЕНИЙ ТЕМНОХВОЙНЫХ ЛЕСОВ СИБИРСКИМ ШЕЛКОПРЯДОМ МЕТОДОМ НЕПАРАМЕТРИЧЕСКОЙ… : доклад, тезисы доклада

Им С. Т.
2020 год

A method of sequentially generating a set of components of a multidimensional random variable… : статья из журнала

Zenkov I.V. и др.
2021 год

Модифицированный непараметрический алгоритм автоматической классификации статистических данных… : статья из журнала

Тубольцев В. П. и др.
2023 год

МЕТОДИКА ДЕКОМПОЗИЦИИ СПЕКТРАЛЬНЫХ ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ПОЖАРОВ ЛЕСНЫХ ТЕРРИТОРИЙ : научное издание

Лапко А.В. и др.
2024 год

Непараметрический алгоритм распознавания образов в задаче проверки гипотезы тождественности… : статья из журнала

Лапко Александр Васильевич и др.
2020 год

Selecting informative variables in the identification problem : статья из журнала

Mihov Eugene D. и др.
2016 год

Сравнение результатов применения структурного анализа данных дистанционного зондирования и значений… : научное издание

Лапко А. В. и др.
2026 год

МОДИФИКАЦИЯ НЕПАРАМЕТРИЧЕСКОГО АЛГОРИТМА МОДЕЛИРОВАНИЯ И ДУАЛЬНОГО УПРАВЛЕНИЯ МНОГОМЕРНЫМИ… : научное издание

Чжан Е.А. и др.
2020 год

Использование информации о влияющих факторах для разбиения выборок данных в методах машинного… : статья из журнала

Лебедев И. С. и др.
2022 год

Kernel Pattern Recognition Algorithm in the Task of Testing the Hypothesis of Distribution of Multidimensional Random…

Lapko A.V. и др.
2020 год

Сравнение линейных коллективов многомерных непараметрических регрессий : статья из журнала

Лапко Александр Васильевич и др.
2020 год

Библиотечно-издательский комплекс СФУ

Непараметрический алгоритм автоматической классификации многомерных статистических данных большого объёма и его применение : научное издание
статья из журнала

Похожие публикации