Автоматическое обнаружение скрытых закономерностей на основе статистического анализа данных обучающей выборки

Abstract

Рассматриваются метод и средства решения задачи обнаружения скрытых закономерностей в интеллектуальном анализе данных. Обоснована актуальность поиска новых решений, обеспечивающих автоматическое обнаружение ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации закономерностей. Предложен оригинальный метод автоматического обнаружения скрытых закономерностей, который базируется на применении гипотезы компактности и статистического анализа данных обучающей выборки. Описан алгоритм построения пространства решений, в котором образы классов представляют взаимно разделенные компактные сгустки. Приведена обобщенная формулировка для выявляемых закономерностей и показана возможность их интерпретации в рамках предметной области. Продемонстрирован механизм применения разработанного метода для решения в автоматическом режиме задач распознавания образов с обучением. = The method and the existing tools for solving the problem of finding hidden patterns in data mining are considered. Substantiates the relevance of the search for new solutions to ensure automatic detection of unknown, non-trivial, practically useful and affordable interpreting hidden patterns. The original method of automatically detecting hidden patterns, which is based on the use of the hypothesis of compactness and statistical analysis of the training sample data, has been proposed. The algorithm for constructing the solution space in which patterns of classes are mutually separated by compact clusters has been described. Generalized formulation to identify patterns presented. The ability to interpret them as part of the domain is shown. The mechanism of the application of this method to solve the pattern recognition problems with learning in the automatic mode was demonstrated.