Contents
1 Introduction
1.1 What motivated data mining? Why is it important? . . . . . . . . . . . 1.2 So, what is data mining? . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3 Data mining | on what kind of data? . . . . . . . . . . . . . . . . . . . 1.3.1 Relational databases . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.2 Data warehouses . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.3 Transactional databases . . . . . . . . . . . . . . . . . . . . . . . 1.3.4 Advanced database systems and advanced database applications 1.4 Data mining functionalities | what kinds of patterns can be mined? . . 1.4.1 Concept/class description: characterization and discrimination . 1.4.2 Association analysis . . . . . . . . . . . . . . . . . . . . . . . . . 1.4.3 Classi cation and prediction . . . . . . . . . . . . . . . . . . . . 1.4.4 Clustering analysis . . . . . . . . . . . . . . . . . . . . . . . . . . 1.4.5 Evolution and deviation analysis . . . . . . . . . . . . . . . . . . 1.5 Are all of the patterns interesting? . . . . . . . . . . . . . . . . . . . . . 1.6 A classi cation of data mining systems . . . . . . . . . . . . . . . . . . . 1.7 Major issues in data mining . . . . . . . . . . . . . . . . . . . . . . . . . 1.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
3
3 6 8 9 11 12 13 13 13 14 15 16 16 17 18 19 21
Contents 2 Data Warehouse and OLAP Technology for Data Mining
2.1 What is a data warehouse? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 A multidimensional data model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.1 From tables to data cubes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.2 Stars, snow akes, and fact constellations: schemas for multidimensional databases 2.2.3 Examples for de ning star, snow ake, and fact constellation schemas . . . . . . . . 2.2.4 Measures: their categorization and computation . . . . . . . . . . . . . . . . . . . 2.2.5 Introducing concept hierarchies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.6 OLAP operations in the multidimensional data model . . . . . . . . . . . . . . . . 2.2.7 A starnet query model for querying multidimensional databases . . . . . . . . . . . 2.3 Data warehouse architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.1 Steps for the design and construction of data warehouses . . . . . . . . . . . . . . 2.3.2 A three-tier data warehouse architecture . . . . . . . . . . . . . . . . . . . . . . . . 2.3.3 OLAP server architectures: ROLAP vs. MOLAP vs. HOLAP . . . . . . . . . . . . 2.3.4 SQL extensions to support OLAP operations . . . . . . . . . . . . . . . . . . . . . 2.4 Data warehouse implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4.1 Ecient computation of data cubes . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4.2 Indexing OLAP data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4.3 Ecient processing of OLAP queries . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4.4 Metadata repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4.5 Data warehouse back-end tools and utilities . . . . . . . . . . . . . . . . . . . . . . 2.5 Further development of data cube technology . . . . . . . . . . . . . . . . . . . . . . . . . 2.5.1 Discovery-driven exploration of data cubes . . . . . . . . . . . . . . . . . . . . . . 2.5.2 Complex aggregation at multiple granularities: Multifeature cubes . . . . . . . . . 2.6 From data warehousing to data mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6.1 Data warehouse usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6.2 From on-line analytical processing to on-line analytical mining . . . . . . . . . . . 2.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
. . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . .
3
3 6 6 8 11 13 14 15 18 19 19 20 22 24 24 25 30 30 31 32 32 33 36 38 38 39 41
Contents 3 Data Preprocessing
3.1 Why preprocess the data? . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Data cleaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2.1 Missing values . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2.2 Noisy data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2.3 Inconsistent data . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3 Data integration and transformation . . . . . . . . . . . . . . . . . . . . 3.3.1 Data integration . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3.2 Data transformation . . . . . . . . . . . . . . . . . . . . . . . . . 3.4 Data reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.1 Data cube aggregation . . . . . . . . . . . . . . . . . . . . . . . . 3.4.2 Dimensionality reduction . . . . . . . . . . . . . . . . . . . . . . 3.4.3 Data compression . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.4 Numerosity reduction . . . . . . . . . . . . . . . . . . . . . . . . 3.5 Discretization and concept hierarchy generation . . . . . . . . . . . . . . 3.5.1 Discretization and concept hierarchy generation for numeric data 3.5.2 Concept hierarchy generation for categorical data . . . . . . . . . 3.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
3
3 5 5 6 7 8 8 8 10 10 11 13 14 19 19 23 25
Contents 4 Primitives for Data Mining
4.1 Data mining primitives: what de nes a data mining task? . . . . . . . . . . 4.1.1 Task-relevant data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1.2 The kind of knowledge to be mined . . . . . . . . . . . . . . . . . . . 4.1.3 Background knowledge: concept hierarchies . . . . . . . . . . . . . . 4.1.4 Interestingness measures . . . . . . . . . . . . . . . . . . . . . . . . . 4.1.5 Presentation and visualization of discovered patterns . . . . . . . . . 4.2 A data mining query language . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.1 Syntax for task-relevant data speci cation . . . . . . . . . . . . . . . 4.2.2 Syntax for specifying the kind of knowledge to be mined . . . . . . . 4.2.3 Syntax for concept hierarchy speci cation . . . . . . . . . . . . . . . 4.2.4 Syntax for interestingness measure speci cation . . . . . . . . . . . . 4.2.5 Syntax for pattern presentation and visualization speci cation . . . 4.2.6 Putting it all together | an example of a DMQL query . . . . . . . 4.3 Designing graphical user interfaces based on a data mining query language . 4.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
3
3 4 6 7 10 12 12 15 15 18 20 20 21 22 22
Contents 5 Concept Description: Characterization and Comparison
5.1 What is concept description? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2 Data generalization and summarization-based characterization . . . . . . . . . . . 5.2.1 Data cube approach for data generalization . . . . . . . . . . . . . . . . . . 5.2.2 Attribute-oriented induction . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.3 Presentation of the derived generalization . . . . . . . . . . . . . . . . . . . 5.3 Ecient implementation of attribute-oriented induction . . . . . . . . . . . . . . . 5.3.1 Basic attribute-oriented induction algorithm . . . . . . . . . . . . . . . . . . 5.3.2 Data cube implementation of attribute-oriented induction . . . . . . . . . . 5.4 Analytical characterization: Analysis of attribute relevance . . . . . . . . . . . . . 5.4.1 Why perform attribute relevance analysis? . . . . . . . . . . . . . . . . . . . 5.4.2 Methods of attribute relevance analysis . . . . . . . . . . . . . . . . . . . . 5.4.3 Analytical characterization: An example . . . . . . . . . . . . . . . . . . . . 5.5 Mining class comparisons: Discriminating between di erent classes . . . . . . . . . 5.5.1 Class comparison methods and implementations . . . . . . . . . . . . . . . 5.5.2 Presentation of class comparison descriptions . . . . . . . . . . . . . . . . . 5.5.3 Class description: Presentation of both characterization and comparison . . 5.6 Mining descriptive statistical measures in large databases . . . . . . . . . . . . . . 5.6.1 Measuring the central tendency . . . . . . . . . . . . . . . . . . . . . . . . . 5.6.2 Measuring the dispersion of data . . . . . . . . . . . . . . . . . . . . . . . . 5.6.3 Graph displays of basic statistical class descriptions . . . . . . . . . . . . . 5.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.7.1 Concept description: A comparison with typical machine learning methods 5.7.2 Incremental and parallel mining of concept description . . . . . . . . . . . . 5.7.3 Interestingness measures for concept description . . . . . . . . . . . . . . . 5.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
i
. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .
1
1 2 3 3 7 10 10 11 12 12 13 15 17 17 19 20 22 22 23 25 28 28 30 30 31
Contents 6 Mining Association Rules in Large Databases
6.1 Association rule mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.1.1 Market basket analysis: A motivating example for association rule mining . . . . . . . . . . . . 6.1.2 Basic concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.1.3 Association rule mining: A road map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2 Mining single-dimensional Boolean association rules from transactional databases . . . . . . . . . . . . 6.2.1 The Apriori algorithm: Finding frequent itemsets . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2.2 Generating association rules from frequent itemsets . . . . . . . . . . . . . . . . . . . . . . . . . 6.2.3 Variations of the Apriori algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3 Mining multilevel association rules from transaction databases . . . . . . . . . . . . . . . . . . . . . . 6.3.1 Multilevel association rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3.2 Approaches to mining multilevel association rules . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3.3 Checking for redundant multilevel association rules . . . . . . . . . . . . . . . . . . . . . . . . . 6.4 Mining multidimensional association rules from relational databases and data warehouses . . . . . . . 6.4.1 Multidimensional association rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4.2 Mining multidimensional association rules using static discretization of quantitative attributes 6.4.3 Mining quantitative association rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4.4 Mining distance-based association rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.5 From association mining to correlation analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.5.1 Strong rules are not necessarily interesting: An example . . . . . . . . . . . . . . . . . . . . . . 6.5.2 From association analysis to correlation analysis . . . . . . . . . . . . . . . . . . . . . . . . . . 6.6 Constraint-based association mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.6.1 Metarule-guided mining of association rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.6.2 Mining guided by additional rule constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
3
3 3 4 5 6 6 9 10 12 12 14 16 17 17 18 19 21 23 23 23 24 25 26 29
Contents 7 Classi cation and Prediction
7.1 What is classi cation? What is prediction? . . . . . . . . . . . . . . . . . . 7.2 Issues regarding classi cation and prediction . . . . . . . . . . . . . . . . . . 7.3 Classi cation by decision tree induction . . . . . . . . . . . . . . . . . . . . 7.3.1 Decision tree induction . . . . . . . . . . . . . . . . . . . . . . . . . . 7.3.2 Tree pruning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.3.3 Extracting classi cation rules from decision trees . . . . . . . . . . . 7.3.4 Enhancements to basic decision tree induction . . . . . . . . . . . . 7.3.5 Scalability and decision tree induction . . . . . . . . . . . . . . . . . 7.3.6 Integrating data warehousing techniques and decision tree induction 7.4 Bayesian classi cation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.4.1 Bayes theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.4.2 Naive Bayesian classi cation . . . . . . . . . . . . . . . . . . . . . . 7.4.3 Bayesian belief networks . . . . . . . . . . . . . . . . . . . . . . . . . 7.4.4 Training Bayesian belief networks . . . . . . . . . . . . . . . . . . . . 7.5 Classi cation by backpropagation . . . . . . . . . . . . . . . . . . . . . . . . 7.5.1 A multilayer feed-forward neural network . . . . . . . . . . . . . . . 7.5.2 De ning a network topology . . . . . . . . . . . . . . . . . . . . . . . 7.5.3 Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.5.4 Backpropagation and interpretability . . . . . . . . . . . . . . . . . . 7.6 Association-based classi cation . . . . . . . . . . . . . . . . . . . . . . . . . 7.7 Other classi cation methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.7.1 k-nearest neighbor classi ers . . . . . . . . . . . . . . . . . . . . . . 7.7.2 Case-based reasoning . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.7.3 Genetic algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.7.4 Rough set theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.7.5 Fuzzy set approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.8 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.8.1 Linear and multiple regression . . . . . . . . . . . . . . . . . . . . . 7.8.2 Nonlinear regression . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.8.3 Other regression models . . . . . . . . . . . . . . . . . . . . . . . . . 7.9 Classi er accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.9.1 Estimating classi er accuracy . . . . . . . . . . . . . . . . . . . . . . 7.9.2 Increasing classi er accuracy . . . . . . . . . . . . . . . . . . . . . . 7.9.3 Is accuracy enough to judge a classi er? . . . . . . . . . . . . . . . . 7.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
3 5 6 7 9 10 11 12 13 15 15 16 17 19 19 20 21 21 24 25 27 27 28 28 28 29 30 30 32 32 33 33 34 34 35
&( *' )+-,/.103 2*46 58 !7*9(#4:"$0: ;/.17@?4:2@4BAC'='C'=''D''''D'''D''=''D'''D''''D''='C'='''D'''D'''='C'=''D'''' % E &(' FHG3(& ' ?F(IJ'@) ;#4LK1VLM2@N 4:
[email protected]@2@7X>P.1 N[RS4:
[email protected]>J.12@
[email protected]? '=Rc''''D'D'''''D'D'''''='='C'C'='='''D'D'''''''' Ud (&(& '' F(F('e'eFE f$no>2@0Q>J;#.1 'R['WS';#0Q'D, 'K N'4c'D'''='='''D'D'''''D'D'''''''D'D'''='='C'C'='='''''D'D'''''D'D'''''='='C'C'='='''D'D''''''' ' ))hF) &(&('' U/U/@'e' F) 3 .T7X.T 72@IJ> .1RD K 2@> NRD4WS2@>[;7j0:.T, (44
\.TM JKhN^WbiubW[i$WS;N;KbN2jKhN2X4cN4'D0QKS''='C}='=s'}='rL'D''''D'D'''''='='C'C'='='''D'D''''''' ' ))Fd &(' d&(s' 2*d(;'@B< ) .1J N[RSf$0:;4Q(0QRS2@gh6;a sI ;2@> 0O.1RS0Q2*.Tgb>J;#NS43'7@9 'D4Q0:';#' 'DR'9 '4:2@'> RS'D's'=2@;# RS}4Q2@WS0$, ?h;2@i$0:;#kJ, 5O'KbR> 'DN> '?;>J5O'=0Q.1;'CW[N'=2X(KhR'=2@>'kJ0:.14'D4QG ;'N[K'Khf:'N>P;#'D>N0:';#2> M'?[4Q2@'D0$0:?, ';DN'=2@34:'0Q7@9 Kh>RS'M'9 0:>J' iuk/i$kJ.14:.1;_4QN^;NKhKb9 9 0Q7@0:2*7@;2@c'''''D'D'''='='''D'D'''''D'D'''''''D'D'''='='C'C'='='''''D'D'''''D'D'''''='='C'C'='='''D'D''''''''E EhF) &('*)_|9(WSW.T
