Spark2 ML 学习札记

摘要：

　　1.pipeline 模式

　　　　1.1相关概念

　　　　1.2代码示例

　　2.特征提取，转换以及特征选择

　　　　2.1特征提取

　　　　2.2特征转换

　　　　2.3特征选择

　　3.模型选择与参数选择

　　　　3.1 交叉验证

　　　　3.2 训练集-测试集 切分

　　4.spark新增SparkSession与DataSet

内容：

1.pipeline 模式

　　1.1相关概念

　　　　DataFrame是来自Spark SQL的ML DataSet 可以存储一系列的数据类型，text,特征向量，Label和预测结果

　　　　Transformer:将DataFrame转化为另外一个DataFrame的算法，通过实现transform()方法

　　　　Estimator：将DataFrame转化为一个Transformer的算法，通过实现fit()方法

　　　　PipeLine:将多个Transformer和Estimator串成一个特定的ML Wolkflow

　　　　Parameter:Tansformer和Estimator共用同一个声明参数的API

　　　　

　　　　上图中蓝色标识的是Transformer(Tokenizer and HashingTF)，红色标识的是Estimator(LogisticRegression)

　　1.2代码示例　　　

val tokenizer = new Tokenizer() .setInputCol("text") .setOutputCol("words") val hashingTF = new HashingTF() .setNumFeatures(1000) .setInputCol(tokenizer.getOutputCol) .setOutputCol("features") val lr = new LogisticRegression() .setMaxIter(10) .setRegParam(0.01) val pipeline = new Pipeline() .setStages(Array(tokenizer, hashingTF, lr)) // Fit the pipeline to training documents. val model = pipeline.fit(training)

// Make predictions on test documents.
model.transform(test) .select("id", "text", "probability", "prediction") .collect() .foreach { case Row(id: Long, text: String, prob: Vector, prediction: Double) => println(s"($id, $text) --> prob=$prob, prediction=$prediction") }

2.特征提取，转换以及特征选择

　　2.1特征提取　

• • TF-IDF：提取文档的关键词
  • Word2Vec：将文档转换成词向量
  • CountVectorizer：向量值计数

　　2.2特征转换

• • Tokenizer：分词器
  • StopWordsRemover：停词表　　注：The list of stopwords is specified by the stopWords parameter. Default stop words for some languages are accessible by calling StopWordsRemover.loadDefaultStopWords(language)
  • n-gram
  • Binarizer
  • PCA：主成分分析，一种降维方法，可以提取出区分度比较高的特征，并计算权重
  • PolynomialExpansion：多项式核转换
  • Discrete Cosine Transform (DCT)
  • StringIndexer
  • IndexToString
  • OneHotEncoder：独热编码
  • VectorIndexer
  • 
    
    -----------------------------------------------------------------标准化和归一化-------------------------------------------------------------------------------------
  • Normalizer：向量正则化处理，参见http://www.cnblogs.com/arachis/p/Regulazation.html
  • StandardScaler：标准化方法1：( x-mean ) /  standard deviation
  • MinMaxScaler：标准化方法2: 

     

  • MaxAbsScaler 标准化方法3: x / abs(max)
  • ----------------------------------------------------------------离散化-----------------------------------------------------------------------------------------------
  • Bucketizer：分区，可指定分区的上下界
  • QuantileDiscretizer：等宽离散化
  • ----------------------------------------------------------------交叉特征---------------------------------------------------------------------------------------------
  • ElementwiseProduct
  • ----------------------------------------------------------------SQL-------------------------------------------------------------------------------------------------
  • SQLTransformer
  • VectorAssembler

　　2.3特征选择　

• • VectorSlicer:截取指定的特征，可以是索引，也可以是特征标识
  • RFormula：RFormula用于将数据中的字段通过R语言的Model Formulae转换成特征值，输出结果为一个特征向量和Double类型的label。R文档
  • ChiSqSelector：ChiSqSelector用于使用卡方检验来选择特征（降维）。

3.模型选择与参数选择

　　　　3.1 交叉验证

　　　　　　将数据分为K分，每次测评选取一份作为测试集，其余为训练集；

　　　　3.2 训练集-测试集 切分

　　　　　　根据固定的比例将数据分为测试集和训练集

代码示例：　　　　

val cv = new CrossValidator() .setEstimator(pipeline) .setEvaluator(new BinaryClassificationEvaluator) .setEstimatorParamMaps(paramGrid) .setNumFolds(2) // Use 3+ in practice



4.spark新增SparkSession与DataSet



http://blog.csdn.net/yhao2014/article/details/52215966

http://blog.csdn.net/u013063153/article/details/54615378

http://blog.csdn.net/lsshlsw/article/details/52489503