【spark】

2016年01月16 - 最近在研究机器学习，使用的工具是spark，本文是针对spar最新的源码Spark1.6.0的MLlib中的 logistic regression, linear regression进行源码分析

2017年08月16 - ){ var name="spark" def sayHello={ println("hello "+name+" "+age) }}object ScalaOop { def main(args

Spark - 深入浅出解析Spark中的RPC （RpcEnv、RpcEndPoint、RpcEndPointRef）

2018年05月10 - 转载作者：知乎 - neoReMinD 前言 Spark是一个快速的、通用的分布式计算系统，而分布式的特性就意味着，必然存在节点间的通信，本文主要介绍不同的Spark组件之间

2016年11月10 - 今天是2016年11月10日，终于开始学习Spark了，为将来能成为一个大数据架构师而不断努力！整理一下今天需要梳理的笔记: 1、scala中readLine()方法的使用: object

2016年10月10 - 在使用Spark的机器学习模型时，有时为了方便观看输出数据，我们需要将RDD输出到一个文件中，比如我们需要将预测的label输出到一个文件，这样方便我们观看每一个样本的label

2018年11月25 - Scala的变量声明在Scala创建变量的时候，必须使用val或者var val，变量值不可修改，一旦分配不能重新指向别的值 var，分配后，可重新指向类型相同的值举例 val lines

2017年06月26 - coresPerExecutor = conf.getOption("spark.executor.cores").map(_.toInt) val initialExecutorLimit

2017年09月05 - 4、 Spark程序架构与运行模式 4.1 Spark程序最简架构所有的Spark程序运行时，主要由两大类组件Driver和Excutor构成。每个Spark程序运行时都有一个

2017年01月17 - 一、FPGrowth算法理解 Spark.mllib 提供并行FP-growth算法，这个算法属于关联规则算法【关联规则：两不相交的非空集合A、B，如果A=>B

2018年01月07 - 环境安装软件准备 CentOS-7-x86_64-Everything-1611.iso spark-2.0.1-bin-hadoop2.7.tgz hadoop-2.7.3.tar.gz

赞助商广告