花费 944ms 找到13079条记录
1 现在中国的学生也可以免费使用微软公司的开发软件了:DreamSpark计划
2008年02月26 - 现在中国的学生也可以免费使用微软公司的开发软件了: http://www.msuniversity.edu.cn/m_directdownload/introduction.aspx 1.什么是DreamSpark微软学生软件资源? 微软学生软件资源旨在为广大高校在校学生
2 SparkMLlib之 logistic regression源码分析
2016年01月16 - 最近在研究机器学习,使用的工具是spark,本文是针对spar最新的源码Spark1.6.0的MLlib中的 logistic regression, linear regression进行源码分析,其理论部分参考:http://www.cnblogs.com/ljy2013/p
3 Spark基础-Scala面向对象
2017年08月16 - 入构造参数,此时也需在apply方法中也必须有这些参数 */class ScalaOop(age:Int){ var name="spark" def sayHello={ println("hello "+name+" "+age) }}object ScalaOop { def main
4 Spark - 深入浅出解析Spark中的RPC (RpcEnv、RpcEndPoint、RpcEndPointRef)
2018年05月10 - 转载作者:知乎 - neoReMinD 前言 Spark是一个快速的、通用的分布式计算系统,而分布式的特性就意味着,必然存在节点间的通信,本文主要介绍不同的Spark组件之间是如何通过RPC(Remote Procedure Call) 进行点对点通信的。分为3个章节
5 Spark系列修炼---入门笔记1
2016年11月10 - 今天是2016年11月10日,终于开始学习Spark了,为将来能成为一个大数据架构师而不断努力! 整理一下今天需要梳理的笔记: 1、scala中readLine()方法的使用: object App1{ def main(args:Array[String]):Unit
6 RDD输出到一个文件中
2016年10月10 - 在使用Spark的机器学习模型时,有时为了方便观看输出数据,我们需要将RDD输出到一个文件中,比如我们需要将预测的label输出到一个文件,这样方便我们观看每一个样本的label。你若是输出到多个文件,看起来很不方便。尤其当你需要把预测的label拷贝原始数据所在的excel表格时
7 Python海量数据处理之_Hadoop&Spark
2017年12月26 - 1. 说明  前篇介绍了安装和使用Hadoop,本篇将介绍Hadoop+Spark的安装配置及如何用Python调用Spark。 当数据以TB,PB计量时,用单机处理数据变得非常困难,于是使用Hadoop建立计算集群处理海量数据,Hadoop分为两部分,一部分是数据存储HDFS
8 Spark Structured Streaming框架(2)之数据输入源详解
2017年09月05 -   Spark Structured Streaming目前的2.1.0版本只支持输入源:File、kafka和socket。1. Socket  Socket方式是最简单的数据输入源,如Quick example所示的程序,就是使用的这种方式。用户只需要指定"socket"
9 Spark ML逻辑回归
2018年11月20 - 1 import org.apache.log4j.{Level, Logger} 2 import org.apache.spark.ml.classification.LogisticRegression 3 import
10 Spark学习之Scala的基础知识
2018年11月25 - Scala的变量声明 在Scala创建变量的时候,必须使用val或者var val,变量值不可修改,一旦分配不能重新指向别的值 var,分配后,可重新指向类型相同的值 举例 val lines = sc.textFile("helloSpark.txt") lines = sc.textFil

 
© 2014-2019 ITdaan.com 粤ICP备14056181号