【标签：spark】 - 第1页 - 开发者知识库

1 现在中国的学生也可以免费使用微软公司的开发软件了：DreamSpark计划

2008年02月26 - 现在中国的学生也可以免费使用微软公司的开发软件了： http://www.msuniversity.edu.cn/m_directdownload/introduction.aspx 1.什么是DreamSpark微软学生软件资源？微软学生软件资源旨在为广大高校在校学生

2 SparkMLlib之 logistic regression源码分析

2016年01月16 - 最近在研究机器学习，使用的工具是spark，本文是针对spar最新的源码Spark1.6.0的MLlib中的 logistic regression, linear regression进行源码分析，其理论部分参考：http://www.cnblogs.com/ljy2013/p

3 Spark基础-Scala面向对象

2017年08月16 - 入构造参数，此时也需在apply方法中也必须有这些参数 */class ScalaOop(age:Int){ var name="spark" def sayHello={ println("hello "+name+" "+age) }}object ScalaOop { def main

4 Spark - 深入浅出解析Spark中的RPC （RpcEnv、RpcEndPoint、RpcEndPointRef）

2018年05月10 - 转载作者：知乎 - neoReMinD 前言 Spark是一个快速的、通用的分布式计算系统，而分布式的特性就意味着，必然存在节点间的通信，本文主要介绍不同的Spark组件之间是如何通过RPC（Remote Procedure Call) 进行点对点通信的。分为3个章节

5 Spark系列修炼---入门笔记1

2016年11月10 - 今天是2016年11月10日，终于开始学习Spark了，为将来能成为一个大数据架构师而不断努力！整理一下今天需要梳理的笔记: 1、scala中readLine()方法的使用: object App1{ def main(args:Array[String]):Unit

6 RDD输出到一个文件中

2016年10月10 - 在使用Spark的机器学习模型时，有时为了方便观看输出数据，我们需要将RDD输出到一个文件中，比如我们需要将预测的label输出到一个文件，这样方便我们观看每一个样本的label。你若是输出到多个文件，看起来很不方便。尤其当你需要把预测的label拷贝原始数据所在的excel表格时

7 Python海量数据处理之_Hadoop&Spark

2017年12月26 - 1. 说明前篇介绍了安装和使用Hadoop，本篇将介绍Hadoop+Spark的安装配置及如何用Python调用Spark。当数据以TB,PB计量时，用单机处理数据变得非常困难，于是使用Hadoop建立计算集群处理海量数据，Hadoop分为两部分，一部分是数据存储HDFS

8 Spark Structured Streaming框架(2)之数据输入源详解

2017年09月05 - 　　Spark Structured Streaming目前的2.1.0版本只支持输入源：File、kafka和socket。1. Socket　　Socket方式是最简单的数据输入源，如Quick example所示的程序，就是使用的这种方式。用户只需要指定"socket"

9 Spark ML逻辑回归

2018年11月20 - 1 import org.apache.log4j.{Level, Logger} 2 import org.apache.spark.ml.classification.LogisticRegression 3 import

10 Spark学习之Scala的基础知识

2018年11月25 - Scala的变量声明在Scala创建变量的时候，必须使用val或者var val，变量值不可修改，一旦分配不能重新指向别的值 var，分配后，可重新指向类型相同的值举例 val lines = sc.textFile("helloSpark.txt") lines = sc.textFil

分类标签

≈1万全部 482 分析 481 使用 529 lib 1191 scala 777 集群 899 sql 647 RDD 592 java 432 笔记 483 机器学习 ≈1万 spark 1103 stream 431 实现 870 hadoop 611 搭建 453 大数 435 操作 408 入门 469 运行 720 学习 1491 数据 402 kafka 451 问题 803 源码 1107 大数据

本站赞助商广告