【标签：spark】 - 第1页 - 开发者知识库

1 sparkstreaming日志切分配置

2018年04月02 - 在Spark Standalone模式下，spark默认使用org/apache/spark/log4j-defaults.properties配置，所有的日志都记录在stderr里面，由于Spark Streaming应用程序是一直运行的，时间长了以后stderr文件

2 第126-134课：Spark Streaming源码经典解读

2017年05月05 - Spark Streaming源码经典解读一：基于DStream的DStreamGraph源码内幕 1、DStream下transformation和action解密 2、DStreamGraph内幕源码解密二：Spark Streaming生成RDD并执行Job源码内幕解密

3 关于Spark和Spark的学习资料

2017年02月17 - 来自Hortonworks，也有不少国人上榜。SparkSpark 介绍 Spark今年大放溢彩，Spark简单说就是内存计算（包含迭代式计算，DAG计算,流式计算）框架，之前MapReduce因效率低下大家经常嘲笑，而Spark的出现让大家很清新。 Reynod 作为Spark核心开发者, 介绍Spark性能

4 GraphLab Integration with Spark Open Source Release

2015年10月27 - Due to it’s ability to support a wide variety of data engineering tasks across a growing range data sources, Apache Spark has become an integral

5 spark和hadoop对比分析

2013年05月23 - 尽管Hadoop在分布式数据分析领域备受瞩目，但还是有其他选择比典型的Hadoop平台更具优势。最近很多人都在讨论Spark这个貌似通用的分布式计算模型，国内很多机器学习相关工作者都在研究和使用它。Spark是一种可伸缩（scalable）的基于内存计算（In-Memory

6 42.Scala中泛型类、泛型函数、泛型在Spark中的广泛应用

2017年09月17 - Hello_Type_42 { def main(args: Array[String]): Unit = { val triple = new Triple("spark", 8, 8.3) //这里并没有指明泛型类型，但是scala会根据实际传入的类型来推导出泛型的类型

7 spark2.x由浅入深深到底系列六之RDD java api详解三

2017年09月19 - 学习任何spark知识点之前请先正确理解spark，可以参考：正确理解spark本文详细介绍了spark key-value类型的rdd java api一、key-value类型的RDD的创建方式

8 Spark2 ML包之决策树分类Decision tree classifier详细解说

2016年11月29 - 所用数据源，请参考本人博客http://www.cnblogs.com/wwxbi/p/6063613.html 1.导入包 import org.apache.spark.sql.SparkSession import org.apache.spark

9 本地开发spark代码上传spark集群服务并运行

2017年07月29 - 打包：右击、export、Java 、jar File 把TestSpark.jar包上传到spark集群服务器的 spark_home下的myApp下：提交spark任务：cd /usr/local/spark/spark-2.1.1-bin-hadoop2.7bin/spark

10 win10下Spark java读取Hbase数据

2017年05月09 - 本文采用的配置为spark2.1+hadoop2.7.3+Hbase1.3.0安装hadoop1、hadoop在官网下载src之后解压，创建新系统环境变量HADOOP_HOME并把值设置为hadoop解压所在目录。把这个链接https://github.com/steveloughran

分类标签

≈1万全部 480 分析 460 使用 523 lib 1174 scala 765 集群 881 sql 637 RDD 583 java 424 笔记 480 机器学习 ≈1万 spark 1092 stream 421 实现 858 hadoop 605 搭建 446 大数 426 操作 402 入门 461 运行 715 学习 1471 数据 395 kafka 443 问题 797 源码 1096 大数据