花费 11ms 找到13896条记录
在Ubuntu14.04 64bit上搭建单机Spark环境,IDE为Intelli IDEA 繁体
2016年03月21 - 在Ubuntu14.04 64bit上搭建单机Spark环境,IDE为Intelli IDEA 一. 环境 Ubuntu14.04 64位 JDK 1.8.0_73 scala-2.10.4 spark 1.5.1 [此处注意Spark版本和Scala版本的兼容性问题] IntelliJ IDEA 14.04 二. 安装JDK 1.从h

Spark 概念学习系列之Spark相比Hadoop MapReduce的特点(二) 繁体
2016年07月26 - Spark相比Hadoop MapReduce的特点 (1)中间结果输出 基于MapReduce的计算引擎通常会将中间结果输出到磁盘上,进行存储和容错。 出于任务管道承接的考虑,当一些查询翻译到MapReduce任务时,往往会产生多个Stage,而这些串联的Stage又依赖于底层文件系统(如HDFS)来存储每一个Stage的输出结果。Spark将执行模型抽象为通用的有

spark一些入门资料 繁体
2015年06月09 - spark一些入门资料A Scala Tutorial for Java Programmershttp://docs.scala-lang.org/tutorials/scala-for-java-programmers.html 学习资源(视频教程,书,例子等)spark.apache.org/documentation.html 入门指南spark.apache.org/docs/lates

Spark源码剖析 - SparkContext的初始化(六)_创建和启动DAGScheduler 繁体
2018年07月15 - 6.创建和启动DAGScheduler DAGScheduler主要用于在任务正式交给TaskSchedulerImpl提交之前做一些准备工作,包括:创建Job,将DAG中的RDD划分到不同的Sta

基于spark的新词发现模型 繁体
2016年04月27 - 很久没有写博客了,很多东西都用为知笔记下来了,一直想写spark、hadoop和机器学习方面的。。。一直没写,还是回归正题吧,同事推荐了一篇论文,基于新词发现的论文的,原文地址,http://www.matrix67.com/blog/archives/5044 ,公司刚刚好友这方面的需求,用了一个礼拜多礼拜的代码来写代码、测试、优化,今天总算能处理所谓的大数据了,几十g的文本不在话下,在spar

Spark2 Dataset聚合操作 繁体
2016年11月25 - data.groupBy("gender").agg(count($"age"),max($"age").as("maxAge"), avg($"age").as("avgAge")).show

堆内内存与对外内存区别 繁体
2017年04月12 - 名词解释: 堆内内存:on-heap memory 对外内存:off-heap memory 堆内与堆外的关系 其实堆内堆外是两个相对的关系,堆内

大数据:Spark Shuffle(二)Executor、Driver之间Shuffle结果消息传递、追踪 繁体
2017年05月03 - 1. 前言 在博客里介绍了 ShuffleWrite关于shuffleMapTask如何运行,输出Shuffle结果到Shuffle_shuffleId_mapId_0.data数据文件中,每

SparkSQL基础应用(1.3.1) 繁体
2015年06月09 - 一.概述从1.3版本开始Spark SQL不再是测试版本,之前使用的SchemaRDD重命名为DataFrame,统一了Java和ScalaAPI。SparkSQL是Spark框架中处理结构化数据的部分,提供了一种DataFrames的概念,同时允许在Spark中执行以SQL,HiveQL或Scala表示的关系型查询语句。就易用性而言,对比传统的MapReduceAPI,说Spark的RDD AP

spark-伪分布式搭建 繁体
2017年07月04 - 一.环境的准备(hadoop-2.8.0/spark-2.1.0/scala-2.12.) hadoop的安装/scala的安装 二.安装配置 1.查看/etc/profile的配置 export JAVA_HOME=/opt/jdkexport JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}


 
粤ICP备14056181号  © 2014-2021 ITdaan.com