花费 25ms 找到27条记录
1 hbase映射表map类型过滤数据的问题
2018年03月08 - #### hbase映射表map类型过滤数据的问题 在试用hbase的映射表过程中,如果是映射了一个列族作为一个map类型,假如名称就叫:tags。在hbase中的数据格式大概为: ```json {"123":"1","234":"1","345":"1"} # 123,234,345 是列名 1
2 爬虫逻辑及数据存储
2018年02月24 - # 爬虫逻辑及数据存储 #### hbase表结构 ```mysql create 'itdaan:post',{NAME=>'a',VERSIONS=>1},{NAME=>'b',VERSIONS=>1},{SPLITS=>['01','02','03','04','05','06','07'
3 Hadoop 集群环境安装手册
2018年02月10 - # Hadoop 集群环境安装手册 [TOC] ## 一、JDK安装 ### 1.1 JDK1.8下载 ​ 到oracle官网下载[jdk-8u101-linux-x64.tar.gz](http://download.oracle.com/otn-pub/java/jdk/8u101-b14/
4 centos安装squid简单步骤搭建代理服务器
2018年04月14 - 一、系统环境 操作系统:CentOS release 6.7 (Final) SELINUX=disabled HTTP Service: stoped 二、安装Squid服务 2.1 检查squid软件是否安装 ```shell rpm -qa|grep squid ``` 2.2 如果未安装,
5 hive查看表的分区信息
2018年06月01 - show partitions table_name ;//查看表的所有分区 desc table_name partition(log_date=20180212); desc extended table_name partition(log_date=20180512);//查看某个分区的详
6 Spark Standalone Cluster模式安装和配置
2018年03月02 - ### 1、手动启动一个spark集群 启动standalone的master节点 ```shell ./sbin/start-master.sh ``` 一旦启动后,master会打印一个spark的地址,例如:spark://HOST:PORT。这个地址可以作为SparkContext的m
7 Hadoop安装snappy支持
2018年05月30 - # Hadoop安装snappy支持 ​ 由于snappy协议的问题,hadoop的官方发布包不带snappy支持库,我们需要通过源码编译安装生成本地库来获取snappy特性。本文档描述了Hadoop集群源码编译安装snappy本地库、Hadoop集群如何使用snappy压缩以及总体效果测试情况。
8 机器学习之逻辑回归算法的算法代码及应用场景
2018年06月01 - ### 应用场景 1. 点击率/转换率预估 PCTR 和 PCVR 2. 查找look-alike人群(通过一部分人群的特征查找另外一部分人) scala实现的逻辑回归算法: ```scala import java.text.SimpleDateFormat import java.util
9 scala访问redis数据库代码实现
2018年05月15 - 首先添加jedis的jar: ```xml redis.clients jedis 2.7.3 ``` 接下来就是直接贴代码了,请看如下scala class,非常简单: ```java import java.util import x.x.x.x.Redis
10 使用Hive中的UDAF实现GROUP_CONCAT函数合并ARRAY数组类型
2018年04月04 - 我们知道Hive提供了聚合连接函数concat_ws,该函数无法连接ARRAY类型。所有,在实际的开发过程中有可能需要聚合连接ARRAY类型。比如说,同一个用户的标签进行group by后,进行连接,并去重。 所以,借助于Hive的UDAF函数,我们实现类似的临时函数功能。 废话不多说,直接

 
© 2014-2018 ITdaan.com 粤ICP备14056181号