三、Flink关于source源码分享 分类:[ 开源框架 ]
source是flink面向流计算的数据源头,所有的数据都是通过source进入我们的程序内部,详见下图source所在整个流程位置. ...阅读全文
无情 @ 2020-04-19 10:40:09 阅读(243) 详情
二、Flink 环境HA安装、部署 分类:[ 开源框架 ]
Flink 整个系统主要由两个组件组成,分别为 JobManager 和 TaskManager,Flink 架构也遵循 Master - Slave 架构设计原则,JobManager 为 Master 节点,TaskManager 为 Worker (Slave)节点 ...阅读全文
无情 @ 2020-04-07 20:15:31 阅读(282) 详情
一、Flink 基本介绍 分类:[ 开源框架 ]
Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算 ...阅读全文
无情 @ 2020-04-01 20:57:50 阅读(203) 详情
HDFS命令源码详解 分类:[ 开源框架 ]
HDFS相关命令源码详解和分析 ...阅读全文
无情 @ 2019-09-12 17:05:45 阅读(217) 详情
Hadoop RPC 源码详解 分类:[ 开源框架 ]
RPC远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易 ...阅读全文
无情 @ 2019-09-04 20:16:33 阅读(555) 详情
spark2.3.2 源码编译 分类:[ 开源框架 ]
Spark能同Hadoop进行交互,而Hadoop的厂商比较多有很多商业版(如cdh版本hadoop)。Spark官方提供的安装包不一定和我们的Hadoop集群版本相同,如果不相同就有可能出现莫名其妙的错误。这时,我们手工指定相应版本进行编译是最好选择 ...阅读全文
无情 @ 2019-01-13 19:28:59 阅读(808) 详情
通常,当传递给Spark操作(例如map or reduce)的函数在远程集群节点上执行时,它可以在函数中使用的所有变量的单独副本上工作。这些变量被复制到每个机器,并且远程机器上的变量的更新都不会被传播回到驱动程序 ...阅读全文
无情 @ 2017-09-07 13:01:45 阅读(3573) 详情
Spark最重要的一个功能,就是在不同操作间,持久化(或缓存)一个数据集在内存中。当你持久化一个RDD,每一个结点都将把它的计算分块结果保存在内存中,并在对此数据集(或者衍生出的数据集)进行的其它动作中重用。这将使得后续的动作(action)变得更加迅速(通常快10倍) ...阅读全文
无情 @ 2017-06-02 17:41:17 阅读(10743) 详情
一:简介 键值对 RDD 是 Spark 中许多操作所需要的常见数据类型。本章就来介绍如何操作键值对 RDD。键值对 RDD 通常用来进行聚合计算。我们一般要先通过一些初始 ETL(抽取、转 化、装载)操作来将数据转化为键值对形式。 ...阅读全文
无情 @ 2017-05-31 14:36:58 阅读(5761) 详情
RDD,全称Resilient Distributed Datasets(弹性分布式数据集),是Spark最为核心的概念,是Spark对数据的抽象。RDD是分布式的元素集合,每个RDD只支持读操作,且每个RDD都被分为多个分区存储到集群的不同节点上。除此之外,RDD还允许用户显示的指定数据存储到内存和磁盘中,掌握了RDD编程是SPARK开发的第一步 ...阅读全文
无情 @ 2017-05-25 11:47:12 阅读(3979) 详情
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎, 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的、低延迟的数据分析应用程序。 ...阅读全文
无情 @ 2017-05-07 15:34:35 阅读(2640) 详情
在分布式环境中,许多服务依赖项中的一些将不可避免地失败。Hystrix是一个库,通过添加延迟容差和容错逻辑来帮助您控制这些分布式服务之间的交互。Hystrix通过隔离服务之间的访问点, ...阅读全文
无情 @ 2017-03-22 19:13:54 阅读(3394) 详情
Feign 是一个声明web服务客户端,这便得编写web服务客户端更容易,使用Feign 创建一个接口并对它进行注解,它具有可插拔的注解支持包括Feign注解与JAX-RS注解,Feign还支持可插拔的编码器与解码器,Spring Cloud 增加了对 Spring MVC的注解,Spring Web 默认使用了HttpMessageConverters, Spring Cloud 集成 ...阅读全文
无情 @ 2017-02-16 09:53:36 阅读(6968) 详情
Ribbon是Netflix发布的开源项目,主要功能是提供客户端的软件负载均衡算法,将Netflix的中间层服务连接在一起。Ribbon客户端组件提供一系列完善的配置项如连接超时,重试等 ...阅读全文
无情 @ 2017-02-09 16:24:21 阅读(10690) 详情
上一篇讲解了spring注册中心(eureka),但是存在一个单点故障的问题,一个注册中心远远无法满足实际的生产环境,那么我们需要多个注册中心进行集群,达到真正的高可用。今天我们实战来搭建一个Eureka集群。 ...阅读全文
无情 @ 2017-01-22 15:01:03 阅读(37852) 详情
上篇文章讲解了SpringCloud组件和概念介绍,接下来讲解一下SpringCloud组件相关组件使用、原理和每个组件的作用的,它主要提供的模块包括:服务发现(Eureka),断路器(Hystrix),智能路有(Zuul),客户端负载均衡(Ribbon),Archaius,Turbine等 ...阅读全文
无情 @ 2017-01-19 14:59:36 阅读(24851) 详情
微服务英文名称Microservice,Microservice架构模式就是将整个Web应用组织为一系列小的Web服务。这些小的Web服务可以独立地编译及部署,并通过各自暴露的API接口相互通讯。它们彼此相互协作,作为一个整体为用户提供功能,却可以独立地进行扩 ...阅读全文
无情 @ 2017-01-18 18:24:02 阅读(6125) 详情
今天和大家分享下mybatis的一个分页插件PageHelper,在讲解PageHelper之前我们需要先了解下mybatis的插件原理。PageHelper 的官方网站:https://github.com/pagehelper/Mybatis-PageHelper ...阅读全文
无情 @ 2016-12-29 17:46:42 阅读(8236) 详情
之前的文章中我们意见分析了一级缓存、二级缓存的相关源码和基本原理,今天我们来分享下了mybatis二级缓存和redis的结合,当然mybatis二级缓存也可以和ehcache、memcache、OSCache、Hazelcast结合使用。二级缓存相关的源码分享请参考《Mybatis源码分析之Cache二级缓存原理》。我们通过两种方式来实战,一种是自己编写缓存、 ...阅读全文
西湖忆 @ 2016-12-22 21:01:32 阅读(3864) 详情
讲解缓存之前我们需要先了解一下Cache接口以及实现MyBatis定义了一个org.apache.ibatis.cache.Cache接口作为其Cache提供者的SPI(ServiceProvider Interface) ,所有的MyBatis内部的Cache缓存,都应该实现这一接口 Cache的实现类中 ...阅读全文
无情 @ 2016-12-13 22:25:45 阅读(3486) 详情