Lambda架构

1. Lambda架构有三层，批处理层、速度层和服务层。
   1. 批处理层：批处理层是基于Hadoop生态，随着数据的更新会对所有数据进行重计算并将计算结果保存到NoSQL数据库中（如：electicalsearch、HBase、Redis、Hive等），提供批处理视图，批处理视图会整体批量更新；
   2. 速度层：由于批处理的机制导致延迟较大（天级/小时级），如果需要尽快的处理实时数据则需要提供单独的机制产生实时视图，通常只需要保存少量近期数据；
   3. 服务层：只会调用批处理视图和实时视图（汇总实时图和批处理视图），为应用系统提供查询服务；
2. Lambda架构特点：
   1. 有批处理层、速度层和服务层三层；
   2. 所有数据最终都需要放在统一分布式存储上；
   3. 批处理层重新计算以后速度层的视图就可以丢弃；
   4. Lambda平台实现逻辑复杂（实时数据和批处理数据是两套处理）

华为云数据治理架构

数据集成

数据集成就是将不同到数据源到数据通过ETL工具集成到数据打数据管理系统中。一般由独立到数据集成数据集成工具完成。

1. 数据集成工具 数据集成集群管理，需要新建一个数据集成的集群，通常是一个ETL工具（数据加载的工具集合）。
2. 数据链接 是用数据集成集群集成数据是是需要建立源数据和目标数据之间的链接。新建连接（源数据链接和和目标数据链接）；
3. 新建作业 选在源和目标数据链接以及、数据库和表名称以及字段映射关系以及数据集成任务的执行参数
4. 启动任务执行

下载安装miniconda

• 下载miniconda
  从清华大学镜像站中下载miniconda，下载地址https://mirrors.bfsu.edu.cn/anaconda/miniconda/，下载Miniconda3-latest-Linux-x86_64.sh

• 安装miniconda
  执行bash Miniconda3-latest-Linux-x86_64.sh 按照指引完成安装。
  安装时可以完成一次conda初始化，初始化脚本会在用户.bashrc中增加初始化操作。安装成功以后需要重新打开一次console，即可进入conda默认环境中。使用conda list可以查询默认环境中已经安装的包。

关系型数据库和MapReduce的差异

1. OLAP关系型数据库SQL语义对表达复杂BI报表与分析要方便很多，开发人员使用MapReduce来模拟表达同样的效果SQL语义往往比较复杂；
2. 关系型数据库的执行引擎，对SQL的执行有很多优化机制，例如执行路径优化、关联算法等，对于BI的处理和分析比较方便，而采用MapReduce则需要大量的开发工作，以及较强编程技能；
3. 很多在SQL体系不适合实现数据处理需求（如：预测、高级聚类算法），在MapReduce中则比较容易实现；
4. MapReduce扩展性比OLAP关系型数据库扩展性强，更适合大规模数据处理分析与工作；
5. 在数据处理结果展示方面，很对BI工具都是基于关系型数据库，即使采用MapReduce实现数据处理分析工作，最终还是会导入到数据库中做展示。

经典DBMS的挑战

1. 数据量与处理压力带来的扩展性的挑战,主要体现在：
   1. 企业的核心业务系统，应付用户并发量与数据量增长的压力越来越严重；
   2. 企业的业务分析系统应付数据处理强度与数据量增长的压力也越来越严重。
2. 对多种数据类型管理以及弱模式管理需求满足。
3. 主流关系型数据库应对现代数据管理需求的挑战的主要策略，主要分两种（基于分布式与并行技术解决方案架构）：
   1. Share Disk：从名字上可以判断，主要是扩展了数据库计算能力，但是磁盘、网络IO依旧是瓶颈；典型产品Oracle RAC，实际项目中超过4个RAC节点OLTP的集群很少，当增加第一个RAC节点时数据库性能可以显著提升性能，增加更多节点数据库性能则不能线性增加，甚至可能出现多节点的数据库性能还不如单机性能（数据库主要性能瓶颈时磁盘IO瓶颈，在OLTP和OLAP都有可能发生，OLAP场景更多一些；节点数量增加并没有解决硬盘IO瓶颈，且增加节点导致的协调、控制等损耗更大）。
   2. Share Nothing ：通过分片技术让每个节点上存储的数据都不相同，这样即可解决水平扩展中磁盘IO问题，典型产品TeraData，GreenPlum；这种架构下由于数据分散在不同节点，这种架构天然就不适合OLTP的场景（例如：表关联操作不得不进行节点间数据迁移工作）。Share Nothing架构基本上都用于OLAP场景。

本文主要是对Hexo+Github部署个人Blog遇到小问题的一个汇总，涉及到主题，Pages服务及网站加速。

主题选择

目前比较流行的next主题和icarus主题，这两个主题都具备一定的定制性和插件。个人更喜欢icarus主题，以下以icarus主题为例进行说明。

安装主题

执行如下命令可以安装icarus主题

1

npm install -S hexo-theme-icarus hexo-renderer-inferno

主题配置

1

hexo config theme icarus

上述命令可以生产配置文件_config.icarus.yml文件及样例配置文件。此时就可以按照http://ppoffice.github.io/hexo-theme-icarus/自定义主题，对不需要样式或者插件可以在配置文件中直接注释；可以参考样例配置文件_config.icarus.yml.example进行配置。

弧度和角度的关系

弧度是角的度量单位，单位缩写是rad。定义：弧长等于半径的弧，其所对的圆心角为1弧度。 根据定义可以知角度和弧度之间的关系。一周的弧度数为2πr/r = 2π，即弧度和角度关系是 2π rad= 360º

• 1 rad = 360º/2π = 57.3º
• 1º = 2π/360º = 0.01745 rad = 17.45 mrad

一些基本概念

• 白平衡 白平衡是通过对白色被摄物的颜色还原（产生纯白的色彩效果），进而达到其他物体色彩准确还原的一种数字图像色彩处理的计算方法。

• 黑体 黑体（Black body），是一个理想化的物体，它能够吸收外来的全部电磁辐射，并且不会有任何的反射与透射。换句话说，黑体对于任何波长的电磁波的吸收系数为1，透射系数为0。 物理学家以此作为热辐射研究的标准物体。它能够完全吸收外来的全部电磁辐射，并且不会有任何的反射与透射，这种物体就是绝对黑体，简称黑体。 在室温下，黑体辐射的能量集中在长波电磁辐射和远红外波段，当黑体温度到几百摄氏度之后，黑体开始发出可见光。
  黑体辐射出来的光线称为黑体辐射，黑体单位表面积的辐射功率P与其温度的四次方成正比，即： 式中称为斯特藩-玻尔兹曼常数，又称为斯特藩常数。

什么是SOA架构

企业范围内的应用程序或者服务开发的方法，目的是复用组件和服务。在SOA架构中每个服务（service）都会提供独立的代码和数据来实现特定的企业业务功能（business function）。各个服务之间是松藕荷的，提供接口通过企业总线（ESB）进行集成；从而减少服务更新导致的大量的集成工作；在这种架构下，如果服务出现问题仍会影响到关联的服务。

实践中XML数据是SOA架构重要的组成部分，基于XML的SOA应用程序可以构建web服务。在SOA架构出现在大约1990年代末，在此之前单体应用之间的集成是点对点集成，每增加一个应用都需要重新做开发和集成测试。

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.

Mathjax