Hexo图片两种处理方式

公共免费图床

可以将图片上传至图床,图床通常会提供CDN支持,提供更好的下载的速度。免费图床https://www.imgtp.com/

本地图片

使用本地图片国内下载速度较慢且需要注意图片保存的相对的路径。在不同也页面下需要保证都能够正常链接到。

使用hexo-image-link 插件,可以自动作为md链接和hexo链接的自动转换。

阅读更多

分布式数据库以及应用改造

分布式数据库

典型的分布式数据库及实现

  1. 增加分布式数据中间件(即在多个独立数据库实例前增加一个数据库中间件),由分布式数据库中间件实现分库分表,分布式SQL执行,分布式事务等。
  2. 内置分布式数据库中间件(将分布式数据库中间件作为分布式数据的一个组件)
  3. 不论是内置还是外置的数据库中间件都会接管数据库客户端和数据库服务之间的链接,一般会提供如下能力:
    1. 分库能力
    2. 分表能力
    3. 分布式事务(有限的分布式事务能力:Local、XA、Free/Base)
    4. 支持读写分离
    5. 兼容有限的数据库协议和客户端
    6. 支持水平扩展,(可选)提供前端负载均衡能力
阅读更多

大数据通用架构

Lambda架构

Lambda架构
  1. Lambda架构有三层,批处理层、速度层和服务层。
    1. 批处理层:批处理层是基于Hadoop生态,随着数据的更新会对所有数据进行重计算并将计算结果保存到NoSQL数据库中(如:electicalsearch、HBase、Redis、Hive等),提供批处理视图,批处理视图会整体批量更新;
    2. 速度层:由于批处理的机制导致延迟较大(天级/小时级),如果需要尽快的处理实时数据则需要提供单独的机制产生实时视图,通常只需要保存少量近期数据;
    3. 服务层:只会调用批处理视图和实时视图(汇总实时图和批处理视图),为应用系统提供查询服务;
  2. Lambda架构特点:
    1. 有批处理层、速度层和服务层三层;
    2. 所有数据最终都需要放在统一分布式存储上;
    3. 批处理层重新计算以后速度层的视图就可以丢弃;
    4. Lambda平台实现逻辑复杂(实时数据和批处理数据是两套处理)
阅读更多

数据治理到通用概念

华为云数据治理架构

华为云数据治理中心

数据集成

数据集成就是将不同到数据源到数据通过ETL工具集成到数据打数据管理系统中。一般由独立到数据集成数据集成工具完成。

  1. 数据集成工具 数据集成集群管理,需要新建一个数据集成的集群,通常是一个ETL工具(数据加载的工具集合)。
  2. 数据链接 是用数据集成集群集成数据是是需要建立源数据和目标数据之间的链接。新建连接(源数据链接和和目标数据链接);
  3. 新建作业 选在源和目标数据链接以及、数据库和表名称以及字段映射关系以及数据集成任务的执行参数
  4. 启动任务执行
阅读更多

在linxu上搭建miniconda和pyspark环境

下载安装miniconda

  • 下载miniconda
    从清华大学镜像站中下载miniconda,下载地址https://mirrors.bfsu.edu.cn/anaconda/miniconda/,下载Miniconda3-latest-Linux-x86_64.sh

  • 安装miniconda
    执行bash Miniconda3-latest-Linux-x86_64.sh 按照指引完成安装。
    安装时可以完成一次conda初始化,初始化脚本会在用户.bashrc中增加初始化操作。安装成功以后需要重新打开一次console,即可进入conda默认环境中。使用conda list可以查询默认环境中已经安装的包。

阅读更多

关系型数据库和MapReduce的差异

关系型数据库和MapReduce的差异

  1. OLAP关系型数据库SQL语义对表达复杂BI报表与分析要方便很多,开发人员使用MapReduce来模拟表达同样的效果SQL语义往往比较复杂;
  2. 关系型数据库的执行引擎,对SQL的执行有很多优化机制,例如执行路径优化、关联算法等,对于BI的处理和分析比较方便,而采用MapReduce则需要大量的开发工作,以及较强编程技能;
  3. 很多在SQL体系不适合实现数据处理需求(如:预测、高级聚类算法),在MapReduce中则比较容易实现;
  4. MapReduce扩展性比OLAP关系型数据库扩展性强,更适合大规模数据处理分析与工作;
  5. 在数据处理结果展示方面,很对BI工具都是基于关系型数据库,即使采用MapReduce实现数据处理分析工作,最终还是会导入到数据库中做展示。
阅读更多

纵横大数据主要观点(四)

经典DBMS的挑战

  1. 数据量与处理压力带来的扩展性的挑战,主要体现在:
    1. 企业的核心业务系统,应付用户并发量与数据量增长的压力越来越严重;
    2. 企业的业务分析系统应付数据处理强度与数据量增长的压力也越来越严重。
  2. 对多种数据类型管理以及弱模式管理需求满足。
  3. 主流关系型数据库应对现代数据管理需求的挑战的主要策略,主要分两种(基于分布式与并行技术解决方案架构):
    1. Share Disk:从名字上可以判断,主要是扩展了数据库计算能力,但是磁盘、网络IO依旧是瓶颈;典型产品Oracle RAC,实际项目中超过4个RAC节点OLTP的集群很少,当增加第一个RAC节点时数据库性能可以显著提升性能,增加更多节点数据库性能则不能线性增加,甚至可能出现多节点的数据库性能还不如单机性能(数据库主要性能瓶颈时磁盘IO瓶颈,在OLTP和OLAP都有可能发生,OLAP场景更多一些;节点数量增加并没有解决硬盘IO瓶颈,且增加节点导致的协调、控制等损耗更大)。
    2. Share Nothing :通过分片技术让每个节点上存储的数据都不相同,这样即可解决水平扩展中磁盘IO问题,典型产品TeraData,GreenPlum;这种架构下由于数据分散在不同节点,这种架构天然就不适合OLTP的场景(例如:表关联操作不得不进行节点间数据迁移工作)。Share Nothing架构基本上都用于OLAP场景。
阅读更多

Hexo+Github优化小结

本文主要是对Hexo+Github部署个人Blog遇到小问题的一个汇总,涉及到主题,Pages服务及网站加速。

主题选择

目前比较流行的next主题和icarus主题,这两个主题都具备一定的定制性和插件。个人更喜欢icarus主题,以下以icarus主题为例进行说明。

安装主题

执行如下命令可以安装icarus主题

1
npm install -S hexo-theme-icarus hexo-renderer-inferno

主题配置

1
hexo config theme icarus

上述命令可以生产配置文件_config.icarus.yml文件及样例配置文件。此时就可以按照http://ppoffice.github.io/hexo-theme-icarus/自定义主题,对不需要样式或者插件可以在配置文件中直接注释;可以参考样例配置文件_config.icarus.yml.example进行配置。

阅读更多

空间分辨率和视场角及其计算方式

弧度和角度的关系

弧度是角的度量单位,单位缩写是rad。定义:弧长等于半径的弧,其所对的圆心角为1弧度。 根据定义可以知角度和弧度之间的关系。一周的弧度数为2πr/r = 2π,即弧度和角度关系是 2π rad= 360º

  • 1 rad = 360º/2π = 57.3º
  • 1º = 2π/360º = 0.01745 rad = 17.45 mrad

阅读更多

什么是白平衡

一些基本概念

  • 白平衡 白平衡是通过对白色被摄物的颜色还原(产生纯白的色彩效果),进而达到其他物体色彩准确还原的一种数字图像色彩处理的计算方法。

  • 黑体 黑体(Black body),是一个理想化的物体,它能够吸收外来的全部电磁辐射,并且不会有任何的反射与透射。换句话说,黑体对于任何波长的电磁波的吸收系数为1,透射系数为0。 物理学家以此作为热辐射研究的标准物体。它能够完全吸收外来的全部电磁辐射,并且不会有任何的反射与透射,这种物体就是绝对黑体,简称黑体。 在室温下,黑体辐射的能量集中在长波电磁辐射和远红外波段,当黑体温度到几百摄氏度之后,黑体开始发出可见光。
    黑体辐射出来的光线称为黑体辐射,黑体单位表面积的辐射功率P与其温度的四次方成正比,即: 式中称为斯特藩-玻尔兹曼常数,又称为斯特藩常数。

阅读更多