Archinux配置Proxy

.bashrc文件中增加如下配置

1
2
3
4
5
export http_proxy= http://username:password@hostname:port/ 
export https_proxy=$http_proxy
export ftp_proxy=$http_proxy
export rsync_proxy=$http_proxy
export no_proxy="localhost,127.0.0.1,localaddress,.localdomain.com"

其中username和password是proxy账号和密码

如果Proxy中密码有是特殊字符需要进行转码,具体转换规则参考:https://baike.baidu.com/item/URL编码/3703727

阅读更多

一个基于华为云ServiceStage简单的CI/CD过程

ServiceStage中的概念

  • App:App中包含了不同的组件,在ServiceStage中𨈖一的应用组件是微服务组件;
  • 组件:组件能够独立实现特定功能,可独立开发、测试、运行以及部署;
  • 环境:部署App的一组计算、存储、网络基础设施合集,包括:VPC、ECS、CCE、CCI以及RDS、DSCS等,同一个环境内部网络是互通的;通常可以定义多种环境,例如:开发环境、测试环境、生产环境等。
阅读更多

纵横大数据主要观点(三)

什么是数据库联邦

作者引入了一个数据库“联邦”的概念,是为了避免和数据库“集群”概念混淆。关系型数据库联邦是数据库设计的一种架构:将一组互相独立的关系型数据库用网络连接起来协同工作,综合采用各种技术(分库分表、读写分离)以达到更强的数据管理与服务能力,提供更加的性能、更大的容量与更多的并发用户数。

一个联邦架构的数据系统需要提供以下关键服务

  1. 分布服务:确定由那个子数据库来执行相关的服务
  2. 协调服务:数据库节点之间交互数据处理,统一调度控制等
  3. 监控与管理服务:对分布式节点进行监控以及统一管理(例如节点升级、重启等)
  4. 消息服务:跨节点数据处理时需要用消息机制传递数据
阅读更多

纵横大数据主要观点(二)

分布式关系型数据库典型的架构

Share-Nothing

MPPDB一般都是此架构,主要是将数据拆分存储到不同的节点上,在各自节点上独立读写数据,正因为如此,此架构只适合OLAP业务,如果进行表关联操作时仍会进行网络节点之间的数据迁移与交换工作,同样的网络会成为MPPDB 水平扩展的瓶颈。TeraData目前最大商用规模大约600节点。

Share-Disk

典型的应用是Oracle RAC,不同于传统的HA架构,ShareDisk架构中的每个节点都是工作节点,独立处理业务。由于是ShareDisk架构,读写磁盘就会出现冲突,会产生大量的存储网络流量,通常存储网络的流量会因为数据库节点规模增加变成瓶颈

OLTP和OLAP 通常部署在两套系统中主要原因是数据库系统追求的高TPS,OLTP追求的是高并发、随机读写,要保持交易十五的ACID 特性,维护强大的数据库日志,目前实现OLTP单点能力(主机平台+高端IO存储)。OLAP追求的是批量操作、高并发读操作,技术上主要解决很好的分配与管理各种资源(即资源的精细化管理)。关于Join操作,跨表聚合操作,对于OLTP数据库需要大量的IO操作将表数据读取到内存进行操作;而MPP数据库本身就是根据某个键值对数据进行分布式存储,相当于提前为多表Join操作做了很多工作。OLTP通常是通过hash join进行优化,OLAP是通过分布式join。

阅读更多

纵横大数据主要观点

大数据时代企业数据特征

大数据时代企业大数据标为 **“大、 广、联”**特征,“大”指的是数据量大,“广”指的是数据涉及各类不同胸痛,不同类型大数据,例如:IoT数据、日志数据等,“联”指的是企业内外部数据关联、不同业务部门大数据关联。

数据处理大要求没有变化

大数据时代虽然数据量激增,但是企业对数据处理的要求没有变化,甚至要求更高。主要是要求高可靠、高负载、 低成本

阅读更多

在WSL2中安装Arch Linux

公司办公PC是Windows,日常又会使用到一些linux做一些实验性工作,今天无意间看到了在WSL安装Archlinux。记录了一下安装过程。

阅读更多