大数据时代企业数据特征

大数据时代企业大数据标为 “大、 广、联”特征，“大”指的是数据量大，“广”指的是数据涉及各类不同胸痛，不同类型大数据，例如：IoT数据、日志数据等，“联”指的是企业内外部数据关联、不同业务部门大数据关联。

数据处理大要求没有变化

大数据时代虽然数据量激增，但是企业对数据处理的要求没有变化，甚至要求更高。主要是要求高可靠、高负载、 低成本。

公司办公PC是Windows，日常又会使用到一些linux做一些实验性工作，今天无意间看到了在WSL安装Archlinux。记录了一下安装过程。

安装Archlinux时如果使用英文界面安装，安装成功后，即使设置了中文语言KDE仍有关机界面、应用程序菜单仍有英文。可以参考：https://wiki.archlinux.org/title/Localization/Simplified_Chinese设置。

一个典型的混合云弹性伸缩架构

安装fcitx5以及中文输入法

1
2
3

sudo pacman -S fcitx5-im
sudo pacman -S fcitx5-chinese-addons
sudo pacman -S fcitx5-rime

Manjaro下没有grub-customizer，可以通过编译源码安装安装。再使用grub-customizer修改grub菜单。

这个方法是从archlinux build源手工安装软件。首先需要安装基础的软件包，再下载源编译和安装。

使用markdown + marp或者markdown + revealjs可以写PPT。使文档写作过程只专注于写作本身而不是各种格式。其实第一次还是要将常用的格式做好调试（主要是写一些常用的css文件自定义样式），后续则可以在markdown->html/PDF/docx/pptx/ebook间随意转换了。

以下主要记录几个常用命令，完整的pandoc手册可以参考：https://pandoc.org/MANUAL.html

• markdown 2 pptx pandoc mark.md -o mark.pptx --reference-doc=template.potx

• mardown 2 revealjs pandoc -t revealjs mark.md -o mark.html --self-contained -V revealjs-url=./reveal.js/ --css=custom.css

-t 参数还可以设置成s5, slidy, slideous, dzslides; -V revealjs-url 可以制定本地目录reveal.js, 将https://github.com/hakimel/reveal.js下载本地即可; -css 可以制定css附件，通过定制css文件可以调整显示样式。

• 对于revealjs可以在文件中设置width和height调整显示大小
  • markdown文件示例文件如下：

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

  --- title: 使用pandoc生成PPT常用命令 theme: white width: 1920 height: 1280 author: - author date: 2021-09-14 --- # markdown2pptx `pandoc mark.md -o mark.pptx --reference-doc=template.potx` --- # markdown2revealjs `pandoc -t revealjs mark.md -o mark.html --self-contained -V revealjs-url=./reveal.js/ --css=custom.css`

  • css文件示例

  1 2 3

  .reveal h1{ color:olivedrab }

在Manjaro系统中不能直接通过ibus-setup设置ibus-rime显示模式为水平模式（可能是Manjaro的bug）只能设置字体和文字大小。可以通过直接修改ibus-rime配置文件配置想要的显示方式。

ibus-rime的配置文件默认在~/.config/ibus/rime/build/目录下，直接将horizontal配置项修改成true即可。

其他的ibus配置可以参考https://wiki.archlinux.org/title/IBus

由于大家都知道到原因，国内无法直接访问gcr.io和quay.io很多Kubernetes相关镜像无法从国内下载，网上很多大神也给出了薅aliyun羊毛的方案，我自己也试了几次也总是不能成功，使用aliyun提供minikube的版本也总是无法启动ingress。

通过查看启动ingress失败的POD信息发现是无法下载使用到镜像，于是按照网络指导按照如下步骤提前下载镜像到minikube节点，再启动ingress即可成功，具体操作如下：

• 查询minikube版本对应的ingress镜像版本 使用kubectl get po -A查询ingress对应POD

  1 2 3 4 5 6 7 8 9 10 11 12 13

  kubectl get po -A NAMESPACE NAME READY STATUS RESTARTS AGE kube-system coredns-546565776c-xgggd 1/1 Running 0 27m kube-system etcd-minikube 1/1 Running 0 27m kube-system ingress-nginx-admission-create-d9dtl 0/1 Completed 0 28s kube-system ingress-nginx-admission-patch-x67q7 0/1 Completed 1 28s kube-system ingress-nginx-controller-7bb4c67d67-hp5c7 0/1 ContainerCreating 0 28s kube-system kube-apiserver-minikube 1/1 Running 0 27m kube-system kube-controller-manager-minikube 1/1 Running 0 27m kube-system kube-proxy-7wbct 1/1 Running 0 27m kube-system kube-scheduler-minikube 1/1 Running 0 27m kube-system storage-provisioner 1/1 Running 0 27m

  其中名字中包含ingress就是启动ingress新建到POD。

  再使用kubectl describe po ingress-nginx-xxx --namespace kube-system查询具体的失败信息，即可查询到失败原因为：获取镜像失败/超时。由于minikube 1.12.0版本以上的ingress镜像目前在阿里云上也无法下载，我们将minikube的版本切换到1.12.0版本，此时查询到的ingress插件依赖镜像信息如下：

  1 2	quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.32.0 jettech/kube-webhook-certgen:v1.2.0

• 手动安装ingress镜像 使用minikube ssh登录到minikube的节点上，再动过docker命令手工pull镜像。

  1 2 3

  docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:0.32.0 docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:0.32.0 quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.32.0 docker pull jettech/kube-webhook-certgen:v1.2.0

  quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.32.0 镜像可以由aliyun的镜像替代，再重新Tag成原有镜像。

• 再次启用ingress 上述操作均成功以后可以再次启动ingress插件即可秒成功 ：）