Spark简介

Spark是一个大数据处理框架，可以进行分片计算和并行计算。和MapReduce相比，计算速度更快，编程模型更简单易用。
当需要处理的数据量超过了单机尺度（比如我们的计算机有4GB的内存，而我们需要处理100GB以上的数据），这时我们可以选择spark集群进行计算。
有时我们可能需要处理的数据量并不大，但是计算很复杂，需要大量的时间，这时我们也可以选择利用spark集群强大的计算资源，并行化地计算。

详情参考：

• 一文详解Spark基本架构原理
• 一文带你了解 Spark 架构设计与原理思想

Argo CD是啥？

What Is Argo CD? Argo CD is a declarative, GitOps continuous delivery tool for Kubernetes.
Why Argo CD? Application definitions, configurations, and environments should be declarative and version controlled. Application deployment and lifecycle management should be automated, auditable, and easy to understand.

Argo CD是什么？Argo CD是一个声明式的基于GitOps的用于K8S的持续交付工具。
为什么要使用Argo CD？应用定义、配置和环境都应该被声明和版本控制。应用部署和生命周期管理都应该是自动的、可审计的、易理解的。

Argo CD 遵循 GitOps 模式，使用 Git 仓库作为定义所需应用程序状态的真实来源，Argo CD 支持多种 Kubernetes 清单：

• kustomize
• helm charts
• ksonnet applications
• jsonnet files
• Plain directory of YAML/json manifests
• Any custom config management tool configured as a config management plugin
  Argo CD 可在指定的目标环境中自动部署所需的应用程序状态，应用程序部署可以在 Git 提交时跟踪对分支、标签的更新，或固定到清单的指定版本。

参考文档：

• Argo CD官方文档
• Argo CD

问题描述

gitlab CI任务，拉基础镜像的时候报错no space left on device：

1

failed to register layer: Error processing tar file(exit status 1): write /root/miniconda3/envs/cv/lib/python3.7/site-packages/xxx.so: no space left on device

GitLab CI/CD是啥？

CI，CONTINUOUS INTEGRATION，持续集成。简单来说就是自动化构建和测试。
一个应用程序的代码存储在Git仓库中。开发人员推送的每个更改，甚至是开发分支，都可以通过一组脚本来自动地构建和测试。这些测试可确保更改通过您为应用程序建立的所有测试、指南和代码合规性标准。

CD，CONTINUOUS DELIVERY，持续交付。简单来说就是自动化构建和测试+支持手动触发部署。
每次将代码更改推送到代码库时，不仅会自动构建和测试应用程序，还支持一键部署应用程序，这里的部署需要手动触发。

CD，CONTINUOUS DEPLOYMENT，持续部署。简单来说就是自动化构建和测试+自动部署。
持续部署类似于持续交付，不同之处在于，不是手动触发部署应用程序，而是将其设置为自动部署。

而GitLab CI/CD，就是一种支持在GitLab中配置使用持续集成、持续交付和持续部署的工具。GitLab CI/CD通过使用YAML文件定义作业流程和流水线（pipelines），可实现复杂的应用程序的自动化构建和部署。

参考文档：

• GitLab CI/CD Document
• GitLab CI/CD 中文文档
• CI/CD 概念
• 详解CI、CD & CD
• 什么是 CI/CD？
• Deployment environment

ClickHouse简介

ClickHouse 是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。

参考文档：

• GitHub - ClickHouse
• 什么是ClickHouse？
• ClickHouse深度揭秘