Redis 应该是我们比较常用的了吧，不管是缓存，还是消息队列，或者是快速查询的短存储，都经常用到。这篇主要是进行在K8S上进行Redis的主从部署。不讲太多了，大部分都是已经写好的配置文件，直接奉上。 Redis PV 首先创建Redis－ＰV，打算创建三个节点的主从，配置如下 redis-pv.yaml apiVersion: v1 kind: PersistentVolume metadata: name: pv-redis-sentinel-0 namespace: database spec: capacity: storage: 4Gi accessModes: - ReadWriteMany volumeMode: Filesystem persistentVolumeReclaimPolicy: Recycle storageClassName: "redis-sentinel-storage-class" nfs: # real share directory path: /data/nfs/redis-cluster/0 # nfs real ip server: .... K8S部署Redis主从 k8s
K8S Kubernetes就不多说了，之前也说过很多次了，作为目前大家都在谈论的东西，肯定是极好的。接下来直接上正文部署吧，接下来的几篇部署文档都很简单，直接上配置。 Mysql部署 部署Mysql的前提是有K8s集群，之前有一篇已经详细写过如何测试部署K8s集群了，这里就不再多说。 NFS服务创建 这里不说了，大家可以自行搜索一下创建NFS存储服务，这里依赖的持久化就是NFS服务。 Mysql PV/PVC创建 Persistent Volume和Persistent Volume Claim，主要是管理服务持久化的存储资源Volume。这里我们先创建PV，再创建PVC，将两者绑定。 首先是mysql-pv.yaml kind: PersistentVolume apiVersion: v1 metadata: name: mysql-pv namespace: database spec: accessModes: - ReadWriteOnce capacity: storage: 1Gi persistentVolumeReclaimPolicy: Retain storag.... K8S部署Mysql(NFS持久化) K8S
StreamSets介绍 StreamSets是最近兴起的ETL平台，它的特点是具有多样性的组件支持，可集成于CDH平台。最为吸引人的就是可视化的数据流通流程设置，多个pipelines的编写，RestApi形式的自动化支持，等等等等，当然选择使用它的最终理由还是因为支持的组件多。这一篇就简单来讲讲StreamSets的简单使用。 StreamSets部署 StreamSets的部署有很多形式，这里列举两个最方便的。 Docker-compose 这里我提供一份写好的docker-compose文件，如下 version: '3.1' services: streamsets: image: streamsets/datacollector restart: always ports: - "18630:18630" environment: HOST_IP: 0.0.0.0 volumes: - streamsets:/opt/steramsets - /data/mdt/data_hbase:/data/hbase volumes: streamsets: 这里把端口映射到了1...... 数据ETL平台Streamsets简单应用 Docker
K8S-Dashboard 生产环境部署了K8S集群免不了需要监控每个pod的状态，每个service的状态，乱七八糟的状态，官方的Dashboard就可以来干这件事～～～ 环境准备 目前的环境就是docker，k8s乱七八糟的都准备了。因为我部署的是v1.17.0版本的k8s，官方暂时还没说稳定支持的dashboard版本，用的是2.0.8的beta版。 部署服务 因为我这里已经部署完了，好多镜像乱七八糟的还需要vpn拉啊什么的，我直接提供一份写好的yaml文件 apiVersion: v1 kind: Namespace metadata: name: kubernetes-dashboard --- apiVersion: v1 kind: ServiceAccount metadata: labels: k8s-app: kubernetes-dashboard name: kubernetes-dashboard namespace: kubernetes-dashboard --- kind: Service apiVersion: v1 metadata: label...... K8S部署Dashboard Docker
K8S背景 其实道理大家都懂哈，基本搞过后端开发，用过docker，用过容器化技术，部署过服务的都接触过K8S，感觉上。哈哈，所以就简单说说。 K8S呢可以说是管理docker-container的车间，通过namespace隔离，可以将一组container组成的业务隔离开来。 同时，最为重要的，就是K8S的资源调度能力，不管是负载均衡啊乱七八糟的东西都非常好用。 废话不多说了，本篇简单说说单机部署的流程。 系统准备 本人用的是Ubuntu18，以下以此为例。 基础环境 docker 这个不用说了吧，K8S专门盘container的，肯定要这个。 关防火墙 sudo ufw disable 关防火墙这个一般还是需要的，看自己的需求吧。 关闭系统swap sudo swapoff -a 这个不关就等着报错吧 K8S环境 添加K8s安装密钥 先执行 sudo apt update && sudo apt install -y apt-transport-https curl 然后执行 curl -s https://mirrors.aliyun.com/kube.... 单机版K8S部署(Ubuntu) Docker
symoon笔记