K8S Kubernetes就不多说了，之前也说过很多次了，作为目前大家都在谈论的东西，肯定是极好的。接下来直接上正文部署吧，接下来的几篇部署文档都很简单，直接上配置。 Mysql部署 部署Mysql的前提是有K8s集群，之前有一篇已经详细写过如何测试部署K8s集群了，这里就不再多说。 NFS服务创建 这里不说了，大家可以自行搜索一下创建NFS存储服务，这里依赖的持久化就是NFS服务。 Mysql PV/PVC创建 Persistent Volume和Persistent Volume Claim，主要是管理服务持久化的存储资源Volume。这里我们先创建PV，再创建PVC，将两者绑定。 首先是mysql-pv.yaml kind: PersistentVolume apiVersion: v1 metadata: name: mysql-pv namespace: database spec: accessModes: - ReadWriteOnce capacity: storage: 1Gi persistentVolumeReclaimPolicy: Retain storag....

K8S部署Mysql(NFS持久化)

环境概述 一般再做数据工程时，除了数据流通流程啊，平台啊，剩下的就是做特征工程和分析。数据流通要说的还相对较多，这部分简单讲讲数据工程需要的环境。 环境准备 系统 不管是做特征处理，还是做数据分析，建模还是规则算法，基本都是需要Py的，另外可能很多人习惯用windows，不过我还是比较习惯linux，这里我选用的是centos7. Python3.7安装 在这里我需要在centos7上安装python3.7.5，步骤如下 安装编译工具 因为我们需要编译的方式安装python，提前安装相关依赖,以下命令逐条执行就可以。 yum -y groupinstall "Development tools" yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel yum install libffi-devel -y 下载安装包 我们选择直接去官网wge....

数据工程(二)：环境准备

概述 一般拿到这种需求的工程师,都是非常头疼的。因为啥呢，大部分需要提取关键词的数据，都是非常杂乱、毫无章法的。比如爬虫啊、数据结构化啊，都非常需要提取关键词这一步，我也是。。。哈哈，所以简单利用分词、词频分析啊乱七八糟的东西，简单写一个ｄｅｍｏ。当然，关键词重要与否，有效与否，是需要具体数据分析的，在这里就不详细说数据分析了，后面会详细写一篇文章讲一下。 关键词提取步骤 按照逻辑上的惯例，除非是人工标注，否则我们是很难提取到想要的信息的。但是人工标注，干过的人都知道，实在是太累了，而且效率极低。而且模板的提取方法是余弦聚类，我个人认为是效率比较低的一种方法。（当然我也这么干了一阵。。） 所以，开始使用特征语言处理ＮＬＰ一类的东西，去尝试做这一事项。 分词 分词没太多可说了，现在已经有很多比较成熟的分词库了，jieba之类的应用已经很广泛了。不过具体的还在分词的使用上，例如根据各个词性啊怎么组合啊，词频怎么推导啊乱七八糟的，这块不赘述了。 词频分析 这里我们可以直接调用jieba的cut去做分词，将每个词组合成的语料库矩阵做排列，拿到每个词的词频，在去做排序就可以了。不过这里的词频......

数据工程(一)

StreamSets介绍 StreamSets是最近兴起的ETL平台，它的特点是具有多样性的组件支持，可集成于CDH平台。最为吸引人的就是可视化的数据流通流程设置，多个pipelines的编写，RestApi形式的自动化支持，等等等等，当然选择使用它的最终理由还是因为支持的组件多。这一篇就简单来讲讲StreamSets的简单使用。 StreamSets部署 StreamSets的部署有很多形式，这里列举两个最方便的。 Docker-compose 这里我提供一份写好的docker-compose文件，如下 version: '3.1' services: streamsets: image: streamsets/datacollector restart: always ports: - "18630:18630" environment: HOST_IP: 0.0.0.0 volumes: - streamsets:/opt/steramsets - /data/mdt/data_hbase:/data/hbase volumes: streamsets: 这里把端口映射到了1......

数据ETL平台Streamsets简单应用

K8S-Dashboard 生产环境部署了K8S集群免不了需要监控每个pod的状态，每个service的状态，乱七八糟的状态，官方的Dashboard就可以来干这件事～～～ 环境准备 目前的环境就是docker，k8s乱七八糟的都准备了。因为我部署的是v1.17.0版本的k8s，官方暂时还没说稳定支持的dashboard版本，用的是2.0.8的beta版。 部署服务 因为我这里已经部署完了，好多镜像乱七八糟的还需要vpn拉啊什么的，我直接提供一份写好的yaml文件 apiVersion: v1 kind: Namespace metadata: name: kubernetes-dashboard --- apiVersion: v1 kind: ServiceAccount metadata: labels: k8s-app: kubernetes-dashboard name: kubernetes-dashboard namespace: kubernetes-dashboard --- kind: Service apiVersion: v1 metadata: label......

K8S部署Dashboard

K8S背景 其实道理大家都懂哈，基本搞过后端开发，用过docker，用过容器化技术，部署过服务的都接触过K8S，感觉上。哈哈，所以就简单说说。 K8S呢可以说是管理docker-container的车间，通过namespace隔离，可以将一组container组成的业务隔离开来。 同时，最为重要的，就是K8S的资源调度能力，不管是负载均衡啊乱七八糟的东西都非常好用。 废话不多说了，本篇简单说说单机部署的流程。 系统准备 本人用的是Ubuntu18，以下以此为例。 基础环境 docker 这个不用说了吧，K8S专门盘container的，肯定要这个。 关防火墙 sudo ufw disable 关防火墙这个一般还是需要的，看自己的需求吧。 关闭系统swap sudo swapoff -a 这个不关就等着报错吧 K8S环境 添加K8s安装密钥 先执行 sudo apt update && sudo apt install -y apt-transport-https curl 然后执行 curl -s https://mirrors.aliyun.com/kube....

单机版K8S部署(Ubuntu)