Redis 应该是我们比较常用的了吧，不管是缓存，还是消息队列，或者是快速查询的短存储，都经常用到。这篇主要是进行在K8S上进行Redis的主从部署。不讲太多了，大部分都是已经写好的配置文件，直接奉上。 Redis PV 首先创建Redis－ＰV，打算创建三个节点的主从，配置如下 redis-pv.yaml apiVersion: v1 kind: PersistentVolume metadata: name: pv-redis-sentinel-0 namespace: database spec: capacity: storage: 4Gi accessModes: - ReadWriteMany volumeMode: Filesystem persistentVolumeReclaimPolicy: Recycle storageClassName: "redis-sentinel-storage-class" nfs: # real share directory path: /data/nfs/redis-cluster/0 # nfs real ip server: ....

K8S Kubernetes就不多说了，之前也说过很多次了，作为目前大家都在谈论的东西，肯定是极好的。接下来直接上正文部署吧，接下来的几篇部署文档都很简单，直接上配置。 Mysql部署 部署Mysql的前提是有K8s集群，之前有一篇已经详细写过如何测试部署K8s集群了，这里就不再多说。 NFS服务创建 这里不说了，大家可以自行搜索一下创建NFS存储服务，这里依赖的持久化就是NFS服务。 Mysql PV/PVC创建 Persistent Volume和Persistent Volume Claim，主要是管理服务持久化的存储资源Volume。这里我们先创建PV，再创建PVC，将两者绑定。 首先是mysql-pv.yaml kind: PersistentVolume apiVersion: v1 metadata: name: mysql-pv namespace: database spec: accessModes: - ReadWriteOnce capacity: storage: 1Gi persistentVolumeReclaimPolicy: Retain storag....

环境概述 一般再做数据工程时，除了数据流通流程啊，平台啊，剩下的就是做特征工程和分析。数据流通要说的还相对较多，这部分简单讲讲数据工程需要的环境。 环境准备 系统 不管是做特征处理，还是做数据分析，建模还是规则算法，基本都是需要Py的，另外可能很多人习惯用windows，不过我还是比较习惯linux，这里我选用的是centos7. Python3.7安装 在这里我需要在centos7上安装python3.7.5，步骤如下 安装编译工具 因为我们需要编译的方式安装python，提前安装相关依赖,以下命令逐条执行就可以。 yum -y groupinstall "Development tools" yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel yum install libffi-devel -y 下载安装包 我们选择直接去官网wge....

概述 一般拿到这种需求的工程师,都是非常头疼的。因为啥呢，大部分需要提取关键词的数据，都是非常杂乱、毫无章法的。比如爬虫啊、数据结构化啊，都非常需要提取关键词这一步，我也是。。。哈哈，所以简单利用分词、词频分析啊乱七八糟的东西，简单写一个ｄｅｍｏ。当然，关键词重要与否，有效与否，是需要具体数据分析的，在这里就不详细说数据分析了，后面会详细写一篇文章讲一下。 关键词提取步骤 按照逻辑上的惯例，除非是人工标注，否则我们是很难提取到想要的信息的。但是人工标注，干过的人都知道，实在是太累了，而且效率极低。而且模板的提取方法是余弦聚类，我个人认为是效率比较低的一种方法。（当然我也这么干了一阵。。） 所以，开始使用特征语言处理ＮＬＰ一类的东西，去尝试做这一事项。 分词 分词没太多可说了，现在已经有很多比较成熟的分词库了，jieba之类的应用已经很广泛了。不过具体的还在分词的使用上，例如根据各个词性啊怎么组合啊，词频怎么推导啊乱七八糟的，这块不赘述了。 词频分析 这里我们可以直接调用jieba的cut去做分词，将每个词组合成的语料库矩阵做排列，拿到每个词的词频，在去做排序就可以了。不过这里的词频....

StreamSets介绍 StreamSets是最近兴起的ETL平台，它的特点是具有多样性的组件支持，可集成于CDH平台。最为吸引人的就是可视化的数据流通流程设置，多个pipelines的编写，RestApi形式的自动化支持，等等等等，当然选择使用它的最终理由还是因为支持的组件多。这一篇就简单来讲讲StreamSets的简单使用。 StreamSets部署 StreamSets的部署有很多形式，这里列举两个最方便的。 Docker-compose 这里我提供一份写好的docker-compose文件，如下 version: '3.1' services: streamsets: image: streamsets/datacollector restart: always ports: - "18630:18630" environment: HOST_IP: 0.0.0.0 volumes: - streamsets:/opt/steramsets - /data/mdt/data_hbase:/data/hbase volumes: streamsets: 这里把端口映射到了1....

K8S-Dashboard 生产环境部署了K8S集群免不了需要监控每个pod的状态，每个service的状态，乱七八糟的状态，官方的Dashboard就可以来干这件事～～～ 环境准备 目前的环境就是docker，k8s乱七八糟的都准备了。因为我部署的是v1.17.0版本的k8s，官方暂时还没说稳定支持的dashboard版本，用的是2.0.8的beta版。 部署服务 因为我这里已经部署完了，好多镜像乱七八糟的还需要vpn拉啊什么的，我直接提供一份写好的yaml文件 apiVersion: v1 kind: Namespace metadata: name: kubernetes-dashboard --- apiVersion: v1 kind: ServiceAccount metadata: labels: k8s-app: kubernetes-dashboard name: kubernetes-dashboard namespace: kubernetes-dashboard --- kind: Service apiVersion: v1 metadata: label....

K8S背景 其实道理大家都懂哈，基本搞过后端开发，用过docker，用过容器化技术，部署过服务的都接触过K8S，感觉上。哈哈，所以就简单说说。 K8S呢可以说是管理docker-container的车间，通过namespace隔离，可以将一组container组成的业务隔离开来。 同时，最为重要的，就是K8S的资源调度能力，不管是负载均衡啊乱七八糟的东西都非常好用。 废话不多说了，本篇简单说说单机部署的流程。 系统准备 本人用的是Ubuntu18，以下以此为例。 基础环境 docker 这个不用说了吧，K8S专门盘container的，肯定要这个。 关防火墙 sudo ufw disable 关防火墙这个一般还是需要的，看自己的需求吧。 关闭系统swap sudo swapoff -a 这个不关就等着报错吧 K8S环境 添加K8s安装密钥 先执行 sudo apt update && sudo apt install -y apt-transport-https curl 然后执行 curl -s https://mirrors.aliyun.com/kube....

前～～～ 本站目的是介绍一些基本应用，组件的组合应用就看每个人的理解了，文档也是很多的就不详细写了。每一篇基本都是基础应用，看文档应该是每个程序员的基本人生吧，感谢。 起步 本介绍的目的是方便大家来使用一些基本组件，爬数据不是目的，偷取别人的私密数据也是违规的，所以仁者见仁智者见智，大家搞一些爱好的基本分析还是可以的。 在爬一些简单数据的时候，一般会遇到几种问题，常见的呢就是：跨域、登录验证乱七八糟的，不过这些都和我今天说的方法没啥关系，因为今天用的是selenium库，也就是自动化web测试工具。一般用selenium做测试的比较多，在我们这里，使用他做一些其他有趣的事情。 环境 python3 的环境，这个就不说了 有了环境之后安装selenium包 pip3 install selenium -i https://pypi.doubanio.com/simple 老规矩还是豆瓣源，速度快 安装了库是无法使用的，我们还需要chromedriver这种浏览器驱动才行，fox或者chrome都支持，不过我习惯用chromedriver，这里都已chromedriver来举例了，反正也....

为啥要规划 也这么大人了,感受一下近年来的结婚气氛,有点承受不住啊,加上体重也增加了,得多方面的审视一下自己,立一些小Flag,不知道能不能实现了。 现状 体重 首先来看看近年来的体重变化吧，都是实际数据，因为最近在健身，简单的关注一下。 { "title" : { "text": "体重图", "subtext": "symoon" }, "tooltip" : { "trigger": "axis" }, "toolbox": { "show" : true, "feature" : { "mark" : {"show": true}, "dataView" : {"show": true, "readOnly": false}, "magicType" : {"show": true, "type": ["line", "bar"]}, "restore" : {"show": true}, "saveAsImage" : {"show": true} } }, "calculable" : true, "xAxis": { "type": "category", "data":....

Balabala 在写AGV调度的时候发现python的并发调度性能不是很高，并且会有很多调度线程挂掉的事件发生，所以想利用Go的高并发去做一些可行的调度，就想到了去写一个go版本的调度控制给py调用，由此，开始搞一个小demo记录一下 Go简单程序编写 安装Go语言 还是老规矩，用了ubuntu18的系统，以ubuntu18为主 先去下一下官网的包，我下的版本是go1.13.4.linux-amd64 下好之后随便解压个位置，比如 tar xf go1.13.4.linux-amd64.tar.gz -C /home/用户名/go 解压到/home/用户名/go文件夹下，需要配置全局变量 sudo vim ~/.bashrc 在最后一行加上两行配置 export GOPATH=/home/用户名/go export PATH=$GOPATH/bin:$PATH 就不多说了这俩。。 验证一下是否成功 go version 成功的话，返回如下 go version go1.13.4.linux-amd64 最简单程序编写 go程序编写就不多说了，文档也很多，就简单的写个返回字符....

背景 因为业务的原因，经常会需要快速启动具有某一方面特性的服务去进行功能测试，由此以来频繁复杂的部署会让人感到疲累。所以对于一些服务，我们最好还是使用docker来进行快速部署，以达到快速测试的目的。 Docker docker需知 在使用docker之前，先来看看docker的架构图，原理和干什么的就不详细解释了，那理解起来更浪费时间。 简单来说，就是把应用打包成镜像，然后再将多个应用集成出容器，然后容器可以直接跑服务这么个东西，哈不多说了 环境需要 在部署之前，我们需要配置好docker以及docker-compose 在这里使用的系统是ubuntu18 sudo apt install docker sudo apt install docker-compose docker服务会自动启动，不过因为网络的原因，最好还是把镜像源修改一下。 先找到daemon.json文件 sudo vim /etc/docker/daemon.json 添加如下内容: { "registry-mirrors":["https://zap5bzuu.mirror.aliyuncs.com"]....

FastApi(简介篇) 开篇 最近又抽空看了看开源的框架，由于近一年python使用的比较多，所以关注了一下python的web框架情况，其中一款官方称其为“One of the fastest Python frameworks available”的框架比较引人注目，刚看的时候并不是被性能方面的介绍吸引，而是他的集成docs，以下先来看一下框架自动生成的效果。 文档页面，集测试、文档功能于一体，还是比较好用的，哈哈。 趁热打铁再来看一下性能方面 fastapi稳居第一 看一下以往用的非常多的flask、django等都排在了后面。 FastApi简介 总结来说，就是快、好用、好看 快速启动FastApi应用 因为官方对python3.6表现出了很好的亲和力，那么我们在这也会使用python3.6进行构建。 因为我本人用的是Ubuntu18的系统，以下关于应用安装部分，以linux为准。 sudo apt-get install python3 这里关于python3的安装就不再赘述了，windows直接下载相关安装包即可。 接下来开始安装FastApi的库 pip3 ins....

1. public-blog JavaScript 🤩1  ⭐️1  🖖0 2. switchdjango Python 🤩0  ⭐️0  🖖0 3. myblog JavaScript 🤩0  ⭐️0  🖖0 4. room HTML 🤩0  ⭐️0  🖖0 5. webchat CSS 🤩0  ⭐️0  🖖0 6. Semantic_cspython 🤩0  ⭐️0  🖖0

又一次博客搭建 老实说已经搭过很多次的博客，也被攻击了很多次，希望这一次不要再搞我了老哥们，还搞？？太过分了，我又被勒索不起。。 为什么还是要搭博客 坚持不懈的写博客还是有两个点，第一还是为了记录一下过往的技术要点、踩过的坑。第二还是为自己的过去留点念想哈哈 希望这次不要搞我了，之前的博客数据全没了，哇擦的。