Get busy living

ELK 组件部署（Elasticsearch / Logstash / Kibana / Filebeat）

发表于 2022-05-13 分类于 bigdata

逐个部署 Elasticsearch、Kibana、Logstash 与 Filebeat，含内核调优、插件用法与写入索引的联调验证。

发表于 2022-05-12 分类于 bigdata

在 Hadoop 集群上安装部署 Kafka 并验证收发消息，含使用 MirrorMaker 实现跨集群数据同步。

发表于 2022-05-10 分类于 bigdata

部署 Flink on YARN，演示 Session-Cluster 与 Per-Job-Cluster 两种运行模式及类加载顺序等问题处理。

发表于 2022-05-02 分类于 bigdata

部署 Spark 并演示 local 与 Spark on YARN 的 client、cluster 模式，含自定义 Python 环境与 Hive 集成。

发表于 2022-05-01 分类于 bigdata

在 Hadoop 完全分布式集群上安装、启动并验证 HBase，配置 master 与 RegionServer 角色。

发表于 2022-04-22 分类于 bigdata

在 Hadoop 集群上安装配置 Hive，演示 JDBC 访问方式，并将执行引擎从 MapReduce 切换为 Tez。

发表于 2022-04-07 分类于 linux

介绍 CentOS 下用 ip 命令设置临时地址，并通过 NetworkManager 配置文件设定静态 IP、DNS 及重载网卡

发表于 2022-02-23 分类于 linux

记录一次 Linux LVM 扩缩容实践，讲解 pv、vg、lv 概念，新建与扩容逻辑卷、调整分区及缩减 home 扩充根目录

发表于 2022-02-20 分类于 bigdata

梳理 Hadoop 核心概念，给出 Ambari 向导与手动两套部署流程，并附 JDK 11 升级与常见故障处理，并汇总 HDFS 常用 Shell 操作。

发表于 2021-11-11 分类于 airflow

介绍 Airflow 架构与 docker-compose 部署，网页、命令行与 API 操作，并用测试 DAG 演示 XCom、变量、重试与 Sensor 写法。