相关文章
记录一次架构优化处理性能从3千->3万
0.背景
优化Kafka消费入Es,适配600台设备上报数据,吞吐量到达2万每秒
1.环境配置 2.压测工具 3.未优化之前的消费逻辑 4.优化之后的消费流程 5.多线程多ESclient 6.修改ES配置,增加kafka分区,增加线程,提升吞吐量 7.…
建站知识
2024/7/7 23:15:02
StarRocks实战——携程酒店实时数仓
目录
一、实时数仓
二、实时数仓架构介绍
2.1 Lambda架构
2.2 Kappa架构
三、携程酒店实时数仓架构
3.1 架构选型
3.2 实时计算引擎选型
3.3 OLAP选型
四、携程酒店实时订单
4.1 数据源
4.2 ETL数据处理
4.3 应用效果
4.4 总结 原文大佬的这篇实时数仓建设案例有借…
建站知识
2024/7/6 9:10:01
02、MongoDB -- MongoDB 的安全配置(创建用户、设置用户权限、启动安全控制、操作数据库命令演示、mongodb 的帮助系统介绍)
目录 MongoDB 的安全配置演示前准备:启动 mongodb 服务器 和 客户端 :1、启动单机模式的 mongodb 服务器2、启动 mongodb 的客户端 MongoDB 的安全配置启动演示用到的 mongodb 服务器 和 客户端启动单机模式的 mongodb 服务器:启动 mongodb 的…
建站知识
2024/7/7 8:21:32
Python科学计算源头:数组详解
文章目录 基础调整形状二元计算数组索引 基础
numpy是python中最常用的科学计算包,而数组则是是numpy的核心类型,也是Python称为科学计算领域首选语言的关键类型,可以不夸张地说,正是数组类型的强大与易用性,筑就了Py…
建站知识
2024/7/5 11:41:14
switch开关语句
定义 单条件多分支的开关语句。 格式定义
switch(表达式) { case 常量值1: 若干个语句 break; ... case 常量值n: 若干个语句 break; default: 若干语句 } ★注意★:
① 表达式的值必须与int兼容类型: byte,short,intÿ…
建站知识
2024/7/6 19:42:39
企微hook源码第二弹
免费的企微框架,可下载测试。
支持文本消息,图片消息,视频消息,文件消息。
有兴趣可以进群交流。649480745,群内不定期开源企微hook源码
接下来就是第二弹的企微hook源码。后续会在群内开源完整源码。
建站知识
2024/7/6 8:00:39
kafka文件存储机制和消费者
1.broker文件存储机制 去查看真正的存储文件:
在/opt/module/kafka/datas/ 路径下 kafka-run-class.sh kafka.tools.DumpLogSegments --files ./00000000000000000000.index 如果是6415那么这个会存储在563的log文件之中,因为介于6410和10090之间。
2.…
建站知识
2024/6/30 11:21:31