StarRocks UDF 开发并测试

在线 Java 代码编译验证 文章内 Java 使用 chatgpt 开发 业务需求 starrocks 支持 udf 函数,可以参考 Github StarRocks/udf 参考该官方 UDF 文档 重构上述 StarRocks UDF 实现如下业务要求: transactions 表至少包含三列(uid

StarRocks Flat Json 物化列验证

0x00 概要 StarRocks 相关文档 https://docs.starrocks.io/zh/docs/using_starrocks/Flat_json/#%E4%BD%BF%E7%94%A8-flat-json 根据数据推算存储类型,使用 varchar、int、json 等不同类型存储 clickhouse 相关文档 https://clickhouse.com/blog/a-new-powerful-json-data-type-for-clickhouse 使用的 Dynamic 和 variant 两种形式存储 对该功能有如下

纸上谈兵-存算分离 FE 灾难恢复

0x00 概览 验证目标:验证存算分离集群灾难恢复步骤 测试环境: Minio S3 存储服务 StarRocks v3.3.4 Centos v7.9 总结: 可用于测试环境下(同 S3 协议)跨云迁移、FE 灾难恢复场景 任何生

HMS 服务上一些基础信息

获取表/分区最后变更时间 https://stackoverflow.com/questions/41468759/how-can-i-find-last-modified-timestamp-for-a-table-in-hive 1 2 3 4 time_column=`beeline --hivevar db=hiveDatabase --hivevar tab=hiveTable --silent=true --showHeader=false --outputformat=tsv2 -e 'show create table ${db}.${tab}' | egrep 'transient_lastDdlTime'` time_value=`echo $time_column | sed 's/[|,)]//g' | awk -F '=' '{print $2}' | sed "s/'//g"` tran_date=`date -d @$time_value +'%Y-%m-%d %H:%M:%S'` echo $tran_date Spark 介绍的 desc EXTENDED 语法 https://spark.apache.org/docs/3.0.0/sql-ref-syntax-aux-describe-table.html 获取表最后变更

Flink Connector 组件功能学习与测试

挑选安装版本跳过 下载 Flink 安装包 将 Flink Connector 放到 Flink/lib 目录中 配置 java 环境后,启动 Flink 单机服务 使用 Flink sql 链接该 Flink 服务,当客户端退出后任务失效 提交方式 任务执行方式 Flink

StarRocks BE 进程内存线程占用比例

通过访问 BeIP:8040/mem_tracker 获取当前 BE 进程内部各项内存项的瞬间使用。 大致如下图所示,以下各项工作可查看内存管理文档来了解各项指标的参数、百分比 或者通过以下方式

Docker - MySQL SSL & Binlog

0x00 init 测试要求:需要 MySQL 开启 SSL 与 ROW format Binlog 功能 0x01 Docker command // 忽略安装 docker-ce 步骤 搜索网络资料,使用以下命令方式启动:「Docker 指定 –ssl=1 参数时,docker 内已

TiDB - PD Region Merge 食草兽

0x00 开始 Region Merge 是否要开启 观察 pd dashboard 中 region health 中 empty-region-count 信息; 如该数值大于 store * 100 ,建议开启 Region Merge 如该数值大于 store * 1000 ,建议调整 Region Merge 阈值「或者检查是否开启了 Region Mer

九死一生 - 运维小技巧

0x00 陷入江局 回顾下前两篇文档 《纸上谈兵 - TiDB 性能调优》& 《沙盘点将 - TiDB 监控知识初始化》;处理问题的时候从总是一脸懵逼到偶尔无证懵逼;然后

TiDB - Backup/Restore 测试

0x00 BR Backup & Restore(以下简称 BR)是 TiDB 分布式备份恢复的命令行工具,用于对 TiDB 集群进行数据备份和恢复。相比 mydumper/loader,B

软件测试 - S3 协议与 minio

0x00 S3 S3(Amazon Simple Storage Service (Amazon S3))着重于简易性和稳健性的最小功能集【具体信息跳转到 亚马逊 S3 技术介绍页面】: 创建存储桶 – 创建和命名存储数据

TiDB - CDC RC1 测试

0x00 CDC 嗯,同场竞技 Binlog 与 CDC 组件 本页内容仅针对 v4.0.0-rc.1-25 版本,不对后续版本做任何预测性的评论 // 最终解释权归制图者 参考各种文档 官网文档 安装部署 Github Repo TiCDC Improve usability in cdc

TiDB - 4.0 版图分析

0x00 History TiDB 1.0 2017 年 10 月 16 日 TiDB 2.0 2018 年 4 月 27 日 TiDB 2.1 2018 年 11 月 30 日 TiDB 3.0 2019 年 6 月 28 日 TiDB 3.1 2020 年 4 月 16 日 TiDB 4.0 2020 年 5 月 28 日 0x01 4.0 没有故事可讲,看图吧 根据上一篇文档 TiDB

TiDB 4.0 -- keyvis-diagnostics

0x00 KeyVis 不介绍这个功能来历了,贴点资料大家看下开心阅读 Cloud Bigtable【官方提供多国语言】 Key Visualizer 概览 Key Visualizer 使用入门 Key Visualizer 探索热图 Key Visualizer 热图模式 Key Visualizer 指标