主页

nlohmann::json 的 MessagePack 的std::byte 特化修复记录

背景 最近在使用 nlohmann::json 库进行 MessagePack 反序列化时,遇到编译错误。问题出现在 AppleClang(Xcode 16.3 自带)环境下,提示: D:\a\power-grid-model\power-grid-model\tests\native_api_tests\test_api_serialization.cpp(18): error C3856: 'char_traits': symbol is not a class template D:\a\power-grid-model\power-grid-model\tests\native_api_tests\test_api_serialization.cpp(18): error ...

阅读更多

.pyx 文件

最近在参与 tilelang 项目开发时,我提了一个 PR #267,遇到了需要修改.pyx 的情况 起因:py 修改 这个pr主要是修复非CUDA环境的编译问题,找到问题的 parser.py 进行了提交,但是reviwer 提了 You should also update parser.pyx accordingly. 我当时一愣:.pyx?这不是编译后的产物吗?为什么还要改?我一度以为这类似 .pyc 或 .so 文件,是由某些构建流程生成的 .pyx 文件并不是编译产物! 我很快发现,.pyx 实际上是 Cython 的源代码文件,和 .py 作用类似,但它允许使用 C 语言扩展语法,最终会被编译成 C,再生成 .so 或 .pyd 扩展模块。 简单...

阅读更多

LLaMA Factory 训练中 SDPA 引发 grad_norm 为 NaN 问题解决

在使用 LLaMA Factory 进行模型训练时,问题:训练起步的时候梯度范数(grad_norm)显示为 NaN。相关的日志输出: /usr/local/lib/python3.12/dist-packages/torch/autograd/graph.py:825: UserWarning: cuDNN SDPA backward got grad_output.strides() != output.strides(), attempting to materialize a grad_output with matching strides... (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/nati...

阅读更多

prime_server:基于ZeroMQ的高性能分布式服务框架

介绍 从Valhalla项目发现了一个非常有趣的服务器库—prime_server,这是一个基于ZeroMQ构建的非阻塞式web服务器API,专为分布式计算和面向服务架构(SOA)设计。 架构特点:蝴蝶模式 prime_server采用了ZeroMQ中的”蝴蝶模式”(Butterfly Pattern)或”并行管道模式”(Parallel Pipeline Pattern)。这种设计模式在ZeroMQ教程中有详细描述。 基本架构如下: client <---> server ---> proxy <---> [worker pool] <---> proxy <---> [worker pool] <---> ...

阅读更多

基于AOF的Redis Migrate Tool

Redis Migrate Tool (RMT) 是唯品会(Vipshop)开发的一款高性能Redis数据迁移工具,支持多种Redis部署模式间的数据迁移,包括单实例、Twemproxy、Redis集群以及从RDB/AOF文件加载数据 RMT工具概述 RMT具有以下核心特性: 高速多线程迁移 基于Redis复制协议 在线迁移(源Redis可持续服务) 异构迁移(支持不同Redis部署模式间转换) 支持Twemproxy和Redis集群 迁移状态实时查看 数据验证机制 AOF迁移配置示例 AOF迁移的典型配置如下: [source] type: aof file servers: - /data/redis/appendonly1.aof -...

阅读更多

Redis 简单动态字符串(SDS)详解

Redis 中的字符串实现是一个被称为简单动态字符串(Simple Dynamic String, SDS)的抽象数据类型,它不仅是Redis字符串对象的底层实现,也是Redis内部几乎所有需要字符串表示的地方的基础数据结构。下面让我们深入了解SDS的设计与实现。 SDS(简单动态字符串)和前文讨论的Redis字符串对象是两个不同层次的概念,它们之间存在层次关系:SDS是Redis字符串对象的底层实现方式之一。 层次关系 Redis对象层:字符串对象(StringObject)是Redis的高层抽象,是一种redisObject结构 编码实现层:StringObject可以使用三种不同的编码方式(INT、EMBSTR、RAW) 底层数据结构:当使用EMBSTR或RAW...

阅读更多

Redis 字符串对象的极致优化(造轮子)

字符串的三种编码方式 Redis 字符串对象(robj)可以使用三种不同的编码方式存储: switch(encoding) { case REDIS_ENCODING_RAW: return "raw"; // 原始SDS case REDIS_ENCODING_INT: return "int"; // 整数 case REDIS_ENCODING_EMBSTR: return "embstr"; // 嵌入式字符串 // 其他编码... } 这三种编码各有特点: INT 编码:将字符串作为整数值直接存储 EMBSTR 编码:短字符串的优化存储方式 RAW 编码:常规字符串存储方式,适用于长字符串 ...

阅读更多

当我们在启动redis的时候,我们在启动什么

省流版本 main() server.c -> InitServer aeCreateEventLoop listenToPort -> aeMain() -> aeProcessEvents() -> aeApiPoll -> epoll gdb 调试环境 获取代码 使用redis-3.0-annotation版本的代码进行分析,这个版本带有详细的中文注释。 编译设置 首先编译Lua相关代码: cd deps/lua/src make linux 然后编译Redis,开启调试信息: make MALLOC=libc CFLAGS="-g -O0" -j 16 GDB调试 gdb ./redis-server b main...

阅读更多