主页

模型 hidden_size num_heads size_per_head max_seqlen vocab_size num_layers bert 768 12 64 512 30522 12/24 chatGLM-6B 4096 32 128 2048 130528 28 chatGLM2-6B 4096 32 128 ...

背景 传输一些LLM的权重文件，很大，scp 总是丢包，想着打包再分成一个个2G的小数据包好传输 但是zip之后发现，zip压缩包无法直接split 拆分，tar.gz 反而可以 tar.gz 和zip 区别 tar.gz 可以用split 拆分成很多小包，zip不行 tar -czvf - opt-6.7b | split -b 1G - opt-6.7b cat opt-6.7b* > opt-6.7b.tar.gz 合并，直接cat > 即可 文件结构: tar（Tape Archive）最初是为了将文件打包到磁带备份系统中而设计的。tar 本身只打包文件和目录为一个单一的文件，不进行压缩。要进行压缩，通常会结合使用 gzip（.gz），bz...

问题： THC/THC.h: No such file or directory 配置老0.3.0 版本openpcdet 出问题 fatal error: THC/THC.h: No such file or directory 解决 pytorch在最新的版（1.11）本中将THC/THC.h 去除了，降级pytorch版本即可

docker 迁移记录 直接cp 到机械硬盘，然后再软链接即可 sudo service docker stop sudo cp -a /var/lib/docker /media/hdisk2/ sudo ln -fs /media/hdisk2/docker /var/lib/docker sudo service docker start 潜在问题，可能cp需要好久，暂时无解 参考 https://strikefreedom.top/archives/migrate-docker-installation-directory https://github.com/NVIDIA/TensorRT/tree/release/8.2#setting-up-the-...

修改dockerfile 用国内源： 替换ubuntu源： RUN sed -i 's/http:\/\/archive.ubuntu.com/http:\/\/mirrors.tuna.tsinghua.edu.cn\/ubuntu/g' /etc/apt/sources.list 替换pip源 RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

实验室服务器上，docker一直走不了代理，proxy 也排查了，设置也走lan了， clash换到v2ray，都不行 后来发现是防护墙屏蔽了docker的网 解决 # 开放docker内容器的访问权限 ufw allow from 172.17.0.1/24 # 刷新防火墙配置 ufw reload

docker 部署 v2ray 客户端 docker pull v2ray/official mkdir /etc/v2ray mkdir /var/log/v2ray vi /etc/v2ray/config.json 这个json可以从gui的客户端比如win的客户端里直接转换出来 config.json中的，记得把listen参数进行修改. “listen”:”127.0.0.1”, 确保是 “0.0.0.0”或者删除这一行. 运行 docker run \ --restart=always \ --name=v2ray \ -v /etc/v2ray/:/etc/v2ray/ \ -v /var/log/v2ray:/var/log/v2ray \ -...

安装debian12，自带桌面环境，但是自带休眠 禁止debian 休眠 执行： sudo systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target Created symlink /etc/systemd/system/sleep.target → /dev/null. Created symlink /etc/systemd/system/suspend.target → /dev/null. Created symlink /etc/systemd/system/hibernate.target → /dev/null. Created symlink /etc/syst...