主页

gpt-fast 参考： https://github.com/pytorch-labs/gpt-fast https://pytorch.org/blog/accelerating-generative-ai-2/ https://mp.weixin.qq.com/s/QlpyjnkuNKGe_KP2Ut0Fgg 环境配置 git clone git@github.com:pytorch-labs/gpt-fast.git 官方没有指定，docker容器，选择拉取最新的pytorch/pytorch 验证环境符合要求 shm-size 需要设置大一些，否则torch.dymno 会有 no space left 报错 截至2024.1.16, gpt-fast 这种必...

背景 查看较大 json文件，vscode-ssh 太大也无法查看 解决 安装 yum install jq jq '.' filename.json | less 这里的 ‘.’ 是一个简单的 jq 过滤器，代表将整个输入JSON文件作为输出。 但是这样的话，失去了jq 自带的json 高亮，使用下面命令： jq -C '.' filename.json | less -R 这里的-C选项告诉jq输出颜色化的JSON，而less命令的-R选项则允许显示ANSI颜色转义序列。

nvidia-smi 技巧 查询nvlink互联拓扑： nvidia-smi topo -m 以下是几个例子 双卡1080ti，普通家用主板: yxc@hua-System-Product-Name:~$ nvidia-smi topo -m GPU0 GPU1 CPU Affinity NUMA Affinity GPU0 X PHB 0-11 N/A GPU1 PHB X 0-11 N/A Legend: X = Self SYS = Connection traversing PCIe as well as the SMP ...

HuggingFace模型调用 模型下载 可以从官网下载，出于国内网络连接问题，也可使用镜像网站（非官方）下载 镜像地址： https://aliendao.cn/ ， 用–repo_id指定对应模型的名称即可下载： $ pip install huggingface_hub $ wget http://61.133.217.142:20800/download/model_download.py # 比如下载THUDM/chatglm-6b $ python model_download.py --mirror --repo_id THUDM/chatglm-6b => 所有文件保存到dataroot/models/THUDM/chatglm-6b目录下 模型文件解...

模型 hidden_size num_heads size_per_head max_seqlen vocab_size num_layers bert 768 12 64 512 30522 12/24 chatGLM-6B 4096 32 128 2048 130528 28 chatGLM2-6B 4096 32 128 ...

背景 传输一些LLM的权重文件，很大，scp 总是丢包，想着打包再分成一个个2G的小数据包好传输 但是zip之后发现，zip压缩包无法直接split 拆分，tar.gz 反而可以 tar.gz 和zip 区别 tar.gz 可以用split 拆分成很多小包，zip不行 tar -czvf - opt-6.7b | split -b 1G - opt-6.7b cat opt-6.7b* > opt-6.7b.tar.gz 合并，直接cat > 即可 文件结构: tar（Tape Archive）最初是为了将文件打包到磁带备份系统中而设计的。tar 本身只打包文件和目录为一个单一的文件，不进行压缩。要进行压缩，通常会结合使用 gzip（.gz），bz...

问题： THC/THC.h: No such file or directory 配置老0.3.0 版本openpcdet 出问题 fatal error: THC/THC.h: No such file or directory 解决 pytorch在最新的版（1.11）本中将THC/THC.h 去除了，降级pytorch版本即可

docker 迁移记录 直接cp 到机械硬盘，然后再软链接即可 sudo service docker stop sudo cp -a /var/lib/docker /media/hdisk2/ sudo ln -fs /media/hdisk2/docker /var/lib/docker sudo service docker start 潜在问题，可能cp需要好久，暂时无解 参考 https://strikefreedom.top/archives/migrate-docker-installation-directory https://github.com/NVIDIA/TensorRT/tree/release/8.2#setting-up-the-...