一个专注于技术分享的博客
- 🚀 记录开发经验和技术心得
- 📝 分享实用工具和最佳实践
- 🔧 探索新技术和解决方案
一个专注于技术分享的博客

Qwen3.8-27B 是大约 27B 的密集模型,混合了注意力和 Mamba。我们用 vLLM,在一张 64 GB 的 CMP170HX 上跑它的 W4A16。热态、短输出、24 路并发时,解码总吞吐是 992 tok/s,平均每路大约 54 tok/s。单路大约 94 到 129 tok/s。 ...

Qwen3.8-Flash-Next 大约是 125B 的 MoE。我们用 ElectroHobo 的 3bpw 方案,在一张 64 GB 的 CMP170HX 上跑它。热态、短输出、24 路并发时,解码总吞吐第一轮是 989 tok/s,第二轮是 1107 tok/s。单路大概 150 到 180 tok/s。 ...

欢迎 🎉 这是我的第一篇博客文章!感谢你访问我的网站。 关于这个博客 这个博客使用 Hugo 静态网站生成器搭建,具有以下特点: ✨ 简洁美观的设计 🚀 快速的加载速度 📱 响应式布局 🔍 全文搜索功能 🏷️ 标签和分类系统 技术栈 生成器: Hugo 主题: PaperMod 部署: GitHub Actions 构建后 rsync 到阿里云 服务器: Nginx SSL: Let’s Encrypt 接下来 我会在这里分享: ...

什么是 FRP? FRP (Fast Reverse Proxy) 是一个高性能的反向代理应用,可以帮助你将内网服务暴露到公网。 应用场景 🏠 家庭服务器远程访问 💼 办公网内部服务外网访问 🎮 游戏服务器端口映射 🌐 开发环境临时展示 架构说明 1 客户端 → 公网服务器(frps) → 内网服务器(frpc) → 本地服务 安装 FRP 服务端安装 1 2 3 4 5 6 7 8 # 下载 FRP wget https://github.com/fatedier/frp/releases/download/v0.61.1/frp_0.61.1_linux_amd64.tar.gz # 解压 tar -xzf frp_0.61.1_linux_amd64.tar.gz # 复制到系统目录 sudo cp frp_0.61.1_linux_amd64/frps /usr/local/bin/ 服务端配置 创建 /etc/frp/frps.toml: ...