借助 Tiny Corp 的新定制驱动程序，Nvidia RTX 5090 可在 macOS 上运行
Apple 多年前，Mac 和 Nvidia 结束了合作关系，Mac 用户因此失去了官方 GPU 支持。这实际上扼杀了该平台上的 CUDA，迫使开发人员和研究人员转向Apple 自己的 Metal 框架。.不过，来自 Tiny Corp 的新开源驱动程序终于解决了这一问题，将 Nvidia Blackwell 硬件重新带回了 macOS 生态系统。
该项目使用一个名为 Tiny GPU 的自定义内核扩展。它允许 RTX 5090 等外部 GPU 通过 Thunderbolt 5 或 USB4 直接连接Apple Silicon Mac。这本身就是技术上的一大飞跃，因为它完全避免了对虚拟机的需求。在 Alex Ziskind 的演示中，一台 RTX 5090与 Mac Mini M4 Pro 配对成功。亚马逊上 24GB/512GB 版本售价 1399 美元、 以下是我们的详细评测).
虽然连接稳定，但当前的软件栈仍处于早期阶段。驱动程序依赖于 Tiny Grad 编译器，而不是本地 Metal 或 CUDA 优化。这在繁重的计算任务中造成了性能差距。在运行Llama 3.1 8B 模型时时，该设置达到了每秒 7.48 个 token 的速度。亚历克斯说，虽然这在兼容性方面是一个很大的优势，但它仍然比金属上的原生 Llama CPP 慢，而后者在同等硬件上的速度几乎是原生 Llama CPP 的十倍。
无论如何，这个项目的真正价值在于其未来优化的潜力。目前的瓶颈不在于 Thunderbolt 5 电缆（它能高效处理模型重量传输），而在于自动生成内核的效率。对于简单的聊天界面来说，Blackwell 设置非常迅速，其 "time-to-first-token "速度是原生金属解决方案的三到四倍。
安装过程包括批准系统扩展和运行基于 Docker 的编译器管道。显然，它还不能取代简化的 Metal 工作流程，但它仍然是多年来第一个功能性的工作流程。
