iMasters

Transformers passa a rodar quantizados GGUF do llama.cpp nativamente

Hugging Face integra kernels do llama.cpp ao transformers: GGUF carrega com from_pretrained, roda em Mac e mantém toda a API do PyTorch. Veja o trade-off.