[LLM] GGUF 대신 MLX로: Hugging Face 모델을 MLX 8bit로 직접 변환하기
Apple Silicon Mac에서 LLM을 돌릴 때는 GGUF 대신 MLX 형식 모델을 쓰는 경우가 많다. 이름난 모델은 mlx-community가 대개 MLX로 바꿔 올려 두지만, 원하는 비트…
MLX
IT 엔지니어의 기록 — Mac, Python, 인프라, 자동매매
Apple Silicon Mac에서 LLM을 돌릴 때는 GGUF 대신 MLX 형식 모델을 쓰는 경우가 많다. 이름난 모델은 mlx-community가 대개 MLX로 바꿔 올려 두지만, 원하는 비트…