M5 Max 128GB로 3주 굴려본 결과 — Mac vs RTX 4090 로컬 LLM 실측 갈리기

About this offer

"맥에서 LLM 돌려도 돼요?" — M5 Max 128GB를 3주 굴리면서 NVIDIA 카드와 tok/s를 실측 비교했습니다. 결론부터: 목적에 따라 답이 정반대입니다. unified memory가 이기는 게임, 지는 게임 Mac의 unified memory(여기서는 128GB)는 GPU 전용 VRAM이 없어서 "메모리 용량"은 압도적입니다. 대신 대역폭이 발목을 잡습니다. M5 Max 측정 대역폭은 546GB/s, RTX 4090은 1,008GB/s — 추론 속도는 대역폭에 비례합니다. 그래서 갈립니다: 큰 모델 1개, 혼자 쓰기 → Mac 압승 (4090에는 안 올라가는 게 맥에는 올라감) 작은 모델 빠르게, 배치 처리 → NVIDIA 압승 (동일 모델 2~4배 빠름) 실측 비교표 (2026년 10월) 모델 M5 Max MLX RTX 4090 (추정) 비고 llama3.1:8b 100.8 tok/s ~190 tok/s 4090 2배 gpt-oss:20b 102.9 tok/s ~150 tok/s 4090 우위, VRAM 13GB 양쪽 큼 qwen3-coder:30b 146.2 tok/s ~95 tok/s (18GB, offload 없음) MoE 아키텍처라 맥 강세 deepseek-r1:70b 10.3 tok/s 구동 불가 (43GB) 여기서 게임 체인지 qwen3.8-flash-next:125b 59.0 tok/s (MLX) 4장 필요 128GB의 존재 이유 M5 Max 수치는 실측, 4090은 메모리 대역폭 비율 + 공개 벤치마크 보정 추정치입니다. TTFT 함정 토큰/초만 비교하면 안 됩니다. 컨텍스트를 채워서 VRAM을 넘기면: 모델 VRAM TTFT (빈 컨텍스트 → 8K 채움) llama3.1:8b 4.9GB 0.1s → 0.1s (안전) gpt-oss:20b 13GB 14.2s → 그 이상 qwen3.6:35b-a3b 23GB 25.5s (오프로드 진행 중) deepseek-r1:8b 5.2GB 44.4s (양자화 오버헤드) Mac은 오프로드가 macOS 스왑으로 조용히 진행돼서 "되긴 하는데 체감 불가" 상태가 됩니다. TTFT로 확인하세요. 전기세로 보는 총비용 M5 Max 풀로드 ~90W vs 4090 시스템 ~650W. 하루 8시간, 24개월 돌리면: Mac: 약 209kWh → 전기세 약 4.5만원 4090: 약 1,517kWh → 전기세 약 33만원 (카드 열 처리용 에어컨 추가) Mac이 비싼 카드값을 2년 안에 일부 회수합니다. 결론: 누구에게 뭐가 맞나 코딩 어시스턴트 1인, 상시 가동 → Mac (qwen3-coder:30b가 146 tok/s로 충분, 전기세 절반 이하) 70B 이상 실험, 단일 카드 예산 제한 → Mac unified memory가 유일한 답 (70B가 43GB로 128GB에 여유) 8B~20B 빠른 응답, 파인튜닝, 배치 → RTX 3090/4090 중고 (GB당 86,500원, 속도 2배) 둘 다 필요 → 3090 중고 + 미니맥 조합이 5090보다 싸고 유연 전체 16모델 실측표와 카드별 적합 판정: VRAM Fit Matrix

Offer details

Provider

velog

Source

velog-rss

Score

54.39

Confidence

49%