AIGeekNews··원문 약 5분
Show GN: 로컬 AI머신을 구입하기 전에 성능을 미리 예측할 수 있는 웹앱
안녕하세요, LLM 에 대해 공부하면서 로컬 인퍼런스를 위해 장비를 구매하고자 했는데, "어느 스펙까지 맞춰야 DeepSeek 를 원활하게 돌릴지" 같은 질문에 매번 손으로 계산하는 것이 귀찮더라고요.
핵심 요약
자동 요약- 1안녕하세요, LLM 에 대해 공부하면서 로컬 인퍼런스를 위해 장비를 구매하고자 했는데, "어느 스펙까지 맞춰야 DeepSeek 를 원활하게 돌릴지" 같은 질문에…
- 2그래서 Claude와 함께 장비의 스펙과 모델을 입력하면 prefill/decode TPS를 예측할 수 있는 시뮬레이션 웹앱을 개발했습니다.
- 3초기 모델링은 간단하게 디코드는 memory bandwidth, 프리필은 FLOPS 로 계산했었는데, 하는 김에 좀 더 고도화 시켜서 layer별 연산 특성과,…
전체 내용이 궁금하다면
GeekNews 원문에서 이어 읽기
