K8s 위에서 만난 NPU: NuFi로 풀어낸 이기종 디바이스 확장성
1. 도입: 공식 지원을 넘어선 진정한 인프라 확장성 K8s 위에서 만난 NPU: NuFi로 풀어낸 Furiosa RNGD 통합과 성능 검증1. 도입: AI 하드웨어 관리의 복잡성을 풀다
#GPU
GTX,RTX 그래픽카드로 구성된 쿠버네티스 클러스터에 Nvidia DCGM Exporter 사용하기
클러스터,클라우드 운영에 있어서 가장 중요한 것 중 하나는 가용자원 모니터링이 아닐까 생각합니다. 쿠버네티스 클러스터 내의 CPU,Memory의 사용량은 kubectl descirbe 명령어와 kubectl top 명령어를
Nvidia TensorRT
기본 정보 https://github.com/NVIDIA/tensorrt-inference-server r19.12 branch Installing the Server # sudo apt install software-properties-common autoconf \\\\ # automake build-essential cmake git libgoogle-glog0v5 libre2-dev \\\\ # libssl-dev