Kubernetes 기반 NPU 서빙 플랫폼 구축
K8s Device Plugin 연동부터 Custom CRD(NpuDeploy) 개발, Istio 네트워크 구성, 그리고 vLLM을 활용한 고성능 추론 서비스 구축까지의 엔지니어링 경험을 공유합니다. 들어가며 LLM 서비스를 운영하다
#Kubernetes
Kubernetes에서 HTTPS 엔드포인트 생성하기
안녕하세요 nopro입니다. 이번엔 두다지에서 어떻게 https 엔드포인트를 생성하고 관리하고 있는지에 대해 다루려고 합니다. 많은 분들이 무료 https 인증서인 Let’s Encrypt를 사용하고 계실겁니다. 하지만 무료이기
GTX,RTX 그래픽카드로 구성된 쿠버네티스 클러스터에 Nvidia DCGM Exporter 사용하기
클러스터,클라우드 운영에 있어서 가장 중요한 것 중 하나는 가용자원 모니터링이 아닐까 생각합니다. 쿠버네티스 클러스터 내의 CPU,Memory의 사용량은 kubectl descirbe 명령어와 kubectl top 명령어를
Kubernetes Master IP 변경 이슈
의도치 않게 쿠버네티스 Master ip가 바뀌는 케이스가 생깁니다. (예를 들어 가산에서 설치하고 거제도에서 실행할 때?) 이렇게 되면 팟들이 프로비저닝할 노드를 찾을 수 없기 때문에 정상적으로
Service Account로 kubeconfig에 user 추가 및 권한 제어
kubectl를 통해 쿠버네티스 클러스터에 접근하는 사람이 꼭 관리자 한명인 것은 아니다. 관리자가 여러 명일 수도 있고 특정 namespace만을 담당하는 관리자나 읽기 권한만 있는 유저 등
KubeCon Europe 2019 (goddaji)
author: shhon categories: kubernetes Jun 7, 20 KubeCon Europe 2019에 참석했습니다. DAY 0 참석 동기 - 백문이 불여일견 2019년 상반기에 두다지는 **"2년 내에 쿠버네티스
GCE에 설치한 Kubernetes 클러스터 로컬 kubectl 접근 이슈
한줄요약내용 : 기구축된 쿠버네티스 클러스터 kube-api-server의 certificate에 추가 IP, hostname을 넣기 GCP에서 쿠버네티스를 사용하고자 한다면 GKE를 통해서 쿠버네티스 클러스터를 프로비저닝받는 것이 보통입니다. 하지만 GCE에서 쿠버네티스를 설치하여
Kubernetes 클러스터 setup
안녕하세요 soonbee입니다. 이번에는 쿠버네티스 클러스터 구성기입니다. 저희 사내 서버는 현재 쿠버네티스를 활용하여 클러스터 구축이 되어있습니다. node 중 하나가 master 겸 worker로 구성되어 있는데, 이를 분리해야하는
GKE scaleable GPU cluster Terraform 예제
좋은 점 1. 필요한 만큼만 gpu를 사용하기 쉽다. 2. 장비를 구입하지 않아도 필요한 만큼만 사용할 수 있음. 2019년 5월 기준 V100 가격: $10,000 이상
Elastic stack
On Kubernetes helm chart 중에 elastic stack 이 있어서 한번 설치해 본 적이 있습니다. 설치 후 kibana에서 모든 Container 로그들을 볼 수 있었습니다. namespace, label,
GKE로 웹 애플리케이션 배포하기
안녕하세요. Jeff 입니다. 이번에는 클라우드 플랫폼 중 잘 알려진 GCP(Google Cloud Platfrom) 에서 제공하는 GKE(Google Kubernetes Engine) 를 사용하여 컨테이너 웹 애플리케이션을 배포하는
Kubernetes에서 rbac로 service account 권한설정하기
admin : 모든 권한을 가짐 department-leader : namespace team-a와 team-b에 대한 권한을 가짐 team-a-user : namespace team-a에 대한 권한을 가짐, namespace team-b에 권한 없음 team-b-user : namespace team-b에 대한