Dudaji Tech Blog

Kubernetes 기반 NPU 서빙 플랫폼 구축

K8s Device Plugin 연동부터 Custom CRD(NpuDeploy) 개발, Istio 네트워크 구성, 그리고 vLLM을 활용한 고성능 추론 서비스 구축까지의 엔지니어링 경험을 공유합니다. 들어가며 LLM 서비스를 운영하다

Furiosa NPU에 LLM 모델을 포팅하고, LlamaIndex와 LangChain 기반 RAG 시스템을 구축한 과정을 공유드립니다. 들어가며 최근 LLM(Large Language Model) 서비스가 급격히 확산되면서, GPU 자원의 수급

TL;DR ssh -L [로컬포트]:[접속대상주소(원격서버기준)] [사용자명]@[호스트주소] ssh -L 8080:127.0.0.1:80 root@172.17.0.11 ssh 포트 포워드란

MongoDB의 특징과 사용 방법에 대해 기본적인 내용들을 정리해보았다. * MongoDB 특징 * NoSQL 데이터베이스 * 스키마 x * 느슨한 ACID * 수평 확장 가능(Scale out) → 주로 분산 아키텍처 위주

단순한 채팅 상호작용뿐만 아니라 내용 요약, 번역 등 다방면으로 활용 가능한 ChatGPT를 프로그램에서 사용할 수 있도록 OpenAI에서 제공하는 GPT API를 사용하기 위한 조건과 사용방법에 대해

안녕하세요 nopro입니다. 이번엔 두다지에서 어떻게 https 엔드포인트를 생성하고 관리하고 있는지에 대해 다루려고 합니다. 많은 분들이 무료 https 인증서인 Let’s Encrypt를 사용하고 계실겁니다. 하지만 무료이기

Day 1 (10/1, Sat) AutoDL https://sites.google.com/rice.edu/auto-dl/ * DNN 모델 개발은 어렵다 * DNN 하드웨어 가속기 개발도 어렵다 * 둘 모두 시간+

1. 개요 * 출장 일자 : 2022.09.12 ~ 2022.09.17 * 출장지 : 미국, 산호세, 산타클라라 매리어트 * 숙박지 : FairField Inn & Suits by Marriott San Jose * 교통편

안녕하세요 두다지의 인턴 kade입니다 :) 오늘의 포스트 주제는 윈도우10 Home 환경에서 L2TP VPN 접속 방법입니다. 최근 코로나 확진자가 증가함에 따라 재택근무를 하게 되었습니다. Mac OS 의

클러스터,클라우드 운영에 있어서 가장 중요한 것 중 하나는 가용자원 모니터링이 아닐까 생각합니다. 쿠버네티스 클러스터 내의 CPU,Memory의 사용량은 kubectl descirbe 명령어와 kubectl top 명령어를

의도치 않게 쿠버네티스 Master ip가 바뀌는 케이스가 생깁니다. (예를 들어 가산에서 설치하고 거제도에서 실행할 때?) 이렇게 되면 팟들이 프로비저닝할 노드를 찾을 수 없기 때문에 정상적으로

kubectl를 통해 쿠버네티스 클러스터에 접근하는 사람이 꼭 관리자 한명인 것은 아니다. 관리자가 여러 명일 수도 있고 특정 namespace만을 담당하는 관리자나 읽기 권한만 있는 유저 등