LLM 서빙 및 추론 최적화 엔지니어

자격 요건 · 7개

• LLM 서빙 또는 추론 최적화 분야에서 2년 이상 실무 경험이 있는 분
• 최신 LLM 구조와 추론 과정을 이해하고, 모델과 워크로드 특성에 따라 성능 병목을 찾고 최적화 방향을 정할 수 있는 분
• vLLM, SGLang, TensorRT-LLM, TGI 중 하나 이상을 업무에 사용하고, 내부 코드를 분석·수정해 워크로드에 맞게 튜닝해 본 분
• Python을 능숙하게 사용하고, 추론 엔진의 최적화 기능을 직접 구현·검증할 수 있는 분
• 다음 중 한 분야 이상을 깊이 이해하고, 직접 구현·튜닝해 추론 성능을 개선해 본 분 — 모델 압축 또는 KV 캐시 최적화
• 다음 중 한 분야 이상을 깊이 이해하고, 직접 구현·튜닝해 추론 성능을 개선해 본 분 — 서빙 시스템 최적화(요청 스케줄링, 다중 GPU 분산 추론 등)
• 다음 중 한 분야 이상을 깊이 이해하고, 직접 구현·튜닝해 추론 성능을 개선해 본 분 — 고급 추론·서빙 최적화(Speculative Decoding, Prefill/Decode Disaggregation, Expert Parallelism 등)

우대 사항 · 7개

• CUDA, Triton, TileLang 등을 활용해 GPU 커널을 구현·튜닝해 본 분
• 다중 GPU 환경에서 LLM을 분산 서빙하고, GPU 간 통신 비용과 부하 불균형을 줄여 본 분
• MoE·긴 문맥·멀티모달 모델을 서빙하며 각 모델에서 발생하는 메모리·연산 병목을 해결해 본 분
• LLM·NLP 분야의 논문 발표 또는 추론 엔진·프레임워크 오픈소스 기여 경험이 있는 분
• Kubernetes 환경에서 플랫폼팀과 협업해 대규모 LLM 추론 서비스를 배포·운영해 본 분
• 금융 등 규제 산업에서 보안·규제 요건을 시스템 설계와 운영에 반영해 본 분
• 국가유공자 및 장애인 등 취업보호대상자는 관계법령에 따라 우대합니다.