[미리캔버스] Machine Learning Engineer (Model Inference & Serving)

자격 요건 · 4개

• 추론 최적화 프레임워크(TensorRT, TensorRT-LLM, vLLM, ONNX Runtime 등) 중 하나 이상으로 모델을 프로덕션에 서빙해본 경험이 있으신 분
• GPU 추론 경험이 있고, 배치 크기 · GPU 메모리 · throughput · latency 사이의 트레이드오프를 설명할 수 있으신 분
• 추론에 사용되는 주요 연산(matmul, softmax/sigmoid, cumsum, attention 등)이 어디에서 병목이 되는지 이해하고 계신 분
• 리눅스 서버와 컨테이너 환경에서 프로세스, 메모리, 네트워크, 로그를 스스로 추적해 문제를 좁혀갈 수 있으신 분

우대 사항 · 5개

• Python 웹 프레임워크(FastAPI, Django, Flask) 중 하나로 프로덕션 서비스를 개발하고 운영해본 경험이 있으신 분
• 모델 경량화(quantization, pruning, distillation) 및 학습 코드 작성 경험이 있으신 분
• 다양한 GPU(H200, A100, A10G, L40S 등) 아키텍처에서 추론 가속 경험이 있으신 분
• CUDA 이해 및 프로파일링 도구(Nsight Systems, PyTorch Profiler 등) 활용 경험이 있으신 분
• 검색, 추천 등 대규모 실시간 트래픽 시스템의 서빙 경험이 있으신 분