|
||||||||||||||||||
| [Profile] • 현) NAVER Cloud, AI Computing Solution, Team Lead • 전) 삼성전자 삼성리서치 (Samsung Research) • 충북대학교 전자공학부 학사 [Expertise] • LLM Inference Optimization • AI/LLM Compression • On-device AI Optimization [Selected Publications] • DropBP: Accelerating Fine-Tuning of Large Language Models by Dropping Backward Propagation (NeurIPS 2024) • LUT-GEMM: Quantized Matrix Multiplication based on LUTs for Efficient Inference in Large-Scale Generative Language Models (ICLR 2024) • Encoding Weights of Irregular Sparsity for Fixed-to-Fixed Model Compression (ICLR 2022) • BiQGEMM: Optimal Binary Quantization Matrix Multiplication for Quantized Neural Networks (SC20) |
||||||||||||||||||
| 생성형 AI 서비스는 단순한 질의응답(Simple QA)을 넘어, 복잡한 문제를 논리적으로 해결하는 추론(Reasoning) 단계, 그리고 스스로 도구를 사용해 과업을 수행하는 에이전트(Agent) 시대로 급변하고 있습니다. 이러한 서비스 패러다임의 변화는 AI 반도체와 인프라에 전혀 다른 차원의 요구사항을 던지고 있습니다. 과거에는 단순 연산 능력(Compute)가 중요했다면, 거대 모델과 긴 문맥이 필수적인 에이전트 시대에는 메모리 대역폭(Memory Bandwidth)이 성능을 좌우합니다. 더 나아가, 다수의 에이전트가 문맥 정보를 실시간으로 공유(KV Cache Sharing)해야 하므로 방대한 메모리 용량(Capacity)과 칩 간 통신 능력(Communication/Interconnect)이 서비스의 비용을 결정짓는 핵심 요소가 되었습니다. 본 세션에서는 답변 → 추론 → 에이전트로 이어지는 AI 발전 단계별 하드웨어 요구 사항의 변화를 분석합니다. 특히, 에이전트 시대의 가장 큰 병목인 디코드(Decode) 비용과 캐시 관리(Cache Management) 문제를 해결하기 위한 네이버클라우드의 핵심 인퍼런스 최적화 기술, 그리고 고효율 AI 반도체 생태계(K-AI)를 위한 인프라 전략을 심도 있게 공유합니다. |
||||||||||||||||||
|
|
||||||||||||||||||
|
||||||||||||||||||
후원기관 광고영상
more