💡 AI 성능을 가르는 건 이제 연산이 아니라 메모리입니다
"해당 배너는 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."
거대언어모델과 멀티모달 AI가 보편화되면서 AI 반도체의 성능을 결정하는 변수가 연산에서 메모리로 옮겨가고 있습니다. ETRI가 발행한 전자통신동향분석 41권 5호의 「AI 반도체의 메모리 기술 동향」(2026년 10월 1일, 전영득·조민형·김이경·박경환)은 이 변화를 고대역폭 메모리, 저전력 메모리, 그래픽 메모리, 메모리 확장 인터커넥트, 메모리 내 연산이라는 다섯 축으로 정리합니다.
출발점은 단순합니다. 모델 파라미터가 수백억 개를 넘어가면 연산 자체보다 가중치와 활성화 데이터, 중간 계산 결과, 대화 문맥을 담는 KV 캐시를 반복해서 읽고 쓰는 과정이 시간과 전력을 더 많이 잡아먹습니다. 메모리 성능 향상 속도가 연산 성능을 따라가지 못하면서 시스템 전체가 메모리에 발목을 잡히는 메모리 월 문제가 다시 핵심 과제로 떠오른 것입니다.
🔒 HBM4, 2,048비트로 넓어진 대역폭
HBM은 DRAM 다이를 수직으로 쌓고 실리콘 관통 전극으로 다이와 다이를 연결한 뒤, 인터포저를 통해 가속기와 붙이는 구조입니다. 기존 그래픽 메모리가 핀당 전송 속도를 끌어올려 대역폭을 확보하는 방식이라면, HBM은 수천 개의 넓은 인터페이스를 이용해 상대적으로 낮은 동작 주파수에서도 높은 총 대역폭을 냅니다.
2025년 발표된 HBM4 규격은 입출력 폭을 2,048비트로 두 배 확대했고, 베이스 다이를 메모리 공정이 아니라 로직 공정으로 제작해 가속기 요구에 맞춘 맞춤형 설계가 가능해졌습니다. HBM5는 2027년 말 제품 출시를 목표로 표준화 논의가 시작됐고, 2026년 하반기 예비 규격 발표가 예정돼 있습니다.
국내 메모리 두 회사는 엔비디아의 최신 AI 플랫폼에 HBM4를 공급하고 있고, 차기 HBM4E 샘플도 먼저 공개했습니다. 앞으로의 경쟁력은 셀 미세화만으로 결정되지 않습니다. 관통 전극과 마이크로범프, 하이브리드 본딩, 인터포저, 패키지 기판, 테스트와 열관리까지 함께 최적화해야 완성됩니다.
🚀 스마트폰에서 서버로 올라온 LPDDR6
LPDDR은 원래 배터리 기기를 위한 저전력 메모리였지만, AI가 클라우드에서 스마트폰과 자율주행차, 로봇으로 내려오면서 AI 반도체의 핵심 메모리로 자리를 옮겼습니다. 최근에는 전력 소모와 폼팩터 축소 문제로 서버 CPU의 메인 메모리로도 채택이 늘고 있습니다.
2025년 발표된 LPDDR6 규격은 핀당 14.4Gbps 전송 속도와 채널당 데이터 입출력 24비트 구조를 도입했습니다. 24비트 채널을 12비트 서브채널로 나눠 저부하 상황에서 한쪽만 쓰는 효율 모드를 더했고, 데이터 신뢰성을 위해 온다이 오류정정 기능도 강화했습니다. 서버용 모듈 규격인 SOCAMM2는 2026년 표준화가 발표돼 AI 서버에 적용되고 있습니다.
🌐 CXL과 PIM, 메모리를 자원으로 바꾸는 두 갈래
CXL은 메모리를 특정 프로세서에 묶어두지 않고 여러 CPU와 가속기가 공유하는 개념입니다. 대규모 언어모델 추론에서 늘 문제가 되는 KV 캐시 공간 부족을 해결할 유력한 수단으로 평가받습니다. 2.0 기반 상용 제품이 서버 플랫폼에 적용되기 시작했고 3.0에서는 메모리 공유와 다중 장치 연결이 강화됐습니다. 다만 GPU 간 통신에 쓰이는 NVLink와 비교하면 지연시간과 최고 대역폭에서 아직 개선이 필요하고, 구축 비용과 소프트웨어 생태계도 숙제입니다.
PIM은 메모리 내부에 연산 기능을 넣어 데이터 이동 자체를 줄이는 접근입니다. 연산 장치와 메모리가 분리된 구조에서는 같은 데이터를 반복해서 옮기는 비용이 커지는데, 메모리 안에서 행렬 곱셈 같은 연산을 처리하면 이 비용을 없앨 수 있습니다. D램 기반, HBM 기반, LPDDR 기반으로 나뉘어 연구되고 있고, LPDDR6 기반 PIM 표준은 2026년 하반기에서 2027년 상반기 사이 발표가 예상됩니다. 저전력이 중요한 온디바이스 AI가 첫 수혜 분야로 꼽힙니다.
💡 결론: 기기를 고를 때 봐야 할 세 가지
정리하면 이렇습니다. 초고대역폭이 필요한 학습과 대형 추론은 HBM이, 전력과 크기가 중요한 기기와 서버 보조 메모리는 LPDDR이, 비용을 낮춘 추론 서버는 GDDR이 맡습니다. 여기에 CXL이 시스템 단위 확장을, PIM이 데이터 이동 감소를 더합니다.
소비자 관점에서는 세 가지만 기억하면 충분합니다. 첫째, 노트북과 스마트폰을 고를 때 메모리 세대가 온디바이스 AI 기능의 체감 속도를 가릅니다. 둘째, 회사에서 AI 서버를 검토한다면 CXL 지원 여부가 향후 메모리 증설 비용을 좌우합니다. 셋째, 메모리 대역폭 표기가 아니라 실제 워크로드 벤치마크를 확인해야 숫자에 속지 않습니다.
참고 자료: ETRI 전자통신동향분석 41권 5호(통권 222호) 「AI 반도체의 메모리 기술 동향」, 2026년 10월 1일, DOI 10.22648/ETRI.2026.J.410503.
🏷️ 태그 : #HBM4 , #AI반도체메모리 , #LPDDR6 , #CXL , #PIM , #AI인프라 , #SK하이닉스삼성전자
댓글