삼성전자·SK하이닉스 '생각하는 메모리' 경쟁, 무엇이 다른가

메모리 반도체가 “생각을 한다”는 표현을 처음 봤을 때 살짝 의아했다. 메모리는 원래 그냥 데이터를 저장하는 창고 아니었나. 그런데 알아볼수록 이 표현이 과장이 아니라는 걸 깨달았다.

지난 8월 9일, 삼성전자와 SK하이닉스가 미국 실리콘밸리에서 열린 반도체 컨퍼런스 ‘핫칩스(Hot Chips) 2026’에서 나란히 발표를 진행했다. 헤럴드경제 보도에 따르면 두 회사 모두 생각하는 메모리라는 개념을 핵심 키워드로 내세웠다.

필자가 보기엔 이 시점이 흥미롭다. AI 반도체 경쟁이 GPU와 ASIC 같은 연산 칩 위주로 흘러가던 와중에, 갑자기 메모리 업체들이 “우리도 생각한다”고 나선 모양새이기 때문이다.

왜 갑자기 메모리가 ‘생각’을 해야 할까

지금의 AI 시스템에서 가장 큰 병목은 사실 연산 속도가 아니다. 데이터를 GPU로 옮기고, 처리한 뒤 다시 메모리로 돌려보내는 이 ‘이동’ 과정이 진짜 병목이다.

개인적으로는 이 구조가 마치 공장에서 부품을 창고와 조립 라인 사이로 계속 실어 나르는 것과 비슷하다고 생각한다. 창고가 조립 라인 바로 옆에 있고, 심지어 창고 안에서 간단한 조립까지 끝낼 수 있다면 훨씬 효율적일 것이다.

이게 바로 PIM, 즉 프로세싱 인 메모리(Processing-in-Memory) 기술의 아이디어다. 메모리 칩 안에 연산 기능을 심어서, 데이터를 밖으로 꺼내지 않고 그 자리에서 처리해버리는 방식이다.

여기서 눈에 띄는 건 이게 새로운 개념이 아니라는 점이다. PIM은 오래전부터 연구되던 기술이다. 다만 AI 모델이 커지면서 메모리 병목이 실제 사업 손실로 이어지자, 이제야 상용화 경쟁이 본격화된 것이다.

삼성전자와 SK하이닉스, 접근 방식이 다르다

두 회사 모두 ‘생각하는 메모리’를 외치지만, 실제 전략을 뜯어보면 방향이 꽤 다르다. 삼성전자는 HBM(고대역폭 메모리)의 기본 다이 설계와 생산 능력을 강조했다.

특히 눈에 띄는 건 LPDDR5X-PIM을 스마트폰과 AI PC 같은 저전력 기기로 확대 적용하겠다는 계획이다. 여기에 CXL 기술을 결합해 메모리 용량 자체를 늘리는 방향도 함께 추진 중이다.

반면 SK하이닉스는 패키징 기술에 승부를 걸었다. TSMC의 고급 로직 공정과 CoWoS 패키징을 결합하고, 하이브리드 본딩 기술로 16층 이상 HBM 스택을 준비하고 있다.

쉽게 말하면 삼성전자는 “메모리 설계 자체를 똑똑하게 만들겠다”는 쪽이고, SK하이닉스는 “쌓는 기술로 용량과 성능을 뽑아내겠다”는 쪽이다. 필자는 이 온도차가 두 회사의 기존 강점과도 맞닿아 있다고 본다.

두 회사의 전략, 표로 정리하면

말로 풀어놓으니 오히려 헷갈릴 수 있어 핵심만 표로 정리했다.

구분	삼성전자	SK하이닉스
핵심 발표	HBM 베이스 다이 설계	HBM 어드밴스드 패키징
강조 기술	LPDDR5X-PIM, CXL 연동	하이브리드 본딩, CoWoS
적용 대상	스마트폰, AI PC로 확장	고성능 AI 서버용 HBM4
발표일	8월 9일 (LPDDR5X-PIM은 8월 25일 추가 예정)	8월 9일

표를 보면 흥미로운 지점이 하나 더 보인다. 삼성전자는 서버뿐 아니라 소비자용 기기까지 시야를 넓히고 있다. SK하이닉스는 철저히 고성능 AI 서버 시장에 집중하는 모습이다.

이 경쟁이 실제로 의미하는 것

이 지점이 흥미로운데, 지금까지 AI 반도체 경쟁의 스포트라이트는 대부분 연산 칩 쪽에 쏠려 있었다. 엔비디아 같은 GPU 업체나, 오픈AI 같은 빅테크의 자체 ASIC 개발이 대표적이다.

하지만 메모리 업체가 이렇게 적극적으로 ‘지능형 메모리’ 경쟁에 뛰어든 건 결이 다른 신호다. 연산 칩만 잘 만든다고 AI 인프라 경쟁에서 이기는 시대가 저물고 있다는 뜻이기도 하다.

업계 자료에 따르면 SK하이닉스는 이미 HBM 시장 점유율 62%를 차지하며 선두를 지키고 있다. 마이크론이 삼성전자를 추월했다는 분석도 나온다. 이런 판도에서 ‘다음 세대’ 기술 주도권을 누가 쥐느냐가 향후 몇 년의 승부처가 될 것이다.

PIM 기술은 스마트폰·AI PC로 확산되며 저전력 시장까지 재편할 잠재력이 있다
패키징 기술(하이브리드 본딩 등)은 HBM4 세대의 성능 격차를 가를 핵심 변수다
메모리 업체의 ‘지능화’ 경쟁은 AI 인프라 비용 구조 자체를 바꿀 수 있다

IT-SUE의 시각

솔직히 이건 좀 아이러니하다. 그동안 메모리는 반도체 산업에서 상대적으로 ‘조연’ 취급을 받아왔다. 화려한 건 늘 GPU와 AI 모델 쪽이었다.

그런데 지금은 오히려 메모리가 AI 성능의 상한선을 결정짓는 변수로 떠올랐다. 생각하는 메모리 경쟁의 승자가 앞으로 AI 인프라 비용 구조 전체에 영향을 미칠 가능성이 크다.

개인적으로는 재미있는 관전 포인트가 하나 생겼다. 삼성전자의 ‘저변 확대’ 전략과 SK하이닉스의 ‘고성능 집중’ 전략, 둘 중 어느 쪽이 먼저 시장의 신뢰를 얻을지가 궁금하다. 다만 확실한 건, 이제 메모리 업체를 단순 부품 공급자로만 보면 이 판을 절반밖에 이해하지 못한다는 점이다.

it-sue