4.30.(목)
AI 과잉투자 우려 재부각… 오픈AI 상황 어떻길래(26.4.29.)
https://www.dt.co.kr/article/12060193
ㅇ 주요내용 : 월스트리트 저널에서, 오픈AI가 향후 컴퓨팅 계약 비용을 감당하지 못한다는 전망 예측돼. AI 시장에 대한 전망이 달라질 것으로 예측.
ㅇ 추가자료
오픈AI 겹악재에 시장 흔들 … 성장 둔화에 법정 공방까지(26.4.29)
https://www.mk.co.kr/news/it/12031107
ㄴ 구글 제미나이, 앤스로픽 클로드 등 경쟁사 성장으로 인해 오픈AI 및 주요 파트너 기업 주가가 일제히 하락
ㅇ JO : AI 시장이 급격히 변함에 따른 향후 기업들의 성장과 점유율에 큰 파장이 올 것으로 예측됨
4.29(수)
“中 반도체굴기 위협적…더 센 인센티브 미루면 추월당할 것”(26.4.27.)
https://www.sedaily.com/article/20037749
ㅇ 주요내용 : 포스트 메모리 시장을 준비할 수 있는 대비가 필요하다. 중국의 자국화와 빅테크의 파운드리화가 되지 않을 수 있는 독자적인 성장로드맵이 필요.
ㅇ 용어정리
- 고대역폭메모리(HBM) : 기존 D램보다 넓은 대역폭을 제공하는 메모리 반도체. 대역폭이란, 일정 시간 동안 전달할 수 있는 데이터의 최대량을 의미하며, HVM은 고성능 연산이 필요한 시스템에 활용됨. HBM은 여러 개의 메모리 트랜지스터를 수직으로 쌓는 적층 구조로, 데이터 이동 거리를 줄이고 대역폭을 크게 높일 수 있습니다.
- 서버용 D램 : 컴퓨터의 주기억장치로 쓰이는 휘발성 메모리로, 전원이 공급되는 동안만 데이터를 보관하고 전원이 꺼지면 사라짐.
ㄴ 일종의 메모리의 종류인데, HBM은 연산의 속도를 담당하고, D램은 용량/안정성을 담당하는 것.
- 아틀라스 350(화웨이의 AI 가속기 신제품) : 엔디비아의 H20 대체품으로 주목받음.
ㄴ 엔디비아 H20은 미국의 수출규제를 준수하기 위해 성능을 낮춘 중국용 AI칩(H100 등 고성능 AI 칩의 성능을 낮춘 중국 전용 모델
ㄴ AI가속기는 인공기능 및 딥러닝 연산에 최적화된 하드웨어로, AI칩(AI반도체)을 시스템에서 사용할 수 있도록 보드 형태로 만든 것.(H100, B200 등)
- 극자외선(EUV) 노광 장비(ASML이 보유) : 초미세 반도체 회로를 그리는 핵심장비. ASML이 독점. 높은 기술장벽, 극한 렌즈 기술, 천문학적 투자와 시간, 초미세 공정의 필수품.
- 제네시스 미션 : 트럼프의 AI 전략
- '터보퀀트'(AI 메모리 사용량 압축하는 구글의 알고리즘) : 대규모 언어모델 추론 시 쌓이는 KV 캐시를 압축해 메모리 사용을 줄이면서도 성능을 유지하는 방식. 벡터(고차원) 압축을 극대화 해 검색및 AI 인프라의 메모리 병목을 완화하는데 초점을 둔다.
- '제본스의 역설' : 에너지 효율이 오르면 오히려 수요가 증가한다.(19세기 영국에서 증기기관의 효율이 올라가자, 석탄 사용량이 오히려 폭발적으로 증가)
- ICMS(Inference Context Memory Storage) 추론 과정의 맥락을 강화
- 크런치 모드 : 신제품 출시 등을 앞두고 집중적으로 근무하는 것
ㅇ 추가자료
구글 터보퀀트란? 원리, 반도체 시장 영향 쉽게 정리했어요.
https://www.tossbank.com/articles/turboquant
메모리와 연산비용을 낮추는 터보퀀트, 딥시크 등 새로운 기술이 꾸준히 등장하며, AI서비스의 가격과 진입장벽이 낮아짐. 반도체 업계에서도 향후 메모리 사용에 대한 사이클이 변할 것이므로 이에 대한 대처 필요.
ㄴ 26.3.26. 구글에서 발표한 기술(아직 논문 단계) : AI 성능은 거의 그대로, 메모리 사용량은 최대 6배 줄이고, 처리 속도는 최대 8배 높임.
ㄴ 값 대신에 좌표의 방향을 저장하여, 데이터 저장시 3비트 수준으로 압축(타 AI모델은 16비트 단위를 사용)하고, 이를 통해서 발생하는 미세한 오차는 별도로 보정
ㄴ 메모리(RAM) : 컴퓨터가 작동하는 동안 데이터와 프로그램을 일시적으로 저장하는 휘발성 단기 기억 장치, CPU가 빠른 속도로 데이터를 처리할 수 있는 핵심 부품으로 작업 속도와 서버 성능에 직접적인 영햐을 미친다.
4.28.(화)
‘난 모르는 상태’ 예열 학습시켰더니…AI, 예측 편향 줄었다.(26.4.27)
https://www.khan.co.kr/article/202604272101015
ㅇ 주요내용: AI가 스스로 모른다는 것을 인식시켜 AI 신뢰성 향상 기반 마련. 스스로 불확실성을 조절하는 예열 단계를 도입하여 과신 편향을 크게 완화
ㅇ 용어정리:
- 무작위 가중치 초기화 : 무작위로 초기화된 신경망에 임의 데이터를 입력하면 아무것도 학습하지 않은 상황에서도 높은 확인도를 보이는 현상
ㅇ 추가자료:
인공지능(AI) 환각을 줄이는 방법은?(25.04.22)
https://jr.etnews.com/20250422000322
- AI가 환각을 일으키는 주요원인 : 데이터의 품질(불완전하거나 편향된 데이터), 모델의 학습 방식(확률적 학습에서의 환각), 언어의 모호함(뉘양스와 문맥이 중요), 알고리즘의 한계(장기적인 문맥 유지의 어려움)
- 환각의 유형 : 내재적 확각(입력된 정보를 잘못 해석), 외재적 환각(실제로 존재하지 않는 정보를 창작)
- 확각을 줄이는 방법 : 모델 매개변수 조정, 외부 데이터 검증, 도메인별 데이터 활용, 검색 증강 생성(RAG) 활용, 정확하고 구체적인 질문하기, AI생성 콘텐츠 검증