창작과 통찰

기술, 엔지니어링, 그리고 창작물에 대한 생각과 통찰을 나누는 공간.

최근 아티클

Python 코드 한 줄이 GPU의 트랜지스터를 움직이기까지의 JAX와 CUDA를 통해 보는 하드웨어 가속의 원리를 탐구해보자.

JAX와 Cloud TPU v6e를 활용하여 Llama 스타일의 Tiny LLM을 바닥부터 구현하고 사전 학습하는 과정을 다룬다. RMSNorm, SwiGLU, RoPE 등 최신 아키텍처와 고성능 I/O 파이프라인 구축 방법을 알아본다.

Google Cloud Vertex AI에서 커스텀 BERT 기반 텍스트 분류 모델을 훈련, 미세 조정 및 배포하는 방법에 대한 완전한 엔드투엔드 Colab 노트북 가이드이다.