창작과 통찰
기술, 엔지니어링, 그리고 창작물에 대한 생각과 통찰을 나누는 공간.
최근 아티클
전체 보기디퓨전 언어 모델: JAX/TPU 기반의 이산형 생성 구조와 원리
JAX와 Flax NNX를 활용하여 이산형 마스킹 언어 디퓨전(Discrete Masked Language Diffusion)을 구현하는 기술적 과정을 다룬다. 전이 스케줄 설계, 양방향 아키텍처 및 TPU v6e 최적화 추론 로직을 심층 분석한다.
LLMJAXTPU
2026-04-30
더 보기
GPU는 어떻게 머신러닝 연산을 수행할까?
Python 코드 한 줄이 GPU의 트랜지스터를 움직이기까지의 JAX와 CUDA를 통해 보는 하드웨어 가속의 원리를 탐구해보자.
GPUMachine LearningCUDA
2025-12-05
더 보기
JAX와 TPU를 이용한 Decoder-based Tiny LLM 사전학습
JAX와 Cloud TPU v6e를 활용하여 Llama 스타일의 Tiny LLM을 바닥부터 구현하고 사전 학습하는 과정을 다룬다. RMSNorm, SwiGLU, RoPE 등 최신 아키텍처와 고성능 I/O 파이프라인 구축 방법을 알아본다.
LLMJAXTPU
2025-12-02
더 보기