본문 바로가기
생각정리

2026년 백엔드 사이드 프로젝트 주제 2: 작은 GPT 직접 만들기

by 향로 (기억보단 기록을) 2026. 10. 12.
반응형

예전에는 백엔드 개발자의 역량을 키우기 위한 개인 프로젝트로 본인이 주로 사용하는 데이터 스토어를 직접 만들어보는 걸 추천했다.

RDBMS나 Key Value 스토어, 메시지 큐 중 더 깊이 이해하고 싶은 시스템이 있다면 핵심 동작을 갖춘 작은 버전을 만들어보는 것이다.
실무에서 바로 쓸 수 있을 만큼 완성하려고 하기보다는, 데이터를 저장하고 조회하거나 메시지를 전달하는 원리를 직접 구현해보자는 얘기다.

예를 들어 작은 DB를 만들다 보면 조회가 왜 느려지는지, 인덱스가 왜 필요한지 같은 문제를 직접 작성한 코드에서 만나게 된다.
그 문제를 하나씩 해결해보는 동안 평소 사용하던 데이터 스토어의 구조와 동작도 훨씬 이해하기 쉬워진다.

최근에는 백엔드 개발자의 다음 개인 프로젝트로 LLM 챗봇과 평가 시스템을 만들어보는 걸 추천했다.
앞으로 이런 시스템을 만들고 운영하는 일을 맡게 된다면, 그 안에서 사용하는 LLM도 같은 방식으로 공부해보면 좋겠다.

데이터베이스나 메시지 큐의 핵심 동작을 직접 구현해보듯이, GPT도 작은 모델부터 직접 만들어서 학습시키고 글을 생성해보는 것이다.

다만 혼자 시작하려면 임베딩과 어텐션, 모델 학습 같은 개념을 어떤 순서로 공부하고 구현해야 할지부터 고민이다.
작은 모델 하나를 끝까지 만들어보도록 안내해주는 강의가 있으면, 처음 접하는 개념도 코드와 함께 익히기가 수월할 것 같다.

이런 경험을 해볼 수 있는 강의가 Hong 님의 '실리콘밸리 개발자가 알려주는 임베딩과 Mini GPT'이다.

Hong 님이 이번에 LLM 평가 하네스 강의와 이 강의를 같은 시기에 출시하셨는데, 컨셉을 너무 잘 잡아주셔서 홍보를 안 할 수가 없다...

벡터와 임베딩의 기초부터 시작해 TypeScript로 Word2Vec과 자동 미분을 구현하고, Python과 PyTorch로 미니 GPT를 만든다.
텍스트를 토큰으로 바꾸고, 임베딩과 어텐션을 거쳐 다음 토큰을 예측하는 모델을 직접 작성한다.
여기에 작은 텍스트 데이터로 모델을 학습시키고, 저장한 모델을 다시 불러와 글을 생성하는 과정까지 이어진다.

모델을 만든 뒤에는 학습 데이터와 검증 데이터에서 손실이 어떻게 달라지는지 확인하고, 같은 모델에서도 생성 설정에 따라 출력이 어떻게 달라지는지 비교해본다.

특히 이 수업의 미니 GPT는 GPU 없이 CPU에서 학습할 수 있는 크기로 만든다.
따로 GPU 서버를 빌리지 않고 자기 컴퓨터에서 모델을 학습시키고, 코드를 바꿔가며 글이 어떻게 생성되는지 실험해볼 수 있다.

데이터베이스를 직접 만들어보듯이 LLM도 한 번 직접 만들어보며 이해하고 싶은 백엔드 개발자분들께 추천드린다.

반응형