TYLER SONG / 2026
개발하면서 배운 것과 실험한 내용을 기록합니다.
이번 주에 배운 SFT와 LoRA를 눈으로 읽는 대신 손으로 다시 구현하며 점검하는 날이다. LoRALinear와 loss mask 함수를 아무것도 보지 않고 다시 쓰고, tensor shape 추론·Linear Layer·Loss 구현 같은 딥러닝 코딩테스트 유형을 시간 제한 없이 연습한다. 막히는 곳이 바로 내가 아직 이해하지 못한 곳이므로 그 지점을
Read article↗Bash는 사용자가 입력한 명령어를 해석해 운영체제에 프로세스 실행을 요청하는 유닉스 계열 셸(Shell)이자 스크립트 언어다. 파이프, 리디렉션, 변수, 조건문, 반복문을 조합해 반복 작업을 자동화할 수 있다. 이 글에서는 셸의 동작 원리부터 안전한 스크립트 작성 습관까지 정리한다.
셸(Shell)은 사용자가 입력한 명령을 해석하고 운영체제 커널에 실행을 요청하는 프로그램이다. 입력을 파싱하고 fork, exec, wait 시스템 콜로 자식 프로세스를 실행하며, 파이프와 리다이렉션으로 프로그램을 조합할 수 있게 한다. 이 글은 셸의 실행 원리부터 기본 스크립트 작성, 실무 사용 시 주의점까지 다룬다.
Linux 파일 시스템은 루트(/)에서 시작하는 단일 디렉터리 트리 아래에 파일, 장치, 프로세스 정보까지 "파일"이라는 인터페이스로 통합해 다룬다. 파일의 실제 메타데이터는 inode에 저장되고, 디렉터리는 이름과 inode 번호를 연결하는 표 역할을 한다. 이 글에서는 디렉터리 구조, inode, 링크, 마운트, 권한을 Python과 Shell 예제로
지난 며칠간 만든 base, full-SFT, LoRA, QLoRA 모델을 똑같은 고정 프롬프트셋으로 채점해 한 장의 표로 정리합니다. 성능뿐 아니라 VRAM, 학습 시간, 학습 파라미터 수를 함께 재고, LoRA의 rank를 바꿔 보는 ablation과 오답 유형 태깅까지 합니다. "SFT를 했더니 좋아졌다"는 느낌을 "이만큼, 이 비용으로 좋아졌다"는
Conventional Commits는 `type(scope): description` 형태로 커밋 메시지를 작성하도록 정한 규약이다. 변경 의도를 일관된 형식으로 남기면 이력 파악, 변경 로그(CHANGELOG) 자동 생성, 유의적 버전(SemVer) 결정을 자동화할 수 있다. 이 글에서는 형식과 규칙, 검증 스크립트, 실무 도구 연계 방법을 다룬다.
이슈(Issue)는 버그, 기능 요청, 작업 항목 같은 할 일을 하나의 단위로 기록하고 논의하는 GitHub·GitLab 등 호스팅 서비스의 기능이다. Git 자체의 기능이 아니라 Git 저장소 호스팅 플랫폼이 제공하는 추적 도구다. 이슈 번호를 커밋과 PR에 연결하면 코드 변경의 이유를 추적할 수 있다.
코드 리뷰(Code Review)는 작성자가 아닌 다른 개발자가 변경 사항을 읽고 결함, 설계, 가독성을 검토한 뒤 병합(merge)을 승인하는 절차다. Git 기반 협업에서는 풀 리퀘스트(Pull Request, PR)나 머지 리퀘스트(Merge Request, MR)로 진행한다. 이 글은 리뷰의 흐름, 브랜치 보호 규칙, 좋은 PR과 리뷰 코멘트 작성법
모델 전체를 학습하면 GPU 메모리가 너무 많이 듭니다. LoRA는 원래 가중치를 얼려 두고 작은 보조 행렬만 학습하고, QLoRA는 여기에 4bit 양자화를 더해 메모리를 더 줄입니다. 오늘은 3B 모델을 PEFT로 LoRA SFT와 QLoRA SFT로 튜닝하고, Full FT·LoRA·QLoRA의 VRAM·시간·학습 파라미터 수를 표로 비교합니다.