본문 바로가기

분류 전체보기98

[논문 리뷰] GCN 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. GCNSemi-supervised classification with graph convolutional networksKIPF, Thomas N.; WELLING, Max. Semi-supervised classification with graph convolutional networks. arXiv preprint arXiv:1609.02907, 2016. 논문 원문 링크 저자의 의도그래프 구조 데이터에 대한 semi-supervised learning 방법을 제안한다. 기존 spectral graph method의 속도 문제를 localized convolution으로 개선한다. .. 2025. 8. 3.
RLHF 정리 (PPO, DPO, IPO, KTO, ORPO, GRPO), 핵심 아이디어, 차이점, 수식 분석, 데이터셋 예시 LLM의 가장 기본이 되는 메서드인 RLHF.나는 비전 분야만 잘 알면 되는 줄 알았다.그런데 슬슬 VLM에 대한 이야기가 나온다.그리고 LLM을 모르면 뒤쳐지는 느낌이 든다. 아무튼 그래서 RLHF 기법에 대하여 조사해서 정리해봤다.기본적인 딥러닝 지식이 있다는 가정하에 (없어도 무방, GPT와 함께라면)최대한 쉽게 설명해보도록 하겠다. 1. LLM 최적화 기법LLM은 사전학습 이후에 다양한 방법으로 후속 최적화를 진행한다.대표적으로 `SFT`와 `RLHF` 2가지가 있다. 보통 학습 순서는 (사전학습 -> SFT -> RLHF) 순으로 진행된다.최종적으로 얻은, RLHF까지 마친 모델을 policy model 혹은 align model 이라고 한다. 1.1. SFTSupervised Fine-Tuni.. 2025. 7. 20.
[풀스택 딥러닝] 2번째, 딥러닝 실험 관리 방법, Weights & Biases, W&B, wandb, 텐서보드 개발자 직군이라면 누구나 한번쯤 들어봤을 풀스택.대 AI 시대에 들어선 지금, 마침내 딥러닝도 풀스택이란 용어가 생겼다. 나도 AI는 모델만 잘 만들면 되는줄 알았다.하지만 실제로는 AI를 위한 부수적인 툴과 개념이 수없이 많이 생겼다.그리고 기업들도 점점 `풀스택 AI 엔지니어`를 선호하기 시작했다.(데이터 사이언티스트, 리서치 엔지니어도 마찬가지로 풀풀익선이다.) 그래서 Full Stack Deep Learning 이라는 유우명한 강의를 번역 의역하고자 한다.나에게도 도움이 되고, 딥러닝 입문자, 중급자에게도 도움이 되길 바란다. 이번 내용은 `딥러닝 실험 관리 방법` 이다.원문과 영상의 링크는 여기. 1. 실험 관리의 중요성딥러닝 모델 개발 과정은 단순히 코드 작성과 학습시키는 것을 넘어선다.특히.. 2025. 6. 22.
[풀스택 딥러닝] 1번째, 딥러닝 개발 인프라와 도구, 파이토치 라이트닝, 허깅페이스, ONNX, 분산 학습 DDP, ZeRO-3, 클라우드 비용, GPU 서버 구축 비용 개발자 직군이라면 누구나 한번쯤 들어봤을 풀스택.대 AI 시대에 들어선 지금, 마침내 딥러닝도 풀스택이란 용어가 생겼다. 나도 AI는 모델만 잘 만들면 되는줄 알았다.하지만 실제로는 AI를 위한 부수적인 툴과 개념이 수없이 많이 생겼다.그리고 기업들도 점점 `풀스택 AI 엔지니어`를 선호하기 시작했다.(데이터 사이언티스트, 리서치 엔지니어도 마찬가지로 풀풀익선이다.) 그래서 Full Stack Deep Learning 이라는 유우명한 강의를 번역 의역하고자 한다.나에게도 도움이 되고, 딥러닝 입문자, 중급자에게도 도움이 되길 바란다. 이번 내용은 `딥러닝 개발 인프라와 도구` 이다.원문과 영상의 링크는 여기. 1.딥러닝 개발먼저 프로그래밍 언어이다.딥러닝 개발에서 가장 많이 쓰이는 언어는 파이썬이다.라이.. 2025. 6. 16.
딥러닝 공부 순서 정리 (for CV, Computer Vision) 딥러닝을 처음 배우는 사람에게 길잡이가 되기 위한 글이다. 나는 딥러닝 석사 출신 데이터 사이언티스트다.내가 석사에 입학하고 그해 ChatGPT가 흥하기 시작했다.어떻게 보면 AI를 온전히 연구한 첫 석사인 셈이다. 하지만 내가 입학했던 3월에는 ChatGPT가 없었다.따라서 딥러닝 논문들을 어떤 순서로 공부해야하는지 막막했다.ChatGPT는 그때 당시 신생아에 불과했다.이런거 물어보면 2021년 전 논문만 알고 있었다. (ㄹㅇ 킹받) 그때 겪은 고통으로 나만의 아카이브와 공부 순서를 정리해놨다. 그리고 이걸 이 글에서 정리해서 포스팅 하려고 한다.뭐부터 해야할지 방황(?)하는 연구자들에게 힘이 되었으면 한다. 그리고 나의 주 연구 분야는 비전이다.따라서 이 글에서는 비전을 먼저 다룰 예정이다. 1. .. 2025. 6. 1.
[취준] 데이터분석 면접 대비 질문 리스트 (for 데이터 사이언티스트) 데이터 사이언티스트.정말로 정보를 찾기가 힘든 직종이다.취업하는 과정이 험난하고 막막하다.나는 다음 세대가 더 편하게 취업을 했으면 하는 생각에 취업 준비 기록을 남긴다. 딥러닝 면접 대비를 위한 질문 리스트이다.깃허브에 통합 버전이 있는데 안들어갈거 같아서 여기다 추가로 적는다. 원본은 여기.여러 사이트와 깃허브를 참고했다.그분들께 무한한 감사를 드립니다.그런 의미에서 나의 리스트도 공공재로 쓰면 된다. 다만 면접 대비에서도 언급했던 것처럼 꼭 반드시 자신의 언어로 답변을 다시 준비하도록 하자.면접 대비 글은 여기. [취준] 5번째, 데이터 사이언티스트 면접 준비데이터 사이언티스트.정말로 정보를 찾기가 힘든 직종이다.취업하는 과정이 험난하고 막막하다.나는 다음 세대가 더 편하게 취업을 했으면 하는 생각.. 2025. 5. 18.
[취준] 통계학 면접 대비 질문 리스트 (for 데이터 사이언티스트) 데이터 사이언티스트.정말로 정보를 찾기가 힘든 직종이다.취업하는 과정이 험난하고 막막하다.나는 다음 세대가 더 편하게 취업을 했으면 하는 생각에 취업 준비 기록을 남긴다. 딥러닝 면접 대비를 위한 질문 리스트이다.깃허브에 통합 버전이 있는데 안들어갈거 같아서 여기다 추가로 적는다. 원본은 여기.여러 사이트와 깃허브를 참고했다.그분들께 무한한 감사를 드립니다.그런 의미에서 나의 리스트도 공공재로 쓰면 된다. 다만 면접 대비에서도 언급했던 것처럼 꼭 반드시 자신의 언어로 답변을 다시 준비하도록 하자.면접 대비 글은 여기. [취준] 5번째, 데이터 사이언티스트 면접 준비데이터 사이언티스트.정말로 정보를 찾기가 힘든 직종이다.취업하는 과정이 험난하고 막막하다.나는 다음 세대가 더 편하게 취업을 했으면 하는 생각.. 2025. 5. 18.
[취준] 머신러닝 면접 대비 질문 리스트 (for 데이터 사이언티스트) 데이터 사이언티스트.정말로 정보를 찾기가 힘든 직종이다.취업하는 과정이 험난하고 막막하다.나는 다음 세대가 더 편하게 취업을 했으면 하는 생각에 취업 준비 기록을 남긴다. 딥러닝 면접 대비를 위한 질문 리스트이다.깃허브에 통합 버전이 있는데 안들어갈거 같아서 여기다 추가로 적는다. 원본은 여기.여러 사이트와 깃허브를 참고했다.그분들께 무한한 감사를 드립니다.그런 의미에서 나의 리스트도 공공재로 쓰면 된다. 다만 면접 대비에서도 언급했던 것처럼 꼭 반드시 자신의 언어로 답변을 다시 준비하도록 하자.면접 대비 글은 여기. [취준] 5번째, 데이터 사이언티스트 면접 준비데이터 사이언티스트.정말로 정보를 찾기가 힘든 직종이다.취업하는 과정이 험난하고 막막하다.나는 다음 세대가 더 편하게 취업을 했으면 하는 생각.. 2025. 5. 17.
[취준] 딥러닝 면접 대비 질문 리스트 (for 데이터 사이언티스트) 데이터 사이언티스트.정말로 정보를 찾기가 힘든 직종이다.취업하는 과정이 험난하고 막막하다.나는 다음 세대가 더 편하게 취업을 했으면 하는 생각에 취업 준비 기록을 남긴다. 딥러닝 면접 대비를 위한 질문 리스트이다.깃허브에 통합 버전이 있는데 안들어갈거 같아서 여기다 추가로 적는다. 원본은 여기.여러 사이트와 깃허브를 참고했다.그분들께 무한한 감사를 드립니다.그런 의미에서 나의 리스트도 공공재로 쓰면 된다. 다만 면접 대비에서도 언급했던 것처럼 꼭 반드시 자신의 언어로 답변을 다시 준비하도록 하자.면접 대비 글은 여기. [취준] 5번째, 데이터 사이언티스트 면접 준비데이터 사이언티스트.정말로 정보를 찾기가 힘든 직종이다.취업하는 과정이 험난하고 막막하다.나는 다음 세대가 더 편하게 취업을 했으면 하는 생각.. 2025. 5. 17.
[취준] 7번째, 데이터 사이언티스트 면접 후기 데이터 사이언티스트.정말로 정보를 찾기가 힘든 직종이다.취업하는 과정이 험난하고 막막하다.나는 다음 세대가 더 편하게 취업을 했으면 하는 생각에 취업 준비 기록을 남긴다.이 포스팅에서는 구직 활동의 실제 면접 후기를 다룬다.구직 활동 관련 포스팅의 링크는 여기. [취준] 6번째, 데이터 사이언티스트 구직 방법 노하우데이터 사이언티스트.정말로 정보를 찾기가 힘든 직종이다.취업하는 과정이 험난하고 막막하다.나는 다음 세대가 더 편하게 취업을 했으면 하는 생각에 취업 준비 기록을 남긴다.면접 준비까지davidlds.tistory.com 내가 여기서 공유하고 싶은 것은 회사의 면접 정보이다.면접이 어떻게 진행되는지, 기출 질문은 무엇인지 알려주고자 한다. 1. 구직 결과나의 구직 결과는 다음과 같다. 기간: 1.. 2025. 5. 10.

티스토리툴바