딥러닝27 [풀스택 딥러닝] 1번째, 딥러닝 개발 인프라와 도구, 파이토치 라이트닝, 허깅페이스, ONNX, 분산 학습 DDP, ZeRO-3, 클라우드 비용, GPU 서버 구축 비용 개발자 직군이라면 누구나 한번쯤 들어봤을 풀스택.대 AI 시대에 들어선 지금, 마침내 딥러닝도 풀스택이란 용어가 생겼다. 나도 AI는 모델만 잘 만들면 되는줄 알았다.하지만 실제로는 AI를 위한 부수적인 툴과 개념이 수없이 많이 생겼다.그리고 기업들도 점점 `풀스택 AI 엔지니어`를 선호하기 시작했다.(데이터 사이언티스트, 리서치 엔지니어도 마찬가지로 풀풀익선이다.) 그래서 Full Stack Deep Learning 이라는 유우명한 강의를 번역 의역하고자 한다.나에게도 도움이 되고, 딥러닝 입문자, 중급자에게도 도움이 되길 바란다. 이번 내용은 `딥러닝 개발 인프라와 도구` 이다.원문과 영상의 링크는 여기. 1.딥러닝 개발먼저 프로그래밍 언어이다.딥러닝 개발에서 가장 많이 쓰이는 언어는 파이썬이다.라이.. 2025. 6. 16. 딥러닝 공부 순서 정리 (for CV, Computer Vision) 딥러닝을 처음 배우는 사람에게 길잡이가 되기 위한 글이다. 나는 딥러닝 석사 출신 데이터 사이언티스트다.내가 석사에 입학하고 그해 ChatGPT가 흥하기 시작했다.어떻게 보면 AI를 온전히 연구한 첫 석사인 셈이다. 하지만 내가 입학했던 3월에는 ChatGPT가 없었다.따라서 딥러닝 논문들을 어떤 순서로 공부해야하는지 막막했다.ChatGPT는 그때 당시 신생아에 불과했다.이런거 물어보면 2021년 전 논문만 알고 있었다. (ㄹㅇ 킹받) 그때 겪은 고통으로 나만의 아카이브와 공부 순서를 정리해놨다. 그리고 이걸 이 글에서 정리해서 포스팅 하려고 한다.뭐부터 해야할지 방황(?)하는 연구자들에게 힘이 되었으면 한다. 그리고 나의 주 연구 분야는 비전이다.따라서 이 글에서는 비전을 먼저 다룰 예정이다. 1. .. 2025. 6. 1. [취준] 딥러닝 면접 대비 질문 리스트 (for 데이터 사이언티스트) 데이터 사이언티스트.정말로 정보를 찾기가 힘든 직종이다.취업하는 과정이 험난하고 막막하다.나는 다음 세대가 더 편하게 취업을 했으면 하는 생각에 취업 준비 기록을 남긴다. 딥러닝 면접 대비를 위한 질문 리스트이다.깃허브에 통합 버전이 있는데 안들어갈거 같아서 여기다 추가로 적는다. 원본은 여기.여러 사이트와 깃허브를 참고했다.그분들께 무한한 감사를 드립니다.그런 의미에서 나의 리스트도 공공재로 쓰면 된다. 다만 면접 대비에서도 언급했던 것처럼 꼭 반드시 자신의 언어로 답변을 다시 준비하도록 하자.면접 대비 글은 여기. [취준] 5번째, 데이터 사이언티스트 면접 준비데이터 사이언티스트.정말로 정보를 찾기가 힘든 직종이다.취업하는 과정이 험난하고 막막하다.나는 다음 세대가 더 편하게 취업을 했으면 하는 생각.. 2025. 5. 17. [논문 리뷰] LLaMA v1 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. LLaMA v1LLaMA: Open and Efficient Foundation Language ModelsTOUVRON, Hugo, et al. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023. 논문 원문 링크 참고로 LLaMA는 Large Language model Meta AI의 줄임말이다. 저자의 의도7B ~ 65B 크기의 foundation language 모델을 만든다.독점적이고 비공개된 데이터가 아니라 오픈 데이터로 SOTA를 달성해보자.저자들은 리서치 커뮤니.. 2025. 3. 31. [논문 리뷰] data2vec 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. data2vecdata2vec: A General Framework for Self-supervised Learning in Speech, Vision and LanguageBAEVSKI, Alexei, et al. Data2vec: A general framework for self-supervised learning in speech, vision and language. In: International Conference on Machine Learning. PMLR, 2022. p. 1298-1312. 논문 원문 링크 저자의 의도general self-supervised lear.. 2024. 7. 16. [논문 리뷰] iBOT 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. iBOTiBOT: Image BERT Pre-Training with Online TokenizerZHOU, Jinghao, et al. ibot: Image bert pre-training with online tokenizer. arXiv preprint arXiv:2111.07832, 2021. 논문 원문 링크 저자의 의도MIM 연구를 통해 visual tokenizer의 장점과 문제점을 연구해보자.online tokenizer를 사용한 self-supervised 프레임워크 iBOT를 제시한다.온라인의 의미는 사전 학습된 고정값이 아니라 모델과 함께 학습되는 것을 뜻한다.마스크 .. 2024. 7. 11. [논문 리뷰] DINO 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. DINOEmerging Properties in Self-Supervised Vision TransformersCARON, Mathilde, et al. Emerging properties in self-supervised vision transformers. In: Proceedings of the IEEE/CVF international conference on computer vision. 2021. p. 9650-9660. 논문 원문 링크 저자의 의도self-supervised learning(SSL)이 ViT에 새로운 특성을 부여하는지에 대한 연구이다.SSL + ViT 조합에 .. 2024. 7. 11. [논문 리뷰] CAE(Context Autoencoder) 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. CAEContext Autoencoder for Self-Supervised Representation LearningCHEN, Xiaokang, et al. Context autoencoder for self-supervised representation learning. International Journal of Computer Vision, 2024, 132.1: 208-223. 논문 원문 링크 I-JEPA에 레퍼런스로 나와서 읽어봤다.representation space에서 학습하는 개념 측면에서 I-JEPA와 매우 유사하다.근데 전체적으로 용어가 왔다갔다하고 문장도 지나치게 .. 2024. 6. 25. [논문 리뷰] LLaVA-UHD 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. LLaVA-UHDLLaVA-UHD: an LMM Perceiving Any Aspect Ratio and High-Resolution ImagesXU, Ruyi, et al. Llava-uhd: an lmm perceiving any aspect ratio and high-resolution images. arXiv preprint arXiv:2403.11703, 2024. 논문 원문 링크 별로 기대하지 않고 본 논문인데 내용이 매ㅐㅐㅐㅐㅐㅐㅐㅐㅐ우 흥미롭다.그리고 vision 하는 사람들의 진짜 고민인 부분을 잘 건드린 논문이라고 생각한다. 저자의 의도visual 인코딩은 large .. 2024. 6. 19. [논문 리뷰] MambaOut 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. MambaOutMambaOut: Do We Really Need Mamba for Vision?YU, Weihao; WANG, Xinchao. MambaOut: Do We Really Need Mamba for Vision?. arXiv preprint arXiv:2405.07992, 2024. 논문 원문 링크 엄청난 어그로성 제목의 논문이 나왔다.(이정도면 유투바 아니냐고....)접근이 신선하고 비슷한 생각을 해본 적이 있기 때문에 읽었는데...결론이 좀 허망하게 난 경향이 있다.너무 기대하고 읽을 필요는 없겠다. 저자의 의도Mamba는 어텐션 매커니즘의 2차함수 복잡성을 해결하는데 .. 2024. 6. 11. 이전 1 2 3 다음
