머신러닝23 [스터디 노트] 17번째 머신러닝 기초 (241004), 제로베이스 데이터 분석 스쿨 내용 제로베이스 데이터 분석 스쿨 내용에 대한 기록이다.17번째는 머신러닝 기초 강의이다. 대부분 알고 있는 내용이라 정리하는 것에 집중했다.기존에 혼공머신으로 작성한 깃허브 노트에 추가로 더해서 작성했다.ADsP에서 배운 내용들에도 추가로 작성했다. [ML]경험을 통해 자동으로 개선하는 컴퓨터 알고리즘.알고리즘을 사용하여 데이터에서 패턴을 찾는다.간단하게 정의하면 머신 랭귀지로 러닝시키는 것.인풋(데이터셋)을 주고, 익명의 함수(람다)를 사용하며, 아웃풋(정답지)를 알려준다.기본 : 회귀(Regression), 분류(Classification)회귀(regression) : 임의의 숫자를 예측. 연속성 결과, 시퀀셜 결과. (ex. 고객 별 연체 확률 예측, 상품 판매량 예측)분류(classification.. 2024. 10. 4. [논문 리뷰] data2vec 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. data2vecdata2vec: A General Framework for Self-supervised Learning in Speech, Vision and LanguageBAEVSKI, Alexei, et al. Data2vec: A general framework for self-supervised learning in speech, vision and language. In: International Conference on Machine Learning. PMLR, 2022. p. 1298-1312. 논문 원문 링크 저자의 의도general self-supervised lear.. 2024. 7. 16. [논문 리뷰] iBOT 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. iBOTiBOT: Image BERT Pre-Training with Online TokenizerZHOU, Jinghao, et al. ibot: Image bert pre-training with online tokenizer. arXiv preprint arXiv:2111.07832, 2021. 논문 원문 링크 저자의 의도MIM 연구를 통해 visual tokenizer의 장점과 문제점을 연구해보자.online tokenizer를 사용한 self-supervised 프레임워크 iBOT를 제시한다.온라인의 의미는 사전 학습된 고정값이 아니라 모델과 함께 학습되는 것을 뜻한다.마스크 .. 2024. 7. 11. [논문 리뷰] DINO 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. DINOEmerging Properties in Self-Supervised Vision TransformersCARON, Mathilde, et al. Emerging properties in self-supervised vision transformers. In: Proceedings of the IEEE/CVF international conference on computer vision. 2021. p. 9650-9660. 논문 원문 링크 저자의 의도self-supervised learning(SSL)이 ViT에 새로운 특성을 부여하는지에 대한 연구이다.SSL + ViT 조합에 .. 2024. 7. 11. [논문 리뷰] CAE(Context Autoencoder) 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. CAEContext Autoencoder for Self-Supervised Representation LearningCHEN, Xiaokang, et al. Context autoencoder for self-supervised representation learning. International Journal of Computer Vision, 2024, 132.1: 208-223. 논문 원문 링크 I-JEPA에 레퍼런스로 나와서 읽어봤다.representation space에서 학습하는 개념 측면에서 I-JEPA와 매우 유사하다.근데 전체적으로 용어가 왔다갔다하고 문장도 지나치게 .. 2024. 6. 25. [논문 리뷰] LLaVA-UHD 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. LLaVA-UHDLLaVA-UHD: an LMM Perceiving Any Aspect Ratio and High-Resolution ImagesXU, Ruyi, et al. Llava-uhd: an lmm perceiving any aspect ratio and high-resolution images. arXiv preprint arXiv:2403.11703, 2024. 논문 원문 링크 별로 기대하지 않고 본 논문인데 내용이 매ㅐㅐㅐㅐㅐㅐㅐㅐㅐ우 흥미롭다.그리고 vision 하는 사람들의 진짜 고민인 부분을 잘 건드린 논문이라고 생각한다. 저자의 의도visual 인코딩은 large .. 2024. 6. 19. [논문 리뷰] MambaOut 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. MambaOutMambaOut: Do We Really Need Mamba for Vision?YU, Weihao; WANG, Xinchao. MambaOut: Do We Really Need Mamba for Vision?. arXiv preprint arXiv:2405.07992, 2024. 논문 원문 링크 엄청난 어그로성 제목의 논문이 나왔다.(이정도면 유투바 아니냐고....)접근이 신선하고 비슷한 생각을 해본 적이 있기 때문에 읽었는데...결론이 좀 허망하게 난 경향이 있다.너무 기대하고 읽을 필요는 없겠다. 저자의 의도Mamba는 어텐션 매커니즘의 2차함수 복잡성을 해결하는데 .. 2024. 6. 11. [논문 리뷰] MoCo v3 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. MoCo v3An Empirical Study of Training Self-Supervised Vision TransformersCHEN, Xinlei; XIE, Saining; HE, Kaiming. An empirical study of training self-supervised vision transformers. In: Proceedings of the IEEE/CVF international conference on computer vision. 2021. p. 9640-9649. 논문 원문 링크 저자의 의도새로운 방법을 제시하는 것은 아니다.ViT의 self-supervi.. 2024. 6. 4. [논문 리뷰] MoCo v2 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. MoCo v2Improved Baselines with Momentum Contrastive LearningCHEN, Xinlei, et al. Improved baselines with momentum contrastive learning. arXiv preprint arXiv:2003.04297, 2020. 논문 원문 링크 저자의 의도SimCLR을 MoCo 프레임워크 안에서 학습시켜보자.MoCo를 SimCLR의 MLP projection head, augmentation을 사용해 수정해보자.SimCLR의 관점에서는 거대한 학습 배치 문제를 개선해보자. 기존 문제점MoCo의 작업 효율.. 2024. 5. 27. [논문 리뷰] MoCo v1 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다.나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. MoCo v1Momentum Contrast for Unsupervised Visual Representation LearningHE, Kaiming, et al. Momentum contrast for unsupervised visual representation learning. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020. p. 9729-9738. 논문 원문 링크 저자의 의도비지도학습에 특화된 크고 일관성 있는 딕셔너리를 구축해보자.visual representa.. 2024. 5. 22. 이전 1 2 3 다음
