Study Log7 Energy-based Out-of-distribution Detection 리뷰 | Energy based model 본 논문은 nips 2022에 accept 된 논문이고, 현재 인용수는 1105회이다.real data와 fake data의 에너지가 다르다는 인사이트를 얻기 위해 논문을 읽게 되었다. 코드, 아카이브 Abstract & Introduction 본 논문에서는 out of distribution data를 탐지할 때 energy score를 사용할 수 있다는 것을 제시한다. 기존에 사용하였던 softmax score의 단점인 overconfidence를 줄일 수 있는 방법이라는 것을 제시한다. OOD detection task: 학습이 완료된 모델이 새로운 샘플을 입력 받았을 때 ID 인지 OOD인지를 구분하는 태스크학습할 때는 OOD detection이 아닌 이미지 분류 모델로 학습이 된다. ID와 O.. 2024. 7. 22. Out-of-distribution Metrics(FPR95, AUROC, AUPR) OOD Sample과 ID sample을 구분하는 OOD Detection task에서 자주 사용하는 Metric들에 대해 알아보자. 1) False Positive Rate(FPR95):모델이 높은 신뢰도로 ID 데이터를 식별하는 상황에서, 얼마나 많은 OOD 데이터를 잘못 식별하는지 평가할 수 있다. FPR95는 True Positive Rate(TPR)가 95%일 때의 False Positive Rate(FPR)를 의미True Positive Rate (TPR): 실제로 In-Distribution (ID) 데이터인 경우를 모델이 올바르게 ID로 분류한 비율. False - - Positive Rate (FPR): 실제로 OOD 데이터인 경우를 모델이 잘못 ID 데이터로 분류한 비율. 즉, .. 2024. 7. 22. Softmax 함수 출력의 의미 그리고 NLL loss 1. Softmax 함수2. NLL Loss 2.1. 개념 2.2. 수학적 정의 2.3. 예시 softmax함수는 다음과 같다.K: 클래스 개수k: 해당 클래스 softmax 함수의 사용 목적다중 클래스 분류와 같은 문제에서 최종 출력을 할 때에 출력값을 0과 1 사이의 확률값으로 나타내기 위해 사용한다.로짓을 exp()값을 통해서 양수화하고 normalize 작업을 거친다. 그러면 다음과 같은 효과가 있다모든 값이 0과 1 사이에 있다모든 class에 대한 softmax값을 더하면 1이 된다. 따라서 확률처럼 사용할 수 있다. softmax의 출력이 뉴럴 네트워크의 confidence와 같은 역할을 할 수 있다. softmax 함수의 출력이 뉴럴 네트워크의 confidence(신뢰도)와 .. 2024. 7. 22. NeRF에 대하여 간단하게 정리 논문 링크NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisECCV 2020(oral)에 발표된 논문으로(best paper 수상), 24년 6월 27일 기준 무려 7383회 인용된 논문이다. 일단 NeRF는 Neural Radiance Field의 약어이다. 장면을 표현하는데에 neural radiance field를 사용하겠다는 것.NeRF는 간단히 말하자면, 공간 재현을 위한 뷰 합성 방법이다. 3D 모델을 바라본 모습, 즉 이미지, 들을 예측할 수 있는 모델을 만드는 것이다. 어떤 물체를, 물체의 어디서 보더라도 알 수 있다면, 이것 자체로 물체를 *3D 렌더링 했다고 보는 것*3D 렌더링: 3차원 모델을 2차원 이미지로.. 2024. 6. 27. Normalize flow 설명 | Flow-based deep generative models 본 글은 다음링크를 읽고 정리한 글임을 밝힙니다.GeneFace 논문을 읽던 도중 배경지식이 부족하여 읽게 된 글입니다. determinant 관련 참고링크 Change of variable theorem (변수변환 정리)관련 참조 링크 What is Normalizing Flows?관련 참조 링크관련 참조링크2 2024. 6. 26. PCA(Principal Component Analysis) 주성분 분석에 대하여 이 글은 다음 포스트를 읽고 정리한 글임을 밝힙니다. 포스트에서 잘 이해가 가지 않는 부분은 추가로 정리했습니다. 1. PCA란?분포된 데이터들의 주성분을 찾는 방법이다. 고차원 데이터를 저차원으로 변환하면서도 데이터의 중요한 정보는 최대한 유지하려는 의도주성분이란, 그 방향으로 데이터들의 분산이 가장 큰 방향벡터를 의미한다.분산이란 데이터가 평균값에서 얼마나 떨어져있는지를 의미한다. 분산이 크다는 것은 데이터가 넓게 펼쳐져 있다는 것을 의미한다. 이는 데이터의 변동성이 크다는 것을 의미한다. PCA는 데이터의 분산을 최대한 유지하려고 한다. 데이터의 분산이 클수록 더 많은 정보가 보존된다고 가정하기 때문이다. 2. LS근사와 PCA와의 비교PCA로 구한 직선과 LS방법(최소자승법)으로 구한 직선이 .. 2024. 6. 24. 이전 1 2 다음
