SBERT 모델 이해 - 2. BERT & SBERT

Reference.https://wikidocs.net/115055 17-02 버트(Bidirectional Encoder Representations from Transformers, BERT)* 트랜스포머 챕터에 대한 사전 이해가 필요합니다.  BERT(Bidire…wikidocs.net 기본적인 구조는 바로 이전 포스팅 ( https://rgb234.tistory.com/54 ) 에서 언급한트랜스포머 Transformer 의 Encoder layer 를 여러 개 쌓은 구조이다. 각 층은 서브 층 두 개로 구성되어 있으며, 순서대로 Multi-head Self Attention 와 FFNN (Fead-fo..

• format_list_bulleted Study/Machine Learning
• · 2025. 5. 17.

SBERT 모델 이해 - 1. Transformer & Attention 매커니즘

https://wikidocs.net/book/2155 딥 러닝을 이용한 자연어 처리 입문`25년 1월 기준: 누적 조회수: 1,700만 베스트셀러` 많은 분들의 피드백으로 수 년간 보완된 현업 연구원들이 작성한 `딥 러닝 자연어 처리 교재 입문서`입니다. …wikidocs.net위의 링크에서 서브워드 토크나이저, 어텐션 매커니즘, 트랜스포머, BERT 파트를 위주로 보며 최대한 중심 흐름 위주로 정리하였다.여기서 생략된 설명은 거의 전부 위의 링크에서 설명하고 있다. 신경망에서 Gradient descent 를 통해 어떻게 모델학습이 이뤄지는지에 대해서는 어느정도 이미 알고 있다고 가정할 때,SBERT 모델을 이해하기 위해 다음의 개념들을 이해하면 좋다. 1. Transformer & Attention..

• format_list_bulleted Study/Machine Learning
• · 2025. 5. 17.

ROC curve 와 AUC

- Accuracy 정확도(TP + TN) / (TP + TN + FP + TN)- Precision 정밀도 TP / (TP + FP)- Recall 재현율 = Sensitivity 민감도 = TPR true positive rateTP / (TP + FN)- FPR false positive rateFP / (TN + FP)- Specificity 특이성 = TNR true nagative rateTN / (TN + FP) = 1 - FPR ROC curveX-axis 가 FPR, Y-axis 가 TPR 인 곡선Receiver Operation Characteristic Curve, 통신장비성능 측정용도로고안된 곡선이기 때문에 이런 이름. 이름이 중요하진 않다FPR 은 threshold 값이 변함에 ..

• format_list_bulleted Study/Machine Learning
• · 2023. 9. 17.

Confusion matrix(오차행렬) 와 정밀도, 재현율, F1 score

이진 분류 (0 , 1 두 가지로 분류) 상황에서Positive / Nagative 는 예측값이 1(Positive) / 0 (Nagative) 임을 의미하고,True / False 는 예측값이 진짜로 맞았는지 틀렸는지를 의미한다. TP(True Positive) 는 모델이 참으로 예측했고, 실제로도(답이) 참이었던 경우FP 는 참으로 예측했으나, 답은 거짓이었던 경우를 말한다.가령 특정 데이터를 바탕으로 췌장암 예측모델을 만들었으며, 암 유/무 를 1과 0으로 표현할 떄췌장암 환자라고 예측 -> 진짜로 췌장암 환자였다 : TP췌장암 환자가 아니라고 예측 -> 사실 췌장암 환자였다 : FN 로 표현한다. 그리고 TP, TN, FP, FN 네 가지를 표현한 매트릭스를 Confusion Matrix, 오차행..

• format_list_bulleted Study/Machine Learning
• · 2023. 9. 8.

인코딩 (encoding), 피쳐 스케일링 (feature scaling)

인코딩(Encoding)레이블(Label) 인코딩카테고리 피쳐를 코드형 숫자 값으로 변환ex)"북미" -> 0"남미" -> 1"아시아" -> 2 - 주의사항"북미" 가 0이고, "아시아" 가 2로 변환되어 0 따라서 회귀 계열의 ML 알고리즘에서는 사용할 수 없고, 분류 계열의 알고리즘에서는 사용해도 문제없다. 원-핫 인코딩 여러 개 속성 중에서 하나의 속성만 1 로 표시한다고 하여 원-핫 인코딩가령 라면은 [1,0,0,0,0] 의 값으로 표현된다. #import pandas as pddf = pd.DataFrame({'item': ['TV', '데스크탑', '선풍기', '에어컨', '에어프라이기', '제습기', '공기청정기', '가습기', '청소기']})df_oh = pd.get_dummies(df)..

• format_list_bulleted Study/Machine Learning
• · 2023. 9. 5.

교차 검증 (Cross validation) | K-fold, Stratified K-fold

ML 에는 Under-fitting 문제와 Over-fitting 문제가 존재한다.학습이 덜 이뤄진 경우 Under-fitting은 추가적으로 학습을 더 시키면 되지만, 학습 데이터(샘플)에 과도하게 맞춰진 Over-fitting의 경우일반적인 데이터(모집단)의 특징(feature)들을 제대로 학습하지 못할 수 있다.따라서 학습에 사용되지 않은 데이터인 검증데이터를 통해 학습한 모델의 성능을 평가한다. 데이터셋이 충분히 많다면 학습(learning) 데이터와 검증(validation) 데이터를 따로 두지만,데이터셋이 충분하지 않을 경우 데이터를 학습 겸 검증 데이터로 써야 하는 경우도 존재한다.하지만 앞서 말한 이유로, 학습 데이터를 그대로 검증하는 데 사용할 순 없으므로 사용하는 일종의 트릭이Cross..

• format_list_bulleted Study/Machine Learning
• · 2023. 9. 4.