NLP 테스크에서 기본이 되는 주제이고 QA, Summary, IR(정보 검색)등 다양한 분야에 응용가능한 주제인 문맥적 유사도 측정(Semantic Text Similarity) 는 복수의 문장에 대한 유사도를 선형적 수치로 제시하는 NLP Task이다.
가령 2개의 문장이 주어졌을 때, e.g 나는 초콜릿이 좋아, 내가 선호하는 간식은 초콜릿이야. 라는 문장이 들어왔을때 두 문장이 얼마나 유사한지 유사도를 반환하는 주제이다.
비슷한 예제로 NLI 테스크인 Textual Entailment가 있는데 마찬가지로 2개의 문장이 들어오는데 ‘순서’대로 입력이 들어왔을 경우 전제 와 결론 이 들어오면 참 또는 것짓을 반환하는 테스크이다.
Semantic Text Similarity 와Textual Entailment 가 다른 점은 방향성입니다. STS의 경우 동등한 위치에서 양방향성으로 탐색을 할 수 있다는 점이 있지만 TE같은 경우 앞뒤 관계가 바뀌는 경우 참과 거짓이 바뀌는 경우가 발생합니다.
실수는 유리수와 무리수가 있다. , 자연수는 실수이다
통계학에서 , 피어슨 상관 계수(Pearson Correlation Coefficient ,PCC)란 두 변수 X 와 Y 간의 선형 상관관계를 계량화한 수치다. 피어슨 상관 계수는 코시-슈바르츠 부등식에 의해 +1과 -1 사이의 값을 가지며, +1은 완벽한 양의 선형 상관 관계, 0은 선형 상관 관계 없음, -1은 완벽한 음의 선형 상관 관계를 의미한다. 일반적으로 상관관계는 피어슨 상관관계를 의미하는 상관계수 이다.
본 대회에서는 pearson correlation을 통해 예측한 predict_values가 target과 얼마나 유사한지 판단한다.
→ pearson corr을 사용한 이유를 유추해보면 다소 몇가지가 있다.
predict_values 는 소수점 1자리로 반올림된다!회귀 문제기 때문에 특정 id에서 예측한 값이 얼마나 맞냐는 그렇게 중요하지 않다고 생각이 들었다. label을 책정하는 기준에서 인적 오류를 무시할 수 없고 특정 id를 얼마나 잘 맞추는지가 중요한 것이 아닌 id들 상대적으로 얼마나 간격차를 잘 내는가! 즉 기울기가 얼마나 유사한가! 가 해당 대회의 목표이기 때문에 pearson corr을 사용한게 아닌가 생각이 든다.