Dense Passage Retrieval for Open-Domain Question Answering

 

본 포스트는 2020년에 발표되어 arxiv에 등록되어 있는 'Dense Passage Retrieval for Open-Domain Question Answering'의 내용을 요약, 정리하였습니다.

Paper

Dense Passage Retrieval for Open-Domain Question Answering

1. Introduction

Open-domain QA Task는 MRC 모델의 성능 뿐만 아니라, Retrieval 모델에서 적절한 passage를 찾아주는 것 또한 중요합니다. 본 논문에서는 기존의 어휘 기반 TF-IDF, BM25 기반 Sparse embedding이 아닌 인코더 모델을 사용하여 문장의 의미론적인 특징을 특정 차원의 벡터로 표현한 Dense embedding 기반의 Retrieval 모델 구조와 학습 방법을 제시합니다.

 

2. Method

질문과 지문을 각각 별도의 인코더 모델(BERT 등)을 사용해 특정 차원의 벡터로 표현합니다.

논문에서는 질문 벡터와 지문 벡터 사이 유사도를 내적(Inner product)를 사용하여 계산합니다.

이렇게 각 질문마다 지문에 대한 유사도를 계산한 뒤 필요에 따라 Top-k개의 지문을 활용할 수 있습니다.

 

학습 방법은 관련있는(positive) 질문과 지문 사이 거리는 가깝게, 관련이 없는 질문과 지문 사이 거리는 멀게 임베딩되도록 인코더를 학습합니다. 이 때, 하나의 positive 쌍과 여러개의 negative 쌍을 하나의 instance로 학습합니다.

 

모델에서 사용하는 loss는 negative log likelihood loss입니다.

3. Experiments

본 성능표에서 특이한 점은 DPR 사용 또는 reranking시 성능이 대부분 향상되었지만, SQuAD 데이터셋의 경우에는 성능이 하락하는 경우가 있었습니다. 저자는 그 이유는 데이터셋의 지문을 보고 질문을 생성하고, 생성한 질문을 보고 답을 태깅하는 데이터셋의 경우 어휘 기반 유사도가 높기 때문에 기본적으로 BM25를 사용한 유사도 측정 방식이 성능이 좋을 것이라고 설명합니다.