Background
소속: Facebook AI Research
출판: EACL 2021
Abstract & 1 Introduction
OpenQA를 위한 생성 모델은 우수한 성능을 가지지만, 수백억개의 파라미터를 필요로하며 훈련을 위한 비용이 비싸다. 본 논문에서는 이러한 모델이 잠재적으로 evidence를 포함한 retrieving text passages로 부터 얼마나 이점을 얻을 수 있을지 조사한다. 이를 위한 방법은 두 단계로 진행된다.
- 먼저 sparse or dense representations을 사용해 supporting passages를 검색
- question과 retrieved passages를 입력하여 seq2seq 모델로 답변을 생성
결과적으로 retrieved passages의 수를 늘릴 때 성능이 향상되는 것을 확인했다. 이는 제안하는 sequence-to-sequence model이 여러 구절의 증거를 효율적으로 집계하고 결합할 수 있는 유연한 프레임워크를 제공한다는 증거다.
3 Method
Retrieval
support passage를 검색하기 위해 BM25(non-parametric)와 DPR(parametric)을 고려한다.
Reading
답변생성을 위해 unsupervised data로 사전 학습된 T5 or BART를 고려. [question:, title:, context:]로 구성하여 모델의 encoder에 입력해 hidden representation 생성. 마지막으로, decoder에서 모든 retrieved passage의 representation들을 연결해서 attention을 수행한다. 따라서 이 모델에서는 decoder에서만 evidence fusion을 수행하며, 이를 Fusion-in-Decoder라고 명명함. 이 방법은 encoder에서는 독립적으로 passage를 처리하지만, decoder에서는 jointly하게 처리해서 여러 passage를 더 잘 집계(aggregate)할 수 있다.
4 Experiments
Comparison to state-of-the-art
- 기존의 방법들보다 우수한 성능을 달성
- NaturalQuestions에서 11B parameter를 가진 T5는 36.6%의 정확도를 달성하고, 770M parameter를 가진 우리 모델은 44.1%의 정확도를 달성했다.
Scaling with number of passages
- passages 수를 늘릴 수록 성능이 향상됨
- 반면에 다른 모델들은 10~20개의 passage를 사용할 때 최고 성능을 달성함. 우리가 제안하는 모델이 다양한 passage로 부터 정보를 잘 결합하는 것을 알 수 있음
5 Conclusion
We show that while conceptually simple, this approach is competitive with existing methods, and that it scales well with the number of retrieved passages.