yoooon1009 님의 블로그

Background소속: Microsoft Research, University of Chinese Academy of Sciences게재:Abstract & 1 Introduction✔️ 기존 양자화 방법들 학습 후 양자화 적용- 훈련 파이프라인 수정과 모델 재훈련 불필요 => 간단하고 적용이 쉬움- 학습 모델이 양자화가 적용된 표현에 최적화되지 않아 성능이 저하됨 양자화 인식 훈련(quantization-aware training)- 학습 후 양자화 적용보다는 높은 정확도, 지속적인 학습이나 fine-tuning 가능- 모델의 최적화가 어렵고 scaling law of neural language models를 따르는지 알 수 없음 📌 BitNetLLM을 위한 1-bit Transformer arc..

프롬프트 엔지니어링 논문임..Background소속: Microsoft, Scale AI게재: 아카이브Abstract & 1 INTRODUCTIONㄱ✔️ 기존의 RAG추가적인 명시적 기준 없이 문맥 관련성을 극대화하려는 검색 시스템은 정보 병목 현상이 발생해 답변 품질이 저하됨통합 메트릭을 고려할 때 추론 시간 컴퓨팅 사용량에 따라 제대로 확장되지 않음✔️ RErank BEyond reLevance (REBEL)Chain-of-Thought prompting (and optionally Multi-Turn dialogue)를 사용하여 multi-criteria optimization를 주입함으로써 RAG 시스템이 추론 시간 컴퓨팅에 따라 확장할 수 있도록 함새로운 성능/속도 트레이드오프 곡선을 가능하게..

Backgorund소속: University of Hong Kong게재: 아카이브ABSTRACT & 1 INTRODUCTION✔️ 현재의 Small Language Models (SLMs)현재의 RAG 아키텍처들은 LLM에 최적화되어 있음 SLM이 처리하기에는 복잡한 쿼리 해석, 추론, 의미 매칭, 정보 종합 등의 기능을 제대로 수행하지 못함정확도가 떨어지는 성능 저하 발생LLM에서 SLM으로 전환할 때 특정 고급 RAG 프레임워크가 작동하지 않음✔️ SLM에 대한 세 가지 근본적인 관찰(인사이트)정교한 의미 이해에는 어려움을 겪지만 패턴 매칭과 지역화된 텍스트 처리에는 탁월함명시적인 구조 정보는 제한된 의미 기능을 효과적으로 보완할 수 있음복잡한 RAG 연산을 더 간단하고 잘 정의된 단계로 분해하면 ..

Background소속: Beijing University of Posts and Telecommunications, University of Hong Kong게재: 아카이브ABSTRACT & 1 INTRODUCTION📌기존 RAG 시스템의 한계평면적인 데이터 표현에 의존, 엔티티 간의 관계를 이해하지 못 함문맥 인식 미흡으로 복잡한 상호 의존성을 적절히 파악하지 못 함=> 단편적인 답변 생성 📌 효과적이고 효율적인 RAG system 달성을 위한 세가지 주요 challengesComprehensive Information Retrieval: 모든 문서에서 상호 의존적인 엔티티의 전체 맥락을 파악하는 포괄적인 정보 검색 보장Enhanced Retrieval Efficiency: 그래프 기반 지식 구조..

Background소속: Microsoft Research게재:Abstract & 1 Introduction기존의 연관 문서를 검색하고 쿼리와 함께 입력해서 질문에 대한 답변을 생성하는 vector RAG 방식은 query-focused summarization(QFS)이기 때문에, “지난 10년간 과학적 발견이 학제 간 연구의 영향을 받은 주요 트렌드는 무엇인가?”와 같이 전체 데이터 세트에 대한 전반적인 이해가 필요한 sensemaking query들을 지원하지 못한다. 본 논문에서는 large text corpus에 대한 sensemaking을 가능하게 하는 graph-based RAG 접근 방식 GraphRAG를 제안한다.LLM을 사용하여 knowledge graph를 구성하는데, 노드는 corp..

Background소속: Mila - Quebec AI Institute, NVIDIA출판: ACL-IJCNLP 2021인용: 104회Abstract & 1 Introductionopen-domain question answering 문제를 해결하기 위해 supervised와 unsupervised 방법들이 활용되었다. 하지만 neural retriever를 위해 이 방법들을 가장 효과적으로 사용하는 방법에 대해서는 불분명하다. 본 논문에서는 retriever pre-training을 체계적으로 연구한다.unsupervised pre-training을 수행하고 supervised fine-tuning을 수행하는 방법을 제안reader와 retriever의 end-to-end training을 위한 두 가..

Background소속: Facebook AI Research출판: EACL 2021Abstract & 1 IntroductionOpenQA를 위한 생성 모델은 우수한 성능을 가지지만, 수백억개의 파라미터를 필요로하며 훈련을 위한 비용이 비싸다. 본 논문에서는 이러한 모델이 잠재적으로 evidence를 포함한 retrieving text passages로 부터 얼마나 이점을 얻을 수 있을지 조사한다. 이를 위한 방법은 두 단계로 진행된다.먼저 sparse or dense representations을 사용해 supporting passages를 검색question과 retrieved passages를 입력하여 seq2seq 모델로 답변을 생성결과적으로 retrieved passages의 수를 늘릴 때 성..

Background소속: Google Research출판: PMLR 2020Abstract & 1. IntroductionLLM은 뛰어난 성능을 지니지만 모든 지식들은 파라미터에 저장되고, 더 많은 지식을 다루기 위해서는 점점 네트워크를 키워야한다. latent knowledge retriever를 활용해 모듈화하고 해석 가능하도록 지식을 습득하기 위한 새로운 프레임워크 Retrieval-Augmented Language Model(REALM)을 제안한다. 이 모델은 추론 과정 중에 어떤 지식을 사용하고 검색할 지 모델이 결정하게 함으로써 지식의 역할을 명시적으로 노출한다. 모델을 학습하기 위해 마스킹된 문장의 마스크를 예측하는 unsupervised 학습 방법을 채택한다. retriver이 마스킹에 도..

Background소속: Facebook AI Research, University College London, New York University출판: NeurIPS2020Abstract & 1 IntroductionLLM은 NLP 분야에서 뛰어난 성능을 달성했다. 하지만 지식에 접근하고 다루는 능력은 제한적이며, knowledge-intensive task에서는 task-specific architecture에 비해 성능이 뒤떨어지며 몇 가지 단점이 존재한다.이미 학습된 지식을 확장하거나 수정할 수 없음생성된 문장에 대한 근거를 제시할 수 없음hallucinations을 생성할 수 있음RAG를 활용하면 1. 학습된 지식을 확장하거나 수정할 수 있으며 2. 생성된 문장을 검사하고 해석할 수 있다. 본 ..

ABSTRACTTransformer는 NLP 분야에서 표준이 되었지만, 컴퓨터 비전 분야에서는 그 적용이 제한적이다. 비전분야에서 attention은 convolutional network와 함께 사용된다. 본 논문에서는 CNN을 사용하지 않고 이미지 시퀀스 패치에 Transformer만을 적용해 image classification에서 잘 동작하는 것을 보여준다. 1 INTRODUCTIONTransformer는 NLP분야에서 표준이 되었고, 계산 효율성과 확장성 덕분에 100B개가 넘는 파라미터로 대규모의 모델의 훈련할 수 있게 되었다. 모델과 데이터 셋이 계속 증가해도 성능은 여전히 포화 상태에 도달하지 못한다. 그러나 CV에서는 Convolutional architecture가 여전히 지배적이다. ..