Transformer feed-forward layers are key-memories 논문 리뷰

Об этом предложении

논문 링크: https://arxiv.org/abs/2012.14913 Introduction Transformer 기반 language model들은 self-attention을 통해 많을 성공을 이뤘다. 하지만 self-attention layer의 실제 파라미터는 전체 파라미터의 1/3 비율만 차지하며, 2/3는 feed-forward layer가 차지하고 있다. 본 논문에서는 가장 많은 비율을 차지하는 feed-forward layer가 무슨 역할을 하는지에 대해 연구하였다. 저자들은 feed-forward layer가 neural memory를 모방함을 보였다. 첫 번째 parameter matrix는 key에 해당하여 input의 입력 패턴을 감지하고, 두 번째 parameter matrix는 value에 해당하여 output 단어에 대한 확률 분포를 유도한다. 이를 통해 feed-forward layer는 여러 memory를 결합하여 output을 만들고, 각 layer의 output은 residual connection을 통해 최종 예측을 형성한다. Feed-forward layers as unnormalized key-value memories Feed-forward layers Transformer의 각 feed-forward layer(FFN)는 각 input vector를 독립적으로 처리하는 position-wise function 이다. $$FF(x)=f(xK^\top)V$$ 즉, 먼저 input $x$와 첫 번째 matrix $k$를 연산하고 비선형 함수를 적용한 뒤, 그 결과를 두 번째 matrix $C$와 곱해서 FFN의 output을 만든다. Neural memory Neural memory는 여러 개의 key-value pair 로 구성되고, 논문에서는 각각의 pair를 하나의 memory라고 부른다. $$MN(x)=\text{softmax}(xK^\top)V$$ 즉, 어떤 key가 들어오면 input과 관련 있는지 계산하고, 선택된 정도에 따라 value들을 결합한다. Feed-forward layers emulate neural memory 위와 같이 FFN은 neural memory와 거의 동일한 구조를 가지고 있으며, 차이는 어떤 activation function을 사용하느냐이다. key가 입력 패턴을 탐지하면 그 활성화 정도(memory coefficient)에 따라 대응하는 value들이 결합되는 unnormalized key-value memory로 해석할 수 있다. Keys capture input patterns 주장: key vector $K$가 sequence의 패턴 탐지기 역할을 할 것이다. Experiment 각 key가 실제로 특정 입력 패턴을 감지하는지 확인하기 위한 실험을 진행하였다. 16-layer Transformer에서 각 layer 당 10개의 key, 총 160개의 key를 random sampling 하였다. 각 key에 대해 training data의 모든 접두사의 memory coefficient(메모리계수)를 계산하고, 계수가 가장 높은 top-25 trigger examples를 추출하였다. NLP 전문가가 trigger examples에서 반복되는 패턴을 찾아 shallow pattern(recurring n-grams 등)과 semantic pattern(recurring topic 등)으로 분류하였다. 각 key의 top-25 example는 한 명의 expert가 annotation하였다. results 모든 key에서 최소 하나 이상의 패턴을 발견했으며, 각 key당 평균 3.6개의 패턴이 확인되었다. 전체 trigger examples의 65~80%가 하나 이상의 패턴과 연관되어 있었다. Lower layers(1~9) 에서는 n-gram이나 마지막 단어와 같은 shallow pattern 이 주로 나타났다. Upper layers(10~16) 에서는 표면적인 형태보다 문맥,주제와 관련된 semantic pattern 이 더 많이 나타났다. 마지막 token을 제거하는 실험에서 lower layer의 key는 크게 영향을 받은 반면, upper layer의 key는 상대적으로 영향을 덜 받았다. 이는 upper layer로 갈수록 shallow pattern에 대한 의존도가 감소함을 보여준다. Values represent distributions 각 key와 연결된 value가 어떤 정보를 가지고 있는가? 각 value가 가장 높은 확률을 주는 token과, 해당 key를 가장 강하게 활성화한 trigger example의 실제 next token을 비교한 그래프이다. Lower layers(1~10)에서는 둘의 agreement가 거의 0이지만, layer 11부터 빠르게 증가하여 최대 약 3.5%까지 올라갔다. 이는 random prediction의 0.0004%보다 훨씬 높은 수치이다. 따라서 특히 upper layer에서 value는 대응하는 key가 감지한 패턴 다음에 올 가능성이 높은 token에 대한 정보를 담고 있음을 보여준다. 그렇다면 value가 내놓는 확률 분포가 얼마나 확신을 가지고 있는가? value가 특정 token에 높은 확률을 줄수록, 그 token이 key의 trigger example의 실제 next token과 일치할 가능성도 증가했다. Aggregating Memories 여러 계층, 여러 셀에서 나온 정보가 어떻게 통합되는가? Intra-layer memory composition 하나의 feed-forward layer에는 여러 memory가 있고, FFN의 output은 활성화된 여러 value를 메모리 계수에 따라 가중합(weighted sum)해서 만들어진다. 하나의 input이 각 layer에서 수백 개의 memory를 활성화한다. layer 10 부근에서 활성 메모리의 수가 감소하는데, 이 시점은 figure 2에서 semantic pattern이 shallow pattern보다 많아지는 시점과 비슷하다. 최종 예측이 특정 memory 하나의 예측으로 결정되는지 확인하였다. 결과적으로 모든 layer에서 대부분의 개별 메모리셀은 정답과 일치하지 않았다. 이는 하나의 강한 memory가 output을 결정하는 것이 아니라 여러 memory가 결합되어 새로운 예측을 만드는 것을 의미한다. Inter-layer predictrion refinement 각 layer에서 만들어진 prediction들은 residual connection을 통해 점차 refine된다. residual의 prediction과 최종 prediction이 언제 같아지는지 확인한 그래프이다. 이미 lower layer에서도 약 1/3의 최종 prediction이 결정되어 있고, layer 10 이후 일치율이 빠르게 증가한다. FFN이 residual의 기존 prediction을 바꿀 때, 단순히 FFN 자신의 prediction으로 교체하는 경우는 드물다. 오히려 residual과 FFN의 정보를 조합해 둘과 다른 새로운 prediction을 만드는 경우가 많았다. Discussion and Conclusion 저자들은 Transformer의 feed-forward layer가 key-value memory처럼 작동한다는 것을 여러 실험을 통해 보였다. Key → 사람이 해석할 수 있는 특정 input pattern과 연관됨 Value → 특히 upper layer에서 대응하는 key의 pattern 다음에 올 token의 output distribution과 연관됨 Model output → 여러 memory의 distribution을 먼저 각 layer에서 결합하고, 이후 residual connection을 통해 layer를 거치면서 refine되어 최종 output을 만든다. future work layer embedding space 왜 upper layer에서 key-value 관계가 더 강해지는가 beyond language model BERT, translation model 등 다른 Transformer에서도 동일한 현상이 나타나는가 pratical implications FFN memory 분석을 모델 해석, privacy 분석, 더 나은 architecture 개발 등에 활용