What is SNNs(Spiking Neural Networks)?

About this offer

지난 10년간 AI 기술이 수많은 분야에서 엄청난 성공을 거두었다. 단순한 분류, 회귀 문제를 넘어 LLM, VLM, 멀티모달, agent Ai, VLA 등 다양한 형태로 진화하여 우리의 삶에 큰 영향을 미치고 있다. 그러나 현대 인공신경망(ANN) 모델은 여전히 컴퓨팅 파워, 에너지 소비 및 데이터 요구 사항 측면에서 매우 높은 Cost를 요구 한다. 이에 제한된 전력 하에서 실시간 성능을 보장하기 위해 효율적이고 가벼운 모델 개발이 주목받고 있다. 이러한 한계를 해결하기 위해, 여러 전략들이 제안되었다. 양자화(quantization) , 가지치기(pruning) , 지식 증류(knowledge distallation) 등은 모델의 복잡성과 파라미터 수를 최소화 하면서 성능을 유지하는 네트워크를 개발하는 것을 목표로 한다. 양자화는 네트워크의 가중치와 활성화 값을 기존 FP32 형식에서 낮은 정밀도(적은 용량 및 계산 단순)로 변환하는 방식이며, 가지치기는 신경망의 연결을 일부 제거하여 네트워크의 크기를 줄인다. 지식 증류는 크기가 큰 teacher 모델을 사용해 크기가 작은 student 모델을 만들어 더 낮은 비용으로 비슷한 성능을 달성하는 방법이다. SNN 이란? 생물학적 영감을 받은 SNN(Spiking Neural Network)가 대안으로 떠오르고 있다. SNN은 기존의 ANN 모델이 사용하는 연속적인 값 대신 discrete한 스파이크(spike)를 통해 정보를 전달하고 처리하는 신경망이다.SNN 뉴런 내부에서는 막 전위(membrane potential) 상태가 시간에 따라 지속적으로 변화하며, 특정 임계값($V_{th}$)을 넘을 때만 스파이크 1을 출력한다. 이러한 방식은 데이터가 시간적인 흐름 속에서 처리되도록 하며, 생물학적인 신경계가 정보를 처리하는 효율성을 그대로 재현하려는 시도다. 메커니즘 기존 ANN 모델은 연속적인 실수값을 입력받아 곱셈, 덧셈 후에 활성화 함수를 거친다. 그러나 SNN은 시간에 따른 상태 변화 와 스파이크 발생 이라는 두 가지 핵심 요소로 구성된다. SNN의 뉴런은 입력 신호를 즉시 출력으로 바꾸지 않고, 내부의 막 전위 값을 유지한다. 이 전위는 입력된 스파이크들에 의해 시간에 따라 지속적으로 변한다. 입력 스파이크가 들어와서 뉴런의 막 전위가 상승하는 것을 통합(integration)이라 하며 막 전위가 임계값을 넘어 스파이크를 발생시키는 것을 발화(fire) 라고 한다. 추가로, 입력이 없을 경우 막 전위는 시간이 지나면서 휴지 전위(Resting Potential)를 향해 서서히 감소하는데 이를 누설(Leakage)라고 한다. 가장 널리 쓰이는 SNN 모델은 LIF(Leaky Integrate-and-Fire) 뉴런 이다. $$ v[t+1] = \beta v[t] + W \cdot I[t] - S[t] V_{\theta} $$ 위 수식은 LIF 뉴런의 막 전위 업데이트 식이다. $V$ 는 막 전위, $\beta$는 감쇠 계수, W 는 가중치, $I[t]$ 는 t 에서의 입력 스파이크, $S[t]$ 는 t 에서의 출력 스파이크, $V_{\theta}$ 는 임계값을 의미한다. 즉, LIF 뉴런은 t 마다 입력 스파이크를 받아 막 전위를 업데이트한 뒤에 임계값과 비교하여 0 또는 1 스파이크를 출력한다. 만약 발화했다면, 임계값 만큼 다시 전위를 줄여준다. 기대 효과(왜 쓰냐?) 기존의 심층 신경망(DNN)은 매우 큰 전력을 소모하는 행렬 곱셈(MAC, Multiply-Accumulate) 연산을 필수적으로 사용하지만, SNN은 스파이크의 이진적 특성(0 또는 1)을 활용하여 곱셈 없이 누적(AC, Accumulate) 연산만으로도 모델을 구현할 수 있어 훨씬 높은 에너지 효율을 기대할 수 있다. 또한 DNN은 입력 데이터를 정적으로 처리하지만, SNN은 뉴런 자체가 시간적 기억 장치 역할을 하기 때문에 실시간 영상, 뇌파(EEG), 음성 데이터 등 시간의 흐름이 중요한 데이터를 처리할 때 복잡한 시퀀스 모델링 없이도 자연스럽게 학습한다. SNN은 신경망 전체가 항상 켜져 있는 것이 아니라 필요한 뉴런만, 필요한 순간에 fire 된다. 이러한 sparse activation 특성은 연산 부하를 줄이며 데이터 전송량도 낮출 수 있다. 마지막으로, 뇌는 약 20W 정도의 적은 에너지로 복잡한 인지 task를 수행한다. SNN은 신경과학적인 개념을 기반으로 설계하기 때문에 기존 DNN 보다 뇌의 작동 원리에 훨씬 가깝다. 이는 진정한 인공지능(AGI)로 가기 위한 구조적 해답을 찾으려는 연구적 시도이기도 하다. 단점 및 연구 필요성 SNN이 에너지 효율성과 시간 정보 처리라는 강력한 장점을 가짐에도 불구하고, 여러 단점 및 연구가 필요한 부분이 있다. 첫 번째로 훈련 난이도다. SNN에서는 스파이크 발생 함수가 스텝 함수이기 때문에 미분값이 존재하지 않아 기존 오차 역전파를 그대로 적용할 수 없다. 이에 따라 대리 기울기(surrogate gradient) 기법이 연구되어 왔지만 여전히 한계점이 분명하다. 두 번째는 DNN 과의 성능 격차 문제다. 대규모 데이터셋에서 최신 DNN의 성능을 완전히 따라잡기에는 아직 부족하며, 특히 정확도 뿐 아니라 정확한 정보를 얻기 위해 여러 시간 단계(timestep)동안 입력을 축적해야하기 때문에 추론 시간이 지연된다는 문제가 있다. 마지막으로 전용 하드웨어가 필요하다. SNN은 일반적인 GPU 아키텍처에서는 제대로 활용되지 않기 때문에 SNN의 비동기 연산 방식을 활용할 수 있는 전용 하드웨어가 필요하다. Intel Loihi나 IBM TrueNorth 같은 칩이 있지만, 일반인이 쉽게 구할 수 있거나 범용적인 개발 환경이 갖춰지지 않았다. 마무리 Efficient AI 에 관심이 생겨 공부해보던 중, "정말 효율적인 ai 구조는 우리 뇌가 아닐까?"라는 생각이 들었다. 그러던 도중 SNN을 알게 되었고 뇌의 특성을 반영하여 sparse 하고 비동기적으로 계산하는 메커니즘이 흥미로워서 관심을 가지게 되었다. 물론 SNN이 AI 분야의 주류라고 볼 순 없으며 아직 해결되어야 할 부분이 많지만, 현재의 AI 문제들을 해결할 key가 될 수 있지 않을까 생각한다. ref https://ieeexplore.ieee.org/abstract/document/11488853