스스로 진화하는 AI: 2026년 모델의 지속 학습을 구현하는 4가지 방법

2026년 3월, Anthropic CEO Dario Amodei가 한 인터뷰에서 한 말이 며칠 동안 계속 머릿속을 맴돌았습니다. “지속 학습은 2026년에 해결될 것입니다.”

다소 과감하게 들리는 말입니다. 그런데 곧이어 Google DeepMind도 2026년을 ‘지속 학습의 해’로 전망했고, Elon Musk는 아예 ‘특이점이 왔다’고 외쳤습니다.

솔직히 처음에는 이런 전망에 마케팅 성격이 어느 정도 섞였다고 생각했습니다. 하지만 MiniMax의 M2.7 모델이 내부에서 100회가 넘는 자율 최적화 루프를 실행해 성능을 30% 끌어올렸다는 사실을 보고 나니, 정말 실현될지도 모른다는 생각이 들었습니다.

여기서는 ‘스스로 진화하는 AI’가 정확히 무엇인지, 현재 LLM이 왜 아직 ‘사용하면서 학습’하지 못하는지, 그리고 2026년에 주목할 만한 기술이 무엇인지 이야기해 보려 합니다. 지속 학습의 세 가지 주류 방법을 살펴보고, MIT와 ETH Zurich가 연초에 제안한 자기 증류 기술(SDFT)을 중점적으로 다룹니다. 이어서 MiniMax M2.7의 실제 사례를 통해 모델이 어떻게 ‘스스로를 업그레이드’하는지 알아보겠습니다.

LLM은 왜 ‘사용하면서 학습’해야 할까요?

오랫동안 궁금했던 점이 하나 있습니다. ChatGPT를 2년이나 사용했는데도 왜 여전히 같은 ChatGPT일까요?

질문을 많이 하고 상호작용을 거듭한다고 해서 더 똑똑해지지는 않습니다. 대화가 끝날 때마다 모든 것이 초기화됩니다. 다음에 만났을 때도 여전히 ‘출고 당시 설정’ 그대로인 모델입니다.

사람과는 완전히 다릅니다. 우리는 코드를 작성하고 프로젝트를 진행하며 시행착오를 복기하는 동안 경험을 쌓습니다. 3년 전 제가 작성한 코드와 지금의 코드는 눈에 띄게 다릅니다. 하지만 LLM에는 이런 능력이 없습니다. 내부 파라미터가 동결되어 학습이 끝나는 순간 고정되기 때문입니다.

Dwarkesh Patel은 인터뷰에서 꽤 뼈아픈 말을 했습니다. “LLM은 사람처럼 시간이 지날수록 나아지지 않는다.” LLM의 지식 기준일은 언제나 학습이 끝난 날에 멈춰 있습니다. 새로운 것을 배우려면 다시 학습하거나 미세 조정해야 합니다.

하지만 미세 조정에는 큰 함정이 있습니다. 바로 파국적 망각입니다.

IBM은 지속 학습을 설명하면서 좋은 비유를 들었습니다. 스케이트보드를 배운다고 자전거 타는 법을 잊지는 않습니다. 사람의 뇌에는 새로운 기술을 배우면서도 기존 기술을 유지하는 놀라운 능력이 있습니다.

신경망은 그렇지 못합니다.

새 데이터로 모델을 미세 조정하면 새 데이터의 분포에 필사적으로 맞춰지며, 그 대가로 기존 지식이 ‘밀려납니다’. 극단적인 예로 코알라는 ‘나무 위의 잎’만 먹이로 인식합니다. 잎을 땅에 내려놓으면 굶어 죽더라도 먹지 않을 수 있습니다. 학습한 패턴이 너무 경직되어 새로운 환경에 적응하지 못하기 때문입니다.

모델의 상황은 더 심각합니다. Python 3.12의 새 기능을 학습시켰더니 Python 3.8의 기본 문법을 잊을 수도 있습니다. 실제 응용 환경에서는 재앙과도 같습니다. 회사 제품이 진화하고 코드베이스가 갱신될 때마다 모델이 새 프레임워크를 하나 익힐 때마다 기존 프레임워크 지식을 하나씩 잃게 둘 수는 없습니다.

결국 현재 LLM은 ‘정적’입니다. 내용은 풍부하지만 갱신할 수 없는 백과사전과 같습니다. 우리에게 필요한 것은 ‘동적’인 모델입니다. 함께 일할수록 호흡이 잘 맞고 프로젝트, 습관, 기술 스택을 더 잘 이해하는 오래된 동료와 같은 모델입니다.

이것이 바로 지속 학습이 해결하려는 문제입니다.

지속 학습의 세 가지 주요 기술 계열

지속 학습은 여러 해 동안 연구됐고, 방법은 크게 세 가지로 나뉩니다. 아주 엄밀하지는 않지만 이해하기 쉬운 비유로 설명해 보겠습니다.

Replay 방법: 배우면서 복습합니다.

Alibaba Cloud - 개발자 클라우드 1순위, Lighthouse 서버 15% 할인

15% 할인 받기 →광고

가장 단순한 발상입니다. 새로운 것을 배울 때 이전 데이터도 다시 꺼내 ‘복습’합니다. 시험 전 문제를 풀면서 새 단원의 개념뿐 아니라 이전 오답 노트도 함께 보는 것과 같습니다.

구체적으로는 이전 작업의 샘플 일부를 저장하고 새 작업 데이터와 섞어 학습합니다. 단점은 명확합니다. 많은 양의 기존 데이터를 저장해야 하므로 메모리와 저장 공간 비용이 큽니다. 학습 데이터가 수백 GB에 달하는 경우가 흔하다는 점을 생각하면 비용이 너무 높습니다.

Regularization 방법: 중요한 파라미터에 ‘보호막’을 씌웁니다.

꽤 영리한 방법입니다. 신경망의 모든 파라미터가 똑같이 중요한 것은 아니므로, 새 작업을 학습할 때 기존 작업에 핵심적인 파라미터를 ‘잠급니다’.

가장 유명한 방법은 2017년 PNAS에 발표된 EWC(Elastic Weight Consolidation)입니다. 각 파라미터가 기존 작업에 얼마나 중요한지 계산한 뒤 중요한 파라미터에 제약을 걸어 갱신 시 변화 폭을 제한합니다.

비유하자면 영어를 배울 때 문법 규칙은 이미 머릿속에 굳어 있어 프랑스어를 배워도 쉽게 흔들리지 않습니다. 하지만 어휘를 계속 쌓는 단계라면 프랑스어를 배우다가 일부 영어 단어를 잊을 수 있습니다. EWC는 이렇게 ‘이미 굳어진’ 파라미터를 찾아 보호합니다.

Architecture 방법: 작업마다 전용 모듈을 배정합니다.

새 지식이 기존 지식을 방해한다면 아예 파라미터를 공유하지 말자는 발상입니다. 새 작업을 학습할 때 그 작업만 처리하는 새 모듈을 추가하고 기존 모듈은 그대로 둡니다.

LoRA(Low-Rank Adaptation)가 이 접근법의 대표적인 예입니다. 백본 네트워크의 파라미터는 동결하고 작은 저랭크 어댑터만 학습합니다. 작업마다 Adapter 하나를 배정하고, 작업이 바뀌면 Adapter도 전환합니다.

Nature에 실린 연구에서도 동적으로 확장하는 아키텍처가 망각을 크게 줄일 수 있다는 점을 확인했습니다. 그러나 문제가 있습니다. 작업이 늘수록 모듈이 많아지고, 모델이 계속 커지며 추론 비용도 함께 증가합니다.

솔직히 세 가지 방법에는 저마다 장단점이 있고 완벽한 해법은 없습니다. Replay는 너무 무겁고, Regularization은 완벽한 중요도 가중치를 계산하지 못하며, Architecture는 모델을 비대하게 만듭니다. 학계가 오랫동안 연구했지만 산업 현장에 제대로 적용된 사례는 많지 않습니다.

그러던 올해, MIT와 ETH Zurich가 새로운 방향을 제시했습니다. 모델이 ‘스스로를 가르치게’ 하는 것입니다.

SDFT — 자기 증류로 모델이 ‘스스로를 가르치게’ 하기

2026년 1월, MIT와 ETH Zurich가 제목부터 주장을 분명히 드러낸 논문을 발표했습니다. 《Self-Distillation Enables Continual Learning》(자기 증류는 지속 학습을 가능하게 한다)입니다.

핵심 아이디어를 보고 무릎을 칠 만큼 인상적이었습니다. 외부 데이터도, 별도 모델도 필요 없이 모델 자체만 활용합니다.

구체적으로 어떻게 작동할까요?

1단계: ICL을 이용해 ‘자체 교사’ 신호를 생성합니다.

LLM은 모두 In-Context Learning(문맥 내 학습) 능력이 있습니다. 몇 가지 예시를 주면 그 패턴을 모방할 수 있습니다. SDFT는 이 능력을 활용해 모델이 스스로 ‘답’을 생성하게 하고, 그 답을 학습 데이터로 사용합니다.

예를 들어 코드 주석 작성법을 배우고 싶은데 기존 ‘주석 스타일’ 데이터셋이 없다고 가정해 보겠습니다. 모델이 현재 능력을 바탕으로 주석 몇 개를 먼저 작성하게 한 뒤, 이를 ‘정답’으로 삼아 자기 자신을 다시 학습합니다.

일종의 순환 논증처럼 들릴 수도 있습니다. 하지만 중요한 지점은 다음 단계입니다.

2단계: On-policy 학습으로 분포 불일치를 피합니다.

기존 SFT(Supervised Fine-Tuning)에는 문제가 있습니다. 학습 데이터의 분포가 모델이 실제로 출력하는 분포와 다릅니다. 모델은 ‘자기 스타일’의 답을 생성하는데 학습 데이터는 ‘전문가 스타일’일 수 있습니다. 모델이 억지로 전문가 스타일을 배우게 하면 오히려 기존 능력이 손상될 수 있습니다.

SDFT는 On-policy 방식으로 모델이 답을 생성하고 그 답으로 자기 자신을 학습합니다. 분포가 자연스럽게 일치합니다. ‘스스로를 가르치는’ 셈이므로 다른 사람의 스타일을 억지로 배우다가 자기 능력을 잃지 않습니다.

논문의 수치는 상당히 탄탄합니다. 14B 파라미터 모델에 SDFT를 적용했더니 기존 SFT보다 7%포인트 향상됐습니다. 더 중요한 것은 순차 학습 실험입니다. 모델에 수학 추론, 코드 생성, 창의적 글쓰기 등 여러 기술을 차례로 학습시킨 결과, 성능 저하 없이 기술을 누적할 수 있었습니다.

"Self-Distillation Enables Continual Learning"

기존 방법과는 본질적으로 다릅니다. 외부 자원(Replay), 사람이 설계한 제약(Regularization), 모듈 격리(Architecture)에 의존하는 대신 모델 자체의 출력 분포에서 반복적으로 최적화합니다.

이 접근법에서 흥미로운 점은 ‘스스로를 해치지 않는’ 학습 방식을 찾았다는 데 있습니다. 사람이 책을 읽는 것과 비슷합니다. 머릿속의 기존 지식을 밀어내는 대신 그 지식을 바탕으로 성찰하고 내면화하면서 조금씩 성장합니다.

물론 SDFT도 완벽한 해법은 아닙니다. 논문에서도 매우 복잡한 작업 순서에서는 효과가 떨어지고 On-policy 학습의 계산 비용도 작지 않다고 인정합니다. 그래도 새로운 방향을 제시했다는 의미가 있습니다. 지속 학습이 반드시 외부 자원에 의존해야 하는 것은 아니며, 모델 자체가 자신의 ‘교사’가 될 수 있습니다.

Railway - 현대적인 배포 플랫폼, 번거로운 운영 없이 몇 분 만에 라이브

지금 시작 →광고

LangChain의 3계층 진화 프레임워크

2026년 4월, LangChain은 《Continual Learning for AI Agents》라는 블로그 글에서 실무 가치가 높다고 느껴지는 프레임워크를 제안했습니다. 바로 3계층 진화입니다.

이 프레임워크는 Agent의 ‘지속 학습’을 세 계층으로 나눕니다. 모델 가중치만 바라보지 않고 시스템 관점에서 진화를 생각합니다.

첫 번째 계층: Model Layer — 모델 가중치를 갱신합니다.

가장 직접적인 계층입니다. SFT, RLHF, DPO 등의 방법으로 모델 파라미터를 직접 갱신합니다. 두뇌의 ‘칩을 교체하는’ 것과 같습니다.

하지만 이 계층에는 난감한 문제가 있습니다. 갱신 빈도가 낮고 비용이 높습니다. 모델이 문제 하나를 해결할 때마다 다시 학습시킬 수는 없습니다. 실제로 이 계층의 갱신은 보통 ‘버전 업그레이드’ 방식으로 이루어지며, 몇 달 또는 그보다 더 오래 걸립니다.

두 번째 계층: Harness Layer — 프레임워크 코드를 갱신합니다.

개인적으로 가장 흥미로운 계층입니다. Harness는 모델을 감싸는 코드, 즉 도구 호출 로직, 오류 처리, 작업 계획, Prompt 템플릿 등을 뜻합니다.

LangChain이 제안한 ‘Meta-Harness’ 개념은 Agent가 자신의 Harness 코드를 직접 수정하게 하는 것입니다. 예를 들어 특정 도구 호출 과정이 계속 실패한다는 사실을 Agent가 발견하면, 실패 원인을 분석하고 코드 로직을 수정해 다음에는 같은 실수를 피할 수 있습니다.

모델 파라미터를 갱신하는 것보다 훨씬 현실적입니다. 코드는 빠르고 저렴하게 수정할 수 있으며 모델의 핵심 능력에도 영향을 주지 않습니다. 바꾸는 것은 ‘사용 방식’이지 ‘두뇌 자체’가 아닙니다.

OpenClaw 프로젝트의 ‘dreaming’ 메커니즘이 한 예입니다. Agent가 백그라운드에서 실행될 때 자동으로 메모리를 통합하고 행동 패턴을 최적화합니다. 마치 ‘꿈을 꾸는’ 동안 낮에 있었던 문제를 복기하는 것과 같습니다.

세 번째 계층: Context Layer — 메모리를 갱신합니다.

가장 이해하기 쉬운 계층입니다. 대화 기록, 프로젝트 문서, 사용자 선호, 작업 기록 등 Agent의 메모리 저장소를 갱신합니다.

Deep Agents의 설계에서는 메모리를 다시 여러 수준으로 나눕니다. 특정 사용자의 취향을 아는 사용자 수준 메모리, 팀의 습관을 아는 조직 수준 메모리, 일반 지식을 담은 전역 메모리가 있습니다.

세 계층의 관계는 한 문장으로 요약할 수 있습니다. Traces가 모든 갱신의 중심입니다.

Traces란 무엇일까요? Agent의 실행 과정에서 남은 전체 기록, 즉 입력, 출력, 도구 호출, 오류 정보, 사용자 피드백 등을 뜻합니다. 이 Traces는 메모리 갱신의 재료(Context Layer)이자 코드 최적화의 근거(Harness Layer)이며, 모델 학습의 데이터 원천(Model Layer)이기도 합니다.

3계층 프레임워크의 가치는 ‘지속 학습’을 단순한 기술 문제가 아니라 시스템 엔지니어링 문제로 확장했다는 데 있습니다. Agent가 진화하기 위해 모델 버전 갱신을 기다릴 필요가 없습니다. Harness와 Context를 갱신하면 Agent는 매일 발전할 수 있습니다.

그래서 개발자에게는 가중치 갱신에만 주목하기보다 3계층 프레임워크를 이해하는 것이 더 중요하다고 생각합니다. 진정한 자기 진화는 학습 단계에만 국한되지 않고 Agent의 전체 생명주기에서 일어납니다.

실제 사례: MiniMax M2.7은 어떻게 ‘자체 진화에 깊이 참여’했을까요?

지금까지 이론을 살펴봤으니 실제 사례를 보겠습니다.

MiniMax는 2026년 3월 M2.7 모델을 발표했습니다. 공식 소개에서 특히 인상적이었던 표현은 ‘자체 진화에 깊이 참여’했다는 말입니다. 단순한 마케팅 문구가 아닙니다. 실제로 모델이 100회가 넘는 최적화 루프를 직접 실행했습니다.

어떤 방식으로 진행했을까요? 다음과 같은 4단계 루프입니다.

1. 실패 분석.

먼저 모델이 작업을 실행한 뒤 실패한 작업을 골라 실패 원인을 분석합니다. Prompt가 잘못됐는지, 도구 호출에 문제가 있는지, 코드 로직이 틀렸는지 확인합니다.

2. 변경 계획.

Vultr - 고성능 NVMe 클라우드 서버, 전 세계 32개 노드, Docker 원클릭 배포

요금 보기 →광고

실패 분석을 바탕으로 모델이 직접 개선안을 제시합니다. 예를 들어 ‘이 도구 호출은 파라미터 검증이 충분히 엄격하지 않으니 검사를 한 단계 추가해야 한다’거나 ‘이런 오류는 X 방법을 먼저 시도한 뒤 Y 방법을 시도해야 한다’고 판단할 수 있습니다.

3. 코드 수정.

모델이 직접 자신의 코드를 수정합니다. 모델 파라미터가 아니라 도구 호출 로직과 오류 처리 과정 같은 Agent의 Harness 계층 코드를 바꿉니다.

4. 평가 실행.

수정을 마치면 평가 세트를 실행해 변경의 효과를 확인합니다. 효과가 있으면 유지하고 없으면 되돌립니다.

M2.7은 이 4단계 루프를 100회 넘게 실행했습니다. 결과는 놀라웠습니다. 내부 평가 세트의 성능이 30% 향상됐습니다.

외부 벤치마크 결과도 상당히 인상적입니다.

• SWE-Pro: 56.22%. 실제 GitHub issue를 해결하게 하는 벤치마크로, 난도가 Claude Opus에 가깝습니다(Opus-4.6은 약 55%).
• MLE Bench Lite: 평균 메달 획득률 66.6%. Kaggle 프로젝트 수행 능력을 평가하는 머신러닝 엔지니어링 벤치마크로 Opus-4.6에 이어 두 번째입니다.

이 과정에서 ‘사람’이 맡는 역할이 특히 흥미롭습니다. MiniMax 연구진은 특정 변경을 유지할지 확인하거나 큰 방향에서 조언하는 등 핵심 결정에만 개입하면 된다고 말했습니다. 나머지 분석, 계획, 수정, 평가는 모두 모델이 직접 수행했습니다.

기존의 ‘사람이 코드를 작성 → 모델이 테스트 → 사람이 코드를 수정’하는 과정과 완전히 다릅니다. 모델은 더 이상 수동적인 ‘실행자’에 머물지 않습니다. 문제를 능동적으로 찾아내고, 해결안을 제시하며, 효과를 검증하는 ‘참여자’가 됐습니다.

MiniMax의 표현을 빌리면 ‘모델이 처음으로 자체 진화에 깊이 참여한’ 것입니다.

솔직히 이 사례를 보고 기대와 우려를 동시에 느꼈습니다. 지속 학습이 마침내 실제 사례로 구현됐고 성과도 분명하다는 점은 기대를 품게 합니다. 반면 이 과정의 신뢰성은 어떻게 보장할까요? 모델이 수정할수록 잘못된 방향으로 갈 가능성은 없을까요? 100회 루프 중 긍정적인 변화는 몇 번이었고 시행착오 비용은 얼마나 들었을까요?

공식적으로 이런 세부 내용은 공개되지 않았습니다. 그래도 M2.7은 한 가지 사실을 입증했습니다. 자기 진화는 탁상공론이 아니라 실제로 실행할 수 있고 성과도 낼 수 있습니다.

결론

2026년 초부터 지금까지 지속 학습에 대한 관심은 계속 커지고 있습니다. DeepMind는 올해를 ‘지속 학습의 해’라고 했고, Anthropic은 ‘2026년에 해결된다’고 말했으며, MiniMax는 M2.7의 실제 데이터를 제시했습니다.

지속 학습이 당장 보편화할 것이라고 장담할 수는 없습니다. SDFT는 아직 논문 단계이고 M2.7의 자기 진화 과정도 세부 내용이 완전히 공개되지 않았습니다. 하지만 방향만큼은 분명합니다. 모델은 영원히 정적인 ‘출고 당시 설정’에 머물 수 없으며, 사용하면서 배워야 합니다.

개발자라면 ‘모델 가중치 갱신’만 바라보지 않는 것이 좋습니다. LangChain의 3계층 프레임워크는 더 현실적인 관점을 제시합니다. 먼저 Harness 계층과 Context 계층에서 시작해 Agent의 도구 호출 로직과 메모리 관리를 ‘지속적으로 최적화’할 수 있습니다. 이 두 계층은 변경 비용이 낮고 효과를 빠르게 확인할 수 있으며 모델을 다시 학습할 필요도 없습니다.

정말 흥미로운 미래는 세 계층이 연동되는 모습입니다. 모델이 Harness 계층에서 행동을 최적화하고 Context 계층에 경험을 쌓은 뒤, 적절한 시점에 그 경험 데이터를 이용해 가중치를 한 번 갱신합니다. 그리고 새로운 루프가 시작됩니다.

이것이 ‘자기 진화’에 걸맞은 모습입니다. 몇 달에 한 번 이루어지는 대규모 버전 갱신이 아니라 매일 발전하는 것입니다.

관심이 있다면 SDFT 논문(arxiv 2601.19897)을 자세히 읽고 LangChain의 3계층 프레임워크 블로그도 살펴보길 권합니다. MiniMax가 앞으로 M2.7의 기술 세부 내용을 더 공개하는지도 지켜볼 만합니다. 지속 학습은 여전히 빠르게 발전하고 있으며, 2026년은 분명 중요한 해가 될 것입니다.