AI 시스템의 주요 개념을 정의하고, 각 기술이 어떻게 연결되는지 설명하는 테크 사전(Narrative Dictionary)입니다.
1. 인지 아키텍처와 자가 진화 프롬프트 루프
모델의 가중치 규모뿐 아니라 추론과 도구 사용의 순서를 설계하는 일도 중요합니다. LLM을 연산 장치로 활용하고 행동 단계를 구성하는 인지 아키텍처를 살펴봅니다.
LLM OS (Large Language Model Operating System)
AI 모델을 단순 텍스트 변환기가 아니라 컴퓨터의 커널(Kernel) 및 CPU로 간주하고, 주변의 메모리(RAG), 도구(API), 스케줄러(루프)를 결합하여 시스템 전체를 제어하는 아키텍처 철학.
안드레이 카파시(Andrej Karpathy)가 주창한 개념으로, 이제 AI 개발은 모델 내부 파라미터를 튜닝하는 것을 넘어, 컨텍스트를 RAM처럼, Vector DB를 하드디스크처럼 다루는 '시스템 설계 엔지니어링'으로 전환되었습니다.
Self-Evolving Prompt Loop (자가 진화 프롬프트 루프)
인간이 고정된 지시문(Prompt)을 작성하는 대신, AI가 주어진 태스크를 수행한 뒤 성공 여부를 평가받고 피드백에 따라 자신의 프롬프트 코드와 지시 사항을 스스로 수정·최적화해 나가는 반복 알고리즘 루프.
'프롬프트의 프로그래밍화'에는 DSPy 같은 프레임워크가 쓰입니다. 생각(Thought)과 행동(Act)을 반복하는 과정에서 오류가 나면 실패 원인을 기록하고, 평가 결과에 따라 메타 프롬프트를 조정합니다. 사람이 정한 평가 기준으로 프롬프트를 최적화하는 방식입니다.
2. 외부 기억망과 자가 발전: RAG에서 슈퍼메모리까지
할루시네이션을 줄이고 이전 맥락을 활용하려고 검색 시스템과 장기 기억 구조를 함께 사용합니다.
Traditional Dense RAG (전통적 밀집 RAG)
문서나 지식 데이터를 일정 길이(Chunk)로 잘라 의미적 숫자(Vector)로 바꾼 후, 사용자의 질문과 가장 유사도가 높은 청크만을 선별해 LLM의 프롬프트 컨텍스트에 주입하는 가장 대중적인 검색 증강 생성 기술.
실무에서 계속 쓰이는 이유:
그래프 기반 알고리즘이 늘었지만 전통적 RAG는 토큰 효율성(Token Efficiency)과 비용 면에서 여전히 널리 쓰입니다.
- 비용 및 자원 절감: 벡터 매칭을 중심으로 사용하므로 추가 LLM 전처리 호출을 줄일 수 있습니다. 이에 따라 지연 시간(Latency)과 API 호출 비용을 관리하기 쉽습니다.
- Context 제어: 수백 페이지의 텍스트 중 답변에 필요한 2~3개의 청크만 가져와 Context 토큰 사용량을 줄입니다. 프로덕션에서도 널리 쓰이는 기본 지식 연동 방식입니다.
Ontology (온톨로지) & GraphRAG의 현실적 타협점
실재하는 사물, 사건, 개념들의 속성과 그들 간의 논리적 인과관계를 컴퓨터가 처리할 수 있는 형태의 상호 유기적인 구조(지식 지도)로 모델링하는 방식.
한계 - 많은 토큰 사용량 (Token-heavy Problem):
지식의 의미 관계를 연결하는 GraphRAG나 온톨로지 모델링은 "회사 전체의 전반적인 맥락 요약" 같은 복잡한 질문에 유용하지만 계산 비용이 큽니다.
- 토큰 소모량: 온톨로지를 구축하고 노드(Node) 간 관계(Relation)를 정의하는 인덱싱(Indexing) 과정에서 수백~수천 번의 내부 LLM 프롬프트가 실행되어 많은 토큰을 사용합니다.
- 실시간 서빙의 한계: 지식 그래프 구조와 연결된 메타데이터를 LLM 컨텍스트에 넣으면, 한 번의 질문에 일반 RAG 대비 최대 수십 배의 입력 토큰이 필요할 수 있습니다. 실무에서는 복잡한 관계 추론이 필요한 분석에 온톨로지 방식을 제한적으로 적용하기도 합니다.
Supermemory (슈퍼메모리)
사용자의 개인적인 디지털 활동(웹 히스토리, 대화, 문서) 전체를 실시간 수집하여, AI가 개인에 맞춤화된 맥락과 지식을 즉각 인출할 수 있게 돕는 로컬/자가 호스팅 장기기억 보조 플랫폼.
Supermemory는 전통적 RAG와 메타데이터 필터링을 결합해 사용자의 북마크, 대화 이력, 기록을 연결합니다. 지식 그래프를 사용하지 않고도 개인 자료를 검색하고 활용할 수 있도록 돕는 개인화 솔루션입니다.
3. 연결과 동적 스킬 통제: MCP → 스킬 → 하네스
AI가 외부 도구를 사용하려면 연결 규격, 실행 단위, 권한 통제의 세 요소가 필요합니다.
MCP (Model Context Protocol)
Anthropic이 제안한 개방형 통신 표준으로, 서로 다른 AI 모델들이 다양한 외부 데이터베이스, 파일 시스템, 서드파티 도구들과 즉각 상호작용할 수 있도록 연결 통로를 일원화한 규격.
과거에는 AI를 구글 캘린더나 사내 Notion에 연결할 때 서비스별 드라이버가 필요했습니다. MCP는 모델과 도구 사이의 통신 규격을 통일해 연동 방식을 단순화합니다.
npx skills와 동적 스킬 (Skills)
AI가 현실 세계에 개입하여 작업을 수행할 수 있도록 프로그래밍된 독립적인 도구(함수, 스크립트)의 단위. npx를 통해 빌드 과정 없이 필요한 시점에 인터넷에서 동적으로 호출해 즉시 실행하는 기술.
최근에는 필요한 도구를 그때그때 불러오는 동적 실행 방식이 쓰입니다. npx @agent/browser-control 같은 명령으로 브라우저 제어나 PR 생성 기능을 실행하고 작업이 끝나면 정리합니다.
하네스 (Harness)를 이용한 대화 패턴 기반 통제
AI가 허용 범위 밖의 도구를 실행하지 않도록 제어하는 동적 가드레일 시스템. 고정 규칙과 대화 맥락, 피드백을 함께 분석해 실행 권한을 조정하는 조향(Steerability) 기술.
초기의 가드레일은 "rm -rf 차단" 같은 고정 규칙이 중심이었습니다. 하네스는 대화 맥락과 조작 패턴을 참고해 스킬 실행 권한을 조정하는 방식으로 범위를 넓힙니다.
4. 주요 모델과 AI의 전략자산화(Fable 5 사태)
대규모 AI 인프라와 모델 접근 권한은 기업 경쟁뿐 아니라 국가 안보 정책과도 연결됩니다. (2026년 기준)
Claude Opus 4.8 vs GPT-5.5 vs Gemini 3.5 Flash
주요 기업의 모델은 작업 범위, 처리 속도, 비용에서 차이가 있습니다.
- Claude Opus 4.8 (Anthropic): 최근 발표된 4.8 버전은 'Dynamic Workflows'로 수백 개의 하위 에이전트를 병렬 가동해 대규모 코드베이스 마이그레이션을 지원합니다.
- GPT-5.5 (OpenAI): 장기 에이전트 작업(Long-horizon agentic tasks)을 위해 설계된 플래그십 모델입니다. 작업 중 오류가 발생했을 때 복구 절차를 이어갈 수 있습니다.
- Gemini 3.5 Flash (Google): 1M 토큰 컨텍스트를 지원하며, 다중 에이전트 병렬 처리 프레임워크인 Antigravity 하네스와 결합해 대규모 워크플로를 처리합니다. 제시된 비교 기준에서는 타사 대비 1/3 비용입니다.
최신 이슈: Fable 5 수출 통제 사태와 AI 전략자산화
Fable 5 사태: 2026년 6월, 미국 정부가 국가 안보(사이버 보안 취약점 식별 및 탈옥 우려)를 이유로 앤스로픽의 Fable 5 및 Mythos 5 모델에 외국인(해외) 접근을 차단하는 수출 통제(Export Control) 명령을 내린 사건입니다.
이 사례는 반도체 제조 장비뿐 아니라 AI 모델 가중치(Weights)도 전략 자산으로 다루는 규제 흐름을 보여줍니다. 오픈소스 배포와 클라우드 접근 범위에도 영향을 줄 수 있습니다.
5. 인프라 한계와 전력 수요
AI 서비스 규모가 커질수록 메모리 대역폭, 데이터센터 연결, 전력 공급을 함께 고려해야 합니다.
HBM (High Bandwidth Memory) & HBF (High Bandwidth Fabric)
HBM: D램을 수직으로 쌓아 데이터 전송 대역폭을 높인 메모리 반도체.
HBF: 신경망 연산을 위해 수천 개의 GPU/NPU와 수테라바이트의 고속 메모리를 광학 인터커넥트 등으로 연결하는 고대역 패브릭 망.
메모리 벽(Memory Wall)을 줄이기 위해 HBM이 널리 쓰입니다. 조 단위 파라미터를 처리하려고 데이터 센터 전체를 하나의 컴퓨터처럼 연결하는 HBF 기술도 개발되고 있습니다.
데이터센터 전력 공급 위기 & SMR
AI 연산 규모가 커지면서 데이터센터의 전력 수요도 늘고 있습니다. GPU를 확보해도 송전망의 공급 용량 때문에 학습 설비를 가동하지 못하는 Power Wall(전력의 벽) 문제가 생길 수 있습니다. 마이크로소프트와 구글 등은 저탄소 전력 확보 방안으로 소형모듈원전(SMR)에 투자하고 있습니다.
6. 분산형 SLM과 피지컬 AI
클라우드 비용, 전력 수요, 접근 규제에 대응하는 방법으로 소형 모델의 분산 실행과 피지컬 AI가 연구되고 있습니다.
SLM (Small Language Models) & Gemma 4 / SuperGemma
SLM: 개인 장비에서도 실행할 수 있도록 매개변수 크기를 줄인 소형 언어 모델.
SuperGemma: 구글의 Gemma 4 오픈 모델을 바탕으로 한국어와 에이전트 스킬 수행에 맞춰 조정한 파생 모델군.
수출 규제와 클라우드 비용 때문에 허깅페이스(Hugging Face)를 중심으로 SLM 연구가 이어지고 있습니다. Gemma 4 계열과 이를 미세조정한 SuperGemma는 한국어 처리와 지식 추론을 온디바이스 환경에서 수행하는 데 활용됩니다. 가중치를 소수점에서 정수로 줄이는 양자화(Quantization) 기술과 단일 압축 파일 형식인 GGUF는 모델 배포 용량과 실행 자원을 줄입니다.
피지컬 AI (Physical AI / Embodied AI)
AI가 컴퓨터 모니터(디지털 화면) 밖으로 나와, 물리적인 신체(로봇 하드웨어, 자동차, 드론)와 촉각/관절 제어 센서를 장착하고 3차원 공간 속에서 실제 물리 법칙과 상호작용하는 구체화된 인공지능.
피지컬 AI는 LLM의 상황 판단과 온디바이스 NPU의 실시간 제어를 로봇, 자동차, 드론에 적용합니다. 공간 인식과 물체 조작처럼 물리 환경에서 필요한 기능을 함께 연구하는 분야입니다.