Back to WorkZurück zu Arbeiten

The Layered Architecture of Copilot System Prompts Die Schichtenarchitektur der Copilot-System-Prompts

Natanael Mignon · April 2026 · 18 min read Natanael Mignon · April 2026 · 18 Min. Lesezeit

There is no single “system prompt” in Microsoft 365 Copilot. What powers every response is a multi-layered architecture - dynamically assembled by an orchestrator on every turn, incorporating context from the foundation model, Microsoft’s metaprompt, the host application, your organization’s data, admin policies, user preferences, agent instructions, plugins, and web search results.

This article maps the full picture: 11 layers in M365 Copilot and the distinct 6-layer architecture of Copilot Studio agents. It’s based on deep research across 25+ official Microsoft Learn documents, security research, and community analysis.

Why this matters: If you’re an IT admin, agent developer, or security professional, understanding which layers you control - and which you don’t - is essential for effective governance, instruction writing, and risk management.

Disclaimer: The underlying research and compilation into reports was performed by AI. All claims are grounded in cited sources (25+ official Microsoft Learn documents, security research, and community analysis). The author has reviewed and edited the output, but readers should verify critical details against current Microsoft documentation before making production decisions.

Part 1: Microsoft 365 Copilot - The 11 Layers

Microsoft 365 Copilot constructs each response through at least 11 distinct layers between the foundation model and the end user. No single layer governs behavior - the response you see is the emergent result of all layers interacting.

1 Foundation Model - GPT-5.x, selected per feature (speed vs. reasoning)
2 Metaprompt - Microsoft’s RAI rules, identity, safety, Spotlighting
3 Orchestrator - Plans, reasons, selects tools, loops until ready
4 App-Specific Prompts - Word / Excel / Teams / Outlook context
5 Graph Grounding - Semantic Index, documents, emails, chats, calendar
6 Tenant Admin Controls - DLP, sensitivity labels, feature toggles
7 Custom Instructions & Memory - User preferences, learned behaviors
8 Declarative Agent Instructions - JSON manifest, max 8,000 chars
9 Copilot Studio Agent Layers - Own orchestrator, topics, tools, knowledge
10 Plugin & Connector Descriptions - Function specs, API responses
11 Web Grounding - Bing search results (when enabled)

Layer 1 & 2: The Foundation

M365 Copilot runs on GPT-5.x models hosted by Microsoft (OpenAI has no access to customer data). Since March 2026, users can select GPT-5.4 Thinking for complex tasks or GPT-5.3 Instant for speed. Before the user’s prompt ever reaches the model, Microsoft’s metaprompt is prepended - containing identity rules, responsible AI guidelines, safety restrictions, citation formatting, and Spotlighting techniques that help the model distinguish trusted instructions from untrusted content.

The metaprompt is not editable or visible to tenants. Its contents are inferred from observable behaviors and a partial extraction by security researchers (Knostic, January 2025), which was from the consumer Copilot and may not reflect the enterprise version.

Layer 3: The Orchestrator

The orchestrator is the central engine. On every turn, it: (1) receives the user’s query, (2) runs preliminary RA checks, (3) enters a multi-turn reasoning loop - selecting up to 5 candidate functions, calling APIs, retrieving Graph data, consulting the LLM multiple times - until it deems it has enough context, (4) generates the response, and (5) runs final RA output filtering. This is not a single LLM call.

Layers 4–7: Context & Governance

Each M365 app contributes app-specific instructions (Copilot in Word knows it can draft documents; Copilot in Teams knows it can summarize meetings). Microsoft Graph grounding makes Copilot organization-aware through the Semantic Index - vectorized embeddings of SharePoint, OneDrive, Outlook, Teams, and calendar data, all respecting original ACLs.

Tenant admin controls (DLP, sensitivity labels, Copilot Control System) enforce security boundaries at the policy layer. User custom instructions and memory (since mid-2025) add persistent personal preferences that carry across sessions and apps.

Layers 8–11: Extensions

Declarative agents add specialized instructions via a JSON manifest (max 8,000 characters). Copilot Studio agents bring their own orchestrator (more on this in Part 2). Plugins contribute function descriptions to the orchestrator’s tool catalog. Web search (via Bing) adds real-time public information when enabled.

Key insight: The prompt grows with each orchestrator iteration. A single user question may trigger 3–5 LLM calls as the orchestrator gathers Graph data, calls plugins, and refines its plan. The “prompt” is never static - it’s a living, expanding context.

Part 2: Copilot Studio - The Agent Architecture

Copilot Studio agents use their own multi-layered prompt architecture, distinct from M365 Copilot. The system prompt is composed from at least six layers, assembled at runtime by the generative orchestration engine.

1 Platform Metaprompt - Microsoft-controlled, not editable
2 Agent Instructions - Maker-authored, up to 8,000 chars
3 Resource Catalog - Topic names, tool specs, child agents
4 Conversation History - Last ~10 turns, variable state
5 Retrieved Knowledge (RAG) - Top 3 results per source, per query
6 Current User Message - The actual input

The Instructions Field

This is the primary control surface for agent makers. It defines identity, scope, tone, fallback behavior, and tool/knowledge usage rules. Makers can reference specific tools and topics by inserting slash (/) references. Best results come from 1,500–3,000 characters; performance degrades above 6,000.

Generative Orchestration

In generative mode (default for new agents), the orchestrator is an LLM-driven planner. It receives the name and description of every enabled topic and tool, then constructs a plan - an ordered sequence of steps. Topics are selected by semantic match on description, not by trigger phrases. Three special triggers (On Knowledge Requested, AI Response Generated, Plan Complete) provide hooks into the planning lifecycle.

Knowledge Grounding (RAG)

The RAG pipeline follows four steps: query rewriting (using last 10 turns for context) → content retrieval (top 3 results per source) → summarization with citations → safety validation. Supported sources include SharePoint, uploaded files, Dataverse tables, Graph connectors, Azure AI Search, and custom data. Copilot Studio does not ingest SharePoint content - it searches the SharePoint index at query time.

The Context Window Problem

The metaprompt, instructions, resource catalog, conversation history, and RAG results all compete for the same context window. The exact token budget per layer is not disclosed. Practitioners report memory loss after just a few exchanges in complex agents, as earlier conversation turns get silently dropped.

Practical consequence: Naming is the most powerful lever. Tool names and topic descriptions are how the orchestrator decides what to use. Poor naming leads to incorrect tool selection - regardless of how good your instructions are.

Part 3: Copilot Studio Agents vs. Declarative Agents

These are fundamentally different architectures for building AI agents in the Microsoft ecosystem.

DimensionCopilot Studio AgentDeclarative Agent (M365)
OrchestratorOwn LLM-driven generative orchestratorInherits M365 Copilot orchestrator; no developer control
ProcessingIterative - chains multiple tools/topics, loops, branchesSequential - single grounding + single tool call, no loops
Token budgetFull context window (undisclosed allocation)4,096 tokens total (context + response)
KnowledgeOwn vector index in Dataverse (isolated silo)M365 Semantic Index (shared across all M365)
ConnectorsPower Platform connectors (thousands)~90 Microsoft connectors with granular filtering
Multi-agentParent-child architectures, A2A protocolNot applicable
DeploymentTeams, web, SharePoint, WhatsApp, Dynamics, custom appsM365 Copilot experience only
LicensingConsumption-based ($200/tenant/month + messages)M365 Copilot license per user

Choose Copilot Studio for complex multi-step workflows, multi-agent architectures, external-facing agents, and granular orchestration control. Choose Declarative Agents for quick M365-native Q&A, simple knowledge retrieval, and minimal development effort. Use both when publishing a Studio agent as an M365 Copilot extension.

Part 4: Practical Implications

For IT Admins

For Agent Developers

For Security Teams

The bottom line: Copilot’s behavior is the emergent result of all layers interacting - not any single layer in isolation. Effective governance requires attention at every layer: model selection, RAI rules, app context, Graph data, admin policies, user preferences, agent instructions, plugin descriptions, and web grounding. Each represents a different stakeholder’s influence on the AI’s behavior.

This research is available in full. The complete source reports (Copilot Studio: 35 KB, M365 Copilot: 42 KB) with all citations and detailed analysis are available on request. Get in touch or check my sessions for speaking topics on this subject.

Es gibt keinen einzelnen “System Prompt” in Microsoft 365 Copilot. Was jede Antwort antreibt, ist eine mehrschichtige Architektur - dynamisch zusammengesetzt von einem Orchestrator bei jedem Turn, mit Kontext aus dem Foundation Model, Microsofts Metaprompt, der Host-Anwendung, den Organisationsdaten, Admin-Richtlinien, Benutzerpräferenzen, Agent-Anweisungen, Plugins und Websuchergebnissen.

Dieser Artikel bildet das vollständige Bild ab: 11 Schichten in M365 Copilot und die eigenständige 6-Schichten-Architektur von Copilot Studio Agents. Er basiert auf tiefgehender Recherche über 25+ offizielle Microsoft-Learn-Dokumente, Sicherheitsforschung und Community-Analysen.

Warum das wichtig ist: Ob IT-Admin, Agent-Entwickler oder Sicherheitsexperte - zu verstehen, welche Schichten Sie kontrollieren und welche nicht, ist entscheidend für effektive Governance, Instruction-Writing und Risikomanagement.

Hinweis: Die zugrunde liegende Recherche und Zusammenstellung in Reports wurde von KI durchgeführt. Alle Aussagen sind in zitierten Quellen verankert (25+ offizielle Microsoft-Learn-Dokumente, Sicherheitsforschung und Community-Analysen). Der Autor hat das Ergebnis geprüft und bearbeitet, aber Leser sollten kritische Details anhand der aktuellen Microsoft-Dokumentation verifizieren, bevor sie Produktionsentscheidungen treffen.

Teil 1: Microsoft 365 Copilot - Die 11 Schichten

Microsoft 365 Copilot konstruiert jede Antwort durch mindestens 11 verschiedene Schichten zwischen dem Foundation Model und dem Endbenutzer. Keine einzelne Schicht bestimmt das Verhalten - die Antwort ist das emergente Ergebnis aller interagierenden Schichten.

1 Foundation Model - GPT-5.x, pro Feature ausgewählt
2 Metaprompt - Microsofts RAI-Regeln, Identität, Sicherheit, Spotlighting
3 Orchestrator - Plant, schlussfolgert, wählt Tools, iteriert
4 App-spezifische Prompts - Word / Excel / Teams / Outlook Kontext
5 Graph Grounding - Semantic Index, Dokumente, E-Mails, Chats, Kalender
6 Tenant-Admin-Steuerung - DLP, Vertraulichkeitsbezeichnungen, Feature-Toggles
7 Benutzerdefinierte Anweisungen & Memory - Persönliche Präferenzen, erlerntes Verhalten
8 Deklarative Agent-Anweisungen - JSON-Manifest, max 8.000 Zeichen
9 Copilot Studio Agent-Schichten - Eigener Orchestrator, Topics, Tools, Wissen
10 Plugin- & Connector-Beschreibungen - Funktionsspezifikationen, API-Antworten
11 Web Grounding - Bing-Suchergebnisse (wenn aktiviert)

Schicht 1 & 2: Das Fundament

M365 Copilot läuft auf GPT-5.x-Modellen, die von Microsoft gehostet werden (OpenAI hat keinen Zugriff auf Kundendaten). Seit März 2026 können Nutzer GPT-5.4 Thinking für komplexe Aufgaben oder GPT-5.3 Instant für Geschwindigkeit wählen. Bevor der User-Prompt das Modell erreicht, wird Microsofts Metaprompt vorangestellt - mit Identitätsregeln, Responsible-AI-Richtlinien, Sicherheitseinschränkungen, Zitierformatierung und Spotlighting-Techniken.

Der Metaprompt ist für Tenants weder bearbeitbar noch sichtbar. Sein Inhalt wird aus beobachtbarem Verhalten und einer teilweisen Extraktion durch Sicherheitsforscher (Knostic, Januar 2025) abgeleitet, die allerdings vom Consumer-Copilot stammt.

Schicht 3: Der Orchestrator

Der Orchestrator ist die zentrale Engine. Bei jedem Turn: (1) empfängt die Benutzeranfrage, (2) führt RA-Vorprüfungen durch, (3) tritt in eine Multi-Turn-Reasoning-Schleife ein - wählt bis zu 5 Kandidaten-Funktionen, ruft APIs auf, holt Graph-Daten, konsultiert das LLM mehrfach - bis genug Kontext vorhanden ist, (4) generiert die Antwort, (5) führt finale RA-Ausgabefilterung durch.

Schichten 4–7: Kontext & Governance

Jede M365-App steuert app-spezifische Anweisungen bei. Microsoft Graph Grounding macht Copilot organisationsbewusst durch den Semantic Index - vektorisierte Embeddings von SharePoint, OneDrive, Outlook, Teams und Kalenderdaten, alle unter Beachtung der originalen ACLs. Tenant-Admin-Steuerungen (DLP, Vertraulichkeitsbezeichnungen) erzwingen Sicherheitsgrenzen. Benutzerdefinierte Anweisungen und Memory (seit Mitte 2025) ergänzen persistente persönliche Präferenzen.

Schichten 8–11: Erweiterungen

Deklarative Agents fügen spezialisierte Anweisungen per JSON-Manifest hinzu. Copilot Studio Agents bringen ihren eigenen Orchestrator mit. Plugins liefern Funktionsbeschreibungen. Websuche (via Bing) ergänzt Echtzeitinformationen.

Zentrale Erkenntnis: Der Prompt wächst mit jeder Orchestrator-Iteration. Eine einzelne Benutzerfrage kann 3–5 LLM-Aufrufe auslösen. Der “Prompt” ist nie statisch - er ist ein lebender, wachsender Kontext.

Teil 2: Copilot Studio - Die Agent-Architektur

Copilot Studio Agents nutzen eine eigene mehrschichtige Prompt-Architektur mit mindestens sechs Schichten, die zur Laufzeit zusammengesetzt werden.

1 Plattform-Metaprompt - Microsoft-kontrolliert, nicht editierbar
2 Agent-Anweisungen - Vom Maker erstellt, bis 8.000 Zeichen
3 Ressourcenkatalog - Topic-Namen, Tool-Specs, Child-Agents
4 Gesprächsverlauf - Letzte ~10 Turns, Variablenstatus
5 Abgerufenes Wissen (RAG) - Top 3 Ergebnisse pro Quelle
6 Aktuelle Benutzernachricht - Der eigentliche Input

Das Anweisungsfeld

Haupt-Steuerfläche für Agent-Maker. Definiert Identität, Scope, Ton, Fallback-Verhalten und Tool-/Wissensregeln. Beste Ergebnisse mit 1.500–3.000 Zeichen; Performance-Einbußen ab 6.000.

Generative Orchestrierung

Im generativen Modus (Standard) ist der Orchestrator ein LLM-gesteuerter Planer, der Name und Beschreibung jedes Topics und Tools erhält und daraus einen Plan erstellt. Drei Spezial-Trigger (On Knowledge Requested, AI Response Generated, Plan Complete) bieten Hooks in den Planungszyklus.

Das Kontextfenster-Problem

Metaprompt, Anweisungen, Ressourcenkatalog, Gesprächsverlauf und RAG-Ergebnisse konkurrieren um dasselbe Kontextfenster. Das Token-Budget pro Schicht ist nicht dokumentiert. Praktiker berichten von Gedächtnisverlust nach wenigen Austauschen in komplexen Agents.

Praktische Konsequenz: Benennung ist der stärkste Hebel. Tool-Namen und Topic-Beschreibungen bestimmen, was der Orchestrator nutzt. Schlechte Benennung führt zu falscher Tool-Auswahl - unabhängig davon, wie gut die Anweisungen sind.

Teil 3: Copilot Studio Agents vs. Deklarative Agents

Zwei fundamental unterschiedliche Architekturen für KI-Agents im Microsoft-Ökosystem.

DimensionCopilot Studio AgentDeklarativer Agent (M365)
OrchestratorEigener LLM-gesteuerter OrchestratorErbt M365-Copilot-Orchestrator; keine Entwicklerkontrolle
VerarbeitungIterativ - verkettet Tools/Topics, Schleifen, VerzweigungenSequenziell - ein Grounding + ein Tool-Aufruf, keine Schleifen
Token-BudgetVolles Kontextfenster (Zuteilung nicht offengelegt)4.096 Token gesamt (Kontext + Antwort)
WissenEigener Vektor-Index in Dataverse (isoliertes Silo)M365 Semantic Index (geteilt über alle M365-Dienste)
KonnektorenPower-Platform-Konnektoren (Tausende)~90 Microsoft-Konnektoren mit granularer Filterung
Multi-AgentParent-Child-Architekturen, A2A-ProtokollNicht verfügbar
DeploymentTeams, Web, SharePoint, WhatsApp, Dynamics, Custom AppsNur M365 Copilot Experience
LizenzierungVerbrauchsbasiert ($200/Tenant/Monat + Nachrichten)M365 Copilot-Lizenz pro Benutzer

Wählen Sie Copilot Studio für komplexe mehrstufige Workflows, Multi-Agent-Architekturen, externe Agents und granulare Orchestrierungskontrolle. Wählen Sie Deklarative Agents für schnelle M365-native Q&A und minimalen Entwicklungsaufwand. Nutzen Sie beides bei der Veröffentlichung eines Studio-Agents als M365-Copilot-Erweiterung.

Teil 4: Praktische Auswirkungen

Für IT-Admins

Für Agent-Entwickler

Für Sicherheitsteams

Fazit: Das Verhalten von Copilot ist das emergente Ergebnis aller interagierenden Schichten - nicht einer einzelnen Schicht. Effektive Governance erfordert Aufmerksamkeit auf jeder Ebene: Modellauswahl, RAI-Regeln, App-Kontext, Graph-Daten, Admin-Richtlinien, Benutzerpräferenzen, Agent-Anweisungen, Plugin-Beschreibungen und Web-Grounding.

Diese Recherche ist vollständig verfügbar. Die kompletten Quellberichte (Copilot Studio: 35 KB, M365 Copilot: 42 KB) mit allen Zitaten und detaillierter Analyse sind auf Anfrage erhältlich. Kontakt aufnehmen oder meine Sessions zu diesem Thema ansehen.