Microsoft har nu bekräftat att DeepSeek AI snart blir tillgängligt på Windows Copilot+ PC och Azure-plattformen.
Den första versionen, DeepSeek-R1-Distill-Qwen-1.5B, har optimerats för att köras på Copilot+ PC med en NPU (Neural Processing Unit). Senare kommer även kraftfullare varianter, såsom 7B- och 14B-modellerna.
Denna utveckling är en del av Microsofts satsning på att göra generativ AI mer tillgänglig och optimerad för lokala enheter, vilket möjliggör effektivare AI-beräkningar direkt på PC:n utan att förlita sig enbart på molntjänster.
Systemkrav och kompatibilitet
För att kunna köra DeepSeek-R1-modellen krävs minst:
- 256 GB lagringsutrymme
- 16 GB RAM
- En NPU med minst 40 TOPS (Tera Operations Per Second)
DeepSeek-R1 kommer även att finnas tillgänglig via Azure AI Foundry, där den kommer att ingå i en samling AI-modeller tillsammans med exempelvis GPT-4 och Meta-Llama 3.
Hur DeepSeek AI optimeras för Copilot+ PC
NPU-acceleration och lokal AI-inferens
Copilot+ PC har en dedikerad NPU som möjliggör effektiv modellinferens. Genom att använda NPU:n kan generativ AI köras nästan kontinuerligt, vilket öppnar upp för mer responsiva AI-tjänster.
DeepSeek AI har optimerats för att dra full nytta av NPU:n genom en rad tekniker:
- 4-bitars blockkvantisering för att optimera minnesanvändningen
- Int4 per-kanal-kvantisering för transformer-blocket
- Selektiv mixed precision för viktberäkningar med int16-aktiveringar
- ONNX QDQ-format för att säkerställa kompatibilitet över olika Windows-enheter
Dessa optimeringar gör det möjligt att köra AI-modellen snabbt och energieffektivt på enheter med begränsade resurser.
Hur utvecklare kan testa DeepSeek AI
Utvecklare kan börja experimentera med DeepSeek AI genom att:
- Ladda ner AI Toolkit VS Code Extension
- Hämta modellen från Azure AI Foundry via AI Toolkit
- Öppna Playground i AI Toolkit och köra modellen lokalt
Det går även att testa den molnbaserade versionen av DeepSeek-R1 direkt i Azure AI Foundry.
Optimering av modellen för effektivare AI-tjänster
DeepSeek-R1-modellen är designad för att vara så effektiv som möjligt, både vad gäller prestanda och strömförbrukning. Microsoft har implementerat:
- Sliding window-design för snabbare token-generering
- QuaRot-kvantisering för att förbättra precisionen vid låg bithantering
- Optimerad CPU- och NPU-layout för bästa balans mellan prestanda och energieffektivitet
Tack vare dessa tekniker kan DeepSeek-modellen hantera en tid till första token på 130 ms och en genomströmning på 16 tokens per sekund för korta prompts (<64 tokens).
Framtiden för AI på Windows Copilot+ PC
Microsofts arbete med DeepSeek och andra AI-modeller visar tydligt att framtiden för generativ AI kommer att vara mer lokal, snabbare och mer energieffektiv. Med Copilot+ PC och NPU-optimerade modeller får utvecklare nu fler möjligheter att bygga och köra kraftfulla AI-applikationer direkt på sina enheter.
Slutsats
DeepSeek AI:s ankomst till Windows Copilot+ PC markerar ett viktigt steg mot att göra AI-teknik mer tillgänglig och optimerad för lokala enheter. Genom att använda dedikerade NPU:er kan utvecklare nu skapa AI-drivna applikationer med hög prestanda utan att kompromissa med energieffektiviteten.
Med stöd för både lokal inferens och molnbaserad drift, öppnar Microsofts senaste AI-initiativ upp nya möjligheter för utvecklare som vill ta generativ AI till nästa nivå.