17 februari, 2025

Microsoft utökar AI-funktionaliteten på Copilot+ PC

Microsoft har nu bekräftat att DeepSeek AI snart blir tillgängligt på Windows Copilot+ PC och Azure-plattformen.

Den första versionen, DeepSeek-R1-Distill-Qwen-1.5B, har optimerats för att köras på Copilot+ PC med en NPU (Neural Processing Unit). Senare kommer även kraftfullare varianter, såsom 7B- och 14B-modellerna.

Denna utveckling är en del av Microsofts satsning på att göra generativ AI mer tillgänglig och optimerad för lokala enheter, vilket möjliggör effektivare AI-beräkningar direkt på PC:n utan att förlita sig enbart på molntjänster.

Systemkrav och kompatibilitet

För att kunna köra DeepSeek-R1-modellen krävs minst:

  • 256 GB lagringsutrymme
  • 16 GB RAM
  • En NPU med minst 40 TOPS (Tera Operations Per Second)

DeepSeek-R1 kommer även att finnas tillgänglig via Azure AI Foundry, där den kommer att ingå i en samling AI-modeller tillsammans med exempelvis GPT-4 och Meta-Llama 3.

Hur DeepSeek AI optimeras för Copilot+ PC

NPU-acceleration och lokal AI-inferens

Copilot+ PC har en dedikerad NPU som möjliggör effektiv modellinferens. Genom att använda NPU:n kan generativ AI köras nästan kontinuerligt, vilket öppnar upp för mer responsiva AI-tjänster.

DeepSeek AI har optimerats för att dra full nytta av NPU:n genom en rad tekniker:

  • 4-bitars blockkvantisering för att optimera minnesanvändningen
  • Int4 per-kanal-kvantisering för transformer-blocket
  • Selektiv mixed precision för viktberäkningar med int16-aktiveringar
  • ONNX QDQ-format för att säkerställa kompatibilitet över olika Windows-enheter

Dessa optimeringar gör det möjligt att köra AI-modellen snabbt och energieffektivt på enheter med begränsade resurser.

Hur utvecklare kan testa DeepSeek AI

Utvecklare kan börja experimentera med DeepSeek AI genom att:

  1. Ladda ner AI Toolkit VS Code Extension
  2. Hämta modellen från Azure AI Foundry via AI Toolkit
  3. Öppna Playground i AI Toolkit och köra modellen lokalt

Det går även att testa den molnbaserade versionen av DeepSeek-R1 direkt i Azure AI Foundry.

Optimering av modellen för effektivare AI-tjänster

DeepSeek-R1-modellen är designad för att vara så effektiv som möjligt, både vad gäller prestanda och strömförbrukning. Microsoft har implementerat:

  • Sliding window-design för snabbare token-generering
  • QuaRot-kvantisering för att förbättra precisionen vid låg bithantering
  • Optimerad CPU- och NPU-layout för bästa balans mellan prestanda och energieffektivitet

Tack vare dessa tekniker kan DeepSeek-modellen hantera en tid till första token på 130 ms och en genomströmning på 16 tokens per sekund för korta prompts (<64 tokens).

Framtiden för AI på Windows Copilot+ PC

Microsofts arbete med DeepSeek och andra AI-modeller visar tydligt att framtiden för generativ AI kommer att vara mer lokal, snabbare och mer energieffektiv. Med Copilot+ PC och NPU-optimerade modeller får utvecklare nu fler möjligheter att bygga och köra kraftfulla AI-applikationer direkt på sina enheter.

Slutsats

DeepSeek AI:s ankomst till Windows Copilot+ PC markerar ett viktigt steg mot att göra AI-teknik mer tillgänglig och optimerad för lokala enheter. Genom att använda dedikerade NPU:er kan utvecklare nu skapa AI-drivna applikationer med hög prestanda utan att kompromissa med energieffektiviteten.

Med stöd för både lokal inferens och molnbaserad drift, öppnar Microsofts senaste AI-initiativ upp nya möjligheter för utvecklare som vill ta generativ AI till nästa nivå.

Related Articles

LÄMNA KOMMENTAR

Lämna kommentar
Ange namn
Captcha verification failed!
CAPTCHA user score failed. Please contact us!

Fler nyheter