Actueel — Blog
Al enige tijd is de AI revolutie in volle gang. Organisaties met sterke innovatiekrachten transformeren hun bedrijfsprocessen met behulp van Artificial Intelligence (AI) of Machine Learning (ML). Deze toepassingen bieden hen belangrijke inzichten en zodoende sterke concurrentievoordelen.
De impact van AI en ML is groot. Er zijn veel toepassingen mogelijk, waaronder grote taalmodellen zoals GPT van OpenAI, Llama van Meta en Gemini van Google. Zo kent u inmiddels ook de animatie en virtual reality simulatiemogelijkheden zoals digital twinning. De groei in mogelijkheden en de complexiteit van toepassingen vragen veel data- en rekencapaciteit. Dit stelt organisaties voor nieuwe uitdagingen voor hun infrastructuur.
Uitdagingen van generative AI voor uw datacenter infrastructuur
Eén van de grootste uitdagingen voor organisaties die willen profiteren van de groei van AI, is het opzetten van de juiste oplossingen voor opslag en computing. Met name door de noodzaak van krachtige CPU’s, GPU’s en databaseclusters, gelet op de het verlagen van de Total Cost of Ownership van het datacenter.
Net zo belangrijk is het beschermen van eigen data en intellectueel eigendom. Wanneer u een private AI-omgeving neerzet, is het eenvoudiger deze in uw datacenter infrastructuur te beveiligen. Dan hebben we het nog niet gehad over de keuzes, de kosten, de performance en compliancy. Hiervoor is een platform gelanceerd waarin een volledig ecosysteem beschikbaar is om AI-modellen in te zetten en te trainen in uw eigen datacenter: VMware Private AI Foundation.
VMware Private AI Foundation
In augustus 2023 werd Private AI Foundation op VMware Explore gelanceerd door NVIDIA en VMware. Ook werkt VMware samen met Intel en IBM aan een soortgelijk platform. NVIDIA en VMware zorgen in deze samenwerking ervoor dat organisaties diverse mogelijkheden hebben om generative artificial intelligence binnen hun eigen datacenterinfrastructuur toe te kunnen passen.
Heeft u een on-premises datacenter? Samen met de managementlaag VMware Cloud Foundation is uw organisatie in staat om getrainde AI-modellen te draaien. Zo maakt u generative AI toepasbaar in uw moderne datacenter.
Ecosysteem met voordelen
De opzet van dit open ecosysteem heeft deze voordelen:
- Flexibiliteit in keuze software
Bepaal zelf de AI-software met keuze uit NVIDIA AI Enterprise, open-source software of een andere onafhankelijke softwareleverancier.
- Toegankelijke implementatiemogelijkheden
VMware Private AI biedt integratie van AI-oplossingen door partnerships met onder andere NVIDIA, Intel en IBM.
- Uitstekende performance
Het platform ondersteunt NVIDIA GPU technologie. Door deze GPU’s samen te voegen in de virtualisatielaag, hebben AI-workloads een goede performance. Use-cases tonen aan dat de performance van AI-workloads op deze manier nog beter is dan op bare-metal hardware.
- Verbeterde productiviteit
Terugkerende taken automatiseren wordt makkelijker en verhoogt de productiviteit. Hiermee ontstaan nieuwe mogelijkheden, zoals het bouwen van privé chatbots.
Op zoek naar een betere ROI voor uw cloudgebruik? Lees hoe u beter inzicht krijgt in uw cloudkosten: Optimaliseer cloudkosten en een FinOps-manier van werken
Deepdive VMware Private AI Foundation met NVIDIA
De VMware Private AI oplossing in samenwerking met NVIDIA bestaat uit twee delen: de VMware Cloud Foundation (VCF) oplossing en de NVIDIA AI Enterprise software die daar bovenop draait.
De NVIDIA AI Enterprise software faciliteert het aanspreken van de GPU’s in de onderliggende virtualisatielaag. Dit gebeurt met behulp van onder andere het CUDA software framework en de juiste vGPU driver. Deze software faciliteert LLM’s en overige AI-modellen binnen een on-premises datacenteroplossing, zoals VCF.
Een ander belangrijk onderdeel is de NVIDIA NIM. Deze versnelt de implementatietijd aanzienlijk. Het zorgt voor de interferentie met microservices waar het hele softwareframework van NVIDIA op een cloud native manier ingebouwd zit. Software die hierin verwerkt zit betreft onder andere Pytorch, Triton Inference Server, TensorRT en TensorRT-LLM. Uiteraard draait er ook een Kuberneteslaag met NVIDIA CUDA binnen de NVIDIA NIM. Behalve CUDA komt de software uit de open-source wereld en is onderdeel van de totale NVIDIA AI Enterprise oplossing.
De NVIDIA GPU Operator is een onderdeel van de NVIDIA AI software stack die het lifecyclemanagement van alle software binnen de NVIDIA AI stack, die gebruik maakt van de GPU’s, automatisch regelt. Ook zorgt de GPU Operator ervoor dat organisaties zich minder hoeven te focussen op het beheren van Kubernetes infrastructuur en meer de focus kunnen leggen op het bouwen van AI applicaties die gebruik maken van de GPU’s.
De NVIDIA RAG LLM Operator zorgt voor het snel uitrollen van AI workflows. Daarnaast zijn vector databases een belangrijke afhankelijkheid om RAG (Retrieval-Augmented Generation) workloads uit te rollen. RAG workflows kunnen sneller data benaderen en real-time updates doen door het gebruik van vector databases. De output van LLM’s wordt sneller en vermindert het opnieuw trainen van LLM’s en dat bespaart ook tijd.
VMware biedt voor het uitrollen van PostgreSQL databases een nieuw product, genaamd VMware Data Services Manager (DSM). Dit is een Database-as-a-Service (DBaaS) oplossing van VMware die deel uitmaakt van de VMware Cloud Foundation licentie. Vector databases kunnen met pgvector in PostgreSQL worden ingeschakeld.
Integratie met Aria Automation en nieuwe functionaliteiten
VMware Private AI Foundation met NVIDIA is sinds kort algemeen beschikbaar als add-on van de VCF subscription. Daarnaast is het mogelijk om Deep Learning VM’s vanuit Aria Automation via self-service uit te rollen. Hiervoor moet de onderliggende hardware wel beschikken over de juiste GPU’s en software-afhankelijkheden waaronder:
- vGPU Driver
- CUDA
- PyTorch
- DCGM Exporter
- TensorFlow
- Triton Inference Server
- NVIDIA RAG
Dit zijn de bekende bouwblokken om VMware Private AI Foundation met NVIDIA te kunnen implementeren. Een Deep Learning Virtual Machine kan zowel rechtstreeks als VM op vSphere uitgerold worden of als container binnen een Tanzu Kubernetes Grid (TKG) cluster. Voor deze laatste keuze maakt u gebruik van vSphere met Tanzu, dat ook een onderdeel is van VCF. Beide opties kunnen beschikbaar gemaakt worden in de Service Broker van Aria Automation.
Know-how van uw partner
Voor organisaties die willen profiteren van de groei van AI en een Private AI platform willen implementeren en onderhouden, is de uitdaging om deze kennis in huis te halen. Dit ligt met name in de complexiteit in het NVIDIA AI Enterprise framework. Veel software-oplossingen zorgen voor een vereenvoudiging van implementatie, maar het blijft nog erg complex om alle kennis te hebben van de vele afhankelijkheden, zoals kennis van Kubernetes, TensorFlow en Pytorch.
PQR is als VMware- en NVIDIA-partner continu op de hoogte van de nieuwste ontwikkelingen op het gebied van Artificial Intelligence. Onze IT-professionals bieden organisaties de benodigde expertise voor advies, implementatie en beheerwensen. Wilt u meer informatie over VMware Private AI Foundation? Of wilt u sparren over de mogelijkheden voor het implementeren van een software-defined datacenter oplossing voor het draaien van AI workloads binnen uw organisatie? Neem dan contact op met Martijn Privee via martijn.privee@pqr.nl.
Geplaatst door
