A new era of computing

De tweede week van oktober stond in het teken van misschien wel het meest tot de verbeelding sprekende event van 2017, NVIDIA GPU Technology Conference (GTC).  

Patrick van den Born en Jits Langedijk spraken op dit event en geven in deze blog een impressie. 

 

Daar waar GTC voorheen enkel in Silicon Valley werd georganiseerd is dit sinds 2016 uitgebreid met o.a. een event speciaal voor de Europese markt. Dit jaar vond NVIDIA GTC Europe plaats in München en werden ruim 3.000 bezoekers van 10 tot 12 oktober op de hoogte gebracht van de laatste ontwikkelingen rondom Artificial Intelligence (AI), Deep Learning, Autonomous Vehicles, HPC & SuperComputing, Professional Visualisation, Virtual Reality (VR) & Augmented Reality (AR) en uiteraard Graphics Virtualization. Een zeer divers aanbod waarbij de verbindende factor natuurlijk de Graphics Processing Unit (GPU) betreft. De tijd dat een grafische kaart enkel voor gaming gebruikt werd, ligt ver achter ons. Men kan stellen dat de snelle ontwikkelingen in AI en Deep Learning mede mogelijk zijn gemaakt door de NVIDIA GPU’s. AI en Deep Learning is eigenlijk reeds overal om u heen. De persoonlijke digitale assistenten zoals Siri, Cortana en Alexa zouden het daglicht niet hebben gezien zonder tussenkomst van de GPU.  

De hoeveelheid beschikbare informatie neemt in onvoorstelbare hoeveelheden toe en dit is pas van waarde wanneer we de inhoud en de verbanden snappen en op basis van patronen beslissingen kunnen maken, of geautomatiseerd laten maken. Neem als voorbeeld de hoeveelheid afbeeldingen die met een MRI, of CT-scan gemaakt worden. Een neuroloog moet deze per onderzoek bekijken om te komen tot de juiste diagnose. Dit is een tijdrovend en secuur proces. Door met Deep Learning algoritmes te trainen en deze eerste diagnosefase uit te voeren kan in de eerste plaats het proces veel sneller en secuurder plaatsvinden en daarnaast is er meer tijd voor persoonlijk contact met de patiënt. Als opening van de keynote sessie werd tevens deze inspirerende video getoond.

Tijdens de keynote werden uiteraard verschillende aankondigen gedaan. Oprichter en CEO Jen-Hsun Huang nam ons mee door de ontwikkelingen van de PC met Internet thuis, van de mobile -en cloudrevolutie tot uiteindelijk de AI-revolutie. In dit tijdperk wordt software ontwikkeld door software, leren machines van zichzelf en bouwen machines andere, meer ontwikkelde machines. Het zal u niet verwonderen dat NVIDIA in het middelpunt staat van deze revolutie. In 2012 werd deze revolutie door een Zwitsers AI-laboratorium gestart door als eerste GPU’s te gebruiken. Sindsdien wordt overal over de wereld de GPU ingezet voor het trainen van de neural networks die AI aandrijven. 

Een aantal aankondigen tijdens de keynote sprongen er wat ons betreft uit: 

  • Volta GPU – 120 TFLOPS in the palm of your hand 
  • DGX – The AI SuperComputer 
  • Project Holodeck – The Design lab of the Future 
  • Drive PX - Level-3 Autonomous driving 

Volta GPU 

Als onderdeel van de NVIDIA Tesla Datacenter GPU-lijn werd de Tesla V100 gepresenteerd. Dit is de ‘latest and greatest’ datacenter GPU, bedoeld voor AI, HPC en Graphics. De V100 is zowel als PCIe kaart beschikbaar alsmede voor de NVLINK-systemen zoals de DGX supercomputer. De kracht van één enkele V100 staat gelijk aan 100 CPU’s dankzij de parallel compting i.p.v. sequenteel met een CPU. De Volta is uiteraard de volgende generatie van GPU’s die in eerste instantie beschikbaar is voor AI. Of en wanneer de Volta Architectuur beschikbaar gaat komen voor NVIDIA GRID is niet duidelijk. NVIDIA GRID is ooit gestart met de Keplar GPU’s en is vandaag de dag beschikbaar met zowel de Maxwell als de Pascal GPU’s. De Pascal GPU architectuur is hierbij de meest recente toevoeging voor NVIDIA GRID. In de blog ‘The New Virtual Game’ kunt u hierover alles te weten komen. 

The AI SuperComputer 

Een belangrijke aankondiging betrof DGX. NVIDIA heeft met de DGX Station en DGX-1 een tweetal oplossingen die datascientists helpt bij hun baanbrekende werk. De DGX Station betreft een zeer stille supercomputer voor op de werkplek.  Een machine die minder dan 35 dB produceert en met 4 Tesla V100 GPU’s 480 TFLOPS weet voort te brengen (Datasheet). De DGX-1 is de grote broer voor in het datacenter. Deze 3U rack unit voorziet met 8 Tesla V100 GPU’s in 960 TFLOPS. Beide enterprise-oplossingen voorzien in snelheid en flexibiliteit.  

Voorheen was men genoodzaakt om voor Deep Learningtaken een whitelabel machine te configureren; een tijdrovende klus voor één specifieke taak en vaak één Deep Learning framework. NVIDIA heeft met de DGC Software Stack dit probleem opgelost. Met deze stack bent u in staat om met verschillende Deep Learning frameworks en versies, zoals TensorFlow, Caffe, Pytorch enz. in Docker containers te werken op de DGX Station of DGX-1. Organisaties zijn dus in zeer korte tijd up-and-running, hebben hoge mate van flexibiliteit doordat verschillende frameworks en versies in een eigen container gebruikt kunnen worden en daarnaast is de gehele stack vanuit NVIDIA voorzien van support (SPOC). Wilt u meer weten over wat de DGX Station en DGX-1 voor uw organisatie kan betekenen, neem dan contact op met PQR (DeepLearning@pqr.nl). 

Virtual Reality & Augmented Reality 

Naast AI en Deep Learning was er ook veel aandacht voor Virtual Reality (VR) en Augmented Reality (AR). AR is door Pokémon Go een mooi herkenbaar voorbeeld van AR. In de zakelijke wereld kunnen sensoren worden gebouwd in apparaten die real-time data inzichtelijk maken (op bijvoorbeeld een tablet) zodat direct de accuspanning en het brandstofniveau inzichtelijk is. Hieraan kunnen direct instructiehandleidingen worden gekoppeld zodat onderhoud eenvoudiger, training efficiënter en het werk veiliger wordt. 

Naast AR heeft ook VR een prominente rol op NVIDIA GTC. Daar waar we ooit gestart zijn met Chat en Presence, later Voice en Video is VR de next-step in digital collaboration. Het wordt onderdeel van de Future Workspace; samenwerken in een virtuele ruimte, elkaar kunnen zien en gelijktijdig werken aan een design, een stad of wellicht uw woning. Tijdens GTC lanceerde NVIDIA project Holodeck, een Collaborative VR omgeving voor het werken aan 3D modellen die fotorealistische worden weergeven. Voor de bezoekers van GTC waren er verschillende ongeëvenaarde Holodeck opstellingen beschikbaar zodat men dit zelf kon ervaren. Biedt NVIDIA Holodeck voor uw organisatie uitkomst? Schrijf u dan hier in bij NVIDIA voor het early access programma. 

Autonomous Vehicles 

‘Er zit een Tesla in iedere Tesla’ wordt er soms weleens gezegd. Dit is in zeker zin waar. Zelfrijdende auto’s zitten vol met sensoren en verzamelen zeer veel data om veilig van punt A naar Punt B te komen. Ook alle door de camera’s verzamelde beelden moeten geïnterpreteerd worden en hier zijn GPU’s voor nodig. NVIDIA heeft hiervoor het NVIDIA Drive AV Computing Platform: dit integreert alle onderdelen zodat voertuigen zich autonoom kunnen begeven in ‘ons’ verkeer. Van radar, lidar, camera’s, maps en routeplanning; alles in één platform. Een belangrijk onderdeel hierin is de Drive PX. Met deze mini computer zijn inmiddels de eerste level 3 autonomous vehicles beschikbaar geworden voor het publiek. De eerste level 5 autonomous vehicles kunnen wat ons betreft niet snel genoeg beschikbaar komen!

NVIDIA GRID 

Patrick en Jits hebben deze dagen daarnaast een presentatie mogen verzorgen waarin zij vertelden hoe NVIDIA GRID i.c.m. Citrix technology, de marktleider op het gebied van Aerospace Supplies, heeft geholpen om medewerkers op een flexibele en veilige wijze te laten werken. De medewerkers van deze organisatie zijn in staat om overal ter wereld op een veilige wijze toegang te krijgen tot een centrale omgeving waarin ze in staat zijn om te werken aan de 3D modellen. De grafische acceleratie met NVIDIA GRID vGPU techniek maakt het mogelijk dat applicaties zoals Catia en Solidworks zelf beter presenteren dan op een laptop (voorzien van een extra grafische kaart). De organisatie kan tevens op deze wijze het Intellectual Property (IP) beter beschermen alsmede de time-to-market voor nieuwe locaties verkorten. 

AWL Techniek 

Daarnaast heeft Jits een presentatie verzorgd samen met Rody Kossen van AWL Techniek. Deze toonaangevende Nederlandse organisatie ontwikkelt al meer dan 50 jaar de beste lasrobots die voornamelijk worden gebruikt in de automotive industrie. Met een hoofdvestiging in Nederland (Harderwijk) en vestigingen in Tsjechië, China, Mexico en Amerika had AWL Techniek uitdagingen om op alle locaties de juiste informatie beschikbaar te hebben. Er was geen ‘Single Source of Truth’ aangezien versies van tekeningen over externe verbinden gekopieerd moesten worden. AWL Techniek heeft samen met PQR dit probleem opgelost alsemede de onderlinge samenwerking verbeterd door de introductie van de ‘AWL Cloud’. Vanuit Harderwijk worden alle wereldwijde locaties voorzien van de gewenste applicaties binnen een Citrix XenApp en XenDesktop omgeving. Grafisch zware applicaties zoals Solidworks en eDrawings worden binnen de AWL Cloud overal ter wereld op de locaties van AWL gebruikt, zelfs in China. De cloud is echter nog niet af: zo staat o.a. de implementatie van de Citrix NetScaler SD-WAN op het programma. Hiermee zal de gebruikerservaring op de verschillende locatie nog verder verbeterd worden en is AWL Techniek in staat om alle WAN-verbindingen optimaal te gebruiken en kan er betere QoS geleverd worden. 

Uiteraard hebben we ons ook door andere NVIDIA GRID experts laten informeren, bijvoorbeeld over de vraag waarom een GPU noodzakelijk is voor Windows 10, hoe de Azure NV6 machines zich ‘gedragen’ hoe we überhaupt moeten ‘meten’ als het gaat om gebruikerservaring; het werd allemaal behandeld en bediscussieerd.  

Tijdens de laatste sessie, verzorgd door NVIDIA zelf, is ingegaan op de laatste release (5.0) van NVIDIA GRID, ook wel de ‘August Release’ genaamd. Tijdens de sessie werd ingegaan op een tweetal zaken, de nieuwe Scheduler en Project Cirrus. 

Nieuwe NVIDIA GRID Scheduler 

Met de introductie van de op Pascal architectuur gebaseerde kaarten (P1, P40, P6, P4 en P100) is er ook een nieuwe versie van de NVIDIA GRID 5.0 software gelanceerd. Deze NVIDIA GRID software maakt het mogelijk om een GPU virtueel binnen een hypervisor platform aan een virtuele machine te kunnen aanbieden. Met deze technologie is het dus mogelijk dat meerdere VM’s gelijktijdig gebruik te maken van een fysieke GPU. Hoe gaat dit ‘delen’ van een GPU nu in zijn werk en hoe wordt ervoor gezorgd dat dit goed gebeurd? Dit is de rol van de Scheduler. De Scheduler is onderdeel van de GRID Manager die wordt geïnstalleerd binnen de hypervior (VMware vSphere, Citrix XenServer en Nutanix AHV). Het delen van een GPU met meerdere VM’s kan grofweg in twee delen worden verdeeld, namelijk in GPU Memory (Framebuffer) en GPU Compute. De manier waarop dit ‘eigen’ stukje wordt toegekend verschilt. 

GPU Memory (Framebuffer) 

De hoeveelheid GPU memory die een VM krijgt, wordt bepaald op basis van het vGPU profiel dat wordt toegekend. Afhankelijk van de hoeveelheid vooraf ingedeeld geheugen die een GPU beschikbaar heeft (8GB, 16GB of 24GB per GPU) kan dit geheugen worden verdeeld in gelijke delen variërend van 1 GB tot 24 GB per fysieke GPU (de hoeveelheid is afhankelijk van de gebruikte kaart). Het is dus essentieel vooraf goed na te gaan wat medewerkers nodig hebben. Iedere VM en dus ook medewerker krijgt exclusief toegang tot ‘zijn eigen’ gedeelte GPU memory. 

GPU Compute 

Met de introductie van de Pascal GPU’s en de GRID 5.0 release zijn hier twee nieuwe type Schedulers aan toegevoegd, namelijk “Equal Share” en “Fixed Share”. 

Best Effort Scheduler 

Bij Best Effort krijgt iedere VM krijgt zijn ‘eigen’ time slice van de GPU-cycles. Als een VM geen taak meer heeft, of al ‘zijn’ cycles heeft verbruikt gaat de GPU scheduler naar de volgende VM. De GPU Scheduler kan hierbij geen GPU-cycles per VM garanderen. Met deze scheduler kan het voorkomen dat een virtuele machine een onevenredig deel van de GPU-cycles verbruikt. Hierdoor kunnen er geen garanties gegeven worden voor de hoeveelheid tijd een VM op de GPU krijgt. Door een zogenoemde “noisy neighbour” kan het voorkomen dat er tijdelijk een performance degradatie is. Echter kan met de Best Effort Scheduler wel de hoogste performance gehaald worden in het geval de andere VM’s geen GPU-cycles nodig hebben.  

Equal Share Scheduler 

Een alternatief is nu ‘Equal Share’ en dit is tevens de default Scheduler voor GPU’s gebaseerd op de Pascal architectuur! Zoals de naam doet vermoeden krijgt iedere VM zijn ‘eerlijke’ deel van de GPU-cycles. Deze Scheduler zorgt voor quality of service door iedere VM die aanstaat een reservering op GPU-cycles te geven. Hierdoor blijven de VM’s dezelfde GPU-performance houden, ook als er een “noisy neighbor” is. Een nadeel van deze scheduler is dat als een VM geen gebruik maakt van de GPU, de gegarandeerde tijd voor die cycle ongebruikt blijft. ​

Fixed Share Scheduler 

De derde en laatste configuratiemogelijkheid van de Scheduler betreft ‘Fixed Share’. Met deze configuratie krijgt iedere VM een vast deel van de GPU-cycles en kan dus performance worden gegarandeerd (QoS). Dit kan bijvoorbeeld een cloud scenario zijn waarin de cloud provider garanties afgeeft over de performance van de GPU. In de Fixed Share Scheduler wordt gekeken hoeveel VM’s met een vGPU’s profiel er actief kunnen zijn op één fysieke GPU. Elke VM krijgt dan dat deel van de GPU-cycles, ongeacht of de andere VM’s aan of uit staan. Voordeel is dat de VM altijd dezelfde GPU performance krijgt. Nadeel is echter dat er een situatie ontstaat waarin GPU-resources niet gebruikt worden.  

We hebben dus nu drie type ‘Scheduling Modes’ met GRID 5.0; Best Effort, Equal Share en Fixed Share waarbij Equal Share de standaard modus is voor Pascal GPU’s. Zoals uit bovenstaande beschrijvingen per Scheduler is beschreven, is het zaak de juiste modus te selecteren voor de specifieke use case. In onderstaande afbeelding staan de voor- en nadelen per Scheduler in een overzicht. 

Project Cirrus 

Zoals al vaker aangegeven draait het allemaal om de ervaring die medewerkers hebben bij het gebruik van een centrale virtuele desktop of applicatie omgeving, oftewel de User eXperience (UX).  

Met de introductie van Windows 10 en Office 2016 binnen de VDI-omgevingen is deze gebruikerservaring een grotere uitdaging geworden dan voorheen. Beide zijn er gebaat bij de aanwezigheid van een GPU, om nog maar te zwijgen van alle web content die eveneens zeer gebaat is bij de aanwezigheid van een GPU. De uitdaging bij het meten van de gebruikerservaring betreft echter het feit dat het altijd erg subjectief is. De belangrijkste vraag – ook voor NVIDIA – is hoe UX meetbaar te maken is.

Project Cirrus maakt UX meetbaar door ‘end user latency’ inzichtelijk te maken. In 2015 is tijdens de eerste NVIDIA GRID Days in Santa Clara een demonstratie gegeven van het “Click to Photon’ onderzoek. Met deze eerste opstelling werd er gemeten hoe lang een medewerker moet ‘wachten’ voordat de input van de muis wordt verwerkt in de remote sessie. Met deze testopstelling werd zowel de muisklik gemeten als de kleur op het scherm. Door op de muis te klikken werd er telkens om-en-om een witte en een zwarte PowerPoint slide getoond. Door de tijd te meten tussen de muisklik en het tonen van de nieuwe slide werd de latency in beeld gemaakt met de oscilloscoop.  

Voor iedereen die gebruik maakt van hosted desktop/apps oplossingen, zoals Citrix XenApp/XenDesktop of VMware Horizon View is bekend dat dit van groot belang is in het kader van een goede UX. Met Project Cirrus komt er in ieder geval een mogelijkheid om inzichtelijk te krijgen wat de UX is op basis van de latency die een medewerker ervaart. Dit neemt niet weg dat de ‘waargenomen’ UX altijd subjectief blijft maar geeft organisaties wel de mogelijkheid om daarnaast een objectief beeld te vormen ten aanzien van de UX. Feit blijft altijd wel dat het belangrijk is om medewerkers te betrekken bij een PoC en/of Pilot en van deze mensen om feedback te vragen. Harde cijfers zijn belangrijk maar zijn slechts een deel van de oplossing. 

Tot Slot 

NVIDIA GTC was een zeer geslaagd en enerverend event. We zijn als PQR-trots dat wij er twee presentaties hebben verzorgd. Hebben veel kennis opgedaan over hetgeen er naast NVIDIA GRID nog meer speelt in de wereld en hebben uiteraard genoten van de VR experience, Robots en zelfrijdende auto’s. Kortom, NVIDIA GTC is zeker een aanrader voor iedereen die interesse heeft in AI, Deep Learning, AR/VR, Autonomous Vehicles, HPC & SuperComputing, Professional Visualisation, en uiteraard Graphics Virtualization. Volgend jaar zal NVIDIA GTC Europe wederom plaatsvinden in München in het najaar. Kunt u niet wachten, laat u dan bijpraten door ons of registreer voor GTC US (26 – 29 Maart 2018).