Je hebt eerder al eens kunnen lezen over onze opslagmethode. Daarin hebben we verteld dat we alleen maar SSD’s gebruiken, in zo’n opstelling dat we ongeveer 1 miljoen IOPS halen. Maar als het om bedrijfsprocessen gaat, is latency misschien nog wel veel belangrijker.

IOPS: hoe meer, hoe beter!

Wie een beetje rondkijkt in de wereld van cloudoplossingen, leest al snel over de opslagmogelijkheden. Er zijn bedrijven die daar klassieke harde schijven voor gebruiken, bedrijven die voor de moderne SSD’s kiezen en bedrijven die een hybride model hanteren. Wij hebben jaren geleden al gekozen om de opslag van onze VPS en VPC volledig op SSD’s te laten draaien. We zijn namelijk allemaal verslaafd aan snelheid.

Want alles wat met internet te maken heeft, moet snel. Google vindt in een halve seconde het antwoord op al je vragen, gebruikers worden steeds kritischer en langzame websites worden straks minder hoog getoond in de zoekresultaten. Speed matters.

Als je aan het shoppen bent naar een cloudoplossing, kom je waarschijnlijk de term IOPS tegen. Dat is een manier om uit te drukken hoeveel acties een opslagmedium per seconde kan verwerken. Een hoge IOPS zegt dus iets over de snelheid waarmee je data opgeslagen en weer opgevraagd kan worden, en dus over de snelheid van je website, database of applicatie. Maar IOPS zegt minder dan je denkt…

Latency: wat is het en waarom is het belangrijk?

Latency en IOPS hebben veel met elkaar te maken, maar het zijn 2 hele verschillende dingen. Laten we er eens een metafoor bij pakken om het verschil goed uit te leggen.

IOPS kun je het beste vergelijken met de topsnelheid van een auto. Als de ene auto een topsnelheid heeft van 250 kilometer per uur, en de andere eentje van 300 kilometer per uur, dan weet je wie de race wint. Toch?

Dat ligt eraan. Hoe lang doen beide auto’s erover om die topsnelheid te bereiken, bijvoorbeeld? En wat als de bochten op het circuit ervoor zorgen dat beide auto’s maar 150 kilometer per uur kunnen halen, kies je dan de auto met de hoogste topsnelheid of de auto die sneller accelereert?

vps latency wat en waarom

Je topsnelheid (IOPS) is minder belangrijk dan je acceleratie (latency)

Je raadt het al: als IOPS gelijkstaat aan de topsnelheid, dan staat latency voor het acceleratievermogen. Daarom kun je IOPS nooit los zien van de latency. Het verschil tussen een opslagmethode die 300.000 IOPS verwerkt en eentje die 500.000 IOPS verwerkt, is niet relevant als je applicatie maar 50.000 IOPS nodig heeft. Maar als de ene oplossing die 50.000 IOPS haalt in 500 microseconde en de ander doet daar 2 milliseconden over, dan heeft dat serieuze gevolgen. In dit voorbeeld zou je applicatie 4x langzamer zijn, ondanks het overschot aan IOPS.

Om het samen te vatten, kun je zeggen dat de gemiddelde latency je vertelt hoe snel een enkele I/O wordt verwerkt. Hoe lager de latency, hoe meer je met je opslag kunt doen. Het reageert sneller op verzoeken en krijgt meer data naar meer processoren in minder tijd. Oftewel: je applicaties worden sneller, je hebt misschien minder servers nodig en de servers die je hebt kunnen meer doen.

Het belang van latency

We leven in een wereld van instant gratification. Als we niet onmiddellijk krijgen wat we nodig hebben, haken we snel af. Enterprises worden daarnaast steeds afhankelijker van applicaties. Simpel of complex, het maakt niet uit: gebruikers willen liever gisteren dan vandaag reactie van het systeem.

Bij veel cloudaanbieders ligt de focus nog steeds op de IOPS. Niet heel vreemd, maar wel verouderd. Het komt voort uit een tijd dat je met SSD nog het onderscheid maakte, en het verschil in IOPS tussen klassieke harde schijven en flash storage is enorm. Maar nu iedereen zo’n beetje over is op die laatste variant, komt de nadruk meer op latency te liggen. En dan met name op de latency in de volledige opslaginfrastructuur.

Het ecosysteem van een opslag zoals we die voor onze oplossingen gebruiken, bestaat uit 4 onderdelen: de schijven zelf, de software die voor het wegschrijven van data gebruikt wordt, de CPU waar de software gebruikt van maakt, en het netwerk dat de data van en naar de applicatie stuurt.

IOPS is eigenlijk alleen maar van toepassing op de schijven. Latency gaat daarentegen over het complete proces: hoe lang een I of O (read of write-actie) erover doet om van de applicatie-input tot de laatste output te komen. Dus als je wilt weten hoe snel je opslag écht is, zul je je cloudhoster altijd naar de latency moeten vragen.

Staar je niet blind op benchmarktests

We worden regelmatig gevraagd naar een performance benchmark van onze virtuele producten. Helaas word er hier vaak gekeken naar het aantal IOPS dat een virtuele machine haalt. Dit zegt vrij weinig. Meestal worden dit soort tests uitgevoerd met meerdere threads en een flinke queue depth, terwijl er nog heel veel applicaties bestaan die nog steeds afhankelijk zijn van hoe snel een enkele IO afgehandeld wordt.

Onze VPS is bijvoorbeeld gelimiteerd op 10.000 IOPS. We testen onze VPS met 1 thread en een queue van 1, omdat je daarmee het meest heldere resultaat krijgt. Met deze test komen we uit op een gemiddelde latency van 0,1 milliseconde. Dat is meer dan de latency van de SSD’s, die maar 2 microseconden bedraagt. Dat komt door ons SAN. Er zit een netwerk en storage logica tussen de VMware-nodes en de SSD-schijven, en dat zorgt voor latency.

Je hebt dus niets aan het aantal MB’s per seconde in een performance benchmark. Oké, je weet de topsnelheid van je auto, maar zoals je hebt gelezen is dat maar een klein deel van het verhaal. Een lagere latency in een VPS wordt bepaald door de gebruikte virtualisatiesoftware, CPU, RAM-geheugen, de switch en Network Interface Card.

Low Latency VPS

Ben je in de markt voor een VPS, dan is het dus ook de moeite waard om naar de latency te kijken. Je draait per slot van rekening een applicatie, database of website op je virtuele server, en je hebt bepaalde wensen of eisen als het om de snelheid gaat.

Net als bij grotere omgevingen, gaat het ook bij VPS latency om de hele infrastructuur: vanaf het moment dat er een verzoek op je website of applicatie binnenkomt, tot de gewenste output is geleverd. Als je op zoek bent naar een VPS met met een lage latency, let dan op de volgende dingen:

  • Kijk naar het hele pakket prestaties, niet alleen naar de latency van de opslag. Als die laag is, kan een trage CPU bijvoorbeeld alsnog roet in het eten gooien.
  • Als het kan, test dan zelf de latency.
  • Blijf realistisch in je testen. Probeer een zo eerlijk mogelijke verzameling van pakketjes te versturen. Groot, klein, dik of dun: alles moet mee.
  • Vraag je cloudhoster om cijfers over de VPS latency. Er wordt veel gemeten, dus als het meezit, krijg je wat relevante data.

Tot slot

Toen de strijd tussen de cloudaanbieders nog werd gestreden tussen SSD’s en klassieke opslagmediums, was het erg logisch om volledig op de IOPS gefocust te zijn. Maar nu er eigenlijk alleen nog maar SSD’s gebruikt worden, wordt latency steeds belangrijker.

Zoals je hebt kunnen lezen, limiteren we onze VPS’en op 10.000 IOPS. Onze SAN kan meer aan, maar op deze manier houden we de latency zo laag mogelijk. Bij SoHosted Cloud investeren we in de beste hard- en software, zodat we je een razendsnelle Virtual Private Server of Virtual Private Cloud kunnen aanbieden. Door de combinatie van al onze oplossingen, accelereert onze VPS zo hard dat je elke race wint.

Reken maar dat we elke dag hard werken om onze infrastructuur verder te verbeteren en de latency in onze opslag zo laag mogelijk te houden!