Att jobba med geodata och att skapa produkter som tryckfiler för kartutskrifter, betyder alltid att det blir väldigt stora mängder data och även mycket stora filer. Åtminstone om man jämför med officedokument och mail.
Så vad skall man tänka på när man funderar över hur man skall lagra dessa data?
Ren läs- och skrivhastighet till mediat är bara en sak. Gränssnittet som data överförs via är en annan. Men även CPU och moderkort kan i förlängningen vara en begränsning. Det kan sedan även spela roll om det är just stora sekventiella filer eller många små som skall hanteras.
Så. Vi kan lagra data på interna media som ansluts via exempelvis SATA, direkt externt via exempelvis USB och indirekt via ett nätverk trådlöst eller med kabel.
- SATA – Stor skillnad på teoretiska maxhastigheter i standarden.
- SATA 2 – 3 Gbit/s
- SATA 3 – 6 Gbit/s
- SATA 3.2 – 16 Gbit/s (verkar ovanlig)
- SAS – (Serial Attached SCSI) Snabbare och säkrare än SATA, framför allt för mekaniska diskar, men få riktigt stora enheter. Går däremot att bygga större enheter med RAID, men riktigt stort blir det inte.
- M.2 – Väldigt varierade format och standarder
- SATA 3 (som ovan)
- PCI-E 2.0 x2 – 8 Gbit/s
- PCI-E 2.0 x4 – 16 Gbit/s
- PCI-E 3.0 x4 – 32 Gbit/s
Mekaniska diskar kanske fortfarande är relevanta när man funderar på att lagra mycket stora datamängder, och i dessa fall så kommer i teorin SATA 2 att räcka även för de snabbaste mekaniska diskarna, men för att ha marginal och även täcka in en del hybriddiskar så är det nog SATA 3 (SATA-600) som gäller. Den snabbaste helt mekaniska disken jag hittat på Dustin är på 261 MB/s (drygt 2 Gbit/s). Låt oss lägga denna hastighet på minnet.
Vill man använda SSD diskar så kommer SATA att vara en begränsning. Det går inte att överföra data snabbare än 6 Gbit/s ( runt 768 MB/s). De flesta SATA SSD ligger runt 400 – 550 MB/s.
Vill man ha snabbare överföring så får man i stället gå till exempelvis M.2. Det finns ”billiga” M.2 diskar som fortfarande är SATA, med dessa överföringshastigheter. Man skall i stället kika efter PCI-E.
Med M.2 och PCI-E 3.0 x4 så kan man (via Dustin) få diskar med överföringshastighet på 3’480 MB/s (vilket är över 27 Gbit/s).
Nu börjar det bli riktigt viktigt vilken processor och vilket moderkort man väljer. Just x4 betyder att denna typ av enhet kräver en PCI Express ”lane” med x4. Ett moderkort har ofta ganska många gränssnitt som är just beskrivna med PCI Express ”lanes”. En eller flera x16 lanes brukar krävas för moderna grafikkort. Inbyggda RAID kort använder x4, vilket även Thunderbolt gör. Ett moderkort (eller rättare sagt moderkortets ”chipset”) i kombination med processor måste balanseras för att det skall finnas tillräckligt många ”lanes” tillgängliga för det man vill ansluta.
Har man nu inte interna diskar så är det naturligt att fundera över USB.
- USB 2 – 480 Mbit/s
- USB 3 – 5 Gbit/s
- USB 3.1 – 10 Gbit/s
- USB 3.2 – 20 Gbit/s (endast vis USB typ C)
Utöver detta finns exempelvis ”Thunderbolt” som i version 3 använder sig av USB typ C kontakten, men ett eget gränssnitt på upp till 40 Gbit/s. Thunderbolt i sig kan teoretiskt stödja upp till 1’000 Gbit/s i framtiden, men då krävs en annan kontakt än USB typ C.
För att USB skall vara ett jämförbart alternativ till SATA så behövs dels ett gränssnitt med USB 3 (eller högre) och att den typ av media enheten använder sig av är snabbt nog.
De snabbaste traditionella USB 3.1 enheterna från Dustin har överföringshastigheter på 440 MB/s (drygt 3,4 Gbit/s).
Så mycket snabbare externa diskar är svårt att hitta just nu, men det finns Thunderbolt 3 enheter som använder M.2 enheter som är ”ganska” snabba. Men inte ens nu tillgängliga Thunderbolt 3 enheter är mycket snabbare än 500 MB/s i praktiken.
Då återstår det egentligen bara att kika på nätverksanslutna enheter. Först lite om wifi.
- 802.11b – 11 Mbit/s
- 802.11a – 54 Mbit/s
- 802.11g – 54 Mbit/s
- 802.11n – 600 Mbit/s
- 802.11ac – 1’300 Mbit/s
Viktigt med wifi är att hastigheterna är väldigt teoretiska och nedgår drastiskt med avstånd och hinder som väggar och om det är flera klienter som delar på uppkopplingen. Ingen av dessa överföringshastigheter är ens i närheten av tillräckliga för att vara ett alternativ till vanlig USB.
Nej, för det så behöver vi en fast anslutning via ethernet. De enklaste nätverkskorten och switcharna idag har väl en grundhastighet på 1 Gbit/s. Det är en rimlig hastighet om man förväntar sig att ha samma hastigheter som normala USB enheter, förutsatt att alla andra delar i kedjan håller höga hastigheter.
Men för att på allvar vara ett alternativ till diskar via PCI-E så måste hastigheten upp ytterligare. Enheter med 10 Gbit/s är ganska vanliga, men dyra. Ett nätverkskort för 10 Gbit kräver dessutom en x4 port i datorn. Med 10 Gbit så börjar vi däremot närma oss även de hastigheter som är möjliga via M.2 PCI-E 2.0 x4, även om det inte når upp till M.2 PCI-E 3.0 x4 hastigheter.
Jämfört med en traditionell SATA-600 SSD på runt 500 MB/s i överföringshastighet så är den teoretiska hastigheten med ethernet 10 Gbit 1’280 MB/s, under förutsättning att övriga enheter kan hantera detta.
Slutsatser
Allt är nu inte helt enkelt när man skall välja hur man vill lagra data. Är man ensam eller flera? Hur ofta använder man dessa data och hur viktigt är det att man kommer åt dessa fort? Vad får det kosta?
Sedan skall man vara medveten om att ”riktiga” diskar ofta är lite stryktåligare än enkla flashminnen via USB.
Vad är viktigast att komma åt snabbt, operativsystem och program eller data? Det kanske är tillräckligt bra att ha operativsystem på en vanlig SATA SSD och sedan de data man ofta jobbar med på en snabb M.2.
En riktigt snabb USB disk, kanske till och med via USB 3.2 på sikt, kan vara ett väldigt bra ”projektalternativ” för enskilda användare. Med ett snabbt nätverk så blir det även praktiskt att flytta de data man behöver för tillfället till en snabb lokal disk. En rejält stor och snabb RAID på nätverket som man kan ansluta till med 10 Gbit och en datadisk lokalt med M.2 kan man ganska snabbt ”skyffla” de data som behövs för ett projekt några dagar till den lokala datorn.
En terabyte data på RAID servern kan via 10 Gbit/s överföras på ca en kvart (högst teoretiskt, och det tar sannolikt längre tid). Om den lokala datadisken har skrivhastigheter på minst detta, det vill säga minst en M.2 PCI-E 2.0 x4, så kan man sedan jobba vidare såväl ”off-line” som via wifi med full hastighet kopplat till dessa data
Vad man i slutändan bör välja kommer med andra ord att variera beroende på mängder av faktorer. Det är även tydligt att här finns det pengar att spara. Det kan i vissa fall vara riktigt dumt att välja ”bättre” diskar än vad man egentligen behöver.
Bilden i rubriken av Richard Lewis (CC BY) via Flickr.