Nu finns version 3 av ASTER höjddata att ladda ner. Via https://search.earthdata.nasa.gov/ så kan man klicka sig fram till en sökfunktion för att markera det område man är intresserad av.
Med sidan så kan man sedan generera ett skript, eller en lista med nedladdningsbara zip-filer. Jag väljer Europa med omnejd som ett test för egen del, medveten om att det är höjddata i upplösningen 30 meter så det kommer säkert att krävas lite bandbredd.
Det finns ett alternativ att hämta ett nedladdningsskript, vilket jag inte får att fungera så jag hämtar listan med nedladdningslänkar istället.
Det är en lång textfil med sökvägar, 1’805 stycken för att vara exakt. Att ladda ner alla dessa manuellt är inte att tänka på, men det räcker med ett terminalkommando för att få datorn att göra det åt mig.
Om du nu råkar använda Windows så har jag hört att man numera kan använda linuxkommandon i terminalen även i Windows. Om det inte fungerar så kan man ladda ner och installera exempelvis Cygwin. Detta emulerar linuxkommandon på en Windowsdator.
När filerna är hämtade, alla 30 Gb, så skall de packas upp. Jag packar upp alla filer till en gemensam katalog.
Varje set med data täcker en gradruta och består av två filer. En ”dem” fil i sexton bitar och en ”num” fil i åtta bitar. Num-filen är en ”kvalitétsfil” som ger en indikation på exempelvis var dem-filen är lagad. Det är inte nymätta data som använts, utan det är en ombearbetning av arkivdata från ASTER databasen som täcker jorden från 83 grader syd till 83 grader norr.
Tillbaka till höjddata. Jag flyttar om bland filerna så att alla dem-filer finns i en katalog. I QGIS så kopplar jag sedan upp mig mot min PostGIS databas och ser till att jag har ett lämpligt schema att lagra dessa data i.
Jag har redan ett schema med höjddata, så det kommer jag att använda. I terminalen, där mina höjddata är lagrade, så ges sedan följande kommando (anpassat till min server).
raster2pgsql -d -C -s 4326 -I -l 2,4,8,16,32,64,128,256 *.tif hojddata.aster | psql -U geouser -d geodata -h 192.168.0.6 -p 5432
Jag har skrivit om att ladda raster till PostGIS tidigare, så det går jag inte närmare in på nu. Skillnaden den här gången är att jag lägger till pyramider (overview factor -l) då den resulterande rasterdatabasen kommer att bli enorm. Processen tar lite tid, men när det är klart så kan jag lägga till mina höjddata i valfritt GIS projekt.
Jag skall säga att jag inte provat att läsa in alla filer i ett virtuellt raster, eller sparat ner dem i ett GeoPackage när jag skriver detta. Det är trots allt över 30 Gb rådata och så mycket data skall nog inte hanteras i filer eller personliga databaser som GeoPackage. Med en databas kan man optimera snabbheten lite bättre, men det kommer inte att bli en enorm skillnad jämfört med exempelvis GeoPackage. Sedan är jag ganska övertygad om att GeoPackage klarar av att hantera dessa data utan problem, men om jag skulle få för mig att ladda hem resten av världen så kommer datamängden troligen att landa på över en terabyte (över 620 Gb zip-filer) och även om det är inom ramen för vad som stöds med GeoPackage så behöver man inte vara hur girig som helst. Speciellt inte när man har tillgång till en riktig geodatabas.
I bilden ovan (klicka för full upplösning) har jag bara lagt på ASTER som höjdskuggning på OpenStreetMap. Att något så enkelt kan göra en karta så mycket mera levande.
Att tänka på med dessa data är att om man gör några som helst beräkningar, som exempelvis terrängskuggning, så måste man hantera z-faktorn. Denna faktor varierar beroende på latituden och kan uppskattas med formeln 1/(111111 * cos lat).
Så, hur blev resultatet. Tja, jag laddade faktiskt in data i PostGIS två gånger då jag inte tänkte på att bygga pyramider första gången och då jag inte hittade en snabb metod för att lägga till pyramider i den inlästa tabellen. Det kändes helt enkelt enklare att ”droppa” tabellen och läsa in den igen, fast med pyramider den här gången. Detta gjorde otrolig skillnad på hastigheten, men det hade antagligen gått att lägga till några nivåer till. Jag har sedan inte provat att dela upp data i tiles under inläsningen. De befintliga posterna är nu 3601×3601 pixlar stora och det hade högst sannolikt blivit ännu snabbare med en uppdelning i exempelvis -t 600×600. Eller till och med ännu mindre (360? 180?).
Att läsa in enskilda GeoTIFF när man behöver dem kommer sannolikt att vara det snabbaste när data väl är inläst. Men då måste man lägga till tiden det tar att hitta filen och lägga till dessa varje gång. Med en databas så lägger jag bara till höjddata… punkt. Så länge jag håller mig i Europa så är detta de högst upplösta höjddata som går att få tag på som ”öppna data”.
Tyvärr så fanns det lite luckor i täckningen då det saknades en hel del filer när jag laddade ner data. Det märktes inte förrän jag kunde visa alla data på kartan, och när jag försökte kompletteringshämta dessa data så verkade filerna inte finnas på server… Om man letade lite så kunde dock NetCDF varianter av dessa data hämtas. Att kombinera två olika format i en PostGIS tabell, var däremot lite krångligare. I slutändan skrev jag ett eget skript för att hämta alla filer igen, fast i NetCDF format den här gången.
Licens för ASTER V3
ASTER GDEM Version 3 (ASTGTM V003) was released on August, 5, 2019 and contains no redistribution requirements. The LP DAAC kindly requests that you properly cite the data in your research. Pre-populated citations forthe product can be found on the DOI Landing Page for the product under the ”Citation” section. Users are encouraged to use ASTER GDEM Version 3 going forward as ASTER GDEM Version 2 data are no longer available from the LP DAAC.