Jag har upptäckt att åäö fungerar sådär i GeoServer, i alla fall när man kör via Ubuntu Server. Detta beror med största sannolikhet på att teckenformatet UTF-8 är inställt, medan Windows och en del andra vill ha ISO-8859-1 som standard.
Detta ändras enkelt i GeoServer på Global Settings: