Naast Linux op je desktop heb je mogelijk ook nog een server draaien. Dat kan bij je thuis zijn of je maakt gebruik van een webserver bij een provider.

Mocht je bij een provider een zgn. shared website hebben dan is het meestal niet mogelijk om middels een ssh verbinding binnen te komen. Met behulp van bijv. FTP is het niet lastig om bestanden heen en weer te versturen tussen je desktop en server. Maar hoe pak je dat aan als je een backup of restore wilt uitvoeren van een op de webserver draaiende mysql database?

Hier behandel ik dan drie mogelijkheden die ik zelf heb geprobeerd. Je maakt óf gebruik van phpmyadmin, óf van je terminal of middels een script in de grafische interface (Plesk, Directadmin etc.) van je provider.

Let op: Mocht je dit willen proberen dan doe je dat voor eigen risico. En voor de goede orde, de terminal en crontab is bij mij de absolute favoriet.

PHPMYADMIN

Dit programma kan je óf zelf installeren óf je maakt gebruik van je providers DB Manager wat ook vaak een versie van phpmyadmin is. Als je database is geselecteerd kies je voor het export tabblad, kiest vervolgens voor selecteren alle tabellen en maakt in de regel gebruik van de default ingestelde waarden. Maar als je een grote database hebt draaien is het best nog lastig om die backup fatsoenlijk binnen te krijgen. Bijvoorbeeld omdat de te exporteren omvang is beperkt door de provider. Het is dan ook veel handiger om het via je terminal te doen. Daarvoor heb je wel medewerking nodig van de provider. Die moeten in hun firewall jouw IP adres vrijgeven voor mysql diensten. Je provider heeft dan waarschijnlijk wel een eis dat je zelf met een zgn. fixed IP adres moet werken. Als dat allemaal gelukt is ga je als volgt te werk:

MySQL dump maken vanuit je terminal

Open een terminal en installeer de mysql client. Onder Ubuntu 11.04 gaat dat met:

sudo apt-get install mysql-client-5.1

Vervolgens voer je in je terminal een commando in met de volgende syntax:

mysqldump -h DOMEINNAAM -u DATABASE_USERNAAM -pWACHTWOORD DATABASENAAM > GEWENSTE UITVOERNAAM.sql

De groot afgedrukte aanwijzingen pas je dus aan met je eigen gegevens. En dan gewoon in kleine letters. Let op dat de optie -p meteen wordt gevolgd door het database wachtwoord. Je zal bij het uitvoeren van deze opdracht zien dat je heel snel je database krijgt aangeleverd (in je /home/user map)

Als je dit nu wilt automatiseren dan kan je op je desktop (of op een Linux based NAS of home server) een crontab maken. Open je terminal en voer in:

crontab -e

Je krijgt dan mogelijk (bij de 1e keer) een vraag welke editor je wil gebruiken. Kies daar je eigen voorkeur (nano) en voeg helemaal onderaan het commando in zoals hierboven stond vermeld maar dan met toevoeging van de Unix tijdnotatie en het pad naar de opdracht.

Ik wil bijvoorbeeld elke nacht om 03:00 uur een dump maken en dan kies voor het commando:

0 3 * * * /usr/bin/mysqldump -h DOMEIN -u DATABASE USER -pWACHTWOORD DATABASENAAM > /home/USERNAAM/GEWENSTE UITVOER NAAM`date +'%Y-%m-%d'`.sql

Let op: De groot afgedrukte namen aanpassen aan je eigen gegevens, inclusief USERNAAM en zorg dat de ` tekens staan voor en achter dit gedeelte`date +%Y%m%d` gevolgd door de .sql extensie. De gewenste uitvoernaam wordt dan voorzien van een datumnotatie wat archivering een stuk makkelijk maakt.

Als je met Nano de regel goed hebt geplaatst save je dat bestand en verlaat de editor . Dan wordt op dat moment de opdracht klaar gezet voor uitvoer. Met het terminal commando crontab -l kan je dat overigens controleren.

MYSQL DUMP vanuit Plesk ..

Heb je bij je provider geen MYSQL toegang verkregen dan kan je de crontab (zonder de uitvoer en exportpaden) inbrengen in de in Plesk/Directadmin etc. aangeboden functieruimte. Gebruik daarvoor de documentatie van je provider want je wilt er wel voor zorgen dat de uitvoer wordt weggeschreven naar een veilige zone op je webserver óf dat de uitvoer wordt gemaild.

In een volgend artikel laat ik dan zien  hoe je een database backup weer terug kunt plaatsen met behulp van een handig script genaamd bigdump.php.

(Met dank aan Andries Filmer)

Dit artikel is onderdeel van de reeks Ubuntu: de perfecte desktop. Lees (als je dat nog niet gedaan hebt) eerst het artikel Ubuntu: de perfecte desktop – Introductie, voordat je dit artikel leest. Time Drive is een applicatie dat back-ups van bestanden en folders maakt. Het is een grafische interface bovenop Duplicity, een heel goed [...]

Dit artikel is onderdeel van de reeks Ubuntu: de perfecte desktop. Lees (als je dat nog niet gedaan hebt) eerst het artikel Ubuntu: de perfecte desktop – Introductie, voordat je dit artikel leest. Het is natuurlijk geweldig als je alle functionaliteit die graag wilt hebben draaiende hebt. Veel functionaliteit betekent ook veel data. Data die [...]

Onlangs werd hier een QNAP TS-419 NAS geïnstalleerd. Met de komst van een dergelijke machine ga je natuurlijk ook nadenken over een backup strategie. Voorheen kopieerde ik de belangrijkste mappen en bestanden naar een aparte partitie van mijn harde schijf. En heel soms kopieerde ik die ook weer naar een externe harde schijf. Dat kan je niet echt een strategie noemen natuurlijk.

Daarom ben ik overgestapt naar een geautomatiseerd proces van backuppen. Hoewel dat ook prima kan met bijv. rsync heb ik een grafische frontend gebruikt: Simple Backup Suite.

Simple Backup Suite comprises of backend backup script and GNOME GUI frontends that provide a simple yet powerful backup solution for common desktop users. Simple Backup Suite comprises of backend backup script and GNOME GUI frontends that provide a simple yet powerful backup solution for common desktop users.

Installeren en configureren

Installeren is eenvoudig te realiseren via bijv. Ubuntu Softwarecentrum. Zoek naar “Configuratie van Simple Backup” en de benodige bestanden worden geinstalleerd. Daarna kan je het programma configureren via Toepassingen, Systeemgereedschap, Simple Backup-Configuration.

De opties van Simple Backup Suite spreken wel voor zich. Ik heb gekozen voor een volledige backup om de 30 dagen en verder wordt er dagelijks een incremental backup gemaakt. Uiteraard heb ik vervolgens de belangrijkste mappen gekozen waar mijn data én instellingen worden bewaard. Denk dan aan bijv. Documenten, maar ook aan de (onzichtbare) mappen voor applicaties zoals bluefish, xchat, thunderbird etc.

Wat ik alleen even moest uitzoeken was de manier om dat naar mijn NAS te laten stromen. Maar dat bleek ook niet lastig te zijn. Op mijn QNAP heb ik het FTP protocol actief gemaakt. Ik gebruik die alleen intern, want de poort is niet naar buiten open gezet. (Je kan natuurlijk ook ssh gebruiken).

Door nu de juiste verwijzing te maken wordt volautomatisch iedere dag de backup gedraaid. Dat gaat snel en geruisloos en dat maakt het leven weer een heel stuk prettiger (en veilig)

Ik heb een externe harde schijf van Iomega, zo’n klein plat ding in metalliek grijs. 320GB (of 298GiB) in binnenzakformaat. Ik gebruik die momenteel om backups op te zetten, en mijn downloads (zoals Ubuntu ISO’s) staan daar ook op.

Standaard komt zo’n ding in FAT32 partitionering. Op zich is dat niet zo slecht, want dan zijn die schijfjes te gebruiken op zowel Linux, Windows als Mac (vermoed ik toch, ik ken niets van Mac). Alleen ben ik onlangs op een vervelende beperking gestoten. Ik had een backup gemaakt van een usb-stick van 8GB, en zelfs gecomprimeerd met bz2 was dat nog altijd rond de 6GB. Dat is dus een probleem voor FAT32, want die kan geen bestanden aan groter dan 2GB (4GB met 64KB clusters, maar dat wordt niet algemeen ondersteund).

Ik keek dus uit naar een ander filesystem om grotere bestanden te kunnen gebruiken. Mijn vereisten:

• Ondersteuning voor grote bestanden (>4GB)
• Read/write ondersteuning in zowel Linux als Windows, voor die enkele keren dat ik de harde schijf aansluit op een Windows-pc. Dat moet niet per sé native maar het moet wel gemakkelijk te installeren zijn.
• Crashbestendig: voor wanneer ik zo lomp ben om de usb-kabel uit te trekken voor alle gegevens goed en wel op schijf staan. Dus liefst een soort journalling filesystem, zodat ik geen half uur moet wachten op een schijfcontrole.

Als ik de mogelijke kandidaten overloop, dan geeft mij dat het volgende resultaat:

Ik ga de harde schijf in hoofdzaak met Linux gebruiken, dus NTFS lijkt me dan minder geschikt. coLinux, dwz het draaien van een Linux kernel onder Windows, klinkt als een interessant idee. Maar in een artikel op PolishLinux las ik daarover het volgende:

In short, we install coLinux on a windows machine, assure access to disk partions, and export all the mounted file systems using Samba.

Okeee… dus een volledige Linuxkernel, én ook nog eens Samba? Nee dank u, dat klinkt me een beetje als overkill in de oren. Ik zoek iets dat ik snel kan installeren op een machine die ik toevallig bezoek. Er staat dan ook niet voor niets op het einde van de pagina:

This solution does not provide an outstanding performance

Dan blijft er eigenlijk alleen nog ext3 over, met een van de filesystem drivers Ext2fsd of Ext2IFS. In het verleden heb ik altijd Ext2IFS gebruikt voor zo’n situaties, maar de recentste versie is van 27/10/2008, en ik heb niet de indruk dat er nog verder aan ontwikkeld wordt. Het is ook geen Free Software (free as in speech) maar Freeware (free as in beer). Met andere woorden het is verboden om Ext2IFS aan te passen of te verbeteren…
Ext2fsd daarentegen lijkt me nog een actief project: versie 0.48 is van 1 augustus 2009, én het is wel Free Software.
Nog een verschil tussen Ext2IFS en Ext2fsd: Ext2IFS gaat ext3 partities mounten als ext2, dus zonder journal. Ext2fsd kijkt wel naar het ext3 journal. In principe kan een ext4 partitie ook gemount worden als die aangemaakt is zonder extents, maar wat is dan nog het voordeel van een ext4 partitie als je geen extents hebt? Dan kan je beter ext3 pakken…

Mijn keuze valt dus op Ext2fsd. Daarna volgde het concrete inrichten van de harde schijf. Er stond al voor 160GB aan data op dus ik ben als volgt te werk gegaan:

1. Grote bestanden wissen zodat ik ruim onder de 150GB zat. Vooral iso’s van Linux distro’s kwamen in aanmerking, want die kan ik gemakkelijk opnieuw downloaden.
2. Met gparted de eerste (en enige) partitie verkleinen naar 160GB.
3. Een nieuwe ext3 partitie van 160GB maken.
4. De twee partities mounten en van de FAT32-partitie naar de ext3-partitie kopiëren met
   sudo mkdir /mnt/fat
   sudo mkdir /mnt/ext
   sudo mount /dev/sdg1 /mnt/fat
   sudo mount /dev/sdg2 /mnt/ext
   sudo rsync -av /mnt/fat/ /mnt/ext/
   sudo chown -R amedee:amedee /mnt/ext           # alle bestanden hadden root als owner
   chmod -R 664 /mnt/ext                          # alle bestanden hadden de executable bit op FAT32
   find /mnt/ext/ -type d -exec chmod a+x {} \;   # alle directories executable bit geven zodat browsing mogelijk is.
   sudo umount /mnt/fat
   sudo umount /mnt/ext
5. Met gparted de FAT32-partitie formatteren. Die moet eerst leeg gemaakt worden, anders lukt het verkleinen niet.
6. De FAT32-partitie verkleinen naar de kleinst mogelijke grootte. Gparted maakt daar automatisch 94,10MiB van, en FAT32 wordt omgezet naar FAT16.
7. De ext3 partitie vergroten zodat die de volledige vrije ruimte gebruikt (298GiB).
8. Ext2Fsd downloaden en op de FAT-partitie zetten. Zo moet ik niet meer doen in Windows dan Ext2Fsd-0.48.exe (997,4KB) installeren.

Ik heb een externe harde schijf van Iomega, zo’n klein plat ding in metalliek grijs. 320GB (of 298GiB) in binnenzakformaat. Ik gebruik die momenteel om backups op te zetten, en mijn downloads (zoals Ubuntu ISO’s) staan daar ook op.

Standaard komt zo’n ding in FAT32 partitionering. Op zich is dat niet zo slecht, want dan zijn die schijfjes te gebruiken op zowel Linux, Windows als Mac (vermoed ik toch, ik ken niets van Mac). Alleen ben ik onlangs op een vervelende beperking gestoten. Ik had een backup gemaakt van een usb-stick van 8GB, en zelfs gecomprimeerd met bz2 was dat nog altijd rond de 6GB. Dat is dus een probleem voor FAT32, want die kan geen bestanden aan groter dan 2GB (4GB met 64KB clusters, maar dat wordt niet algemeen ondersteund).

Ik keek dus uit naar een ander filesystem om grotere bestanden te kunnen gebruiken. Mijn vereisten:

• Ondersteuning voor grote bestanden (>4GB)
• Read/write ondersteuning in zowel Linux als Windows, voor die enkele keren dat ik de harde schijf aansluit op een Windows-pc. Dat moet niet per sé native maar het moet wel gemakkelijk te installeren zijn.
• Crashbestendig: voor wanneer ik zo lomp ben om de usb-kabel uit te trekken voor alle gegevens goed en wel op schijf staan. Dus liefst een soort journalling filesystem, zodat ik geen half uur moet wachten op een schijfcontrole.

Als ik de mogelijke kandidaten overloop, dan geeft mij dat het volgende resultaat:

Ik ga de harde schijf in hoofdzaak met Linux gebruiken, dus NTFS lijkt me dan minder geschikt. coLinux, dwz het draaien van een Linux kernel onder Windows, klinkt als een interessant idee. Maar in een artikel op PolishLinux las ik daarover het volgende:

In short, we install coLinux on a windows machine, assure access to disk partions, and export all the mounted file systems using Samba.

Okeee… dus een volledige Linuxkernel, én ook nog eens Samba? Nee dank u, dat klinkt me een beetje als overkill in de oren. Ik zoek iets dat ik snel kan installeren op een machine die ik toevallig bezoek. Er staat dan ook niet voor niets op het einde van de pagina:

This solution does not provide an outstanding performance

Dan blijft er eigenlijk alleen nog ext3 over, met een van de filesystem drivers Ext2fsd of Ext2IFS. In het verleden heb ik altijd Ext2IFS gebruikt voor zo’n situaties, maar de recentste versie is van 27/10/2008, en ik heb niet de indruk dat er nog verder aan ontwikkeld wordt. Het is ook geen Free Software (free as in speech) maar Freeware (free as in beer). Met andere woorden het is verboden om Ext2IFS aan te passen of te verbeteren…
Ext2fsd daarentegen lijkt me nog een actief project: versie 0.48 is van 1 augustus 2009, én het is wel Free Software.
Nog een verschil tussen Ext2IFS en Ext2fsd: Ext2IFS gaat ext3 partities mounten als ext2, dus zonder journal. Ext2fsd kijkt wel naar het ext3 journal. In principe kan een ext4 partitie ook gemount worden als die aangemaakt is zonder extents, maar wat is dan nog het voordeel van een ext4 partitie als je geen extents hebt? Dan kan je beter ext3 pakken…

Mijn keuze valt dus op Ext2fsd. Daarna volgde het concrete inrichten van de harde schijf. Er stond al voor 160GB aan data op dus ik ben als volgt te werk gegaan:

1. Grote bestanden wissen zodat ik ruim onder de 150GB zat. Vooral iso’s van Linux distro’s kwamen in aanmerking, want die kan ik gemakkelijk opnieuw downloaden.
2. Met gparted de eerste (en enige) partitie verkleinen naar 160GB.
3. Een nieuwe ext3 partitie van 160GB maken.
4. De twee partities mounten en van de FAT32-partitie naar de ext3-partitie kopiëren met
   sudo mkdir /mnt/fat
   sudo mkdir /mnt/ext
   sudo mount /dev/sdg1 /mnt/fat
   sudo mount /dev/sdg2 /mnt/ext
   sudo rsync -av /mnt/fat/ /mnt/ext/
   sudo chown -R amedee:amedee /mnt/ext           # alle bestanden hadden root als owner
   chmod -R 664 /mnt/ext                          # alle bestanden hadden de executable bit op FAT32
   find /mnt/ext/ -type d -exec chmod a+x {} \;   # alle directories executable bit geven zodat browsing mogelijk is.
   sudo umount /mnt/fat
   sudo umount /mnt/ext
5. Met gparted de FAT32-partitie formatteren. Die moet eerst leeg gemaakt worden, anders lukt het verkleinen niet.
6. De FAT32-partitie verkleinen naar de kleinst mogelijke grootte. Gparted maakt daar automatisch 94,10MiB van, en FAT32 wordt omgezet naar FAT16.
7. De ext3 partitie vergroten zodat die de volledige vrije ruimte gebruikt (298GiB).
8. Ext2Fsd downloaden en op de FAT-partitie zetten. Zo moet ik niet meer doen in Windows dan Ext2Fsd-0.48.exe (997,4KB) installeren.

Iedereen heeft zijn favoriete backupsysteem, en voor mij is dat backup2l. Op Debian en Ubuntu beschikbaar via

Deze twee artikels beschrijven hoe je backup2l kan configureren na installatie:

• http://www.debianhelp.co.uk/backup2l.htm (Engels)
• http://wiki.hetzner.de/index.php/Backup2l (Duits)

Het is trouwens via de tweede link dat ik backup2l heb leren kennen, van toen mijn server gehost was bij Hetzner. Ik gebruik ook de hotcopy-scripts die ze daar geven.

Backup2l voorziet zelf in een aantal courante backupformaten (tar.gz, tar.bz2,…), en het is ook mogelijk om zelf een eigen backupformaat te maken. Een nieuwe backupdriver bestaat uit een bash functie genaamd “DRIVER_drivernaam” die -test, -suffix, -create, -toc, en -extract implementeert.
Ik heb een backupdriver gemaakt die gebruik maakt van lzip, gebaseerd op het LZMA-compressiealgoritme. Dit comprimeert beter dan gzip of bzip2, maar gebruikt wel meer geheugen en is een beetje trager.
De driver moet toegevoegd worden onderaan in /etc/backup2l.conf, en dan moeten zowel CREATE_DRIVER als USER_DRIVER_LIST aangepast worden naar "DRIVER_MY_TAR_LZ".

Uiteraard moet lzip wel geïnstalleerd zijn, anders werkt deze driver niet.

Iedereen heeft zijn favoriete backupsysteem, en voor mij is dat backup2l. Op Debian en Ubuntu beschikbaar via

Deze twee artikels beschrijven hoe je backup2l kan configureren na installatie:

• http://www.debianhelp.co.uk/backup2l.htm (Engels)
• http://wiki.hetzner.de/index.php/Backup2l (Duits)

Het is trouwens via de tweede link dat ik backup2l heb leren kennen, van toen mijn server gehost was bij Hetzner. Ik gebruik ook de hotcopy-scripts die ze daar geven.

Backup2l voorziet zelf in een aantal courante backupformaten (tar.gz, tar.bz2,…), en het is ook mogelijk om zelf een eigen backupformaat te maken. Een nieuwe backupdriver bestaat uit een bash functie genaamd “DRIVER_drivernaam” die -test, -suffix, -create, -toc, en -extract implementeert.
Ik heb een backupdriver gemaakt die gebruik maakt van lzip, gebaseerd op het LZMA-compressiealgoritme. Dit comprimeert beter dan gzip of bzip2, maar gebruikt wel meer geheugen en is een beetje trager.
De driver moet toegevoegd worden onderaan in /etc/backup2l.conf, en dan moeten zowel CREATE_DRIVER als USER_DRIVER_LIST aangepast worden naar "DRIVER_MY_TAR_LZ".

Uiteraard moet lzip wel geïnstalleerd zijn, anders werkt deze driver niet.

Heb je wel eens Ubuntu opnieuw moeten installeren? Kan altijd een keer gebeuren en op zich is dat snel genoeg uitgevoerd. Maar je moet dan wel weer alles zien terug te krijgen. In de loop der maanden installeer je nou eenmaal van alles en nog wat om je heen.

Om vooral die situatie snel op te kunnen lossen is het gebruik van dpkg een uitkomst.

dpkg is the software at the base of the Debian package management system. dpkg is used to install, remove, and provide information about .deb packages.

Alles wat je hoeft te doen is het uitvoeren van dit commando:

dpkg --get-selections > apps.txt

Hierdoor wordt er een tekstbestand (apps.txt) in je homedir opgeslagen met daarin alle geïnstalleerde pakketten van jouw computer.

Zorg ervoor dat dit bestand veilig wordt bewaard op een usb stick of op een externe harde schijf.

Maak ook een kopie van je software bronnen. Oftewel: kopieer /etc/apt/sources.list ook naar die externe schijf of USB stick.

Als je dan opnieuw Ubuntu moet installeren dan kan je na een succesvolle install die opgeslagen bestanden terugplaatsen. Je zet dus apps.txt weer in je homedir en je plaatst je opgeslagen sources.list weer terug in /etc/apt/

Als je dat eenmaal hebt gedaan zet je dpkg aan het werk:

sudo dpkg --set-selections < apps.txt
sudo apt-get install dselect
sudo dselect update
sudo apt-get dselect-upgrade show

Het kost even tijd voor alles weer is gedownload maar na afloop staan alle gewenste pakketten op je systeem.

Er zijn natuurlijk ook andere mogelijkheden bekend die -min of meer- het zelfde doen. Denk b.v. aan het gebruik van partimage. Toch vind ik zelf deze oplossing heel gemakkelijk want het vastleggen van alle geïnstalleerde pakketten kost nog geen 30 seconden.  En als je het al  nodig zou  hebben dan is het eigenlijk ook snel uitgevoerd. Vooral als je een aparte /home partitie gebruikt want dan zijn ook alle overige instellingen en data van je Ubuntu systeem behouden gebleven

Eerst de USB-stick opvullen met een file vol nullen:

time dd if=/dev/zero of=/media/USB_2G/delete bs=1M
dd: schrijven van 'delete': Geen ruimte meer over op apparaat
1890+0 records in
1889+0 records uit
1981267968 bytes (2,0 GB) gekopieerd, 1121,06 s, 1,8 MB/s
 
real    18m41.067s
user    0m0.020s
sys     0m8.357s

Dan deze file weer wissen:

rm /media/USB_2G/delete

USB-stick unmounten:

umount /dev/sde1

Stick dumpen met dd en gzip:

time dd if=/dev/sde | gzip -c9 > USB_2G_ext2.gz
3941375+0 records in
3941375+0 records uit
2017984000 bytes (2,0 GB) gekopieerd, 198,682 s, 10,2 MB/s
 
real    3m18.687s
user    0m37.058s
sys     0m32.902s

De grootte van de backup valt echt héél goed mee!

ls -hl USB_2G_ext2.gz
-rw-r--r-- 1 amedee users 2,7M feb  7 15:40 USB_2G_ext2.gz

Achteraf de backup weer restoren:

time gunzip -c USB_2G_ext2.gz | dd of=/dev/sde
3941375+0 records in
3941375+0 records uit
2017984000 bytes (2,0 GB) gekopieerd, 461,316 s, 4,4 MB/s
 
real    7m41.322s
user    0m16.009s
sys     0m25.070s