request_url_withoutHTTP=,canonical_url_withHTTP=,canonical_url_withoutHTTP=,request_url_withoutHTTP_realspaces=. SoHo (Seite 1 von 1) « Tags « Blog « Bernhard Häussner
Bernhard Häussner
Tags: Artikel mit dem Tag «SoHo» durchstöbern

Linux Backup Server

02.08.2009, 13:04
Backup Server

Backup Server

Da die Anzahl „wichtiger“ elektronischer Dokumente, hauptsächlich Rechnungen, wächst, und ich auch sonst nichts vermissen will, sichere ich meine Daten hin und wieder auf einem Backup-Server. Wie ich das mache und was man noch mit einem solchen Server anfangen kann:

Volldatensicherung

Für die komplette Sicherung des /home-Ordners erstelle ich tar-Archive.

Um einfach auf die Backuplaufwerke zugreifen zu können, kann man SMB-Freigaben mounten:

mount -t cifs -o username=bernhard //server/backup /mnt/backup/
#Beispielhafter-Aufruf:
tar -czvf /mnt/backup/pc1/`date +%Y-%m-%d`-amoebes.tar.gz\
 -X /home/amoebe/tarexclude\
 /home/amoebe >> /mnt/backup/pc1/last.log 2>&1

Es geht aber natürlich auch über eine Pipe zu SSH:

tar -czf - -X /home/amoebe/tarexclude /home/amoebe\
 | ssh server "cd /home/bernhard/backup/pc1/\
 && cat - > `date +%Y-%m-%d`-amoebes.tar.gz"

Weil ich der eigenen Samba-(nicht)-Konfiguration kaum vertraue, und ich auch nicht immer 100%ig weiß, was CIFS anrichtet, ist mir SSH lieber. Die Verschlüsselung von SSH kostet zumindest nicht zu viel Zeit - das Backup dauert ohnehin nur rund 7 Minuten bei den gut 2 GB. Und SSH ist fast immer verfügbar, während Samba nicht überall installiert ist.

Da man temporäre Dateien, wie den Mülleimer, nicht zu sichern braucht, kann man sie vom Backup ausschließen. Dazu hat tar eine eingebaute Filterfunktion, die aus einer Datei eine Liste von Mustern auslesen kann, welche Dateien nicht in das Archiv kommen. Für mein OpenSUSE/KDE habe ich mir folgende Excludes für tar zusammengestellt:

/home/amoebe/tarexclude:
.local/share/Trash/files/*
.thumbnails/*
.beagle
.gvfs
*~
*.swp

Inkrementelles Backup

Für größere Datenmengen ist das Vollbackup nicht mehr zu praktikabel, weshalb man nur noch die Änderungen seit dem letzten Backup überträgt. Dazu ist rsync das passende Tool und bedient sich so:

rsync -vaP --exclude=Backups/ -e ssh amoebe@192.168.1.36:/mnt/lib\
 /home/bernhard/backup/lib/
#Allgemein: rsync [Quelle] [Ziel]

rsync kann SSH gleich mit benutzen. Dieser Befehl läuft auf dem Backup-Server z.B. in einem Cron-Job. Er wird die Dateien vergleichen und neue Dateien bzw. veränderte Dateien übertragen. Es wird allerdings kein Archiv erstellt. Mit diesem Befehl halte ich eine Kopie meiner Datensammlung synchronisiert, was bei jedem Durchlauf ungefähr 2 Minuten braucht (bei 57 GB).

Sharing

Ein Vorteil von einem solchen NAS-ähnlichem Backup-Server ist, dass man auch gleich gut Dateien zwischen Computern im Netzwerk teilen kann. So habe ich auf den Server ein Software-Repository, in dem sich duzende von Windows-Installern, jQuery-Plugins und ähnlichem tummeln. Dazu bastelt man zunächst ein Ordner mit Setuid-Bit, welches beim Erstellen von Dateien die Gruppenzugehörigkeit auf die des Ordners setzt. Oder man ändert einen Ordner nachträglich:

chgrp -R sharer /srv/share
find /srv/share/* -type d -exec chmod g+srw {} \;

So kann dann eine ganze Benutzergruppe den Ordner teilen. Eigentlich bräuchte man dazu noch ein nettes Webinterface mit einer Datenbank im Hintergrund, sodass man die Dateien mit Meta-Infos versehen kann und schnell durchsuchen kann.

Freizeit

Leider kein echtes Wärmebild von meinem Computer

Leider kein echtes Wärmebild von meinem Computer

Da der Server die meiste Zeit mehr oder weniger nutzlos herumsteht, lasse ich ihn nebenbei potentielle Primzahlen faktorisieren. Dazu gibt es das Projekt GIMPS, wo auf Distributed Computing gesetzt wird, um riesige Primzahlen zu finden. Man läd sich das Programm mprime herunter und startet es, dann beantwortet man ein paar Fragen und das rechnen kann beginnen. Ungefähr so:

mkdir primes
cd primes/
wget http://mersenneforum.org/gimps/mprime259-linux64.tar.gz
tar xzvf mprime259-linux64.tar.gz
less readme.txt
#Wenn man screen nicht hat, debian:
sudo apt-get install screen
screen
./mprime
# strg+a strg+d lässt das Programm im Hintergrund weiterlaufen („detach“)
screen -r #holt es zurück. 

Etwas skeptisch bin ich damit allerdings noch, da es meine CPUs recht warm (50° C) hält (und damit die Lüfter laut) und auch etwas mehr Strom verbraucht.

http://www.mersenne.org/ - Website von GIMPS

Mehrere SSH-Verbindungen

Wenn man ein paar Computer gleichzeitig benutzt, und ein paar Terminals offen hat, kann es schnell passieren, dass man einen Befehl auf dem falschen Computer ausführt. „Ein Paar“ beginnt hier erfahrungsgemäß wirklich schon bei 2. Daher mache ich meine Remote-Prompts gerne türkis, mit dieser Zeile in der .bashrc:

PS1="\@ \[\033[0;36m\]\u@\\h\[\033[0m\]:\w> "

Da das immer noch nicht eindeutig genug ist, habe ich mir die Terminals auch noch mit unterschiedlichen Farben hinterlegt:

Das geht mit urxvt oder indem man in Konsole ein neues Farbschema anlegt und dann ein neues Profil, für das man bei Befehl den SSH-Befehl eingibt.

SCP und SHH Dateiübertragungsgeschwindigkeit

Irgendwie würde mich interessieren, wieviel SCP und SSH durch die Verschlüsselung langsamer werden. Darum habe ich paar Komponententests des Vollbackups gemacht.

  • Reines Übertragen der Backup-Datei mit scp: 1787MB in 00:50 bei 35.7MB/s
  • Erstellen des Archivs: 1787 MB in 4:51 also 6 MB/s
  • Lesegeschwindigkeit Quelle: 58,5 MB/s (arm)
  • Schreibgeschwindigkeit Ziel: 79,3 MB/s
  • Lesegeschwindigkeit Ziel: 371 MB/s (für Übertragungs-Tests verwendet)
  • Lesegeschwindigkeit über SMB: 48,9 MB/s
  • Netzwerkgeschwindigkeit rund 100MB/s

Es ist also kein Problem die Daten zu verschlüsseln, da das erstellen des Archivs nicht sonderlich schnell ist. Bei einer geringeren Netzwerkgeschwindigkeit, z.B. bei fast Ethernet oder über das Internet würde es sogar ohne archivieren nicht mehr auffallen.

Das sind also meine Tricks, was ich mit dem Server so anstelle.

Kommentare: keine

SoHo Infrastruktur

23.01.2009, 17:37

In den letzten Tagen habe ich die Infrastruktur meines „Homeoffice“ grundlegend überarbeitet und unter anderem das Netzwerk auf DSL und Gigabit Ethernet umgestellt.

DSL

Um von der Anschlussvielfalt abzukommen, den Internet-Anschluss zu veschnellern, und den Datentransfer in die weite Welt digital zu halten musste der ISDN-Anschluss modernerem DSL weichen. Mit anderen Worten: Statt ein zusätzlich DSL über die ISDN-Leitung zu schicken wird nun DSL direkt an den Router gesendet, der dann über Ethernet und WLAN das Internet anbindet, sowie 2 Analoge Leitungen und ISDN. Eine Analoge Leitung wurde zu unserem Fax verlegt und die Telefone sind über die ISDN-Basis an den Router angeschlossen, der das alles letztendlich via VOIP über die DSL verschickt.

Telefonie

Die Telefone wurden aufgestockt um DSL voll auszunutzen. Die Telefone sind via DECT an die Basis-Station angeschlossen, so können sie in einem Radius von rund 70m überall verwendet werden. Die Basis kümmert sich um die verteilung der MSNs, sodass frei konfigurierbar ist, welche Telefone bei welchen angerufenen Nummern klingeln. Diese Freiheit ist ein großer Vorteil der ISDN-Infrastruktur. Des weiteren kümmert sich die Basis um den Anrufbeantworter. Es sind sogar interne Gespräche über die Basis möglich, die dann nicht die Internet-Verbindung beeinträchtigen. Bisher ist die Sprachqualität von VOIP gut und beeinträchtigt die Verbindung ins Netz kaum.

Netzwerkdrucker

Ab jetzt gehören riesige Peripheriegeräte auf jedem Schreibtisch auch der Vergangenheit an, da ein zentraler Netzwerkdrucker mit Fax und Scanner sich um alles kümmert. Da die Kommunikation eher modern über E-Mail und möglichst Papierlos erfolgt, ist er dem Bedraf ohne Problem gewachsen. Da das Multifunktions-Gerät direkt über Ethernet verbunden wird, ist auch kein Druckerserver nötig. Jeder kann über den eigenen Computer scannen, faxen und drucken. Außerdem kann man direkt am Gerät Faxe einscannen und verschicken oder Dokumente kopieren. Besonders schnell und einfach geht das dank dem ADF, der eine Seite nach der andren einzieht und scannt. Leider vermisse ich manchmal einige Vorzüge des Fotodruckers, wie die Extra-Schwarzpatrone, die die Fotoqualität deutich erhöt, und den automatischen 2-seitigen Druck (duplex).

Gigabit Ethernet

Da durch den Netzwerkdrucker die Ports des Routers überquillen würden, wurde auch gleich ein Gigabit-Ethernet-Switch angeschafft. Dieses vernetzt nun die PCs und macht eine 10x schnellere Überstragungsrate von mit netio gemessenen 115 MB/s verfügbar und dank Full-Duplex auch fast doppelt so viel. Da die PCs schon auf Gigabit-Ethernet ausgelegt waren und CAT5e/CAT6 Kabel verlegt wurden, können nun Dateien ohne weitere Wartezeit im Netzwerk gestreamt werden. Die 100-Megabit-Hardware, wie der Drucker, wird direkt am Router angeschlossen, der ja auch keine größeren Datenraten benötigt, da er ja nur für den (deutlich langsameren) Internet-Anschluss zuständig ist.

Jetzt fehlt eigentlich nurnoch ein NAS um die Dateien verfügbar und sicher speichern zu können.

Fileserver (Update 05-01-2010)

Inziwschen gibt es noch einen Fileserver mit 3 TB Festplatten und RAID. Somit sind die Festplatten teilweise gegen Ausfall gesichert. Die Daten können im Netzwerk über SMB und SFTP erreicht werden, es gibt öffentliche und persönliche Verzeichnisse. Außerdem kann eine VNC-Sitzung geöffnet werden, in der dann Torrents geladen werden oder Rechenaufträge gestartet werden können.

Kommentare: keine
[ Seite 1 ]
 
Χρόνογραφ
© 2008-2017 by Bernhard Häussner - Impressum - Login
Kurz-Link zur Homepage: http://1.co.de/