バックアップをとった場合、外部ストレージやDATに書き出すと思いますが
最近安価になったUSBフラッシュメモリを利用します。
USBデバイスなら特別なドライバなどは必要ないしね。
特に、最近のディストリなら刺せば勝手に認識してマウントしてくれる。
※Kernelのバージョンによっては再構築が必要。

■デバイス確認
# dmesg
USB Mass Storage device found at 2
usbcore: registered new driver usb-storage
USB Mass Storage support registered.
SCSI device sda: 512000 512-byte hdwr sectors (262 MB)
sda: assuming Write Enabled
sda: assuming drive cache: write through     

これによれば、USBフラッシュメモリはsdaと認識されている。

■USBフラッシュのマウント
ディストリビューションによっては自動で認識してる場合があります。
# mkdir /media/usbfm
# mount -t vfat /dev/sda1 /media/usbfm     

■書き込みテスト
# cd /media/usbfm
# echo "test" > test.txt
# ls
　test.txt

# umount /media/usbfm     

アンマウント出来れば一旦USBフラッシュメモリを引っこ抜き
WinPCにつなぎ、test.txtが読めるか確認してください。
確認できればtestファイルは削除して
サーバにUSBフラッシュメモリをさし直しマウントしてください。

■バックアップ設定
tar.gzでのバックアップ方法を書いていましたが
今回はrsyncで更新をかけて、tar.gzで圧縮する方法に変更
サンプルをおいて置きました。
※rsyncが入っていない場合、apt等でインストールしておいてください。

・サンプルの説明
2～11行目
　ファイル名に曜日をつけます。毎日動かせば、
　1週間分のデータが残るって事です。

14～15行目
　rsyncで更新があったファイルのみ/var/tmp/backup/dailyに
　コピーをしています。
　もし更新に含めたくない文字列があれば--exclude '文字列'を追加
　rsync -avuz --exclude 'abc' /var/www/ ・・・・

18～19行目
　dailyディレクトリにあるデータを/var/tmp/backup/に
　backup_曜日.tar.gzで圧縮ファイルを作成します。

22行目
　USBフラッシュメモリにコピー

■バックアップテスト
# mkdir -p /var/tmp/backup/daily
# chmod 755 /Path/backup.sh
# /Path/backup.sh
# cd /media/usbfm
# ls     

backup_曜日.tar.gzファイルがあればOK
定期的に実行させたければCronに追加しておけばOK