Резервное копирование с ротацией бэкапов. Bash скрипт

В прошлой статья было рассмотрено упрощенный вариант бэкапа сайта с возможностью загрузить бэкап на сервер FTP.

Со временем у меня возникла потребность сделать более улучшенную версию скрипта для создания бэкапа всего сервера (файлы нескольких сайтов и их БД ), а также загружать на FTP все это хозяйство c помощью cURL, так как на сервере не было установлен FTP клиент и установить его не было возможности. Также нужно было удалять на FTP сервере старые бэкапы, чтобы не засорялось место на диске.

Бэкап сайтов и Баз Данных

Начнем с настроек. Укажем доступы к БД под которыми будем архивировать Базу Данных:

MUSER="root"
MPASS="superpassword"
MHOST="localhost"

Зададим путь к каталогу в котором будем архивировать данные с сайтами и куда будем сохранять временные архивы, до выгрузки на FTP:

SITEDIR=/var/www/sites
BACKUP=/var/www/backup

SITEDIR - все директории с сайтами которые лежат внутри этого каталога будут архивироваться в отдельные архивы. Например есть каталоги /var/www/sites/site1.ru и /var/www/sites/site2.ru - соответственно мы получим два архива site1.ru.tar.gz и site2.ru.tar.gz

Далее устанавливаем текущую дату, чтобы помечать бэкапы и было понятно за какой день они сделаны:

NOW=$(date +%Y%m%d)

Указываем путь к бинарникам:

TAR="$(which tar)"
GZIP="$(which gzip)"
MYSQL="$(which mysql)"
MYSQLDUMP="$(which mysqldump)"

Теперь создадим в директории для бэкапов BACKUP временную директорию с текущей датой, туда будем складывать промежуточные архивы с БД и с файлами сайтов, перед тем как загрузим их в общий архив.

mkdir $BACKUP/$NOW

Далее сохраняем в переменную LS список всех сайтов из указанной нами директории SITEDIR, чтобы поочереди их заархивировать.

LS="$(cd $SITEDIR; ls)"
for site in $LS
do
    cd $SITEDIR;
    $TAR -czf $BACKUP/$NOW/$site.tar.gz $site
done

Синтаксис "$(...)" указывает что нам нужно выполнить команду внутри скобок и результат выполнения присвоить переменной LS. После этого проходим по директориям циклом в котором сначала переходим в эту директорию, а потом архивируем содержимое. В директорию мы заходили для того чтобы были короткие пути в архивах вида:

site1.ru/index.html
site1.ru/css 
site1.ru/css/style.css

а не такого вида:

/var/www/sites/site1.ru/index.html
/var/www/sites/site1.ru/css
/var/www/sites/site1.ru/css/style.css

После того как мы загнали все сайты в отдельные архивы, нужно теперь их заархивировать в один общий архив для данных сайта.

ARCHIVESITE=$BACKUP/server-$NOW.tar.gz
cd $BACKUP/$NOW;
$TAR -zcvf $ARCHIVESITE ./

В ARCHIVESITE - указываем что это архив с данными (server) и добавляем дату бэкапа. Потом переходим в директорию NOW и добавляем их в архив.

Теперь можно очистить директорию NOW, для промежуточных бэкапов баз данных.

rm -rf $BACKUP/$NOW/*

В итого у нас получился один архив с данными (файлами) сайтов который покуда лежит в директории ARCHIVESITE. К нему чуть попозже вернемся когда будем загружать бэкапы на FTP.

Переходим дальше к бэкапам Баз Данных.

Изначально подключаемся к MYSQL и просим показать нам список всех БД у данного пользователя. После этого пройдемся циклом по этим базами и заархивируем их и сложим в директорию BACKUP/NOW

DBS="$($MYSQL -u $MUSER -h $MHOST -p$MPASS -Bse 'show databases')"
for db in $DBS
do
    if [ $db != 'information_schema' ]
    then
        FILE=$BACKUP/$NOW/$db.sql.gz
        $MYSQLDUMP --add-drop-table --allow-keywords -q -c -u $MUSER -h $MHOST -p$MPASS $db $i | $GZIP -9 > $FILE
    fi
done

Также мы можем отсечь не нужные нам БД, например information_schema которые являются служебными и содержимое их нас не интересует.

Собираем все архивы с БД в один общий и добавляем дату бэкапа

ARCHIVEDB=$BACKUP/mysql-$NOW.tar.gz
cd $BACKUP/$NOW;
$TAR -zcvf $ARCHIVEDB ./

В ARCHIVEDB - указываем что это архив с Базой Данных (mysql) и добавляем дату бэкапа.

Директорию NOW (и все что в ней есть) можно удалять она нам больше не нужна:

rm -rf $BACKUP/$NOW

После всего этого у нас осталось два архива с файлами и данными:

ARCHIVESITE=$BACKUP/server-$NOW.tar.gz
ARCHIVEDB=$BACKUP/mysql-$NOW.tar.gz

Загрузка данных на FTP

Теперь все это дело нужно загрузить как то на FTP, для этих целей мы будем использовать cURL.

Начнем опять же с настроек:

FTPD="dir/to/backup" #директория внутри FTP (вначале и в конце без слеша)
FTPU="user" #имя пользователя
FTPP="password" #пароль
FTPS="site3.ru" #сервер FTP

Задаем количество бэкапов которое нужно сохранять на FTP:

DAYS=5 #дневные бэкапы не считая текущего
MONTHS=3 #месячные бэкапы на первое число месяца не считая текущего

Указываем путь к curl:

CURL="$(which curl)"

Дальше переходим в каталог с нашими бэкапами:

cd $BACKUP

И загружаем их на FTP в указанную в настройках директорию:

$CURL -u $FTPU:$FTPP ftp://$FTPS/$FTPD/ -T "{server-$NOW.tar.gz,mysql-$NOW.tar.gz}" -s

Для удаления лишних бэкапов (которым более 5 дней) запрашиваем список всех файлов в директории на FTP:

LIST="$($CURL -u $FTPU:$FTPP ftp://$FTPS/$FTPD/ -s -l)"

Перебираем все файлы в цикле и смотрим чтобы это были файлы типа server-{date}.tar.gz и mysql-{date}.tar.gz. Если дата не совпадает с разрешенной (последние N дней и 1 число последних N месяцев) мы их удаляем:

for li in $LIST
do
    EXIST=0
    
    if [ "$li" = "." ] || [ "$li" = ".." ]
    then
        continue
    fi
    
    for day in `seq 0 $DAYS`
    do  
        d="$(date +%Y%m%d -d "$day days ago")"
        if [ "server-$d.tar.gz" = "$li" ] || [ "mysql-$d.tar.gz" = "$li" ]
        then
            EXIST=1
            continue
        fi
    done
    
    for month in `seq 0 $MONTHS`
    do
        d="$(date +%Y%m01 -d "$month month ago")"
        if [ "server-$d.tar.gz" = $li ] || [ "mysql-$d.tar.gz" = $li ]
        then
            EXIST=1
            continue
        fi
    done
    
    if [ $EXIST -eq 0 ]
    then
        $CURL -u $FTPU:$FTPP ftp://$FTPS/$FTPD/ -s -X "DELE $li"
    fi
done

И очищаем директорию BACKUP:

rm -rf $BACKUP/*

На этом все. В примере можете скачать рабочий скрипт, только не забывайте указать свои актуальные доступы и добавить этот скрипт в крон для ежедневного запуска.

Если есть предложения по улучшению или замечания - пишите в комментариях

Скачать рабочий пример