Использование nginx как кэширующего прокси для APT

При использовании дистрибутивов ALT Linux или ALT Linux Sisyphus часто требуется локальное частичное зеркало APT-источников: для раздачи пакетов группе машин в локальной сети, для разработки и других потребностией. Локальное – для хорошей скорости доступа, частичное – для экономии времени и трафика, которые уходят на поддержание полного зеркала.

Очевидное решение: вытаскивать из /var/cache/apt/archives или /hasher/aptbox пакеты, запускать genbasedir и подключать результат как локальный репозитарий. Очевидный недостаток: теряется информация о конкретном источнике пакета. Если подключен и бранч, и сизиф, то полученный репозитарий нельзя использовать на другой машине, которую желательно оставить на бранче.

nginx >= 0.5.31 позволяет организовать локальный частичный миррор, лишённый этого недостатка.

Конфигурация nginx

nginx.conf:

location /altlinux/ { root /var/www/; error_page 404 = /fetch$uri; } location /fetch/altlinux/alt/ { internal; proxy_pass http://ftp.altlinux.org/; proxy_store /var/www/$request_uri; } location /fetch/altlinux/kiev/ { internal; proxy_pass http://ftp.linux.kiev.ua/; proxy_store /var/www/$request_uri; }

/etc/apt/sources.list:

rpm http://**NGINX HOST**/altlinux/alt/pub/Linux/ALT/updates/4.0/ i586 updates rpm http://**NGINX HOST**/altlinux/alt/pub/Linux/ALT/4.0/branch/ i586 classic rpm http://**NGINX HOST**/altlinux/alt/pub/Linux/ALT/4.0/branch/ noarch classic

И сделать

mkdir /var/www/altlinux chown _nginx:_nginx /var/www/altlinux

Более умная конфигурация nginx

Чтобы пользователи APT не заботились о том, на какое зеркало настроен nginx, его нужно слегка перенастроить:

nginx.conf:

location /altlinux/ { root /var/www/; error_page 404 = /fetch$uri; error_page 403 = /fetch$uri; } location /fetch/altlinux/ { internal; proxy_pass http://ftp.altlinux.org/pub/distributions/ALTLinux/; proxy_pass http://ftp.linux.kiev.ua/pub/Linux/ALT/; proxy_store /var/www/$request_uri; }

/etc/apt/sources.list:

rpm http://**NGINX HOST**/altlinux/4.0/branch/ i586 classic rpm http://**NGINX HOST**/altlinux/4.0/branch/ noarch classic

Известные проблемы

nginx – это все-таки не настоящий кэширующий прокси, и обновлять сохраненные файлы он не намерен независимо от Last-Modified.

Сами пакеты меняться не могут, поэтому это составляет проблему только для индексов APT, так что необходимо периодически делать

find /var/www/altlinux/ -type d -name base -exec rm -rf '{}' \;

Если пакеты на сервере обновляются, в нашем кэше будут накапливаться старые версии. Почистить можно так:

rsync -r --delete-before --existing rsync://ftp.altlinux.org/ALTLinux/ /var/www/altlinux/

Эта команда удалит из локального репозитория все файлы, которых нет на сервере, и заодно обновит индексы.

Информация об авторе

Взято из этой публикации gns.

Добавлено 24.03.08 by Черносов Денис

обнаружил, что помещение нескольких директив proxy_pass в один раздел location приводит к ошибке такого вида:

# service nginx restart Checking configuration sanity for nginx: 2008/03/21 13:42:48 [emerg] 9153#0: "proxy_pass" directive is duplicate in /etc/nginx/nginx.conf:73

Также в моем случае вылезала ошибка:

Checking configuration sanity for nginx: 2008/03/21 14:09:09 [emerg] 9433#0: could not build the types_hash, you should increase types_hash_bucket_size: 32

После модификаций конфиги выглядят следующим образом:

/etc/apt/sourses.list

rpm http://localhost/altlinux/updates/4.0/ i586 updates ####optional #rpm http://localhost/altlinux/4.0/branch i586 classic #rpm http://localhost/altlinux/4.0/branch noarch classic #rpm http://localhost/altlinux/4.0/Server/current i586 main #rpm http://localhost/altlinux/4.0/Server/current i586 classic #rpm http://localhost/altlinux/backports/4.0/ i586 backports

/etc/nginx/nginx.conf

http { ... types_hash_bucket_size 64; ... location /fetch/altlinux/ { internal; proxy_pass http://ftp.heanet.ie/mirrors/ftp.altlinux.org/; proxy_store /var/www/$request_uri; } location /fetch/altlinux/ { internal; proxy_pass http://ftp.linux.kiev.ua/pub/Linux/ALT/; proxy_store /var/www/$request_uri; } location /fetch/altlinux/ { internal; proxy_pass http://mirror.yandex.ru/altlinux/; proxy_store /var/www/$request_uri; } location /fetch/altlinux/ { internal; proxy_pass http://ftp.altlinux.org/pub/distributions/ALTLinux/; proxy_store /var/www/$request_uri; } ...