Cache de repositórios de pacotes com Squid
Introdução
Quando há uma considerável quantidade de computadores (ou máquinas virtuais) rodando o mesmo sistema operacional, também há benefícios em criar um espelhamento local de pacotes (mirror). Porém, um espelhamento completo demanda bastante espaço em disco e banda de internet que torna-se desnecessário já que nem todos os pacotes serão utilizados.
Assim, surge a necessidade de configurar um cache de repositórios de pacotes com um servidor proxy Squid que armazenará apenas os pacotes solicitados que ficarão disponíveis para as próximas requisições. Existem várias outras formas de manter e disponibilizar esse cache mas decidi utilizar o Squid por precisar de pouquíssima configuração nos clientes.
O cache pode ser utilizado por vários gerenciadores de pacotes como Yum (CentOS), dnf (Fedora) e apt (Debian e Ubuntu).
Instalação e configuração do servidor
Particularmente, utilizei o CentOS 7 mas você pode utilizar qualquer distribuição para instalar o squid:
# yum install squid
No caso das distribuições que usam pacotes RPM, geralmente vem configuradas por padrão para utilizar uma lista de espelhos ao invés de uma URL de base. Isso implica em cada procedimento de instalação/atualização baixar os pacotes de um espelho diferente que faz o Squid invalidar a entrega de um arquivo do cache por ser proveniente de uma URL diferente.
Para contornar o problema, utilizei o store_id_program que usa apenas o nome do arquivo ao invés da URL completa. Assim, podemos utilizar diferentes espelhos sem invalidar as requisições no cache, ou seja, as requisições terão o status HIT (Leia mais aqui).
$ git clone https://github.com/yevmel/squid-rpm-cache $ cd store_id_program && go build # cp store_id_program /usr/local/bin/store_id_program
O próximo passo é editar o arquivo de configuração do Squid. Eu deixei da seguinte forma (verifique as alterações necessárias para casos específicos):
acl localnet src 10.0.0.0/8 # RFC1918 possible internal network acl localnet src 172.16.0.0/12 # RFC1918 possible internal network acl localnet src 192.168.0.0/16 # RFC1918 possible internal network acl localnet src fc00::/7 # RFC 4193 local private network range acl localnet src fe80::/10 # RFC 4291 link-local (directly plugged) machines acl SSL_ports port 443 acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 # https acl Safe_ports port 70 # gopher acl Safe_ports port 210 # wais acl Safe_ports port 1025-65535 # unregistered ports acl Safe_ports port 280 # http-mgmt acl Safe_ports port 488 # gss-http acl Safe_ports port 591 # filemaker acl Safe_ports port 777 # multiling http acl CONNECT method CONNECT http_access deny !Safe_ports http_access deny CONNECT !SSL_ports http_access allow localhost manager http_access deny manager http_access allow localnet http_access allow localhost http_access deny all http_port 3128 maximum_object_size 4096 MB cache_dir ufs /var/spool/squid 10000 16 256 coredump_dir /var/spool/squid store_id_program /usr/local/bin/store_id_program store_id_children 5 startup=1 refresh_pattern -i .rpm$ 129600 100% 129600 refresh-ims override-expire refresh_pattern -i .iso$ 129600 100% 129600 refresh-ims override-expire refresh_pattern ^ftp: 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern -i (/cgi-bin/|\?) 0 0% 0 refresh_pattern . 0 20% 4320
Configuração dos clientes
YUM – CentOS 7
# echo 'proxy=http://<ip ou nome do proxy>:3128' >> /etc/yum.conf
DNF – Fedora
# echo 'proxy=http://<ip ou nome do proxy>:3128' >> /etc/dnf/dnf.conf
APT – Debian/Ubuntu
echo 'Acquire::http::Proxy "http://<ip ou nome do proxy>:3128/";'>> /etc/apt/apt.conf.d/proxy.conf
Resultados
É possível verificar a eficiência do cache com alguma ferramenta de análise de logs. Eu usei o Calamaris:
Bem, como foi mostrado, ficou uma delícia!
Referências
Yevgeniy Melnichuk – Squid RPM Cache
Usando Yum com um servidor proxy
DNF API Reference – Configuration
Setting up apt-get to use a http-proxy
Speed up your Internet access using Squid’s refresh patterns
Bom demais ver um comentário seu meu caro !! fico MUITO FELIZ !!! Parabéns
Parabéns.