[gentoo-user-br] Squid no Gentoo...

[gentoo-user-br] Squid no Gentoo...

[Rodrigo Martins Fernandes]

Meus amigos...

Já me adianto em comentar que sei que a melhor opção seria publicar esse
e-mail em uma lista do squid, mas como não conheço ou participo de uma,
me permitam usufruir do conhecimento de vocês.

Tenho um Gentoo com Squid rodando TProxy, que inclusive nosso amigo
Eduardo Schoedler me ajudou bastante.

O problema é o tráfego, tenho 15Mbits de tráfego HTTP constante em cima
desse proxy, o que acaba deixando mais lento.

Já aumentei no máximo inclusive a configuração no /etc/conf.d/squid

# Max. number of filedescriptors to use. You can increase this on a busy
# cache to a maximum of (currently) 8192 filedescriptors. Default is 1024.
SQUID_MAXFD=8192


Tem algo mais que eu possa fazer no gentoo ? no kernel ? ou mesmo no squid ?


Compilei o Gentoo como sendo 64bits e estou usando 8GB de RAM.

Caso alguém souber alguns links de tunning no squid, provavelmente
postem algo que eu já li, mas sempre alguém tem uma boa carta na manga...

Desde já agradeço pessoal.

--
Rodrigo Martins Fernandes
--

Re: [gentoo-user-br] Squid no Gentoo...

[Thiago Nunes]

2009/5/5 Rodrigo Martins Fernandes <rmfernan@visaonet.com.br>:

> O problema é o tráfego, tenho 15Mbits de tráfego HTTP constante em cima
> desse proxy, o que acaba deixando mais lento.

Deixa eu ver se entendi, tu tens vários usuários usando esse proxy e a
conexão dele com o provedor de internet é de 15Mb. É isso?

O que exatamente que está lento?

[]s

Re: [gentoo-user-br] Squid no Gentoo...

[Rodrigo Martins Fernandes]

[-- Attachment #1: Type: text/html, Size: 1736 bytes --]

Re: [gentoo-user-br] Squid no Gentoo...

[Daniel da Veiga]

2009/5/5 Rodrigo Martins Fernandes <rmfernan@visaonet.com.br>:
> Nosso link é de 30Mbits...
>
> Com iptables eu redireciono apenas o tráfego HTTP para o proxy, esse tráfego
> HTTP que passa no proxy que chega a 15Mbits, ou seja, o número de
> requisições no cache é TREMENDO.
>
> Já consegui estourar o file-descriptors devido tantas requisições.
>
> Esse é um dos motivos que ocasionou lentidão na navegação, ao invés de
> acelerar, freiou... rrrsss
>
> Mas podem haver outros motivos, pois o file-descriptors eu já aumentei.
> Então corri aos amigos universitários... :-)
>

<oFf>Caramba, top post é muito chato de responder... </oFf>

Esse seu servidor não pode ser virtualizado? Digo isso pois os limites
de seu hardware aparentemente não estão nem perto. No entanto o
software está, e se você virtualizar, vai poder aumentar
exponencialmente a capacidade, distribuindo as conexões em squids
rodando em máquinas virtuais.

Isso é só uma sugestão, claro. É que passei por uma situação parecida
com um servidor e virtualizar acabou solucionando o problema... Mas
não era proxy, não sei como o squid parent ia conseguir lidar com uma
situação dessas sem ter que concentrar todo o tráfego num mesmo
"parent" e estourar igual... Aí o pessoal do squid sabe bem mais do
que eu.

-- 
Daniel da Veiga

Re: [gentoo-user-br] Squid no Gentoo...

[Eduardo Schoedler]

Olá Rodrigo!


Em 2009/05/05, Rodrigo Martins Fernandes escreveu:

> Tenho um Gentoo com Squid rodando TProxy, que inclusive nosso
> amigo Eduardo Schoedler me ajudou bastante.

Opa! Esse sou eu! rsrsrs.


> # Max. number of filedescriptors to use. You can increase this on a busy
> # cache to a maximum of (currently) 8192 filedescriptors. Default is 1024.
> SQUID_MAXFD=8192

Não adianta nada aumentar aqui e não aumentar no kernel... veja mais em:
http://thedaneshproject.com/posts/how-to-increase-total-file-descriptors-count-on-linux/


> Tem algo mais que eu possa fazer no gentoo ? no kernel ? ou mesmo no squid 
> ?

A nível de squid, você pode mexer no parâmetro "reload_into_ims"...
Ele quebra as regras rfc do http , forçando o squid a ignorar os parâmetros 
"no-cache" do header das páginas.
Não é nada muito problemático, pode ser tentado.
Mais informações em:
http://eng.registro.br/pipermail/gter/2007-July/015459.html

Outra coisa: o patch do tproxy mantém o estado de conexões TCP...
Seria legal você agendar um cron para descarregar o módulo do tproxy, 
recarregá-lo e limpar as sessões do iptables.


Sobre otimizações de squid:
http://www.mail-archive.com/squid-users@squid-cache.org/msg50018.html



Porém...... infelizmente não existe mágica.

Uma conta básica... uma requisição http hoje em dia utiliza mais de uma 
conexão simultânea.
Digamos que seja 4 conexões.

Quantas portas TCP a gente pode utilizar ? de 1025 até 65535.
Restam pouco mais de 64000 portas.

64000 / 4 = 16000 requisições.

Não se esqueça que você tem de controlar as que chegam (usuário => squid) e 
do squid para ir buscar o conteúdo (squid => host).
Já cai bastante nosso número.

Dependendo da quantidade de usuários que você tiver, isso se esgota muito 
rapidamente.


> Caso alguém souber alguns links de tunning no squid, provavelmente
> postem algo que eu já li, mas sempre alguém tem uma boa carta na manga...

Você pode dar uma olhadinha no Lusca (antigo cacheboy).
Geramente se utiliza ele no Freebsd.
O pessoal dessa plataforma portou o tproxy, e quem está utilizando diz que 
funciona maravilhosamente bem.

Estou querendo testar, mas ainda não tive tempo.


Sds,
Eduardo.