[gentoo-user-ru] issue with default route

[gentoo-user-ru] issue with default route

[Alex Efros]

Hi!

Я обращался с этой проблемой к техподдержке своего прова, но мальчикам из
обычной техподдержки не хватает квалификации для решения таких вопросов,
а реальные админы от клиентов хорошо прячутся (телефон их не дают, а на
email они не отвечают). :( ... Может вы сможете мне что-нить подсказать.


У меня два adsl-канала, к разным провайдерам (велтон и укртелеком). Оба на
модемах DSL-500T, и оба в режиме bridge, т.е. pppd для них запускается на
моём linux-сервере (hardened gentoo).
У меня настроен default route одновременно через оба канала, а-ля:
    ip route add default scope global \
        nexthop via 195.5.5.18    dev ppp1 weight 4 \
        nexthop via 85.90.204.62  dev ppp0 weight 1

Уже очень много месяцев, раз в сутки (где-то между 22:00 и 03:00) у меня
отваливается default route через велтон, при этом ОБА канала продолжают
работать как ни в чём не бывало, но с default route только через
укртелеком. Если в это время через велтон что-то тянулось - оно
продолжает тянуться. У меня на велтоновском канале статический ip и сайт -
они снаружи остаются доступны. Если передёрнуть pppd велтоновского канала -
я без проблем переподключаюсь и default route снова использует оба канала.
Можно и просто ручками default route добавить через велтоновский канал.

На моём сервере никаких событий (напр. по cron) в это время не происходит,
в логах ничего подозрительного тоже не видно. Поэтому единственное, что
приходит мне в голову - на стороне прова что-то в это время происходит,
при этом мой pppd от них получает какой-то пакет и сбрасывает default
route через свой канал.

У меня было подозрение, что в этой проблеме виноват второй канал
(укртелеком раз в сутки сбрасывает соединение для подсчёта статистики по
трафику, в то время как велтон ничего такого не практикует). Но я
несколько дней внимательно понаблюдал за системой в это время - в момент
передёргивания укртеловского pppd с велтоновским каналом и default route
ничего не происходит (в нескольких случаях default route через велтон
отваливался через пару часов после того, как передёрнулся укртеловский
pppd).



Если нужно, я могу скинуть свои скрипты, которые поднимают default route.
Вкратце, это ip-up.local, с простой логикой: если в момент поднятия
текущего канала второй канал не поднят - поднимается default route только
через этот канал; а если второй канал поднят, то считывается информация о
текущем default route и он заменяется на default route через оба канала.
В ip-down.local, соответственно, если отключается один канал из двух, то
default route через оба заменяется на default route через оставшийся канал,
если отключается единственный канал то default route удаляется вообще.
В момент запуска ip-up.local и ip-down.local ставится блокировка (через
`chpst -l` из пакета runit - аналог setlock из пакета daemontools), так
что одновременно может работать только один из этих скриптов, и проблем
из-за race condition здесь возникать не может.

Поскольку default route я поднимаю в этих скриптах сам, то pppd (для обоих
каналов) запускается с опцией nodefaultroute......... чисто теоретически,
если он получает со стороны велтона какой-то пакет, или по какой-то другой
причине решает форсировать эту опцию, то он может удалять default route
через велтон (а через укртелеком это может не происходить, например, из-за
того, что они сами раз в сутки канал передёргивают).

В общем, фигня какая-то творится! :(

-- 
			WBR, Alex.

Re: [gentoo-user-ru] issue with default route

[atos]

Alex Efros пишет:
> Hi!
>
>   
Приветствую!


Может, отфильтровать icmp на каждом канале?

Re: [gentoo-user-ru] issue with default route

[Alex Efros]

Hi!

On Sat, Sep 27, 2008 at 07:23:51PM +0400, atos wrote:
> Может, отфильтровать icmp на каждом канале?

Э... как отфильтровать? Совсем? В смысле, напрочь? А как же без него? Там
же и полезные сообщения есть... А, кроме того, разве можно сбить default
route на чужой машине простой посылкой icmp-пакета???

-- 
			WBR, Alex.

Re: [gentoo-user-ru] issue with default route

[Alexey Kopytko]

> Э... как отфильтровать? Совсем? В смысле, напрочь? А как же без него? Там
> же и полезные сообщения есть... А, кроме того, разве можно сбить default
> route на чужой машине простой посылкой icmp-пакета???

Может быть предлагается отфильтровать все ICMP redirect?..


-- 
是非、よろしくお願いします。

Re: [gentoo-user-ru] issue with default route

[atos]

Alex Efros пишет:
> Э... как отфильтровать? Совсем? В смысле, напрочь? А как же без него? Там
> же и полезные сообщения есть... А, кроме того, разве можно сбить default
> route на чужой машине простой посылкой icmp-пакета???
>
>   
Отфильтровать - это оставить нужные. :)
Все запрещать - не надо, вредно.
А вот все разрешенные - хорошая дыра в системе.
Подробно - Приложение C. Типы ICMP в Iptables Tutorial.
У меня на домашнем сделано вот как:

$IPT -N icmp-allow
$IPT -F icmp-allow
#(0,8)Разрешаем себе ping, ставим ограничение на ping своей машины.
$IPT -A icmp-allow -p icmp --icmp-type echo-request -m limit --limit 1/s 
--limit-burst 2 -j ACCEPT
$IPT -A icmp-allow -p icmp --icmp-type echo-request -m limit --limit 1/s 
--limit-burst 2 -j ACCEPT
$IPT -A icmp-allow -p icmp --icmp-type echo-request -m limit --limit 1/s 
--limit-burst 2 -j ACCEPT
$IPT -A icmp-allow -p icmp --icmp-type echo-reply -m limit --limit 1/s 
--limit-burst 2 -j ACCEPT
$IPT -A icmp-allow -p icmp --icmp-type echo-reply -m limit --limit 1/s 
--limit-burst 2 -j ACCEPT
$IPT -A icmp-allow -p icmp --icmp-type echo-reply -m limit --limit 1/s 
--limit-burst 2 -j ACCEPT
#(3)Наиболее общий пункт, содержит все отказы (unreachable)
$IPT -A icmp-allow -p icmp --icmp-type 3 -j ACCEPT
#(4)Source quench
$IPT -A icmp-allow -p icmp -m icmp --icmp-type source-quench -j ACCEPT
#(11)
$IPT -A icmp-allow -p icmp --icmp-type 11  -j ACCEPT
#(12)
$IPT -A icmp-allow -p icmp --icmp-type 12  -j ACCEPT
#(13,14)
$IPT -A icmp-allow -m state --state NEW -p icmp --icmp-type 
time-exceeded -j ACCEPT
#Если недопустимая запись или неправильная контрольная сумма
$IPT -A icmp-allow -p icmp -m icmp --icmp-type parameter-problem -j ACCEPT
$IPT -A icmp-allow -p icmp -j LOG --log-prefix "iptables icmp drop "
$IPT -A icmp-allow -p icmp -j DROP

$IPT -A icmp-allow -j RETURN

Попробуйте подумать и в эту сторону...
Просто (имхо) во всех остальных случаях была бы запись в логе от 
источника-kernel.

:)

Re: [gentoo-user-ru] issue with default route

[Alex Efros]

Hi!

On Sat, Sep 27, 2008 at 04:50:25PM +0300, Alex Efros wrote:
> У меня два adsl-канала, к разным провайдерам (велтон и укртелеком). Оба на
...
> У меня настроен default route одновременно через оба канала, а-ля:
...
> отваливается default route через велтон, при этом ОБА канала продолжают
...
> У меня было подозрение, что в этой проблеме виноват второй канал
> (укртелеком раз в сутки сбрасывает соединение для подсчёта статистики по

Мистика кончилась, я его почти поймал. :)

Я отследил, что при выходе pppd (не важно, по какой причине - канал
отвалился, или я его прибил ручками) он напрочь удаляет default route.
И ему не важно, был ли default route через канал этого pppd или через два
канала, он его просто удаляет не глядя. Сволочь. Скотина.

Причём, такая фигня, роутинг удаляется ПАРАЛЛЕЛЬНО с выполнением скрипта
ip-down! Мудаки. Оптимизаторы хреновы.
Поэтому возникал race condition - если мой скрипт ip-down успевал
выполнить `ip route list` до удаления default route, то он успевал
заметить что default route идёт через два канала, и заменял default route
на оставшийся канал. А если не успевал - оппаньки, как говорится.

Остаётся открытым вопрос, как объяснить pppd, что default route удалять НЕ
НУЖНО! Ибо с его смертью конец света ещё не наступает.


P.S. Никаких ICMP пакетов в процессе издевательств над default route мой
wireshark не увидел, хотя очень старался.

-- 
			WBR, Alex.

Re: [gentoo-user-ru] issue with default route

[Anton Ananich]

Здравствуйте!

Я, конечно, известный матерщинник, но позволю себе сделать
конструктивное замечание.
http://ananich.wordpress.com/2008/09/29/bon-ton/

С уважением,
Антон Ананич

2008/9/29 Alex Efros <powerman@powerman.asdfgroup.com>:
> Hi!
>
> On Sat, Sep 27, 2008 at 04:50:25PM +0300, Alex Efros wrote:
>> У меня два adsl-канала, к разным провайдерам (велтон и укртелеком). Оба на
> ...
>> У меня настроен default route одновременно через оба канала, а-ля:
> ...
>> отваливается default route через велтон, при этом ОБА канала продолжают
> ...
>> У меня было подозрение, что в этой проблеме виноват второй канал
>> (укртелеком раз в сутки сбрасывает соединение для подсчёта статистики по
>
> Мистика кончилась, я его почти поймал. :)
>
> Я отследил, что при выходе pppd (не важно, по какой причине - канал
> отвалился, или я его прибил ручками) он напрочь удаляет default route.
> И ему не важно, был ли default route через канал этого pppd или через два
> канала, он его просто удаляет не глядя. Сволочь. Скотина.
>
> Причём, такая фигня, роутинг удаляется ПАРАЛЛЕЛЬНО с выполнением скрипта
> ip-down! Мудаки. Оптимизаторы хреновы.
> Поэтому возникал race condition - если мой скрипт ip-down успевал
> выполнить `ip route list` до удаления default route, то он успевал
> заметить что default route идёт через два канала, и заменял default route
> на оставшийся канал. А если не успевал - оппаньки, как говорится.
>
> Остаётся открытым вопрос, как объяснить pppd, что default route удалять НЕ
> НУЖНО! Ибо с его смертью конец света ещё не наступает.
>
>
> P.S. Никаких ICMP пакетов в процессе издевательств над default route мой
> wireshark не увидел, хотя очень старался.
>
> --
>                        WBR, Alex.
>
>

Re: [gentoo-user-ru] issue with default route

[Aleksey Shipilev]

2008/9/29 Alex Efros <powerman@powerman.asdfgroup.com>:
> Остаётся открытым вопрос, как объяснить pppd, что default route удалять НЕ
> НУЖНО! Ибо с его смертью конец света ещё не наступает.
Поищите в доках/сорцах. Не найдёте, допишите фичу и отправьте
мейтейнерам :) OSS, всё-таки.

Спасибо,
Лёша.

Re: [gentoo-user-ru] issue with default route

[Alex Efros]

Hi!

On Mon, Sep 29, 2008 at 11:57:04PM +0400, Aleksey Shipilev wrote:
> > Остаётся открытым вопрос, как объяснить pppd, что default route удалять НЕ
> > НУЖНО! Ибо с его смертью конец света ещё не наступает.
> Поищите в доках/сорцах. Не найдёте, допишите фичу и отправьте
> мейтейнерам :) OSS, всё-таки.

Ищу... Пока нашёл только ещё одного страдальца:
http://mailman.ds9a.nl/pipermail/lartc/2004q3/013103.html

Честно говоря, просто не верится что это баг/отсутствующая фича pppd. :(

-- 
			WBR, Alex.

Re: [gentoo-user-ru] issue with default route

[Aleksey Shipilev]

2008/9/30 Alex Efros <powerman@powerman.asdfgroup.com>:
> Hi!
>
> On Mon, Sep 29, 2008 at 11:57:04PM +0400, Aleksey Shipilev wrote:
>> > Остаётся открытым вопрос, как объяснить pppd, что default route удалять НЕ
>> > НУЖНО! Ибо с его смертью конец света ещё не наступает.
>> Поищите в доках/сорцах. Не найдёте, допишите фичу и отправьте
>> мейтейнерам :) OSS, всё-таки.
>
> Ищу... Пока нашёл только ещё одного страдальца:
> http://mailman.ds9a.nl/pipermail/lartc/2004q3/013103.html
>
> Честно говоря, просто не верится что это баг/отсутствующая фича pppd. :(
Йэх. Сорцы о многом говорят:
http://git.ozlabs.org/?p=ppp.git;a=blob;f=pppd/sys-linux.c;h=67b50cb663fa827051dc4480116f72e259dfd516;hb=07bcc935f7a10bc5d78325fc53a6ac9bdf2aad6a#l344

...отхачьте здесь, если лень дописать опцию :)

Re: [gentoo-user-ru] issue with default route

[Aleksey Shipilev]

2008/9/30 Aleksey Shipilev <aleksey.shipilev@gmail.com>:
> 2008/9/30 Alex Efros <powerman@powerman.asdfgroup.com>:
>> Hi!
>>
>> On Mon, Sep 29, 2008 at 11:57:04PM +0400, Aleksey Shipilev wrote:
>>> > Остаётся открытым вопрос, как объяснить pppd, что default route удалять НЕ
>>> > НУЖНО! Ибо с его смертью конец света ещё не наступает.
>>> Поищите в доках/сорцах. Не найдёте, допишите фичу и отправьте
>>> мейтейнерам :) OSS, всё-таки.
>>
>> Ищу... Пока нашёл только ещё одного страдальца:
>> http://mailman.ds9a.nl/pipermail/lartc/2004q3/013103.html
>>
>> Честно говоря, просто не верится что это баг/отсутствующая фича pppd. :(
> Йэх. Сорцы о многом говорят:
> http://git.ozlabs.org/?p=ppp.git;a=blob;f=pppd/sys-linux.c;h=67b50cb663fa827051dc4480116f72e259dfd516;hb=07bcc935f7a10bc5d78325fc53a6ac9bdf2aad6a#l344
>
> ...отхачьте здесь, если лень дописать опцию :)
Ну а если решите-таки дописать опцию, то начать можно отсюда:
http://git.ozlabs.org/?p=ppp.git;a=blob;f=pppd/ipcp.c#l1688

Re: [gentoo-user-ru] issue with default route

[Alex Efros]

Hi!

On Tue, Sep 30, 2008 at 12:40:13AM +0400, Aleksey Shipilev wrote:
> >> Честно говоря, просто не верится что это баг/отсутствующая фича pppd. :(
> > Йэх. Сорцы о многом говорят:
> > http://git.ozlabs.org/?p=ppp.git;a=blob;f=pppd/sys-linux.c;h=67b50cb663fa827051dc4480116f72e259dfd516;hb=07bcc935f7a10bc5d78325fc53a6ac9bdf2aad6a#l344
> >
> > ...отхачьте здесь, если лень дописать опцию :)
> Ну а если решите-таки дописать опцию, то начать можно отсюда:
> http://git.ozlabs.org/?p=ppp.git;a=blob;f=pppd/ipcp.c#l1688

Спасибо за ссылки. К сожалению, я, как админ, отхачить могу, и даже патчик
сделать, и ebuild подправить... а вот дописать на C - увы, уже значительно
сложнее. Многолетняя практика работы с Perl сильно расслабила, и C кажется
уже немного некомфортным. :)

В общем, идею я понял. Про multipath разработчики pppd не знают, и
поддерживать его пока не собираются. Хак тупо отключающий удаление default
route при выходе - это никоим образом не поддержка multipath, и такой патч
upstream не примет, увы. :) Патч с новой опцией может и пример, но тоже не
факт - могут сопротивляться до последнего. А постоянно поддерживать свой
патч и ebuild к нему по мере обновления pppd - муторно.

Судя по всему, в моём случае лучше всего переписать ip-{up,down} скрипты,
с учётом появившейся информации. Ходить следом за pppd и приводить роутинг
в порядок. Помня про race condition, который pppd мне устроил.

-- 
			WBR, Alex.

Re: [gentoo-user-ru] issue with default route

[Aleksey Shipilev]

2008/9/30 Alex Efros <powerman@powerman.asdfgroup.com>:
> Hi!
>
> On Tue, Sep 30, 2008 at 12:40:13AM +0400, Aleksey Shipilev wrote:
>> >> Честно говоря, просто не верится что это баг/отсутствующая фича pppd. :(
>> > Йэх. Сорцы о многом говорят:
>> > http://git.ozlabs.org/?p=ppp.git;a=blob;f=pppd/sys-linux.c;h=67b50cb663fa827051dc4480116f72e259dfd516;hb=07bcc935f7a10bc5d78325fc53a6ac9bdf2aad6a#l344
>> >
>> > ...отхачьте здесь, если лень дописать опцию :)
>> Ну а если решите-таки дописать опцию, то начать можно отсюда:
>> http://git.ozlabs.org/?p=ppp.git;a=blob;f=pppd/ipcp.c#l1688
>
> Спасибо за ссылки. К сожалению, я, как админ, отхачить могу, и даже патчик
> сделать, и ebuild подправить... а вот дописать на C - увы, уже значительно
> сложнее. Многолетняя практика работы с Perl сильно расслабила, и C кажется
> уже немного некомфортным. :)
>
> В общем, идею я понял. Про multipath разработчики pppd не знают, и
> поддерживать его пока не собираются. Хак тупо отключающий удаление default
> route при выходе - это никоим образом не поддержка multipath, и такой патч
> upstream не примет, увы. :) Патч с новой опцией может и пример, но тоже не
> факт - могут сопротивляться до последнего. А постоянно поддерживать свой
> патч и ebuild к нему по мере обновления pppd - муторно.
>
> Судя по всему, в моём случае лучше всего переписать ip-{up,down} скрипты,
> с учётом появившейся информации. Ходить следом за pppd и приводить роутинг
> в порядок. Помня про race condition, который pppd мне устроил.
И всё-таки было бы круто с Вашей стороны такую опцию пропихнуть в
pppd, вкупе с дополнением man'а, чтобы такая проблема разрешилась раз
и навсегда. Кто его знает, кому ещё пригодится... А патчи в ppp
принимают достаточно быстро: мой приняли после 3 месяцев пребывания
патча в gentoo'шном portage tree. Всё одно: придётся или патч к ебилду
поддерживать, или за скриптами следить.

Спасибо,
Алексей.

Re: [gentoo-user-ru] issue with default route

[Alexey Kopytko]

> Йэх. Сорцы о многом говорят:
> http://git.ozlabs.org/?p=ppp.git;a=blob;f=pppd/sys-linux.c;h=67b50cb663fa827051dc4480116f72e259dfd516;hb=07bcc935f7a10bc5d78325fc53a6ac9bdf2aad6a#l344

В них мы видим:

 344     if (have_default_route)
 345         cifdefaultroute(0, 0, 0);

Читаем мануал:

We have already seen that pppd can be asked to set the default route
using the *defaultroute* option.

В качестве решения можно попробовать убрать эту опцию из конфига.

Вот, к примеру, человек столкнулся с обратной проблемой:
http://www.redhat.com/archives/redhat-list/2002-August/msg01085.html
pppd у него почему-то НЕ обновлял default route.


-- 
是非、よろしくお願いします。

Re: [gentoo-user-ru] issue with default route

[Pavel Labushev]

Alex Efros пишет:

> Судя по всему, в моём случае лучше всего переписать ip-{up,down} скрипты,
Да, в вашем случае проще всего не использовать defaultroute, а 
создавать/удалять маршруты из скриптов. Гейтом всегда будет адрес PPP-пира.