[gentoo-user-ru] 1 комп, 2 соединения с интернетом

[gentoo-user-ru] 1 комп, 2 соединения с интернетом

[Anton S. Ustyuzhanin]

Здравствуйте.

Помогите понять одну вещь.
Дано: 1 комп, у компа есть два интерфейса:
eth0: addr:192.168.7.7 - шлюз установлен 192.168.7.1
tun0: addr:10.1.0.2  P-t-P:10.1.0.1
на компе рабоает 2 пользователя: kit и babaz. сейчас они оба ходят в
интернет через 192.168.7.1.

Надо: Сделать так чтобы kit ходил в инет через 10.1.0.1, а babaz через
192.168.7.1.

Решение (как я сделал):
1. Создать табличку маршрутизации for_kit:
/etc/iproute2/rt_table:
--------------------------
#
# reserved values
#
255     local
254     main
253     default
0       unspec
#
# local
#
1       for_kit
--------------------------

2. С помощью ip route add добавить в for_kit следующие маршруты:
10.1.0.1 dev tun0  proto kernel  scope link  src 10.1.0.2
default via 10.1.0.1 dev tun0

3. Пометить все пакеты от пользователя kit:
iptables -t mangle -A OUTPUT -m owner --uid-owner kit -j MARK --set-mark 0x1

4. Добавить правило маршрутизации:
ip rule add fwmark 0x1 lookup for_kit

5. Ожидаемый результат: все должно работать.

Однако все не работает :)
При снифинге интерфейса tun0 я вижу вот что:
---------------------------------------------
tshark -i tun0
Capturing on tun0
  0.000000  192.168.7.7 -> 94.100.176.20 TCP 59027 > smtp [SYN] Seq=0
Win=5840 Len=0 MSS=1460 TSV=47371023 TSER=0 WS=7
  2.997266  192.168.7.7 -> 94.100.176.20 TCP 59027 > smtp [SYN] Seq=0
Win=5840 Len=0 MSS=1460 TSV=47371923 TSER=0 WS=7
---------------------------------------------
Наши пакетики имеют не верный адрес источника. Это конечно же поправимо
правилом:
iptables -t nat -I POSTROUTING 1 -m mark --mark 0x1 -j SNAT --to-source
10.1.0.2

После добавления такого правила все начинает рабоатать. Но не понятно
почему же пакетам назначается не правильный адрес источника?

Re: [gentoo-user-ru] 1 комп, 2 соединения с интернетом

[Anton S. Ustyuzhanin]

Или я что-то не так делаю?

Anton S. Ustyuzhanin wrote:
> Здравствуйте.
> 
> Помогите понять одну вещь.
> Дано: 1 комп, у компа есть два интерфейса:
> eth0: addr:192.168.7.7 - шлюз установлен 192.168.7.1
> tun0: addr:10.1.0.2  P-t-P:10.1.0.1
> на компе рабоает 2 пользователя: kit и babaz. сейчас они оба ходят в
> интернет через 192.168.7.1.
> 
> Надо: Сделать так чтобы kit ходил в инет через 10.1.0.1, а babaz через
> 192.168.7.1.
> 
> Решение (как я сделал):
> 1. Создать табличку маршрутизации for_kit:
> /etc/iproute2/rt_table:
> --------------------------
> #
> # reserved values
> #
> 255     local
> 254     main
> 253     default
> 0       unspec
> #
> # local
> #
> 1       for_kit
> --------------------------
> 
> 2. С помощью ip route add добавить в for_kit следующие маршруты:
> 10.1.0.1 dev tun0  proto kernel  scope link  src 10.1.0.2
> default via 10.1.0.1 dev tun0
> 
> 3. Пометить все пакеты от пользователя kit:
> iptables -t mangle -A OUTPUT -m owner --uid-owner kit -j MARK --set-mark 0x1
> 
> 4. Добавить правило маршрутизации:
> ip rule add fwmark 0x1 lookup for_kit
> 
> 5. Ожидаемый результат: все должно работать.
> 
> Однако все не работает :)
> При снифинге интерфейса tun0 я вижу вот что:
> ---------------------------------------------
> tshark -i tun0
> Capturing on tun0
>   0.000000  192.168.7.7 -> 94.100.176.20 TCP 59027 > smtp [SYN] Seq=0
> Win=5840 Len=0 MSS=1460 TSV=47371023 TSER=0 WS=7
>   2.997266  192.168.7.7 -> 94.100.176.20 TCP 59027 > smtp [SYN] Seq=0
> Win=5840 Len=0 MSS=1460 TSV=47371923 TSER=0 WS=7
> ---------------------------------------------
> Наши пакетики имеют не верный адрес источника. Это конечно же поправимо
> правилом:
> iptables -t nat -I POSTROUTING 1 -m mark --mark 0x1 -j SNAT --to-source
> 10.1.0.2
> 
> После добавления такого правила все начинает рабоатать. Но не понятно
> почему же пакетам назначается не правильный адрес источника?
> 

Re: [gentoo-user-ru] 1 комп, 2 соединения с интернетом

[Anton S. Ustyuzhanin]

Еще одно наблюдение:
если добавить маршрут в табличку main:
94.100.176.20 via 10.1.0.1 dev tun0, то и kit и babaz будут ходить на
94.100.176.20 через tun0, и все прекрасно работает.
А вот когда делаешь те действия что я написал в начальном письме - у
kit'а пропадает инет вообще. А сниффер вот что показывает:
-----------------------------------------
tshark -i tun0
Running as user "root" and group "root". This could be dangerous.
Capturing on tun0
  0.000000     10.1.0.2 -> 94.100.176.20 TCP 48512 > smtp [SYN] Seq=0
Win=5840 Len=0 MSS=1460 TSV=47895326 TSER=0 WS=7
  0.091734 94.100.176.20 -> 10.1.0.2     TCP smtp > 48512 [SYN, ACK]
Seq=0 Ack=1 Win=32768 Len=0 MSS=1410 WS=4 TSV=2733024143 TSER=47895326
  2.999501     10.1.0.2 -> 94.100.176.20 TCP 48512 > smtp [SYN] Seq=0
Win=5840 Len=0 MSS=1460 TSV=47896226 TSER=0 WS=7
  3.090609 94.100.176.20 -> 10.1.0.2     TCP smtp > 48512 [SYN, ACK]
Seq=0 Ack=1 Win=32768 Len=0 MSS=1410 WS=4 TSV=2733024143 TSER=47896226
  6.090273 94.100.176.20 -> 10.1.0.2     TCP smtp > 48512 [SYN, ACK]
Seq=0 Ack=1 Win=32768 Len=0 MSS=1410 WS=4 TSV=2733024143 TSER=47896226
  8.999501     10.1.0.2 -> 94.100.176.20 TCP 48512 > smtp [SYN] Seq=0
Win=5840 Len=0 MSS=1460 TSV=47898026 TSER=0 WS=7
  9.090183 94.100.176.20 -> 10.1.0.2     TCP smtp > 48512 [SYN, ACK]
Seq=0 Ack=1 Win=32768 Len=0 MSS=1410 WS=4 TSV=2733024143 TSER=47898026
 12.089847 94.100.176.20 -> 10.1.0.2     TCP smtp > 48512 [SYN, ACK]
Seq=0 Ack=1 Win=32768 Len=0 MSS=1410 WS=4 TSV=2733024143 TSER=47898026
^C
-------------------------------------------
Постоянные попытки установить соединение, и игнорирование syn_ack.

Anton S. Ustyuzhanin wrote:
> Или я что-то не так делаю?
> 
> Anton S. Ustyuzhanin wrote:
>> Здравствуйте.
>>
>> Помогите понять одну вещь.
>> Дано: 1 комп, у компа есть два интерфейса:
>> eth0: addr:192.168.7.7 - шлюз установлен 192.168.7.1
>> tun0: addr:10.1.0.2  P-t-P:10.1.0.1
>> на компе рабоает 2 пользователя: kit и babaz. сейчас они оба ходят в
>> интернет через 192.168.7.1.
>>
>> Надо: Сделать так чтобы kit ходил в инет через 10.1.0.1, а babaz через
>> 192.168.7.1.
>>
>> Решение (как я сделал):
>> 1. Создать табличку маршрутизации for_kit:
>> /etc/iproute2/rt_table:
>> --------------------------
>> #
>> # reserved values
>> #
>> 255     local
>> 254     main
>> 253     default
>> 0       unspec
>> #
>> # local
>> #
>> 1       for_kit
>> --------------------------
>>
>> 2. С помощью ip route add добавить в for_kit следующие маршруты:
>> 10.1.0.1 dev tun0  proto kernel  scope link  src 10.1.0.2
>> default via 10.1.0.1 dev tun0
>>
>> 3. Пометить все пакеты от пользователя kit:
>> iptables -t mangle -A OUTPUT -m owner --uid-owner kit -j MARK --set-mark 0x1
>>
>> 4. Добавить правило маршрутизации:
>> ip rule add fwmark 0x1 lookup for_kit
>>
>> 5. Ожидаемый результат: все должно работать.
>>
>> Однако все не работает :)
>> При снифинге интерфейса tun0 я вижу вот что:
>> ---------------------------------------------
>> tshark -i tun0
>> Capturing on tun0
>>   0.000000  192.168.7.7 -> 94.100.176.20 TCP 59027 > smtp [SYN] Seq=0
>> Win=5840 Len=0 MSS=1460 TSV=47371023 TSER=0 WS=7
>>   2.997266  192.168.7.7 -> 94.100.176.20 TCP 59027 > smtp [SYN] Seq=0
>> Win=5840 Len=0 MSS=1460 TSV=47371923 TSER=0 WS=7
>> ---------------------------------------------
>> Наши пакетики имеют не верный адрес источника. Это конечно же поправимо
>> правилом:
>> iptables -t nat -I POSTROUTING 1 -m mark --mark 0x1 -j SNAT --to-source
>> 10.1.0.2
>>
>> После добавления такого правила все начинает рабоатать. Но не понятно
>> почему же пакетам назначается не правильный адрес источника?
>>
> 
> 

Re: [gentoo-user-ru] 1 комп, 2 соединения с интернетом

[Anton S. Ustyuzhanin]

Эту проблему помогло решить отключение rp_filter:
echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter

Anton S. Ustyuzhanin wrote:
> Еще одно наблюдение:
> если добавить маршрут в табличку main:
> 94.100.176.20 via 10.1.0.1 dev tun0, то и kit и babaz будут ходить на
> 94.100.176.20 через tun0, и все прекрасно работает.
> А вот когда делаешь те действия что я написал в начальном письме - у
> kit'а пропадает инет вообще. А сниффер вот что показывает:
> -----------------------------------------
> tshark -i tun0
> Running as user "root" and group "root". This could be dangerous.
> Capturing on tun0
>   0.000000     10.1.0.2 -> 94.100.176.20 TCP 48512 > smtp [SYN] Seq=0
> Win=5840 Len=0 MSS=1460 TSV=47895326 TSER=0 WS=7
>   0.091734 94.100.176.20 -> 10.1.0.2     TCP smtp > 48512 [SYN, ACK]
> Seq=0 Ack=1 Win=32768 Len=0 MSS=1410 WS=4 TSV=2733024143 TSER=47895326
>   2.999501     10.1.0.2 -> 94.100.176.20 TCP 48512 > smtp [SYN] Seq=0
> Win=5840 Len=0 MSS=1460 TSV=47896226 TSER=0 WS=7
>   3.090609 94.100.176.20 -> 10.1.0.2     TCP smtp > 48512 [SYN, ACK]
> Seq=0 Ack=1 Win=32768 Len=0 MSS=1410 WS=4 TSV=2733024143 TSER=47896226
>   6.090273 94.100.176.20 -> 10.1.0.2     TCP smtp > 48512 [SYN, ACK]
> Seq=0 Ack=1 Win=32768 Len=0 MSS=1410 WS=4 TSV=2733024143 TSER=47896226
>   8.999501     10.1.0.2 -> 94.100.176.20 TCP 48512 > smtp [SYN] Seq=0
> Win=5840 Len=0 MSS=1460 TSV=47898026 TSER=0 WS=7
>   9.090183 94.100.176.20 -> 10.1.0.2     TCP smtp > 48512 [SYN, ACK]
> Seq=0 Ack=1 Win=32768 Len=0 MSS=1410 WS=4 TSV=2733024143 TSER=47898026
>  12.089847 94.100.176.20 -> 10.1.0.2     TCP smtp > 48512 [SYN, ACK]
> Seq=0 Ack=1 Win=32768 Len=0 MSS=1410 WS=4 TSV=2733024143 TSER=47898026
> ^C
> -------------------------------------------
> Постоянные попытки установить соединение, и игнорирование syn_ack.
> 

Re: [gentoo-user-ru] 1 комп, 2 соединения с интернетом

[Anton S. Ustyuzhanin]

Все равно не правильно работает.
Пакеты не попадают в нужную таблицу маршрутизации. Не могу разобраться
что происходит.
Узнал об этом так:

1. Пометил все пакеты от пользователя user в iptables:
iptables -t mangle -A OUTPUT -m owner --uid-owner user -j MARK
--set-mark 0x1

2. Добавил в табличку маршрутизации 'adsl' default route через одного
провайдера:
ip ro add default via 10.1.0.1 ta adsl

3. Добавил в табличку маршрутизации 'knet' default route через другого
провайдера:
ip ro add default via 192.168.7.1 ta knet

4. Удалил из таблички 'main' default route:
ip ro del default ta main

5. Привел ip ru sh к такому виду:
0:      from all lookup local
10:     from all lookup main
32764:  from all fwmark 0x1 lookup adsl
32765:  from all lookup knet
32766:  from all lookup main
32767:  from all lookup default

Сейчас у всех кроме пользователя user есть интернет. А я хочу чтобы у
всех был интернет через 192.168.7.1, а у user через 10.1.0.1.

Вот что есть в табличках main, adsl и knet:

cafe ~ # ip ro sh ta main
192.168.7.0/24 dev eth0  proto kernel  scope link  src 192.168.7.7
192.168.50.0/24 dev eth1  proto kernel  scope link  src 192.168.50.1
10.1.0.0/24 dev tap0  proto kernel  scope link  src 10.1.0.2
127.0.0.0/8 dev lo  scope link

cafe ~ # ip ro sh ta adsl
default via 10.1.0.1 dev tap0

cafe ~ # ip ro sh ta knet
default via 192.168.7.1 dev eth0



Вот что показывает сниффер на tap0, когда я от имени user выполняю
соединение с каким-нибудь компом из инета
(я делаю user@cafe ~ $ telnet 94.100.176.20 25):

Это когда в arp нет информации о 10.1.0.1
----------------------------------------------------------------
cafe ~ # tshark -i tap0
Running as user "root" and group "root". This could be dangerous.
Capturing on tap0
  0.000000 00:ff:28:82:a1:ac -> Broadcast    ARP Who has 10.1.0.1?  Tell
192.168.7.7
  0.999483 00:ff:28:82:a1:ac -> Broadcast    ARP Who has 10.1.0.1?  Tell
192.168.7.7
  1.999155 00:ff:28:82:a1:ac -> Broadcast    ARP Who has 10.1.0.1?  Tell
192.168.7.7
----------------------------------------------------------------

А это когда есть:
----------------------------------------------------------------
cafe ~ # tshark -i tap0
Running as user "root" and group "root". This could be dangerous.
Capturing on tap0
  0.000000  192.168.7.7 -> 94.100.176.20 TCP 51318 > smtp [SYN] Seq=0
Win=5840 Len=0 MSS=1460 TSV=57466008 TSER=0 WS=7
  3.000071  192.168.7.7 -> 94.100.176.20 TCP 51318 > smtp [SYN] Seq=0
Win=5840 Len=0 MSS=1460 TSV=57466909 TSER=0 WS=7
  4.996708 00:ff:28:82:a1:ac -> 00:ff:79:83:6b:e4 ARP Who has 10.1.0.1?
 Tell 10.1.0.2
  4.997122 00:ff:79:83:6b:e4 -> 00:ff:28:82:a1:ac ARP 10.1.0.1 is at
00:ff:79:83:6b:e4
  9.003380  192.168.7.7 -> 94.100.176.20 TCP 51318 > smtp [SYN] Seq=0
Win=5840 Len=0 MSS=1460 TSV=57468709 TSER=0 WS=7
 21.000047  192.168.7.7 -> 94.100.176.20 TCP 51318 > smtp [SYN] Seq=0
Win=5840 Len=0 MSS=1460 TSV=57472309 TSER=0 WS=7
----------------------------------------------------------------

Как видно, пакеты посланные user'ом попадают в tap0, но адрес источника
почемуто стоит 192.168.7.7. При этом сниффер запущенный на eth0 вот так:
tshark -i eth0 host 94.100.176.20 вообще молчит.

Если из таблички knet удалить default route, то интернет пропадает у
всех, включая user'а.
Что я делаю не так?
Спасибо. Пожалуйста. Ок.

Re: [gentoo-user-ru] 1 комп, 2 соединения с интернетом

[spirit]

Ты же добавлял в nat POSTROUTING SNAT правило по марку...
и говорил что все работает...

Дело видать в том, что адрес источника определяется до того, как пройдет mangle OUTPUT.. поэтому 
адрес источника старый - соответствующий базовому route. после mangle OUTPUT меняется маршрут 
пакета, но не его загововки.. его выплевывает в tap0 со старым source addr...

Кстати для пакетов UDP это начало работать только с 2.6.24 ядра ). до этого они вообще не 
заворачивались.. всмысле в OUTPUT.. в mangle PREROUTING они заворачивались нормально и до 2.6.24.

Re: [gentoo-user-ru] 1 комп, 2 соединения с интернетом

[Anton S. Ustyuzhanin]

spirit пишет:
> Ты же добавлял в nat POSTROUTING SNAT правило по марку...
> и говорил что все работает...
Да, если добавить -t nat -o tap0 -m mark --mark 0x1 -j SNAT --to-source
10.1.0.2, то начинает работать.

> Дело видать в том, что адрес источника определяется до того, как пройдет
> mangle OUTPUT.. поэтому адрес источника старый - соответствующий
> базовому route. после mangle OUTPUT меняется маршрут пакета, но не его
> загововки.. его выплевывает в tap0 со старым source addr...
Пожалуй, да.

Тут еще есть одна засада. Дело в том что мне нужно принудительно
отрубать эти соединения при определенных условиях. Это нужно вот для
чего. Дело в том, что пользователям позволено менять себе
интернет-канал. Каналы отличаются скоростью. На самом деле каналов у
меня 4, а пользователей более 3000. Так вот, когда пользователь меняет
себе канал интернета, нужно отрубить все его текущие соединения с
инетом. Это нужно для того, чтобы предотвратить такую ситуацию:
пользователь переключается на дорогой скоростной канал, ставит закачку,
переключается на дешевый канал и у него трафик билингуется по низкой
цене, а закачка продолжается по дорогому скоростному каналу.

Я немного переписал cutter под свои нужды, чтобы рубить соединения прям
с локального компа. Алгоритм таков:
вызывается утилита local_cutter c аргументами src_ip:src_port
dst_ip:dst_port.
с помощью библиотеки libpcap запускается сбор пакетов с фильтром host
src_ip and port src_port
с помощью библиотеки libnet отправляется пакет FIN с dst_ip:dst_port на
src_ip:src_port, чтобы приложение подумало что это отправил удаленный
сервер.
приложение отвечает пакетом ACK. я его улавливаю pcap'ом и беру из этого
ответа правильный seq номер, чтобы собрать "правильный" RST пакет. и
отправляю на src_ip:src_port этот RST.
Все, приложение думает что сервер закрыл соединение.

Но вот это работает только для тех соединений, у которых сразу стоит
правильный src_ip. Поэтому я убрал правило из iptables nat POSTROUTING,
и начал пробовать добиться нужного эффекта с iproute2.

Между прочим, если в табличку knet добавить
ip ro add 94.100.176.20 via 10.1.0.1 ta knet
то у всех пользователей соединение с 94.100.176.20 устанавливается сразу
с правильным src_ip (10.1.0.2). И мой local_cutter такое соединение
может отрубить. Поэтому я так понимаю что не достаточно ip rule fwmark
0x1 ta adsl, чтобы пакеты от user пошли через tap0.

Re: [gentoo-user-ru] 1 комп, 2 соединения с интернетом

[Alex Efros]

Hi!

On Tue, Dec 02, 2008 at 09:57:06PM +0600, Anton S. Ustyuzhanin wrote:
> интернет-канал. Каналы отличаются скоростью. На самом деле каналов у
> меня 4, а пользователей более 3000. Так вот, когда пользователь меняет
> себе канал интернета, нужно отрубить все его текущие соединения с

Я так понимаю, юзеры подключаются по VPN? А не проще после смены канала
просто передёрнуть VPN этого юзера, чтобы разорвать его текущие соединения?

-- 
			WBR, Alex.

Re: [gentoo-user-ru] 1 комп, 2 соединения с интернетом

[Anton S. Ustyuzhanin]

Alex Efros пишет:
> Hi!
> 
> On Tue, Dec 02, 2008 at 09:57:06PM +0600, Anton S. Ustyuzhanin wrote:
>> интернет-канал. Каналы отличаются скоростью. На самом деле каналов у
>> меня 4, а пользователей более 3000. Так вот, когда пользователь меняет
>> себе канал интернета, нужно отрубить все его текущие соединения с
> 
> Я так понимаю, юзеры подключаются по VPN? А не проще после смены канала
> просто передёрнуть VPN этого юзера, чтобы разорвать его текущие соединения?
> 

Юзеры работают на локальном компе в своих KDE сессиях.
Подключаются со своих X терминалов через XDMCP.
Я решил проблемы, спасибо. Сейчас все работает, пока наблюдаю.