[gentoo-user-de] Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[gentoo-user-de] Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[Johann Schmitz]

Hallo zusammen,

ich plane einen privaten Distfiles-Mirror aufzusetzen. Abgesehen von dem Plattenplatz und
dem Traffic für das initiale Aufsetzen würde mich die Größe des monatlichen Sync-Traffics
bei täglichen syncen interessieren.

Hat hier jemand einen Distfiles-Mirror laufen, und kann mir Erfahrungswerte mitteilen?

lg,
Johann

-- 
Johann Schmitz
http://www.j-schmitz.net


--
gentoo-user-de@lists.gentoo.org mailing list

Re: [gentoo-user-de] Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[Jan Leonhardt]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Johann Schmitz schrieb:
> Hallo zusammen,
> 
> ich plane einen privaten Distfiles-Mirror aufzusetzen. Abgesehen von dem Plattenplatz und
> dem Traffic für das initiale Aufsetzen würde mich die Größe des monatlichen Sync-Traffics
> bei täglichen syncen interessieren.
Meine Glaskugel will mir einfach nicht sagen wie oft Du syncronisieren
willst/Wieviele User syncronisieren wollen/Wieviel bei den Usern zu
syncronisieren ist (Wie alt ist der P-Tree?)...
Hast du vor dem im Internet laufen zu lassen? (Das macht IMHO keinen Sinn!)
> 
> Hat hier jemand einen Distfiles-Mirror laufen, und kann mir Erfahrungswerte mitteilen?
Ja... lohnt sich aber eigentlich nur wenn du das local machst (wo der
Traffic eigentlich keine Rolle spielt.)
> 
> lg,
> Johann
> 


- --
Mit freundlichen Grüßen / With kind regards

Jan Leonhardt
IT Entwickler
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.6 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org

iD8DBQFHnv2SNK8mtpBqE+YRAs/SAJ9E5KyqO4/33kxN1uJn6xjTMVd8mgCfXJ+B
zzdh6uZXEFCVnnhJy3eS8YI=
=eJUZ
-----END PGP SIGNATURE-----
-- 
gentoo-user-de@lists.gentoo.org mailing list

Re: [gentoo-user-de] Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[Jan Leonhardt]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Achso... fast vergessen.

Da solltest du _sämtliche_ Entwickler hinzu ziehen (je nach dem wieviele
Packete hinzukommen/sich ändern schwankt der Traffic zum syncen der
Distfiles)

Einfacher ist es das distfiles-Verzeichniss auf allen clients zu
benutzen... dann holst du auch nur die Pakete die du verwendest... Musst
dich aber darum kümmern das nicht 2 Clients zur gleichen Zeit versuchen
das selbe File zu holen - was aber, da man alle updates an einem Client
testet, nicht vorkommen kann ;-))

- --
Mit freundlichen Grüßen / With kind regards

Jan Leonhardt
IT Entwickler
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.6 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org

iD8DBQFHnv8hNK8mtpBqE+YRAltLAJ0dS1rqWP8w8HllZo9mmBw9eOesyACgrr4w
Z/c3u3QHWyJeZtrByyd8pyI=
=UQaz
-----END PGP SIGNATURE-----
-- 
gentoo-user-de@lists.gentoo.org mailing list

Re: [gentoo-user-de] Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[Bernd Wurst]

[-- Attachment #1: Type: text/plain, Size: 506 bytes --]

Hallo.

Am Dienstag, 29. Januar 2008 schrieb Jan Leonhardt:
> Musst
> dich aber darum kümmern das nicht 2 Clients zur gleichen Zeit versuchen
> das selbe File zu holen

Nein, das kann portage mittlerweile.

Es wird innerhalb von /usr/portage/distfiles ein passendes LOCK-file erzeugt 
und der zweite portage-Prozess wartet dann bis der erste fertig mit 
runterladen ist.

Gruß, Bernd

-- 
Die kürzeste Verbindung zwischen zwei Punkten ist...
    ...gewöhnlich wegen Bauarbeiten gesperrt.

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 827 bytes --]

Re: [gentoo-user-de] Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[Johann Schmitz]

> Meine Glaskugel will mir einfach nicht sagen wie oft Du syncronisieren
> willst/Wieviele User syncronisieren wollen/Wieviel bei den Usern zu
> syncronisieren ist (Wie alt ist der P-Tree?)...

Ich dachte das hätte ich klar ausgedrückt. Es geht (vorerst) um einen reinen
distfiles-Mirror. Laut den Gentoo-Docs beläuft sich das auf ca. 50 GB. Meine Frage zielt
auf den Traffic ab, der durch tägliches syncen der Sources entstehen.

Die Menge der der User/Rechner wird in einem überschaubaren Rahmen bleiben. Momentan sind
etwa 20 geplant.

> Hast du vor dem im Internet laufen zu lassen? (Das macht IMHO keinen Sinn!)

Warum denn nicht?

> Ja... lohnt sich aber eigentlich nur wenn du das local machst (wo der
> Traffic eigentlich keine Rolle spielt.)

Wie gesagt: Meine Frage zielt nur auf den Sync-Traffic ab. Nicht was die Clients nachher
produzieren.

-- 
Johann Schmitz
http://www.j-schmitz.net


--
gentoo-user-de@lists.gentoo.org mailing list

Re: [gentoo-user-de] Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[Jan Leonhardt]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Johann Schmitz schrieb:
> Ich dachte das hätte ich klar ausgedrückt. Es geht (vorerst) um einen reinen
> distfiles-Mirror. Laut den Gentoo-Docs beläuft sich das auf ca. 50 GB. Meine Frage zielt
> auf den Traffic ab, der durch tägliches syncen der Sources entstehen.
Was wiederum von der Menge neuer Pakete abhängt. Deswegen gibt es da
schlicht keinen Durchschnitt.

>> Hast du vor dem im Internet laufen zu lassen? (Das macht IMHO keinen Sinn!)
> 
> Warum denn nicht?
Welchen Vorteil willst Du damit erzielen?
Offizielle gentoo-mirror sind aktueller.
Lokale gentoo-mirror sind schnell. (weil LAN...)

Wenn du nur 1 mal täglich syncst brauchst du einen Portage mit dem
selben Stand, sonst fehlen dir womöglich neuere Distfiles und dein
update bricht dadurch ab.

> 
>> Ja... lohnt sich aber eigentlich nur wenn du das local machst (wo der
>> Traffic eigentlich keine Rolle spielt.)
> 
> Wie gesagt: Meine Frage zielt nur auf den Sync-Traffic ab. Nicht was die Clients nachher
> produzieren.
> 


- --
Mit freundlichen Grüßen / With kind regards

Jan Leonhardt
IT Entwickler
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.6 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org

iD8DBQFHnxwWNK8mtpBqE+YRAjUnAJsGg3A+nwBXtIrq4WwfHDGQRhv1ZgCfX9N5
QK13A9Eh3EY0nl5+cIOS3cM=
=goa6
-----END PGP SIGNATURE-----
-- 
gentoo-user-de@lists.gentoo.org mailing list

[gentoo-user-de] Re: Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[Christian Faulhammer]

[-- Attachment #1: Type: text/plain, Size: 545 bytes --]

Hi,

Jan Leonhardt <jan@cyberdesigner.net>:
> Wenn du nur 1 mal täglich syncst brauchst du einen Portage mit dem
> selben Stand, sonst fehlen dir womöglich neuere Distfiles und dein
> update bricht dadurch ab.

 Vielleicht solltest du mittels NFS von einem Server das
distfiles-Verzeichnis exportieren, das alle Clients dann bei sich
als /usr/portage/distfiles einbinden.

V-Li

-- 
Christian Faulhammer, Gentoo Lisp project
<URL:http://www.gentoo.org/proj/en/lisp/>, #gentoo-lisp on FreeNode

<URL:http://www.faulhammer.org/>

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [gentoo-user-de] Re: Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[Jan Leonhardt]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Christian Faulhammer schrieb:
> Hi,
> 
> Jan Leonhardt <jan@cyberdesigner.net>:
>> Wenn du nur 1 mal täglich syncst brauchst du einen Portage mit dem
>> selben Stand, sonst fehlen dir womöglich neuere Distfiles und dein
>> update bricht dadurch ab.
> 
>  Vielleicht solltest du mittels NFS von einem Server das
> distfiles-Verzeichnis exportieren, das alle Clients dann bei sich
> als /usr/portage/distfiles einbinden.
> 
> V-Li
> 
? Sicher das Johann Schmitz "NFS over WAN" benutzen sollte?
(Den Vorschlag habe ich Ihm auch schon gemacht. Aber er will das Ding ja
unbedingt im WAN sichtbar haben.)

- --
Mit freundlichen Grüßen / With kind regards

Jan Leonhardt
IT Entwickler
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.6 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org

iD8DBQFHnycENK8mtpBqE+YRAuDaAKCigNNVnbBZNGDV/0OhNf6VmqbvXgCgnre7
d4Jd2HTTB642wD1PxGUEO6E=
=07Kp
-----END PGP SIGNATURE-----
-- 
gentoo-user-de@lists.gentoo.org mailing list

Re: [gentoo-user-de] Re: Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[Johann Schmitz]

Hallo nochmal,


Jan Leonhardt schrieb:
> ? Sicher das Johann Schmitz "NFS over WAN" benutzen sollte?
> (Den Vorschlag habe ich Ihm auch schon gemacht. Aber er will das Ding ja
> unbedingt im WAN sichtbar haben.)

Es geht mir schon um einen kompletten distfiles-Mirror, und nicht nur um die gerade (oder
irgendwann mal) gebrauchten Distfiles die per NFS, o.ä. geshared werden.
Außerdem habe ich nicht gesagt, das ich den im Internet verwenden möchte. Ich habe
lediglich Jan gefragt, warum man das nicht tun sollte.

Konkret geht es um einen internen Distfiles-Mirror, und um die Frage wie hoch ungefähr der
Traffic (und damit die Dauer), der Sync's über einen Monat gesehen sind.
Und die von Jan angesprochene Problematik der Differenz des Portage-Trees und der
vorhandenen Distfiles kann man imho umschiffen, in dem man den Portage-Tree und die
Distfiles gleichzeitig synct.


Bevor ich jedoch, 50 GB an Distfiles ziehe und hinterher feststelle das das Syncen der
Distfiles pro Nacht den verfügbaren Rahmen sprengt, wollte ich nachfragen ob jemand
Erfahrungswerte (mir ist ja durchaus bewusst, das der Umfang der Sync stark fluktuiert)
dazu hat. Dem ist aber anscheinend nicht so.



-- 
Johann Schmitz
http://www.j-schmitz.net


--
gentoo-user-de@lists.gentoo.org mailing list

Re: [gentoo-user-de] Re: Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[justin]

On Tue, 29 Jan 2008 14:32:29 +0100, Johann Schmitz <johann@j-schmitz.net>
wrote:
> Hallo nochmal,
> 
> 
> Jan Leonhardt schrieb:
>> ? Sicher das Johann Schmitz "NFS over WAN" benutzen sollte?
>> (Den Vorschlag habe ich Ihm auch schon gemacht. Aber er will das Ding ja
>> unbedingt im WAN sichtbar haben.)
> 
> Es geht mir schon um einen kompletten distfiles-Mirror, und nicht nur um
> die gerade (oder
> irgendwann mal) gebrauchten Distfiles die per NFS, o.ä. geshared werden.
> Außerdem habe ich nicht gesagt, das ich den im Internet verwenden
> möchte. Ich habe
> lediglich Jan gefragt, warum man das nicht tun sollte.
> 
> Konkret geht es um einen internen Distfiles-Mirror, und um die Frage wie
> hoch ungefähr der
> Traffic (und damit die Dauer), der Sync's über einen Monat gesehen sind.
> Und die von Jan angesprochene Problematik der Differenz des Portage-Trees
> und der
> vorhandenen Distfiles kann man imho umschiffen, in dem man den
> Portage-Tree und die
> Distfiles gleichzeitig synct.
> 
> 
> Bevor ich jedoch, 50 GB an Distfiles ziehe und hinterher feststelle das
> das Syncen der
> Distfiles pro Nacht den verfügbaren Rahmen sprengt, wollte ich
nachfragen
> ob jemand
> Erfahrungswerte (mir ist ja durchaus bewusst, das der Umfang der Sync
> stark fluktuiert)
> dazu hat. Dem ist aber anscheinend nicht so.
> 
> 
> 
>

Ich würde gentoo-user@lists.gentoo.org empfehlen. Da ist die Qualität der
Antworten meistens besser! 

-- 
gentoo-user-de@lists.gentoo.org mailing list

Re: [gentoo-user-de] Re: Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[Marc Riegel]

justin@j-schmitz.net schrieb:
>
> On Tue, 29 Jan 2008 14:32:29 +0100, Johann Schmitz <johann@j-schmitz.net>
> wrote:
>   
>> Hallo nochmal,
>>
>>
>> Jan Leonhardt schrieb:
>>     
>>> ? Sicher das Johann Schmitz "NFS over WAN" benutzen sollte?
>>> (Den Vorschlag habe ich Ihm auch schon gemacht. Aber er will das Ding ja
>>> unbedingt im WAN sichtbar haben.)
>>>       
>> Es geht mir schon um einen kompletten distfiles-Mirror, und nicht nur um
>> die gerade (oder
>> irgendwann mal) gebrauchten Distfiles die per NFS, o.ä. geshared werden.
>> Außerdem habe ich nicht gesagt, das ich den im Internet verwenden
>> möchte. Ich habe
>> lediglich Jan gefragt, warum man das nicht tun sollte.
>>
>> Konkret geht es um einen internen Distfiles-Mirror, und um die Frage wie
>> hoch ungefähr der
>> Traffic (und damit die Dauer), der Sync's über einen Monat gesehen sind.
>> Und die von Jan angesprochene Problematik der Differenz des Portage-Trees
>> und der
>> vorhandenen Distfiles kann man imho umschiffen, in dem man den
>> Portage-Tree und die
>> Distfiles gleichzeitig synct.
>>
>>
>> Bevor ich jedoch, 50 GB an Distfiles ziehe und hinterher feststelle das
>> das Syncen der
>> Distfiles pro Nacht den verfügbaren Rahmen sprengt, wollte ich
>>     
> nachfragen
>   
>> ob jemand
>> Erfahrungswerte (mir ist ja durchaus bewusst, das der Umfang der Sync
>> stark fluktuiert)
>> dazu hat. Dem ist aber anscheinend nicht so.
>>
>>
>>
>>
>>     
>
> Ich würde gentoo-user@lists.gentoo.org empfehlen. Da ist die Qualität der
> Antworten meistens besser! 
>
>   
Aber nicht so lustig ;-)
-- 
gentoo-user-de@lists.gentoo.org mailing list

Re: [gentoo-user-de] Re: Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[Tobias Scherbaum]

[-- Attachment #1: Type: text/plain, Size: 1296 bytes --]

Salve,

Am Dienstag, den 29.01.2008, 14:32 +0100 schrieb Johann Schmitz:
> Bevor ich jedoch, 50 GB an Distfiles ziehe und hinterher feststelle das das Syncen der
> Distfiles pro Nacht den verfügbaren Rahmen sprengt, wollte ich nachfragen ob jemand
> Erfahrungswerte (mir ist ja durchaus bewusst, das der Umfang der Sync stark fluktuiert)
> dazu hat. Dem ist aber anscheinend nicht so.

Genaue Statistiken/Zahlen hab ich keine mehr, ich hatte das eine Weile
daheim hinter einem 6000er DSL-Anschluss laufen - jedenfalls war ein
syncen "des Nächtens" nie ein (zeitliches) Problem. Der Traffic bewegte
sich iirc zwischen wenigen MB und ein paar MB mehr, mit den schon
angesprochenen Ausnahmen wenn neue KDE, GNOME oder OpenOffice
Veröffentlichungen anstanden. Selbst dort bewegt sich der Aufwand in MB
deutlich unterhalb der 500MB, was folglich bei entsprechend vorhandener
Bandbreite (das scheint bei dir der Fall zu sein) absolut kein Problem
darstellen sollte.

Davon bin ich jedoch ab und habe zeitweilig den "http-replicator"
genutzt - jedoch mit der Einschränkung, dass Sourcen teilweise
"on-demand" geladen werden müssen und entsprechend nicht direkt im LAN
zur Verfügung stehen.

hth,
  Tobias
-- 
Gentoo Linux - Die Metadistribution
http://www.mitp.de/1769

[-- Attachment #2: Dies ist ein digital signierter Nachrichtenteil --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [gentoo-user-de] Re: Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[David Voge]

Am Dienstag, den 29.01.2008, 18:09 +0100 schrieb Tobias Scherbaum:
> Salve,
> 
> Am Dienstag, den 29.01.2008, 14:32 +0100 schrieb Johann Schmitz:
> > Bevor ich jedoch, 50 GB an Distfiles ziehe und hinterher feststelle das das Syncen der
> > Distfiles pro Nacht den verfügbaren Rahmen sprengt, wollte ich nachfragen ob jemand
> > Erfahrungswerte (mir ist ja durchaus bewusst, das der Umfang der Sync stark fluktuiert)
> > dazu hat. Dem ist aber anscheinend nicht so.
> 
> Genaue Statistiken/Zahlen hab ich keine mehr, ich hatte das eine Weile
> daheim hinter einem 6000er DSL-Anschluss laufen - jedenfalls war ein
> syncen "des Nächtens" nie ein (zeitliches) Problem. Der Traffic bewegte
> sich iirc zwischen wenigen MB und ein paar MB mehr, mit den schon
> angesprochenen Ausnahmen wenn neue KDE, GNOME oder OpenOffice
> Veröffentlichungen anstanden. Selbst dort bewegt sich der Aufwand in MB
> deutlich unterhalb der 500MB, was folglich bei entsprechend vorhandener
> Bandbreite (das scheint bei dir der Fall zu sein) absolut kein Problem
> darstellen sollte.
> 
> Davon bin ich jedoch ab und habe zeitweilig den "http-replicator"
> genutzt - jedoch mit der Einschränkung, dass Sourcen teilweise
> "on-demand" geladen werden müssen und entsprechend nicht direkt im LAN
> zur Verfügung stehen.
> 
> hth,
>   Tobias

Über einen Mirror habe ich auch schonmal nachgedacht wieviel Traffic das
wohl ist. Aber habe einen kompletten Mirror noch nicht benötigt mit 3
Gentoo Systemen.

Was ich aber benutze ist rsyncd um den Portage Tree von meinem
Heimserver auf den anderen Systemen zu nutzen.

MfG David

-- 
gentoo-user-de@lists.gentoo.org mailing list

Re: [gentoo-user-de] Re: Monatlicher Sync-Traffic bei privatem Distfiles-Mirror

[Johann Schmitz]

Tobias Scherbaum schrieb:
> Der Traffic bewegte
> sich iirc zwischen wenigen MB und ein paar MB mehr, mit den schon
> angesprochenen Ausnahmen wenn neue KDE, GNOME oder OpenOffice
> Veröffentlichungen anstanden. Selbst dort bewegt sich der Aufwand in MB
> deutlich unterhalb der 500MB, was folglich bei entsprechend vorhandener
> Bandbreite (das scheint bei dir der Fall zu sein) absolut kein Problem
> darstellen sollte.

Genau so etwas wollte ich hören. Danke!


vg,
Johann


-- 
Johann Schmitz
http://www.j-schmitz.net


--
gentoo-user-de@lists.gentoo.org mailing list