[gentoo-user-de] Dimensionierung eines Servers

[gentoo-user-de] Dimensionierung eines Servers

[Stefan Nowy]

[-- Attachment #1: Type: text/plain, Size: 1295 bytes --]

Hallo!

Ich betreibe derzeit zwei Server, der eine ist hauptsächlich Router, 
File-, Fax-, usw.-Server, der andere ist ein VDR (c't). Aus 
Stromspargründen würde ich die beiden gerne in einen einzigen Server 
umwandeln. Beide sind Rechner älteren Baujahres (PIII und Athlon der 
sub-GHz Klasse), die ihre jeweiligen Aufgaben recht gut bewältigen 
können (subjektiver Eindruck, es funktioniert alles ohne größere 
Wartezeiten).

Nun stellt sich ganz allgemein die Frage, wie man am besten herausfinden 
kann, wie stark ausgelastet so ein Server ist. Es gibt da sicherlich 
mehrere Möglichkeiten:
1. Load Average: soweit ich das verstehe, ist die Zahl für jedes System 
individuell, ich kann also nur sehen, ob das System gerade recht 
ausgelastet ist oder nicht. Oder?
2. aus /proc/stat die ersten vier Zahlen aus der CPU Zeile addieren, die 
vierte Zahl durch die Summe ergibt dann die Idle-Zeit seit Systemstart[1]

Was mir evtl. aber hilfreich wäre, wäre die momentane CPU-Auslastung 
(ähnlich wie die Anzeige mit top). Gibt es da ein kleines Programm für 
diesen Zweck?

Oder wie beurteilt ihr, ob ein Server ein Upgrade auf neuere Hardware 
benötigt, da er zu ausgelastet ist?

Danke schon mal und viele Grüße
Stefan


[1]: http://de.wikipedia.org/wiki/Load


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 260 bytes --]

Re: [gentoo-user-de] Dimensionierung eines Servers

[Johann Schmitz]

Stefan Nowy wrote:
> Oder wie beurteilt ihr, ob ein Server ein Upgrade auf neuere Hardware 
> benötigt, da er zu ausgelastet ist?

Vielleicht wäre es eine Möglichkeit ein Monitoringsystem (z.B. Nagios, Munin,...) aufzusetzen und das einige 
Zeit laufen zu lassen. Die erzeugten Graphen sagen dir schon recht zuverlässig wie sehr ein Rechner 
ausgelastet ist.


-- 
Johann Schmitz
http://www.j-schmitz.net

Re: [gentoo-user-de] Dimensionierung eines Servers

[Florian Philipp]

[-- Attachment #1: Type: text/plain, Size: 1844 bytes --]

Stefan Nowy schrieb:
> Hallo!
> 
> Ich betreibe derzeit zwei Server, der eine ist hauptsächlich Router, 
> File-, Fax-, usw.-Server, der andere ist ein VDR (c't). Aus 
> Stromspargründen würde ich die beiden gerne in einen einzigen Server 
> umwandeln. Beide sind Rechner älteren Baujahres (PIII und Athlon der 
> sub-GHz Klasse), die ihre jeweiligen Aufgaben recht gut bewältigen 
> können (subjektiver Eindruck, es funktioniert alles ohne größere 
> Wartezeiten).
> 
> Nun stellt sich ganz allgemein die Frage, wie man am besten herausfinden 
> kann, wie stark ausgelastet so ein Server ist.
> 

Meine erste Anlaufstelle wäre das Load Average. Ist das geringer als die 
CPU-Zahl, hat das System in jedem Fall freie Rechenkapazitäten.

Ist das nicht der Fall, ist die Sachlage schwieriger:
Eventuell belasten nicht-zeitkritische Anwendungen und 
Hintergrundprozesse das System, welche dank Scheduler aber nicht die 
Latenz allzu stark erhöhen. Auch kann ein System trotz hoher Last seine 
Aufgaben meistern: Wenn die Load Average konstant bleibt, ist das System 
nur belastet, nicht überlastet. Schlimmer wäre es, wenn die Load ins 
unendliche steigt, bis die ersten Prozesse abgeschossen werden.

Letztlich würde ich sagen - auch weil es Dienste gibt, die ab einer 
bestimmten Queue-Länge weitere Anfragen ablehnen (bestes Beispiel: die 
meisten rsync-Server für den Portage-Tree werden auf 25 (oder so) 
gleichzeitige Verbindungen begrenzt) - zeigt letztlich nur ein 
Praxistest, ob die Last die Latenz soweit steigert, dass Anfragen in ein 
Timeout hinein laufen oder abgelehnt werden.

P.S: Die Verwendungszwecke der Server, die du oben auflistest, sehen für 
mich nicht wie die klassischen CPU-limitierten Dienste aus. Ich würde 
eher tippen, dass Disk- und Netzwerk-IO das begrenzende Element sind.


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 260 bytes --]

Re: [gentoo-user-de] Dimensionierung eines Servers

[Arnold Krille]

Am 2. August 2008 23:05 schrieb Florian Philipp <lists@f_philipp.fastmail.net>:
> Ist das nicht der Fall, ist die Sachlage schwieriger:
> Eventuell belasten nicht-zeitkritische Anwendungen und Hintergrundprozesse
> das System, welche dank Scheduler aber nicht die Latenz allzu stark erhöhen.
> Auch kann ein System trotz hoher Last seine Aufgaben meistern: Wenn die Load
> Average konstant bleibt, ist das System nur belastet, nicht überlastet.
> Schlimmer wäre es, wenn die Load ins unendliche steigt, bis die ersten
> Prozesse abgeschossen werden.

Also das Prozesse abgeschossen werden erlebe ich nur, wenn
Arbeitsspeicher und Swap voll sind und der nächste Prozess, der
Speicher allociert, abgeschossen wird. Bei mir war das dann meistens
der X, obwohl der gar nicht den ganzen Platz belegt hat. Das Problem
an heutigen Rechnern ist, das bei 1GB RAM und 2GB swap das System eine
halbe Stunde mit swappen beschäftigt ist, bevor es wirklich Prozesse
beendet.

Arnold
-- 
visit http://www.arnoldarts.de/

Re: [gentoo-user-de] Dimensionierung eines Servers

[Florian Philipp]

[-- Attachment #1: Type: text/plain, Size: 1485 bytes --]

Arnold Krille schrieb:
> Am 2. August 2008 23:05 schrieb Florian Philipp <lists@f_philipp.fastmail.net>:
>> Ist das nicht der Fall, ist die Sachlage schwieriger:
>> Eventuell belasten nicht-zeitkritische Anwendungen und Hintergrundprozesse
>> das System, welche dank Scheduler aber nicht die Latenz allzu stark erhöhen.
>> Auch kann ein System trotz hoher Last seine Aufgaben meistern: Wenn die Load
>> Average konstant bleibt, ist das System nur belastet, nicht überlastet.
>> Schlimmer wäre es, wenn die Load ins unendliche steigt, bis die ersten
>> Prozesse abgeschossen werden.
> 
> Also das Prozesse abgeschossen werden erlebe ich nur, wenn
> Arbeitsspeicher und Swap voll sind und der nächste Prozess, der
> Speicher allociert, abgeschossen wird. Bei mir war das dann meistens
> der X, obwohl der gar nicht den ganzen Platz belegt hat. Das Problem
> an heutigen Rechnern ist, das bei 1GB RAM und 2GB swap das System eine
> halbe Stunde mit swappen beschäftigt ist, bevor es wirklich Prozesse
> beendet.
> 
> Arnold

Bei mir ist immer zuerst der Firefox abgeraucht. Wahrscheinlich ist es 
immer der Prozess, der als erster vergebens versucht, Speicher zu 
allokieren.

Was man bei der Load natürlich auch noch beachten sollte: Dienste, die 
Single-Threaded und ohne Forks arbeiten, sieht man ihre Last nicht an, 
da für das System in dem Fall nur sichtbar ist, dass ein einziger 
Prozess CPU-Zeit anfordert, aber wie viele Dienste arbeiten schon so?


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 260 bytes --]

Re: [gentoo-user-de] Dimensionierung eines Servers

[Roland Damm]

Moin,

On Sunday 03 August 2008 11:42:21 Florian Philipp wrote:

> Was man bei der Load natürlich auch noch beachten sollte: Dienste, die
> Single-Threaded und ohne Forks arbeiten, sieht man ihre Last nicht an,
> da für das System in dem Fall nur sichtbar ist, dass ein einziger
> Prozess CPU-Zeit anfordert, aber wie viele Dienste arbeiten schon so?

IMO wird beim Load auch der Nichts-tu-Prozess (hat auch irgendeinen richtigen 
Namen) mitgezählt. Also ein Prozess mit nur einem tread der volle CPU-Last 
erzeugt, erzeugt einen Load von 1, weil der Nichts-tu-Prozess ständig in der 
Warteschlange steht. Allerdings ist so bei noch höherer Last keine Anzeige 
eines Load>1 möglich.

CU Rollo

Re: [gentoo-user-de] Dimensionierung eines Servers

[Arnold Krille]

Am 3. August 2008 23:10 schrieb Roland Damm <roland-damm@arcor.de>:
> On Sunday 03 August 2008 11:42:21 Florian Philipp wrote:
> IMO wird beim Load auch der Nichts-tu-Prozess (hat auch irgendeinen richtigen
> Namen) mitgezählt. Also ein Prozess mit nur einem tread der volle CPU-Last
> erzeugt, erzeugt einen Load von 1, weil der Nichts-tu-Prozess ständig in der
> Warteschlange steht. Allerdings ist so bei noch höherer Last keine Anzeige
> eines Load>1 möglich.

Der Prozess heißt/hieß "idle" (hab den schon lange nicht mehr
gesehen). Aber der erzeugt unter Linux keine Last, das würde ich sonst
sehen. Und dann würde auch "w" keine solche Zeile ausspucke:
09:11:34 up 58 min,  1 user,  load average: 0.75, 0.46, 0.31
Zeigt nämlich sehr deutlich eine Last unter 1 ;-)

Achja, zum schnellen Überwachen von Maschinen kann ksysguard auch
Verbindung zu fremden Maschinen herstellen. Macht dann schöne Grafiken
auf dem Desktop. Aber wenns professioneller und mit mehr Historie sein
soll: nagios...

Arnold
-- 
visit http://www.arnoldarts.de/

Re: [gentoo-user-de] Dimensionierung eines Servers

[Dirk Heinrichs]

[-- Attachment #1: Type: text/plain, Size: 623 bytes --]

Am Montag, 4. August 2008 schrieb ext Arnold Krille:

> Achja, zum schnellen Überwachen von Maschinen kann ksysguard auch
> Verbindung zu fremden Maschinen herstellen.

Erzeugt aber dann nach meiner Erfahrung eine nicht unerhebliche Last auf der 
fremden Maschine.

Bye...

	Dirk
-- 
Dirk Heinrichs          | Tel:  +49 (0)162 234 3408
Configuration Manager   | Fax:  +49 (0)211 47068 111
Capgemini Deutschland   | Mail: dirk.heinrichs@capgemini.com
Wanheimerstraße 68      | Web:  http://www.capgemini.com
D-40468 Düsseldorf      | ICQ#: 110037733
GPG Public Key C2E467BB | Keyserver: wwwkeys.pgp.net

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [gentoo-user-de] Dimensionierung eines Servers

[Arnold Krille]

Am 4. August 2008 09:20 schrieb Dirk Heinrichs <dirk.heinrichs.ext@nsn.com>:
> Am Montag, 4. August 2008 schrieb ext Arnold Krille:
>> Achja, zum schnellen Überwachen von Maschinen kann ksysguard auch
>> Verbindung zu fremden Maschinen herstellen.
> Erzeugt aber dann nach meiner Erfahrung eine nicht unerhebliche Last auf der
> fremden Maschine.

Nicht wirklich. Mein "Server" auf Arbeit (der gleichzeitig Workstation
ist, 2x2.8GHz) hat konstant eine load von mindestens 0.1. Der
webserver (1x2GHz) den ich per ksysguard auch überwache liegt ständig
bei 0...
Aber auf dem entfernten "Webserver" ist auch ne grafische Oberfläche
mit ksysguard installiert. Es müssen also keine speziellen skripte
ausgeführt werden um die Überwachung zu machen. Und das
Anzeigeintervall meiner Arbeitsblätter ist 120 Sekunden statt dem
default von 2s. Das reduziert dann die ksysguard-last ein wenig und
bietet mehr Übersicht.

Arnold
-- 
visit http://www.arnoldarts.de/

Re: [gentoo-user-de] Dimensionierung eines Servers

[Dirk Heinrichs]

[-- Attachment #1: Type: text/plain, Size: 586 bytes --]

Am Montag, 4. August 2008 schrieb ext Arnold Krille:

> Und das
> Anzeigeintervall meiner Arbeitsblätter ist 120 Sekunden statt dem
> default von 2s.

Das könnte bei mir natürlich der Grund für die hohe Last gewesen sein :-)

Bye...

	Dirk
-- 
Dirk Heinrichs          | Tel:  +49 (0)162 234 3408
Configuration Manager   | Fax:  +49 (0)211 47068 111
Capgemini Deutschland   | Mail: dirk.heinrichs@capgemini.com
Wanheimerstraße 68      | Web:  http://www.capgemini.com
D-40468 Düsseldorf      | ICQ#: 110037733
GPG Public Key C2E467BB | Keyserver: wwwkeys.pgp.net

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [gentoo-user-de] Dimensionierung eines Servers

[Roland Damm]

Moin,

On Monday 04 August 2008 09:12:15 Arnold Krille wrote:

> Der Prozess heißt/hieß "idle" (hab den schon lange nicht mehr
> gesehen). Aber der erzeugt unter Linux keine Last, das würde ich sonst
> sehen. Und dann würde auch "w" keine solche Zeile ausspucke:
> 09:11:34 up 58 min,  1 user,  load average: 0.75, 0.46, 0.31
> Zeigt nämlich sehr deutlich eine Last unter 1 ;-)

Exakt. Was wäre, wenn idle nicht mitgezählt werden würde? Der Load wäre rund 
epsilon. Load ist die Anzahl der Prozesse, die gerade gerne ausgeführt werden 
würden, aber nicht können, weil die CPU anderes zu tun hat oder sowas. 

Angenommen der Rechner hat nichts zu tun, außer villeicht die Uhr 
weiterzuzählen und den Mauszeiger zu bewegen und so einen Kleinkram. Dann ist 
der Loas ~0. Jetzt startest du ein Programm, welches z.B. so aussieht:int 
main()
{ 
 int i=0,j=0;
 while (1) j += i++;
 return i; 
}

Oder sowas, halt ein Programm, was beliebige Rechenzeit verbraten kann, dabei 
aber der Einfachheit halber keinen Speicher und keine Festplatte und so 
braucht. Dann wird der Load auf 1 hochgehen. Nur wieso? Load=1 heißt ja, dass 
im Schnitt ein Prozess nicht ausgeführt werden kann, weil die CPU anderes 
wichtigeres zu tun hat. Welcher Prozess ist das, der da wartet - eben der 
idle-Prozess. 

CU Rollo

Re: [gentoo-user-de] Dimensionierung eines Servers

[Arnold Krille]

Am 4. August 2008 23:01 schrieb Roland Damm <roland-damm@arcor.de>:
> On Monday 04 August 2008 09:12:15 Arnold Krille wrote:
>> Der Prozess heißt/hieß "idle" (hab den schon lange nicht mehr
>> gesehen). Aber der erzeugt unter Linux keine Last, das würde ich sonst
>> sehen. Und dann würde auch "w" keine solche Zeile ausspucke:
>> 09:11:34 up 58 min,  1 user,  load average: 0.75, 0.46, 0.31
>> Zeigt nämlich sehr deutlich eine Last unter 1 ;-)
> Exakt. Was wäre, wenn idle nicht mitgezählt werden würde? Der Load wäre rund
> epsilon. Load ist die Anzahl der Prozesse, die gerade gerne ausgeführt werden
> würden, aber nicht können, weil die CPU anderes zu tun hat oder sowas.

Naja, wenn idle mitgezählt wird/würde, hatten wir _immer_ eine Last >
1, weil ja mindestens der idle laufen will, während Dein Browser
gerade ne Anfrage raussendet. Und ich hab auf meinem Laptop nur recht
selten (wenn wissenschaftliche Berechnungen mit mehreren Threads
laufen) ne Last größer eins.
Und den idle-task/-thread-/prozess hab ich unter Linux wirklich schon
_sehr_ lange nicht mehr gesehen. (Bei Windoof heißt der
Leerlaufprozess und sitzt ganz normal im Taskmanager.)

Afaik ist die load eher die Anzahl der Prozesse pro CPU pro Zeiteinheit.

Aber die Load ist irgendwie nirgendwo richtig definiert bzw.
dokumentiert. Da wird also ständig drüber philosophiert...

Und wirklich überfordert ist Dein System, wenn der swap genutzt werden
muss. Aber das merkt man bei Desktopsystemen dann auch bald bei der
Reaktion der Grafik.

Arnold
-- 
visit http://www.arnoldarts.de/

[gentoo-user-de] Re: Dimensionierung eines Servers

[Anno v. Heimburg]

Arnold Krille wrote:

> Aber auf dem entfernten "Webserver" ist auch ne grafische Oberfläche
> mit ksysguard installiert

Im Prinzip ist auf dem entfernten Rechner für ksysguard keine grafische
Benutzeroberfläche notwendig. ksysguard ist in zwei Porgramme aufgeteilt,
ksysguard für die Anzeige und ksysguardd für die eigentliche Erfassung der
Daten. Im Desktop-Betrieb wird ksysguardd gleichzeitig mit ksysguard
gestartet und gestoppt.

Allerdings kommt ksysguardd im Prinzip ohne den ganzen KDE-kladderadatsch
aus. Unter SuSE war es so, dass ksysguardd in einem eigenen Paket war, das
man auch ohne KDE installieren konnte, und es gab ein init-Skript zum
Starten des daemons. Das kann man dann auf dem Server starten, ohne sich X
und KDE antun zu müssen, und kann sich dann bequem vom Arbeitsplatz via
ksysguard den entfernten Rechner anschauen. Ein ksysguardd, an dem gerade
kein ksysguard hängt, tut übrigens so gut wie nichts.

Habe auf die schnelle aber kein KDE-freies ksysguardd ebuild gefunden.

Re: [gentoo-user-de] Dimensionierung eines Servers

[Roland Damm]

Moin,

On Monday 04 August 2008 23:18:29 Arnold Krille wrote:

> > Exakt. Was wäre, wenn idle nicht mitgezählt werden würde? Der Load wäre
> > rund epsilon. Load ist die Anzahl der Prozesse, die gerade gerne
> > ausgeführt werden würden, aber nicht können, weil die CPU anderes zu tun
> > hat oder sowas.
>
> Naja, wenn idle mitgezählt wird/würde, hatten wir _immer_ eine Last >
> 1, weil ja mindestens der idle laufen will, während Dein Browser
> gerade ne Anfrage raussendet.

Was tut der Prozessor, wenn noch nicht mal idle laufen will? Strom 
ausschalten? Ich weiß nicht inwieweit moderne Prozessoren idel-Befehle haben. 
Aber dennoch ist das in irgendeiner Weise ein Prozess. Natürlich auf 
allerunterster Prioritätsstufe. 

Wie gesagt, beim Load werden nicht die ausgeführten Prozesse gezählt, denn das 
wäre langweilig: Es wäre immer nur einer pro Prozessor. Es wird gezählt, wie 
viele Prozesse jetzt sofort was zu tun hätten (ausgeführt werden könnten, 
wenn recourcen frei wären) aber nicht können, weil der Rechner was anderes 
tun hat. 

> Und den idle-task/-thread-/prozess hab ich unter Linux wirklich schon
> _sehr_ lange nicht mehr gesehen. (Bei Windoof heißt der
> Leerlaufprozess und sitzt ganz normal im Taskmanager.)

Wird nicht angezeigt. 

> Afaik ist die load eher die Anzahl der Prozesse pro CPU pro Zeiteinheit.

Diese Anzahl wäre, wie gesagt, immer 1. Wenn der idle-Prozess hardwaremäßig 
implementiert wäre, dann wäre auch ein Wert unter 1 denkbar, aber über 1 nie: 
Der Prozessor kann ja nicht mehr als einen Prozess zu einer Zeit ausführen. 

> Aber die Load ist irgendwie nirgendwo richtig definiert bzw.
> dokumentiert. Da wird also ständig drüber philosophiert...

Es gibt jede Menge Prozesse, die warten. Die einen warten darauf, dass sich 
die Uhrzeit um eine Sekunde ändert, andere warten auf einen Tastendruck des 
Users, andere warten darauf, dass der Prozessor Zeit hat oder endlich die 
Nötigen Daten von der Festplatte eingelesen sind. Philosophieren kann man 
darüber, welche dieser wartenden Prozesse beim Load mitgezählt werden. Ich 
denke, das wird üblicherweise auf eine sinnvolle Weise gemacht: Ein Prozess, 
der auf einen Tastendruck wartet, wird nicht zum Load zugezählt, wenn jedoch 
der Tastendruck kam und die CPU noch mal eben was anderes erledigt, dann wird 
er zum Load dazugezählt. 

> Und wirklich überfordert ist Dein System, wenn der swap genutzt werden
> muss.

Hab ich auch schon ohne swap geschafft. 

> Aber das merkt man bei Desktopsystemen dann auch bald bei der 
> Reaktion der Grafik.

Klar, dann sowieso. 

CU Rollo

[gentoo-user-de] Re: Dimensionierung eines Servers

[Anno v. Heimburg]

Roland Damm wrote:

> Ich denke, das wird üblicherweise auf eine
> sinnvolle Weise gemacht: Ein Prozess, der auf einen Tastendruck wartet,
> wird nicht zum Load zugezählt, wenn jedoch der Tastendruck kam und die CPU
> noch mal eben was anderes erledigt, dann wird er zum Load dazugezählt.

Die Definition, die ich kenne: Die durchschnittliche Anzahl der Prozesse in
der run queue. Kommt dem, was Du sagst, recht nahe.