Zweiter Rechenserver

Hallo zusammen,

wir wollen Anfang Juli versuchen für Europa einen zweiten Rechenserver einzusetzen (neben dem Webserver blitzortung.org und dem Bild- und Rohdatenserver blitzortung.tmt.de). Im neuen Windows-Tracker und im zukünftigen Linux-Tracker wird es daher die Möglichkeit geben Daten zu Server 1 oder Server 2 zu schicken. Möglicherweise werden wir die Trennung geographisch vornehmen, West/Süd Europa Server 1 und Nord/Ost Europa Server 2. Das ist aber noch nicht endgültig durchdacht. Also am besten erst mal alles so lassen, wie es ist, Server 1 ist übrigens der jetzige Rechenserver, Server 2 ist noch nicht für UDP Pakete erreichbar. Es soll letztendlich für den Benutzer jedoch egal sein, auf welchen Server seine Daten landen, da die berechneten Daten auf dem Web-Server zusammengeführt werden.

Ich werde euch rechtzeitig informieren, wenn etwas zu tun ist, oder wir erste Testpersonen brauchen.

Grüße,
Egon

Hi,
To satart a second, new server, it seems me, this is an interesting, new stepp.
In the first read, come up some questions:
- running two servers parallel, means the expenses doubled...
- at the majority of the members there are running the newer tracker versions, access the server with UDP communication. The new second server willnot be access on this mode, but which tracker will be use?
- if somebody joined one of the server, can access to the data at the other server? for example for comparison purposes? Or can access in one, unified database?

t.janos

Hi Janos,

currently we have running three servers, one computing server that collects the UDP data and computes the strike positions, one web server, and one server for the images and raw data access for the lightnig viewer.

We will try is to use a second server only for collecting the UDP packets and for a distributed computing of the strike positions, because we have some problems to compute more than 4000 Strikes per second in Europe. If the positions are computed, everything is the same as now. The aim is just a load balance for the computations. It seems to be not usefull, to collect the data at one server and then to realize a distriubuted computation by sendings a part of the data to another server, because one bottleneck could be the receiption of the UDP packets.

This experiment has no influence for all who do not care about the server to use. Wrong data will be exchanged between the servers by a very fast connection.

If this experiment will improve the performance, the next tracker version will probably select the right server by itself depending on your GPS coordinates.

Its only a first experiment.

Regards,

Dear Egon,
thank you for your answer.
My first question reffered to the fakt, that more server need more money... to buy the hardware, and to running them permanently. Five server need far more money....
To share the job between two servers based on geographic separation of the sensors and the incomming data, it seems me this is a good idea.
To see our "official" lightning detector network, here , in Hungary, it seems, a good "coverage" of the sensors, a good geographical locations offers the best performance on network level. And sometimes it seems me, there are an "optimal" sizes of this network, in the covered area, and in the numbers of the sensor sites. Ofcourse in our voloutair based network we dont able to control all this factors, influences to the whole performaces of our network.
I will be happy to see the results of this new experiments, and I will be happy to participate in it, or help to realise it.
t.janos

Hi Janos,

yes, more servers -> higher costs.

All our servers (except the one hosted by tmt) are rented temporarily (for 6 month time periods) and not bought. They are hosted by Strato AG in Berlin between 39 Euro/Month and 79 Euro/Month, running Debian Linux, and have a high speed internet connection. The Server I will use for the experiment was originally provided for the participants of the US and/or Asia, where I have sent some kits.

Hmmmm... mybe the "european participants" can offer something more???

Hi Egon,

echt super das Ihr das Projekt immer weiter ausbaut! Damit gleich zu meiner ersten Frage: Wer steckt eigentlich hinter wir?

Und zweitens: Jede Station hat dann ja einen bevorzugten Server. Die Daten eines einzigen Blitzes landen dann natürlich zu gewissen Teilen jeweils bei einem der beiden Server. Nach welchen Regeln läuft dann die Aufteilung der Berechnung ab?

Welche Leistung haben die Server und wie sieht es mit dem Traffic bzw. der Auslastung aus?

Und zuletzt: Wer zahlt das eigentlich? Gabs hier irgendein verstecktes Abo, dass ich beim Bestellen der Platinen abgeschlossen habe? (kleiner Scherz )

Sorry wegen der vielen Fragen, aber mich (und evtl. auch andere) interessieren diese Hintergrundinfos sehr. Bin ja noch nicht so lange dabei und trotz überfliegen der älteren Forenbeiträge blieben diese Fragen offen.

Danke vielmals für Deine Mühen!
Tobias

Hi,

It can read on the Miscellenaus page this new note:

" Please use the following server depending on your location (starting from 1st July 2011)."

But it is not clear for me, can we make a manual configuration stepps, to join one of the servers or canot make anyhing?
best:
t.janos

Hallo Egon,

habt ihr mal darüber nachgedacht die Daten nicht geographisch, sondern zeitlich zu trennen?

D. h. es würde bei einem Server für den Dateneingang bleiben, aber die Berechnung einzelner Zeitabschnitte würde dann auf verschiedene Server (oder auch verschiedene CPUs auf einem Server) aufgeteilt werden.

Das hätte den Vorteil, dass zu jedem Zeitpunkt alle Stationen zu allen Blitzen beitragen können.

Viele Grüße,
Andreas

@Janos

The experiment ist moved to the future, please keep the default region 1.

@Andreas

Ja, haben wir, aber wir müssen zuvor erst einmal den tatsächlichen Engpass ermitteln. Dieser scheint offenbar an einer anderen Stelle zu liegen, nicht an der Rechenleistung oder der Empfangsrate des Servers.

Grüße,
Egon