• Hallo Besucher!

    Du bist neu im Forum? Dann registriere dich hier, um Diskussionen beizutreten oder eigene Themen zu erstellen. Für die Registrierung ist es erforderlich, dass du einen Spielaccount bei Die Stämme hast.

    Andernfalls kannst du dich hier direkt einloggen.

    Falls du dein Passwort vergessen hast, kannst du hier ein neues Passwort anfordern.

Log Auswertung nach (Sub-)Domain

DeletedUser

Gast
Situation:
Ich würde gern wissen, wie viele Leute in anderen Sprachversionen (und hier natürlich) meine Grafikpakete nutzen, da sie in vielen TW-Foren schon länger von irgendwem gepostet wurden.

Problem:
Die Statistik-Seite meines Hosters stürzt ab, wenn ich mehr als die Top10 Referrer-URLs anzeigen lasse. Ok, kein Problem, Logfile der letzten Woche runterladen. Nun sehe ich dass allein in den letzten 7 Tagen 1.680.987 Einträge produziert wurden, natürlich von den unterschiedlichsten Ingame-URLs.

Kennt jemand ein Programm, mit dem man diese Log so auswerten kann, dass die Subdomains zusammengefasst werden? Ich will prinzipiell nur die Anzahl der Zugriffe je Subdomain haben.
Habe auch schon kurz gegoogelt, aber ohne einen Schimmer und wahrscheinlich auch nach den falschen Begriffen.

Also bitte nur kompetente Antworten. ^^
 

DeletedUser

Gast
Handelt es sich um reine Textdateien?
Wenn ja, schreib mal einen Ausschnitt von so einer Datei. Vielleicht kann "jemand" dir ein kleines Programm schreiben, dass die Zugriffe pro Subdomains abzählt ;)
 

DeletedUser

Gast
Die Dateien haben keine Endung, und Notepad rechnet sich beim Öffnen tot... Mit Notepad++ lassen sie sich aber schnell und problemlos öffnen.
Code: 
tribes.v4n6u4rd.com anon-93-82-140-240.telekom.at - - [07/Sep/2011:00:00:00 +0200] "GET /graphic-aer/visual/mainflag3.gif?1 HTTP/1.1" 200 6914 "http://uk3.tribalwars.co.uk/game.php?village=4621&screen=overview" "Opera/9.80 (Windows NT 5.1; U; de) Presto/2.9.168 Version/11.50"
tribes.v4n6u4rd.com anon-93-82-140-240.telekom.at - - [07/Sep/2011:00:00:00 +0200] "GET /graphic-aer/visual/barracks3.png?1 HTTP/1.1" 200 7079 "http://uk3.tribalwars.co.uk/game.php?village=4621&screen=overview" "Opera/9.80 (Windows NT 5.1; U; de) Presto/2.9.168 Version/11.50"
tribes.v4n6u4rd.com anon-93-82-140-240.telekom.at - - [07/Sep/2011:00:00:00 +0200] "GET /graphic-aer/visual/smith3.png?1 HTTP/1.1" 200 6743 "http://uk3.tribalwars.co.uk/game.php?village=4621&screen=overview" "Opera/9.80 (Windows NT 5.1; U; de) Presto/2.9.168 Version/11.50"
tribes.v4n6u4rd.com anon-93-82-140-240.telekom.at - - [07/Sep/2011:00:00:00 +0200] "GET /graphic-aer/visual/stable3.png?1 HTTP/1.1" 200 9408 "http://uk3.tribalwars.co.uk/game.php?village=4621&screen=overview" "Opera/9.80 (Windows NT 5.1; U; de) Presto/2.9.168 Version/11.50"
tribes.v4n6u4rd.com anon-93-82-140-240.telekom.at - - [07/Sep/2011:00:00:00 +0200] "GET /graphic-aer/visual/market2.png?1 HTTP/1.1" 200 8614 "http://uk3.tribalwars.co.uk/game.php?village=4621&screen=overview" "Opera/9.80 (Windows NT 5.1; U; de) Presto/2.9.168 Version/11.50"
tribes.v4n6u4rd.com anon-93-82-140-240.telekom.at - - [07/Sep/2011:00:00:00 +0200] "GET /graphic-aer/visual/farm3.gif?1 HTTP/1.1" 200 21138 "http://uk3.tribalwars.co.uk/game.php?village=4621&screen=overview" "Opera/9.80 (Windows NT 5.1; U; de) Presto/2.9.168 Version/11.50"
tribes.v4n6u4rd.com anon-93-82-140-240.telekom.at - - [07/Sep/2011:00:00:00 +0200] "GET /graphic-aer/buildings/barracks.png?1 HTTP/1.1" 200 521 "http://uk3.tribalwars.co.uk/game.php?village=4621&screen=overview" "Opera/9.80 (Windows NT 5.1; U; de) Presto/2.9.168 Version/11.50"
tribes.v4n6u4rd.com anon-93-82-140-240.telekom.at - - [07/Sep/2011:00:00:00 +0200] "GET /graphic-aer/buildings/wood.png?1 HTTP/1.1" 200 404 "http://uk3.tribalwars.co.uk/game.php?village=4621&screen=overview" "Opera/9.80 (Windows NT 5.1; U; de) Presto/2.9.168 Version/11.50"
tribes.v4n6u4rd.com anon-93-82-140-240.telekom.at - - [07/Sep/2011:00:00:00 +0200] "GET /graphic-aer/buildings/wall.png?1 HTTP/1.1" 200 430 "http://uk3.tribalwars.co.uk/game.php?village=4621&screen=overview" "Opera/9.80 (Windows NT 5.1; U; de) Presto/2.9.168 Version/11.50"
tribes.v4n6u4rd.com anon-93-82-140-240.telekom.at - - [07/Sep/2011:00:00:00 +0200] "GET /graphic-aer/visual/wood3.gif?1 HTTP/1.1" 200 6066 "http://uk3.tribalwars.co.uk/game.php?village=4621&screen=overview" "Opera/9.80 (Windows NT 5.1; U; de) Presto/2.9.168 Version/11.50"
Insgesamt hat dieser Tag 305310 Zeilen...

Aus dem Ausschnitt soll z.B. nur hervorgehen, dass 10 Anfragen von uk3.tribalwars.co.uk kamen.
Aufgrund der Datenmengen würde ich es auch so handhaben, dass ich Tag für Tag einzeln auslese. Im Endergebnis reicht mir auch die Anzahl je (Sub-)Domain je Monat.

Mir ist auch klar dass es nur Hits sind, aber kombiniert mit den anderen Statistiken könnte ich so in etwa auf die Nutzer kommen.
 

DeletedUser

Gast
Verdammt, du benutzt Windows :S

Auf Linux ginge es mit einem Befehl im Terminal:
cat deindatei.txt | grep uk3.tribalwars.co.uk | wc -l
 

DeletedUser61508

Gast
Schaut nach nem Standard Apache Logfile aus. Dafür gibts diverse Tools zur Auswertung, die meisten freien Tools gibts allerdings unter Linux oder sie sind Web-basiert und direkt auf dem Host installiert. Vielleicht kannst du ja mal dieses hier probieren. Gibts zwar nur als 30 Tage Testversion und ich weiß nicht, welche Beschränkungen es noch hat und wie lange es bei der Datenmenge dauert, aber auf die Schnelle gabs nix anderes. ;-)

EDIT: Ach ja, Schlüsselwörter für eine erfolgreiche Google Suche wären wohl: combined log analyzer
 

DeletedUser

Gast
in Excel 2010 öffnen => Liste in Spalte A (bis zu 1 Mio. Zeilen)
mit FINDEN() die URL rausschnipseln => Spalte B
Spaltenüberschrift setzen und mit Pivot auszählen

>> nicht komfortabel, aber ohne Programmierkenntnisse mit "Bordmitteln" machbar - wenn Excel 2010 vorhanden. Alternativ das ganze über Access oder den entsprechenden OpenOffice-Produkten.
 

DeletedUser

Gast
@Torridity: Das Programm funktioniert an sich, aber nicht so richtig. Es filtert zwar die Referrer nach Subdomain, unterschlägt aber scheinbar die meisten und rechnet alles gleich in Visitors um, was völlig falsche Zahlen ergibt. So haben im Zeitraum 6.9. - 30.9. angeblich nur 3-4 Personen in .de die Pakete genutzt, und davon alle de71. Wenn ich mir die Logfile angucke sind aber auf der ersten Seite schon Hits von de70 dabei, und auch so weiß ich dass die Zahl stark untertrieben ist. ^^

@Samrat: OpenOffice hätte ich, aber von Access bzw. dem Equivalent keine Ahnung. Die Excel-Variante klingt auch eher danach, dass ich jede einzelne URL erst selbst kennen/finden müsste, um sie dann zählen zu können - keine Option ;-)
 

DeletedUser

Gast
-Vanguard.- schrieb:
@Samrat: OpenOffice hätte ich, aber von Access bzw. dem Equivalent keine Ahnung. Die Excel-Variante klingt auch eher danach, dass ich jede einzelne URL erst selbst kennen/finden müsste, um sie dann zählen zu können - keine Option ;-)
Zum Vergrößern anklicken....
Mit FINDEN kannst Du Wörter suchen, z.B. "http" und "game.php" => das gibt "uk3..." (mit TEIL(zelle, von, AnzahlZeichen) rausschnipseln)
Dann aggregiert Pivot alle "uk3..." und ermittelt die Anzahl. Ich fachte, das suchtet Du... ;-)
 
Zuletzt bearbeitet von einem Moderator:

DeletedUser

Gast
Wie wärs mit

type deindatei.txt | findstr "uk3.tribalwars.co.uk"

ungetestet ;-)
 

DeletedUser

Gast
Programm cmd.exe :eek:

Sonst müssteste halt mit per Regex auslesen und in nem VBScript zusammenfassen iwie... wüsst ich jetzt auch nicht grad wie machn so auf die schnelle

Code: 
([^"]*)http://([^\/]*)
wäre ne möglichkeit, mit RegEx den Servernamen auszulesen
 
Zuletzt bearbeitet von einem Moderator:

DeletedUser

Gast
thecain schrieb:
Programm cmd.exe :eek:

Sonst müssteste halt mit per Regex auslesen und in nem VBScript zusammenfassen iwie... wüsst ich jetzt auch nicht grad wie machn so auf die schnelle

Code: 
([^"]*)http://([^\/]*)
wäre ne möglichkeit, mit RegEx den Servernamen auszulesen
Zum Vergrößern anklicken....

Spannende Frage: Was ist performanter auf 300k Zeilen: Stringfunktionen in Excel (2010) oder VBScript?? Script hätte natürlch den Vorteil, täglich auf Knopfdruck ausführbar zu sein. Ich hatte sogar drüber nachgedacht, die log-Datei einfach in *.htm umzubenennen und ein javascript drüberlaufen zu lassen. Wenn ich mir aber die Performance von userscripts bei nur 600 Dörfern ansehe... :|
 

DeletedUser

Gast
Alexander der Große III schrieb:
Ich hab mir dafür mal nen Tool geschrieben:

http://ds.agrafix.net/upload/files/ApacheLogfiler.rar

Ist allerdings schnell hingecoded, und nach dem klick auf "Statistik erstellen" kann's schon was dauern je nach dem wie groß der Log ist ;)
Zum Vergrößern anklicken....

Ein Tag in wenigen Sekunden, ein knapper Monat (2,5 GB) ~1 Minute - super, vielen vielen Dank!

Ich weiß nicht wie der Aufwand dafür ist, aber könntest du noch
a) das Ausgabefenster flexibel machen, dass es sich mit dem Programmfenster vergrößert oder größer gezogen werden kann,
b) (noch wichtiger) die Spalte "Host" sortierbar oder die Ausgabe gleich alphabetisch machen,
c) (das wichtigste) die Ausgabe komplett markierbar und Strg+C fähig machen? Wäre wirklich eine große Hilfe.
 
Zuletzt bearbeitet von einem Moderator:

DeletedUser

Gast
na Dir werd ich noch mal Excel per PN erklären - LOL... ;-)
Schön, dass Du ne Lösung gefunden hast. Obwohl ich ja Excel- und Pivot-Fan bin (job-bedingt)...
 

DeletedUser

Gast
Die Daten mit Hits per Subdomain werde ich noch weiter auswerten, in Excel. Werde wahrscheinlich nochmal auf dich zurückkommen müssen ;-)
Die Datenmasse allein von einem Tag hats bei mir mit deinen Funktionen schon ganz schön zum Rucken gebracht, schon besser wenn ich mit den gefilterten Daten arbeiten kann ^^
 
Zuletzt bearbeitet von einem Moderator:

DeletedUser24674

Gast
-Vanguard.- schrieb:
Ein Tag in wenigen Sekunden, ein knapper Monat (2,5 GB) ~1 Minute - super, vielen vielen Dank!

Ich weiß nicht wie der Aufwand dafür ist, aber könntest du noch
a) das Ausgabefenster flexibel machen, dass es sich mit dem Programmfenster vergrößert oder größer gezogen werden kann,
b) (noch wichtiger) die Spalte "Host" sortierbar oder die Ausgabe gleich alphabetisch machen,
c) (das wichtigste) die Ausgabe komplett markierbar und Strg+C fähig machen? Wäre wirklich eine große Hilfe.
Zum Vergrößern anklicken....

Freut mich das es dir schonmal weiterhilft! :)
Ich setz mich nacher oder heute Nacht nochmal dran und bau dir das flexibler, sortierbar und mit csv export, dann brauchste nichts rumpasten...

-alex
 
Zuletzt bearbeitet von einem Moderator:

DeletedUser

Gast
Klappt, Ausgabe und csv sind alphabetisch sortiert. Nochmal vielen Dank. ^^

Noch eine letzte Frage: Kannst du noch eines schreiben, das die csv nach Domains auswertet? Also ohne Subdomain, nur eine einfache Liste, bspw:
  • die-staemme.de
  • tribalwars.com.br
  • tribalwars.com.pt
  • usw
Die müsste auch nicht sortiert sein.
Ist aber auch nicht so wichtig, lässt sich in einigen Minuten auch von Hand machen.
 
Zuletzt bearbeitet von einem Moderator:

DeletedUser24674

Gast
-Vanguard.- schrieb:
Klappt, Ausgabe und csv sind alphabetisch sortiert. Nochmal vielen Dank. ^^

Noch eine letzte Frage: Kannst du noch eines schreiben, das die csv nach Domains auswertet? Also ohne Subdomain, nur eine einfache Liste, bspw:
  • die-staemme.de
  • tribalwars.com.br
  • tribalwars.com.pt
  • usw
Die müsste auch nicht sortiert sein.
Ist aber auch nicht so wichtig, lässt sich in einigen Minuten auch von Hand machen.
Zum Vergrößern anklicken....

Wäre schon möglich. Sollen dabei dann auch gleich alle Subdomains zusammengerechnet werden? Also zB aus
de72.die-staemme.de;23
de75.die-staemme.de;99

wird dann
die-staemme.de;122

-alex
 

DeletedUser

Gast
-Vanguard.- schrieb:
Das ginge auch, dann spare ich mir die Summen in Excel ^^
Zum Vergrößern anklicken....

Wer summiert denn in Excel per Hand?! Nur mal so als (letzter) Tipp in dieser Diskussion:

  • Ausgabe als csv:
    Datum;Tag;Monat;Jahr;Wochentag;Kalenderwoche;Domain;Subdomain;Zugriffe
    22.10.2011;22;10;2011;Sa;45;de72;de72.die-staemme.de;33
    usw. usw.
  • Import nach Excel (oder unter eine bestehende Liste kopieren)
  • Beliebige Analyse mit Pivot: http://www.ooowiki.de/DatentabellenAuswerten/PivotTabelle
    PivotTabelle
    Zum Vergrößern anklicken....

Die Aufteilung des Datums im exe ist optional, da Excel das in ergänzenden Spalten auch könnte (bzw. der Pivot ebenfalls)
 

DeletedUser

Gast
Ist ja nett gemeint, aber viel zu umständlich und umfangreich. Ich hatte dir glaube ich auch schon geschrieben, dass Calc (OpenOffice-Excel) bei deiner PN-Lösung des ursprünglichen Problems bereits mit der Datenmenge eines Tages (3xx.xxx Zeilen!) arg ins Stocken kommt, wenn ich in der zweiten Spalte anfange die Formel auf alle Zeilen zu erweitern. Und das Ziel ist eine Monatsauswertung, bei der die Log Gigabyte-weise reinen Text birgt. Das wird nichts ^^

Die Welten eines Landes zu zählen könnte man so machen, aber wenn Alex mir dafür eine 2-Klick-5-Sekunden Möglichkeit anbietet, nehme ich natürlich lieber die.
Mir geht es um eine Auswertung der Logs so wie ich sie brauche, nicht darum wieder mehr Excel zu lernen ^^
Samrat schrieb:
in Excel [...]
>> nicht komfortabel, aber ohne Programmierkenntnisse mit "Bordmitteln" machbar - wenn Excel 2010 vorhanden. Alternativ das ganze über Access oder den entsprechenden OpenOffice-Produkten.
Zum Vergrößern anklicken....
;-)
 

DeletedUser

Gast
Excel kann man gar nicht gut genug kennen! :mrgreen:

Dass die Gesamtanalyse eines Tages mit dem Tool von Alex viel besser geht, ist mir logischerweise klar geworden. Ich habe Dir nur eine Möglichkeit zeigen wollen, wie Du beliebige Statistiken und Tabellen erzeugen kannst, wenn Du den Output von Alex Tool einfach untereinander in Calc wegschreibst und dann eine Pivot-Tabelle erzeugst/aktualisierst. Beispielsweise ein Drilldown von Domain auf Subdomain und/oder eine zeitliche Entwicklung. Alles kann, nichts muss. Ist schließlich Deine Statistik! :) Keine Ahnung, wie alt Du bist und was Du machst, aber jemanden, der Pivot-resistent ist, würden wir bei uns nicht einstellen... ;-) (nicht bös gemeint)
 
Du musst dich anmelden oder registrieren, um hier zu antworten.
Oben