Probleme und Neuinstallation in den nächsten Tagen

  • Guten Morgen,

    wie einige sicher gemerkt haben war die Seite vorgestern Nacht nicht erreichbar.

    Seitdem gibt es auch immer wieder Probleme mit der Datenbank.


    Es sieht so aus als hätte es einen Angriff auf den Webserver gegeben, Gott sei Dank läuft dieser als virtuelle Instanz und ist daher recht einfach ausgetauscht.

    Der auf dem Server laufende DB Server hat etwas Schluckauf, daher kommen sporadisch diese bereits von einigen beobachteten Fehlermeldungen.

    Da ich nicht ausschließen kann das dort etwas eingeschleust wurde, habe ich mich entschieden diese Instanz neu aufzusetzen.


    Daher kann es dazu kommen das in den nächsten Tagen (ich hoffe ich komme bereits heute dazu) die Seite für einige Zeit offline sein wird.

    Ich bitte um Verständnis !

    Gruß Alex


    Kekse.jpg


    Aus Tradition, ohne Audi Tradition !

    Let me get this straight... Your engine is 1.9 liters and my Pepsi is 2 ?
    The 80s knew how to do a soundtrack.


    1954 Chevrolet Bel Air (#Amber)

    1967 Ford Mustang Fastback (#Eleanor)

    1971 Ford Torino (#Ruby)

    1971 Dodge Demon 340 (#Delilah)

    1971 Plymouth GTX - one of 2211 (#Aurelia)

    1984 Audi 80 CC 2 Türer - Umbau auf quattro mit B4/B5 Bodengruppe und Achsen, 07K Antrieb und einigen weiteren Goodies (#Emily)

    1985 Audi 80 quattro (absolutes Kassengestell und riesen Baustelle) (#Leela) Teilespender für #Emily
    1987 Audi 80 GT (#Lisa)

    2006 Mercedes Benz E550 (#Hiroko)

  • Moin,

    so ... nachdem ich nun quasi 24h am Stück die Datenbank quasi händisch wieder in Ordnung gebracht habe, mach ich jetzt erstmal eine Pause und gönne mir eine Mütze Schlaf.


    Dann werde ich (hoffentlich) ausgeschlafen nochmal Alles kontrollieren.

    Gruß Alex


    Kekse.jpg


    Aus Tradition, ohne Audi Tradition !

    Let me get this straight... Your engine is 1.9 liters and my Pepsi is 2 ?
    The 80s knew how to do a soundtrack.


    1954 Chevrolet Bel Air (#Amber)

    1967 Ford Mustang Fastback (#Eleanor)

    1971 Ford Torino (#Ruby)

    1971 Dodge Demon 340 (#Delilah)

    1971 Plymouth GTX - one of 2211 (#Aurelia)

    1984 Audi 80 CC 2 Türer - Umbau auf quattro mit B4/B5 Bodengruppe und Achsen, 07K Antrieb und einigen weiteren Goodies (#Emily)

    1985 Audi 80 quattro (absolutes Kassengestell und riesen Baustelle) (#Leela) Teilespender für #Emily
    1987 Audi 80 GT (#Lisa)

    2006 Mercedes Benz E550 (#Hiroko)

  • Sooo ...


    Ein kurzer Nap und es sieht soweit Alles OK aus.

    Sollte Jemand Sachen finden die nicht funktionieren oder Fehler angezeigt bekommen, bitte Info an mich.

    Gruß Alex


    Kekse.jpg


    Aus Tradition, ohne Audi Tradition !

    Let me get this straight... Your engine is 1.9 liters and my Pepsi is 2 ?
    The 80s knew how to do a soundtrack.


    1954 Chevrolet Bel Air (#Amber)

    1967 Ford Mustang Fastback (#Eleanor)

    1971 Ford Torino (#Ruby)

    1971 Dodge Demon 340 (#Delilah)

    1971 Plymouth GTX - one of 2211 (#Aurelia)

    1984 Audi 80 CC 2 Türer - Umbau auf quattro mit B4/B5 Bodengruppe und Achsen, 07K Antrieb und einigen weiteren Goodies (#Emily)

    1985 Audi 80 quattro (absolutes Kassengestell und riesen Baustelle) (#Leela) Teilespender für #Emily
    1987 Audi 80 GT (#Lisa)

    2006 Mercedes Benz E550 (#Hiroko)

  • P.S.: eine ausführliche Beschreibung was passiert ist gibt es auf Wunsch wenn ich wieder aus den Augen schauen kann ;) !

    Gruß Alex


    Kekse.jpg


    Aus Tradition, ohne Audi Tradition !

    Let me get this straight... Your engine is 1.9 liters and my Pepsi is 2 ?
    The 80s knew how to do a soundtrack.


    1954 Chevrolet Bel Air (#Amber)

    1967 Ford Mustang Fastback (#Eleanor)

    1971 Ford Torino (#Ruby)

    1971 Dodge Demon 340 (#Delilah)

    1971 Plymouth GTX - one of 2211 (#Aurelia)

    1984 Audi 80 CC 2 Türer - Umbau auf quattro mit B4/B5 Bodengruppe und Achsen, 07K Antrieb und einigen weiteren Goodies (#Emily)

    1985 Audi 80 quattro (absolutes Kassengestell und riesen Baustelle) (#Leela) Teilespender für #Emily
    1987 Audi 80 GT (#Lisa)

    2006 Mercedes Benz E550 (#Hiroko)

  • Hallo,


    von mir ebenfalls vielen Dank für Deinen Aufwand! :__) Die Smilies sind jetzt teilweise bunt... :$%)

    P.S.: eine ausführliche Beschreibung was passiert ist gibt es auf Wunsch wenn ich wieder aus den Augen schauen kann ;) !


    Auch wenn ich nicht viel, eigentlich gar keinen Schimmer von dieser Materie habe, interessiert mich eine Beschreibung. Schlaf aber erst mal gut.


    Gruß, Stephan

  • Gerade heute ist mal eine gute Gelegenheit, auf die startende Adventszeit hinzuweisen:


    Und Adventszeit ist traditionell auch Spendenzeit  ;)


    *ääähm* - da sollte man aber nicht nur für Kinder spenden; die kriegen bereits von einer genügenden Anzahl an Charity-wütigen 'Kohle' zugescheffelt. Aber wer denkt an all die total übermüdeten WebAdmins, die ihre Freizeit für ihr - und vor Allem auch unser aller Hobby opfern ? :/


    Ein gaaanz großes :love: Dankeschön :love: an Alex und seine Familie ... die wegen irgendwelcher hirnamputierten Hacker unnötig auf Göttergatten und Papa verzichten "durfte" .


    Beste Grüße

    Lothar

    "L E B E N" . . .


    ... ist das langsame Ausatmen der Vergangenheit
    und das tiefe Einatmen der Gegenwart,
    um genügend Luft für die Zukunft zu haben.

  • Hey,

    ich will es mal versuchen zu erklären.

    Aber ich bin kein IT Forensiker und auch mittlerweile schon eine ganze Weile aus der Technik raus.

    Daher versuche ich mit meinem begrenzten Wissen das zu erklären.


    Erstmal die gute Nachricht:

    Es war kein Angriff und es sind auch keine Daten gestohlen worden !


    Etwas Vorinfo:

    Die Seite läuft in einer VM auf einem VMWare Server und bekommt jeden Tag ein Backup.

    Sicher nicht die ausgefeilteste Backup Strategie, läuft aber normal.

    Jeden Monat gibt es ein komplettes Backup der Datenbank und des kompletten Systems.

    Für die letzten 30 Tage gibt es inkrementelle Backups der Datenbank und der Webverzeichnisse.

    All diese Backups wandern dann auf eine Storage bei mir zu Hause.

    Und dadurch das ich manchmal faul bin, liegen da auch mal für 6 Monate inkrementelle Backups rum.

    Soweit so gut ...


    Und was ist nun passiert ?

    Es kamen diverse ungünstige/schlechte Zufälle zusammen.

    Die Datenbank ist hybrid (nein nicht das mit den Elektromotor), die gesamte DB läuft auf der HDD.

    Aber der Teil der DB der frequentiert genutzt wird, läuft komplett im Speicher (RAM) und schreibt quasi nur auf die HDD weg.

    Der komplett DB Dump wird von HDD weggeschrieben, die inkrementellen DB Backups quasi komplett aus dem RAM.

    Alles Andere wie die Forensoftware und Attachments/Bilder liegt wiederum im FIlesystem auf der HDD.


    Und hier wurde es dann kompliziert:

    Die Tage habe ich ein nötiges Update auf dem darunter liegenden LINUX System durchgeführt und dabei wurde auch der DB Server neu gestartet, soweit normal kein Problem !

    Aber hier folgte nun der 1. schlechte Zufall, der verbaute RAID Controller und/oder die HDDs haben Schreib-/Lesefehler gehabt.

    Das ist quasi solange nicht aufgefallen, solange die DB aus dem RAM genommen wurde, nach dem Neustart mußte der DB Inhalt aber aus dem Filesystem neu geladen werden und da kam es nun zu Fehlern. Zusätzlich war es nun so das der DB Server jedes Mal wenn er an eine korrupte Stelle gelangte sich neu gestartet hat - daher immer wieder die Fehlermeldungen (das wußte ich aber erst viel später während der Wiederherstellung).


    Da ich das defekte Filesystem noch nicht auf dem Schirm hatte, bin ich ganz normal vorgegangen und habe eine neue VM Instanz aufgesetzt, die Dateien aus dem Webverzeichnis kopiert und versucht einen aktuellen Dump der DB zu erstellen.

    Und nun kam es zu Problemen, es war nicht mehr möglich die Daten aus der DB zu ziehen weil an etlichen Stellen korrupte Daten vorlagen.

    Aber man(n) hat ja vorgesorgt und hat Backups ...

    Pustekuchen, die kompletten Backups waren bis in den August hinein alle schon korrupt weil der RAID/HDD Fehler wohl schon etwas länger bestand.

    An diesem Punkt schlug dann nun auch noch das Pech zu und zusätzlich zu dem Fehlerhaften Filesystem (durch RAID/HDD) machte plötzlich auch das RAM nicht mehr mit und Nichts ging mehr ...


    Lange Rede kurzer Sinn, die Hetzner Techniker haben wirklich schnell und gut reagiert und mein Server bekam ein komplett neues Mainboard, neues RAM und zumindest vorerst 1 neue HDD.

    Damit war es mir möglich ein Rebuild auf dem RAID Controller zu starten und kam zumindest wieder an die VMs.


    Nun ging die Arbeit erst richtig los !

    Die DB konnte ich wie folgt retten: ich konnte das Backup vom 5. August verwenden und aus den inkrementellen Backups (die Dank aus dem RAM gezogen OK waren) den Rest bis heute wieder herstellen.

    Da die DB aber in den einzelnen Tabellen verknüpft ist, mußte das ganze händisch in einer bestimmten Reihenfolge Inkrementelles Backup für Backup erledigt werden (so hängen z.B. die Beiträge von den Themen ab, die Themen von den Benutzern usw. usf. - auch hängen Beiträge ggf. vom Wiki ab wenn dieses dort verlinkt ist etc. - you got the picture ;) )

    Danach konnte ich über das Foren Backend die Suchindexes wieder generieren lassen.


    Zum Schluß mußte ich noch einiges an den Attachments machen, da stimmten dann seit August so einige File Hashes nicht mehr ...


    Ich glaube das war es so grob !

    Involviert waren dann noch mehrere VMWare ESXi Server und ein paar Gläser Milch - nein ich trinke keinen Kaffee ...

    Gruß Alex


    Kekse.jpg


    Aus Tradition, ohne Audi Tradition !

    Let me get this straight... Your engine is 1.9 liters and my Pepsi is 2 ?
    The 80s knew how to do a soundtrack.


    1954 Chevrolet Bel Air (#Amber)

    1967 Ford Mustang Fastback (#Eleanor)

    1971 Ford Torino (#Ruby)

    1971 Dodge Demon 340 (#Delilah)

    1971 Plymouth GTX - one of 2211 (#Aurelia)

    1984 Audi 80 CC 2 Türer - Umbau auf quattro mit B4/B5 Bodengruppe und Achsen, 07K Antrieb und einigen weiteren Goodies (#Emily)

    1985 Audi 80 quattro (absolutes Kassengestell und riesen Baustelle) (#Leela) Teilespender für #Emily
    1987 Audi 80 GT (#Lisa)

    2006 Mercedes Benz E550 (#Hiroko)

  • Dieses Thema enthält 6 weitere Beiträge, die nur für registrierte Benutzer sichtbar sind, bitte registriere dich oder melde dich an um diese lesen zu können.

Jetzt mitmachen!

Du hast noch kein Benutzerkonto auf unserer Seite? Registriere dich kostenlos und nimm an unserer Community teil!