Info zu Störungen auf milhouse

Seit Sonntag nachmittag gibt es Probleme in der Erreichbarkeit von milhouse. Durch, sagen wir es mal nett, intensive Nutzung des Plugins Wordspew durch Spammer lag die Auslastung teilweise bei 5000%. Ein Zugriff auf den Server per Shell war nicht mehr möglich.

Einige Hardresets, Entfernung des Plugins und Sperrungen des betroffenen Webs später habe ich soeben die IP-Adressbereiche des Spammers gesperrt. Die Situation normalisiert sich. Ich bitte euch keine Plugins usw. einzusetzen die ungefiltert Eingaben von Besuchern annehmen. Keinem ist mit einer tausend Seiten langen Linkliste zu Medikamentenbezugsmöglichkeiten geholfen 😉

69 Kommentare

  • Fontagnier - 31. Januar 2007

    die sollen an ihrem spam ersticken. danke für den einsatz.

  • yankee - 31. Januar 2007

    Leider scheint das aber ständig zu passieren. Warum seit gerade Ihr so anfällig dafür.

  • M.Neuber - 31. Januar 2007

    @yankee

    Ich kann nur mutmassen. Mir ist keine solche Konzentration von WordPressblogs bekannt, da ist es leichter was zu finden. Verschärft wird das sicher durch die Leistung des Servers. Es ist zwar ein (Software)Raid im Einsatz und mit 2GB RAM ist der Server gut ausgerüstet, aber bei solchen Sachen ist die Celeron-CPU heillos überfordert. Zum Glück sind die anderen Rechner grösser.

  • andreas - 31. Januar 2007

    Ich habe noch einen anderen WP-Account bei Fairhost24 und dort gab es lediglich anfangs Hardware-Probleme. Mittlerweile hat sich das eingestellt und es läuft problemlos. Milhouse hingegen fällt durch häufige Ausfälle auf und das kann ich mir einfach nicht leisten. Ich hatte mir von einem kommerziellen Angebot schon eine nahezu 99%ige Verfügbarkeit gewünscht. Bei meinem anderen Account wurde mir damals ein kostenloser Umzug auf einen anderen Server angeboten, jetzt würde ich dies für meinen milhouse-Account begrüßen, da mein anderer Account nahezu problemlos läuft. Wäre schön, wenn ihr euch ein wenig mehr um die Verfügbarkeit der Server kümmert, immerhin ist genau das die Aufgabe eines Hosters und ich fände es schade wechseln zu müssen, da die Leistungen von Fairhost mich bisher vollkommen zufriedenstellen.

  • Martin - 31. Januar 2007

    es scheint wohl noch nicht ganz ausgestanden zu sein, da milhouse jetzt nochmal kurz weg war?
    Hat der Spammer die IP gewechselt?

    Wenn das noch länger so bleibt, brauche ich auch was stabileres! Dringend!

    Aber Marco, ich finde Deinen Einsatz und Deine Offenheit gut! Danke!

  • el-flojo - 31. Januar 2007

    Hm, jetzt gerade gab’s nen Datenbankfehler, wollte man auf ein Blog zugreifen, das auf milhouse liegt, jetzt geht’s wieder. Schließe mich Martin an, Marcos Einsatz ist sehr löblich. Dennoch nervt es schon, wenn die Sache ständig down ist. Nicht, dass bei mir irgendwas davon abhängt (Geld/Frauen/Macht), schön ist es nicht.
    Aber ich hab so ein Gefühl, dass Marco uns hier nicht hängenlässt…

  • Peter Djordjevic - 31. Januar 2007

    Jetzt gerade, kann ich wieder einmal nicht auf mein blog zugreifen. Schon ziemlich oft in den letzten tagen.
    Was bisher Herr Neuber mir gegenüber an service geboten hat, kann ich als sehr gut bezeichnen. Ich hoffe für uns alle hier das er das problem bald in den griff bekommt.
    gute zeit Euch allen.

  • Peter Djordjevic - 31. Januar 2007

    Seit meinem ersten kommentar tut sich immer noch nichts: kein zugriff auf mein blog.

  • M.Neuber - 31. Januar 2007

    bin dran…

  • Peter Djordjevic - 1. Februar 2007

    5:45 Uhr, immer noch keinen zugriff. Was gibt es jetzt für lösungsmöglichkeiten Marco?

  • AndiBerlin - 1. Februar 2007

    Gut Ding will Weile haben sage ich immer. Ich bin mir sicher das die Probleme behoben werden. Es geht auch mal ohne. 🙂

  • Oliver - 1. Februar 2007

    Komme auch nicht in meinen Blog (zum wiederholten Mal in den vergangenen Tagen). Gibt es eine Prognose, wann alles wieder läuft?

    Gruß Oliver

  • M.Neuber - 1. Februar 2007

    milhouse wir heute vormittag wieder online gehen.

  • o.hodde - 1. Februar 2007

    Fehler können immer mal passieren. Wenn aber das Problem wiederholt durch einen bestimmten Kunden entsteht, bitte ich diesen umzubetten. Ich benötige meine mails zeitnah und das Problem besteht seit Tagen.
    Viel Erfolg.

  • o.hodde - 1. Februar 2007

    Scheint ja wieder zu laufen. Wäre schön, wenn es so bleibt.

  • M.Neuber - 1. Februar 2007

    Derzeit wird von 16 verschiedneen IP-Adressen auf das Blog des Kunden eingedroschen. Da es gesperrt wurde, hält sich die Belastung in Grenzen.

    Vorkehrungen wurden heute aber getroffen. Es gibt nun am Server einen Remoteswitch mit dem ein Reset von der Ferne durchgeführt werden kann. Diese Ausstattung wird an den anderen Maschinen folgen.

    Ich bedanke mich für eure Geduld!

  • el-flojo - 1. Februar 2007

    Da scheint tatsächlich so einiges los zu sein. Bei mir ist mal wieder alles platt… 🙁

  • Diana - 2. Februar 2007

    Haben meine ca. Million Fehlermeldungen (WordPress database error no. 145) auch mit dem Milhouse-Spammer-Problem zu tun oder habe ich ein EIGENES Problem?

  • M.Neuber - 2. Februar 2007

    @Diana

    Das war eine eigenes Problem. Die Tabelle wp_postmeta war defekt. Ich ahbe das eben mit phpMyAdmin repariert. Eine Anleitung dazu findet sich hier: http://wphosting.de/tabellen-mit-phpmyadmin-reparieren-09-10-2006

  • M.Neuber - 2. Februar 2007

    Information zu Ãœberlast heute Nacht. Offensichtlich haben einige Leute einen Narren an milhouse gefressen.

    Ãœber ein ungesichertes Mailscript wurden heute Nacht mehrere 100.000 Mails versendet worden. Der Kunde hat den Fehler bereits gefunden und behoben.

  • Oliver - 5. Februar 2007

    Hallo,

    seit einer halben Stunde geht wieder mal gar nichts mehr… Habe insgesamt drei Blogs bei fairhost24; zwei funktionieren reibungslos, einer (der einzige auf Milhouse?) bereitet viele Probleme.

    Gibt es ne Möglichkeit, dass alle meine drei Blogs auf dem selben, problemfreien Server liegen?

    Gruß
    Oliver

  • Oliver - 5. Februar 2007

    Hallo????

  • M.Neuber - 5. Februar 2007

    @Oliver

    Sie haben Post 😉

  • Peter Djordjevic - 7. Februar 2007

    Ich weiss nicht wie der lange mein weblog wieder nicht erreichbar ist; es ägert mich aber zunehmend ungemein. Bitte jetzt herrn neuber darum das problem endlich zu lösen.

  • el-flojo - 7. Februar 2007

    Hm, jetzt ist auch bei mir mal wieder „Land unter“.
    🙁

    Sowohl Blog als auch Mail sind einfach platt…

  • M.Neuber - 7. Februar 2007

    Der betroffene Kunde wird trotz Sperrung des Accounts weiterhin mit den Anfragen auf das Wordspew-Plugin überschüttet. Ich habe heute nun per IP-Tables die Adresse direkt geblockt. Die Last ist nun annehmbar.

    Leider bin ich in der Situation nur reagieren zu können wenn ein Problem auftaucht, ich kann keine aktiven Massnahmen ergreifen!

  • eve - 8. Februar 2007

    … wieder kein Zugriff mgl. 🙁

  • Peter Djordjevic - 9. Februar 2007

    … und wieder einmal kein zugriff möglich, ftp-upload auch nicht möglich ):- . Was können sie noch tun Herr Neuber? Wie ist es jetzt genug.

  • Oliver - 9. Februar 2007

    Dito ;-(

    Es nervt zunehmend!!!

  • M.Neuber - 9. Februar 2007

    Seit gestern mittag hat der bespammte Kunde wieder Zugriff bekommen. Ãœber den Tag und Abend verlief alles ruhig. Gegen 2.30 heute morgen begannen wiederum Attacken auf das nicht mehr vorhandene Plugin die den Server wiederum so stark belasteten, dass er minutenlange Reaktionszeiten hatte.

    Ich habe den Account des betroffenen Kunden gesperrt und werde ihn nicht wieder öffnen.

  • TaloX - 9. Februar 2007

    Hallo,

    also ich bin vor kurzem erst auf dem Server Krusty gezogen. Dort habe ich auch während der gesamten letzte Woche ServerDowns zu verzeichnen!

    Ich benutzte auch Wordspew. Jedoch habe ich einige Dateien abgeändert, sodass Spammer nicht so einfach Msg. hinterlassen können. — nähere Infos auf der Pluginseite dazu.

    Ich habe seitdem kaum Probleme mit Spammern,

    Lg

    TaloX

  • Oliver - 15. Juni 2007

    Hallo,

    in jüngster Zeit kommt es ständig zu kürzeren bis längeren Ausfällen – meine Weblogs sind dann nicht erreichbar.

    Das ist ziemlich ärgerlich – was ist los???

    Gruß
    Oliver

  • AndiBerlin - 17. Juni 2007

    Stimmt, in letzter Zeit habe ich auch recht häufige Ausfälle bemerkt.
    Betrifft das wider mal nur Milhouse, oder auch andere Server?

  • M.Neuber - 18. Juni 2007

    Es gibt derzeit auf den Servern milhouse und krusty Probleme mit der Performance. Das was als Ausfall wahrgenommen wird sind Ãœberlastungen durch (von Usern verursachte) Serverprozesse.

    Eine konkrete Lösung für krusty wurde bereits am Freitag umgesetzt, milhouse wird folgen.

  • o.hodde - 6. Juli 2007

    Milhouse!!!!! Die Reaktionszeiten sind seit Tagen nicht akzeptabel. Gibt es einen Lösungsansatz?

    Gruß O.Hodde

  • M.Neuber - 6. Juli 2007

    @ o.hodde

    Das was Sie als lange Raktionszeit wahrnehmen ist ein Timeout auf die Daten von WordPress.de Wie kommt das?

    Seit Anfang letzter Woche werden ausgehende Verbindngen nur auf Ausnahme genehemigt. Der Grund ist die Angreifbarkeit des Plugins myGallery. Nicht alle Kunden beziehen unseren Updateservice und aktualisieren aber auch nicht selbst Ihre Installation. Wir haben uns daher entschlossen ein Vorkehrung zu treffen 😉

    Der Zugriff auf den Feed von wordpress.de (beim Login wird dieser auf dem Tellerrand dargestellt) ist nun erlaubt und haben keine Wartezeit beim Login mehr.

  • el-flojo - 29. Juli 2007

    Momentan scheint ja irgendwas im Busch zu sein. Nicht nur meins, die meisten Blogs der hier kommentierenden (die ja wohl alle auf milhouse liegen) scheinen platt zu sein…

  • Peter Djordjevic - 30. Juli 2007

    Seit gestern ist mein Blog platt. Da tut sich nichts mehr. Schade. Keine Info nichts…

  • el-flojo - 30. Juli 2007

    Bei mir läuft seit ungefähr Samstag 20 Uhr nichts mehr. Gestern abend konnte ich dann wieder drauf zugreifen, aber FTP funktionierte immer noch nicht. Jetzt ist wieder alles weg…

  • AndiBerlin - 30. Juli 2007

    Ich dachte ja auch das am gestrigen Sonntag Abend, wo alles wieder lief, dann alles erledigt sei. Aber heute Morgen ging wieder nichts. Aber ich bin ja geduldig! 🙂

  • el-flojo - 30. Juli 2007

    Ich persönlich fänd’s nicht schlecht, wenn man kurz und kanpp auf dem Laufenden gehalten würde.

    Dieses Blog hier würd sich doch anbieten!

    Ich erwarte ja keine Romane, nur ne kurze Einschätzung der Situation. Wer lesen kann, ruft nicht an…

  • el-flojo - 31. Juli 2007

    Also ich hab gerade telefonisch nochmal bescheidgesagt und direkt danach ein Ticket abgeschickt.
    Bin mal gespannt.

  • M.Neuber - 31. Juli 2007

    Tja, das Leben scheint mir eines der härtesten 🙂

    Ich bin von Samstag bis eben unterwegs gewesen und hatte nur lahmes GPRS-Netz. Das grössere Schwierigkeiten immer dann losgehen wenn es am ungünstigsten ist – klar, Murphy lässt grüssen. Ein Mailing an alle Kunden war technisch nicht möglich. Daher nun kurz zum Stand der Dinge.

    Samstag:
    Anfängliche Zugriffsfehler haben gezeigt das entweder Speicher oder Platten des Rechners Defekte haben müssen. In der Nacht von Samstag auf Sonntag fiel milhouse immer unter Last aus.

    Sonntag:
    Speicher, Board und Controller wurden getauscht – keine Besserung. Die Platten wiesen nun INODE-Fehler auf. Recovery aus Backup, neues System wurde aufgesetzt.

    Montag/Dienstag:
    Es gibt nun noch kleinere Probleme mit Diensten die Passwörter austauschen, es wird daran gearbeitet.

    Perspektivisch müssen wir hier Blogs sortieren. Stark frequentierte Angebote müssen auf andere Rechner verteilt werden, die bisherige Praxis sieht ja nicht vor nach „Bekanntheit“ der Blogs zu sortieren.

  • AndiBerlin - 1. August 2007

    Bei mir scheint ja irgendwie alles weg zu sein, was nun nicht nach einem kleineren Problem ausschaut. Aber Ausnahmen bestätigen die Regel. Und ich will ja nichts gesagt haben! 😉
    Ich hoffe nur das heute nach Feierabend das Rückspielen einer Datenbanksicherung vom Wochenende bei mir was bringt.

  • el-flojo - 1. August 2007

    Ich hab meine DB grad wieder aufgespielt.
    Ist zwar jetzt alles aufm Stand vom 27.07., die Bilder sind wieder richtig verknüpft, aber leider sind die Texte immer noch ohne Umlaute… 🙁
    Hm, hat jemand nen Tipp?

  • AndiBerlin - 1. August 2007

    el-flojo, auch bei mir hat es geklappt. Aber wie bei Dir, gibt es bei mir Probleme mit den Umlauten. Und das Plugin „MyGallery“ will bei alten Beiträgen auch nicht so.

  • M.Neuber - 1. August 2007

    Noch einmal kurzer Status.

    Umlautproblem mit Inhalten aus der Datenbank wird noch gefixt. Derzeit hat Vorrang der eMail-Verkehr und Reparatur einiger Tabellen.

    Alle anderen Funktionen inkl. FTP und Confixxzugriff laufen wieder.

  • el-flojo - 1. August 2007

    OK, dann fummel ich da jetzt nicht drin rum!

  • el-flojo - 1. August 2007

    Spam kommt, das heißt Mail funktioniert wieder! 😀
    Hab’s grad getestet – funktioniert wieder in beide Richtungen.

  • zemes - 1. August 2007

    Jau, Email geht wieder, gute arbeit. Danke!

  • el-flojo - 2. August 2007

    Dann fehlen jetzt eigentlich nur noch die Umlaute…
    Was muss dafür getan werden und wann können wir damit rechnen?

  • M.Neuber - 2. August 2007

    Die defekten Umlaute in der Datenbank bestanden aus bis zu 4 Zeichen.
    Mir ist kein Format bekannt (UTF-8, ISO etc.) bei dem das normal ist. Das bedeutet das es schon beim Erstellen des Backups ein Problem gab.

    Was jetzt gemacht werden konnte ware ein MySQL-Dump und die Umlaute wurden mehr oder weniger manuell mit Suchen&Ersetzen umgewandelt, danch wurde der MySQL-Dump wieder eingespielt.

    teilweise hat das geholfen, aber auch nur teilweise. Bei manchen Umlauten ich Suchen&Ersetzen ausfuehre, ersetzt der Editor
    alle Umlaute. Hier kann ich nicht mehr automatisch unterscheiden,
    welcher Umlaut was sein soll.

    Es tut mir leid, hier gab es definitiv Schaden.

  • el-flojo - 2. August 2007

    Na toll.
    Passenderweise läuft gerade auch FTP mal wieder nicht… 🙁

  • AndiBerlin - 3. August 2007

    Kurz nachgefragt, woran hapert es am heutigen Morgen? Und ist wieder mit einem Verlust zu rechnen?

  • M.Neuber - 3. August 2007

    Milhouse hat heute morgen Timeout wegen einer Ãœberlastung. Die Ursache wird soeben geklärt…

  • el-flojo - 3. August 2007

    Und FTP läuft immer noch nicht.
    Irgendwie erinnert mich das an den Winter 2005 als einem gewissen Arbeitgeber die Strommasten umkippten und man einfach nicht wusste, was Sache ist.
    Nur, dass ich damals nicht auf der Kundenseite war…

  • M.Neuber - 3. August 2007

    @el-flojo
    ich kann eine FTP-Verbindung herstellen:

    Aug 3 07:17:24 milhouse proftpd[2095]: milhouse.kundenserver42.de (pD952F3E3.dip0.t-ipconnect.de[217.82.243.227]) – USER web19: Login successful.

  • el-flojo - 3. August 2007

    Bei mir haut’s definitiv nicht hin. Hab Ihnen grad mal Screenshots geschickt…

  • el-flojo - 3. August 2007

    Nach langem Suchen hab ich die damalige Begrüßungsmail gefunden und das Passwort für FTP war tatsächlich auf den Ursprungswert zurückgesetzt. Da muss man erstmal drauf kommen. Kurz ein PlugIn hochgeladen. Vor dem Test sollte ganz brav ein BackUp erfolgen. Ãœber Confixx leider immer noch nicht möglich. Also rein in PHPMyAdmin, backup in Auftrag gegeben und was passiert? Servertimeout. Meine Seite nicht mehr erreichbar und die mir bekannten auf Milhouse liegenden auch nicht.
    So langsam glaub ich wirklich, dass der Serverraum auf einem alten Friedhof steht. Oder Schäuble übt auf Milhouse… 🙁

  • Peter Djordjevic - 4. August 2007

    Hallo!
    So langsam ist das nicht mehr lustig. Seit heute früh um 7.15 Uhr geht wieder garnichts mehr. Ist das lustig?

  • AndiBerlin - 4. August 2007

    Peter, ich leide ja mit Dir. Hoffentlich geht dieses mal nichts „verschütt“, so wie ich hoffe das es dann mal länger ohne Störungen und Ausfälle läuft. Das Ganze geht ja nun bald eine Woche so.
    Und dann wäre da ja noch die Sache mit der FTP- Verbindung.

  • Peter Djordjevic - 4. August 2007

    @AndiBerlin
    Moin, ja ist schon frustig. Danke für Dein Mitgefühl ;-), Dir ergeht es ja nicht besser. Einmal schauen was sich heute noch so ergibt.

  • M.Neuber - 4. August 2007

    Techniker ist am Rack milhouse wiederzubeleben…

  • Peter Djordjevic - 4. August 2007

    @Herr Neuber.

    Ich bin der Meinung, Herr Neuber, daß jetzt eine klare Aussage einmal nötig wäre, was denn nun genau die Probleme sind: also „Butter bei den Fisch“.
    Was bieten Sie für Alternativen an?

    Ich gehöre mit Sicherheit nicht zu jenen Bloggern, die, wenn der Server einmal 5 Minuten nicht erreichbar ist, direkt den Support anschreiben.

    Bitte Sie nun mehr höflichst um eine konkrete Aussage.

  • Peter Djordjevic - 4. August 2007

    Jetzt läuft es wieder! Nur der Zugriff via FTP klappt noch nicht.

  • Peter Djordjevic - 4. August 2007

    Jetzt läuft es wieder einmal nicht….

  • Thomas Schmidt - 5. August 2007

    Es kann keine installierte IMAP-Bibliothek gefunden werden!

    Wiederum kein eMail Empfang!!!
    Seit heute Vormittag den gesamten Sonntag kein eMail Empfang!!!

  • Peter Djordjevic - 6. August 2007

    Hallo Herr Neuber.

    Ich denke das war es wohl jetzt. Wieder einmal keinen Zugriff auf meinen Account.
    ….

  • M.Neuber - 7. August 2007

    28.7 auf 29.7

    Defekter Switch muss ausgetauscht werden, in dem Zug war Milhouse abgstürzt und liess sich nicht wieder rebooten. Fehler deuteten auf einen Festplattendefekt hin. Das 3ware Raid hat allerdings nichts gemeldet.

    29.7.
    Nach einigen Tests und einem Mainboardtausch konnte der Rechner zwischenzeitlich gebooted werden. Kurze Zeit später stürzt Milhouse jedoch wieder ab, Problem wird an die Tagesschicht Montag übergeben.

    30.7.
    Zunächst werden neue Festplatten an einem zusätzlichen 3ware
    Raidcontroler eingebaut und das System neu installiert. Danach wurden die Dienste installiert und die Daten von der alten Platte
    rüberkopiert. Zusätzlich wurden die Daten mit den Daten vom Backupserver abgeglichen. Die alten Cronjobs wurden wieder eingebunden. So lief Milhouse zunächst erstmal. Einige Datenbanken hatten noch defekte Tabellen. Dies wurde durch myisamchk und mysqlcheck behoben.

    1.8
    Es gab Probleme mit den Emails. Während der Reparatur/Neuinstallation war procmail abhanden gekommen.

    2.8.
    Probleme mit den Shells in der /etc/passwd wodurch sftp nicht
    funktionieren konnte. Die Shell wurde dann in die /etc/shells eingetragen.
    Danach gab es ein problem mit dem Chroot, wodurch sftp nicht läuft.
    Nach dem Fix dieses Confixxbugs durch Ausführen eines Cronjobs der bestimmte Einstellungen setzt Hand scheint es nun für die Webs zu laufen.

    3.8.
    Nach der Installation von suphp gab es ein Problem mit der mysql.so
    extension und der imap.so extension wodurch zweitweise kein eMail-Empfang möglich war

    Aktuell
    Es gibt immer wieder Ãœberlastungen des Rechners. Einige Kunden aktualisieren weder WordPress und Plugins noch nehmen unseren Updateservice in Anspruch 🙁 Dadurch gibt es immer wieder Versuche Schwachstellen auszunutzen.

    Die Ursache für die letzten beiden Milhouse Abstürze ist noch unbekannt.
    Gegen 17.30 wird durch Tausch der verbliebenen Hardwarekomponenten der letzte Trumpf gespielt.

    Ich hoffe hiermit einen kurzen Einblick zu geben – Milhouse ist definitiv ein Sorgenkind. An dieser Stelle auch noch einmal das Angebot kostenfrei auf einen stressfreien Server zu ziehen, dazu bitte kurz anrufen: 08000 252520.

ThumbSniper-Plugin by Thomas Schulte