Quand un désastre frappe!

en feu

Les 48 dernières heures n'ont pas été amusantes. La technologie est une chose fantastique, mais elle n'est jamais parfaite. En cas d'échec, je ne suis pas sûr qu'il y ait vraiment autant de préparation que vous pouvez avoir… mais vous devez réagir.

Vous avez peut-être remarqué que notre site devenait extrêmement lent ces dernières semaines. C'était étrange étant donné que nous l'avons sur un excellent pack d'hébergement combiné avec un serveur de base de données à ces émotions et de Content Delivery Network. Comme nous avions beaucoup d'espace, nous avons hébergé d'autres sites là aussi… et c'était notre erreur!

L'un de nos projets est un outil de surveillance des médias sociaux qui se connecte à Twitter et Facebook, collectant des données sur des milliers d'équipes sur le marché du sport. Une fois par jour, il rassemble des informations sur les fans et les abonnés, les collectant dans la base de données. Nous avons beaucoup développé le projet et avons récemment remarqué que certaines statistiques étaient fausses. Notre client, Pat Coyle, a été patient avec nous pendant que nous résolvions le problème.

Puis tout h ** l s'est détaché! Il semble que le processus de collecte des informations ait commencé à s'exécuter en quelques minutes au lieu d'une fois par jour. Notre base de données est passée à plus de 1G en quelques jours, ralentissant notre serveur et occupant des tonnes d'espace dessus. L'autre soir, je regardais en fait chaque site que nous avions sur le compte a commencé à descendre un par un. Pouah.

Nous avions déjà prévu de déménager Martech à WPEngine pour le placer dans un environnement dédié avec des sauvegardes, une diffusion de contenu intégrée et un ensemble de serveurs ultra-rapides. Nous avons quelques autres clients et nous avons été extrêmement satisfaits du service et de leur incroyable soutien. Ce n'est pas que Mediatemple était mauvais, c'est simplement que cet environnement a été conçu pour des blogs de publication comme le nôtre qui reçoivent une tonne de trafic. Au milieu de la nuit, j'ai écrit aux gars de WPEngine et ils m'ont fait lever le matin! Merci les gars!

Ensuite, nous avons commencé à chercher comment réparer la base de données. Il a en fait arrêté le serveur de base de données et corrompu la plus grande table (celle avec TOUTES les données centrales!). Comme le serveur était plein, nous ne pouvions pas faire de réparation ... nous ne pouvions pas accéder aux fichiers, ne pouvions pas les sauvegarder ... nous étions bloqués. Les gens de MediaTemple sont intervenus et ont réparé la table. Nous avons alors pu faire une sauvegarde complète et commencer à remonter les autres sites.

Le passage à WPEngine n'a pas été sans douleur. Comme nous ne pouvions pas accéder à notre base de données, nous avons dû prendre un instantané récent de la base de données ... qui, pour une raison quelconque, a perdu tout notre alignement de catégorie dans le processus. On a sauvegardes WordPress hors site, aussi, mais notre base de données est si grande que la mise en place de tous les segments de sauvegarde allait prendre beaucoup trop de temps.

Nous avons donc restauré les données et parcouru plus de 2,500 publications et les avons soigneusement recatégorisées. Je suis sûr que nous allons prendre un peu de succès sur le référencement parce que cela a changé les chemins d'URL… alors nous avons pris un coup encore plus grand et avons changé notre structure de permalien (sans la catégorie). C'est quelque chose que je devais faire depuis un moment, alors c'était le meilleur moment que plus tard.

Nous avons abandonné notre ancien thème. C'était lourd en graphiques (sans sprites CSS) et n'était pas trop convivial pour le redimensionnement. Nous avons décidé de modifier fortement le Thème Twenty Eleven c'est standard avec WordPress pour le moment. Il est prêt pour HTML5 et dispose d'une tonne de fonctionnalités de conception réactives dont il était bon de tirer parti.

Dans l'intervalle, Jenn a maintenu le fort à DK New Media - jongler avec quelques projets et les assommer en grand. Stephen a tiré un all-dayer (il travaille déjà la nuit!), Bon ami Adam petit est intervenu et a aidé, MediaTemple l'a fait sortir du parc et WPEngine a également aidé. Merci à tous… nous revenons au blogging!

Il est maintenant temps pour moi de dormir :). Ensuite, nous réparerons nos thèmes iPad et mobiles!

4 Commentaires

  1. 1

    Doug,

    Je suis vraiment désolé d'apprendre que vous avez eu ces problèmes. C'est là qu'un professionnel de l'informatique, comme moi, aurait pu et DEVRAIT surveiller vos systèmes pour éviter une telle situation. Je suis sûr que vous recevez de nombreux commentaires et publications de ce type, mais la situation est simple. Une maintenance, une planification et des prévisions de croissance appropriées doivent avoir préparé vos sites et votre base de données à ce niveau de trafic. Je serais intéressé à parler avec vous de cette situation et des mesures qui peuvent être prises pour prévenir à l'avenir. Nous avons parlé dans le passé, vous me connaissez sur votre flux Twitter en tant que @indyscompugeek.

    Daniel, HeadGeek d'Indy's Computer Geek

  2. 3

    Doug - UGH! est correct. J'étais sur ce site il y a environ une semaine en train de lire un blog et j'ai remarqué à quel point c'était lent. J'ai sérieusement envisagé de vous envoyer un e-mail et de vous dire ainsi, mais je me suis dit qui suis-je pour dire à «The Man» que son site était «lent». Maintenant je sais pourquoi! Alors, heureux que vous (et votre groupe) ayez pu le remettre en état et fonctionnel. Avez-vous déjà envisagé d'intégrer le Framework StudioPress Genesis - http://www.studiopress.com - J'utilise if pour mon site et tous mes sites clients. Logiciel très solide - J'adore!

    • 4

      Salut greg! J'ai entendu de grandes choses sur le framework Genesis. Nous ne l'avons pas encore utilisé, mais je pense que je vais peut-être sortir le gourou de WordPress, Stephen, pour créer un thème avec. Ce thème a commencé avec Twenty Eleven mais il a été totalement personnalisé et optimisé. Jusqu'ici, ça semble bien tenir!

Que pensez-vous?

Ce site utilise Akismet pour réduire les spams. Découvrez comment sont traitées les données de vos commentaires..