Beiträge: 9.448
Themen: 473
Registriert seit: Sep 2007
Beiträge: 2.355
Themen: 118
Registriert seit: Oct 2007
Bewertung:
6
Uhhhh.... na die paar Stunden hättens auch noch offline bleiben können
Aber gut, mann kann ja nicht immer richtig liegen.
Hiermit vergeben wir hochoffiziell den goldenen Zaradustra an Charliemike !!!
Applaus,applaus,applaus....
Wenn du den Wald vor lauter Bäumen nicht sehen kannst, so fälle die Bäume und du wirst feststellen dass da gar kein Wald ist.
Beiträge: 1.547
Themen: 34
Registriert seit: Apr 2009
Bewertung:
25
(04.Jul.2009, 17:16 )Charliemike schrieb: muss i den gewinn jetzt von der steuer absetzen?
(04.Jul.2009, 14:44 )frigschneck schrieb: also nach meinem Script ist geocaching.com seit 14:04 wieder online - und charliemike damit eindeutiger Sieger unserer Wette!
also in meinen log hat ab 14:05 die dns auflösung wieder funktioniert und ab 14:13 dann auch der server auf pings reagiert aber das sind blos details
Charliemike gratuliere, du hast die grandiose Fußreise nach China gewonnen.
Mögen viele Caches deinen einsamen Weg säumen.
Die ganze Forum-Gemeinde freut sich schon sehnlichst auf deinen Bericht bei der Rückkehr (so Frühling nächstes Jahr).
Non soli cedit
„Natürlicher Verstand kann fast jeden Grad von Bildung ersetzen, aber keine Bildung den natürlichen Verstand"
Albert Einstein (und Billa)
Beiträge: 365
Themen: 49
Registriert seit: Sep 2007
Bewertung:
2
ich stelle mich freiwillig als mitgeher zur verfügung
Beiträge: 9.448
Themen: 473
Registriert seit: Sep 2007
(04.Jul.2009, 18:43 )Marsi schrieb: ich stelle mich freiwillig als mitgeher zur verfügung
mich könnt's ruhig mitloggen.
Beiträge: 365
Themen: 49
Registriert seit: Sep 2007
Bewertung:
2
Beiträge: 1.613
Themen: 52
Registriert seit: Feb 2008
Bewertung:
3
Langt´s wenn man ganz am Schluss ein paar Meter mitgeht um zu loggen?
Beiträge: 365
Themen: 49
Registriert seit: Sep 2007
Bewertung:
2
Beiträge: 1.275
Themen: 49
Registriert seit: Nov 2007
Bewertung:
12
das zählt nur bei fussreisen nach vorarlberg ;-)
wie war das jetzt eigentlich mit dem nano-pad?
Beiträge: 2.739
Themen: 42
Registriert seit: Jul 2008
Bewertung:
19
(04.Jul.2009, 18:22 )Bavarix schrieb: Charliemike gratuliere, du hast die grandiose Fußreise nach China gewonnen.
Mögen viele Caches deinen einsamen Weg säumen.
Die ganze Forum-Gemeinde freut sich schon sehnlichst auf deinen Bericht bei der Rückkehr (so Frühling nächstes Jahr).
Und vergiss bitte nicht aufs Prodogolllll...
Viele Grüße
alex.of.austria
* Level 4-Cacher
Beiträge: 2.148
Themen: 117
Registriert seit: Feb 2008
Bewertung:
19
(04.Jul.2009, 17:16 )Charliemike schrieb: also in meinen log hat ab 14:05 die dns auflösung wieder funktioniert und ab 14:13 dann auch der server auf pings reagiert aber das sind blos details
na gsd bist du so oder so der eindeutige Gewinner, sonst hätten wir noch im nachhinein definieren müssen welche Zeit genau gemeint war
Gloria Gaynor, October 1978!
Beiträge: 9.448
Themen: 473
Registriert seit: Sep 2007
(04.Jul.2009, 19:52 )Charliemike schrieb: wie war das jetzt eigentlich mit dem nano-pad?
(03.Jul.2009, 20:56 )Termite2712 schrieb: Wird zur Siegerehrung wieder gedilbert?
Falls ja, spende ich wieder ein Nano-Pad für den Sieger
Wenn obengenannte Bedingung erfüllt wird, kannst schon Termine vorschlagen - Koordinaten gibt's in einschlägigen Threads hier im Forum bzw. in 3 (archivierten) Eventcacheliesdings von Stegi und mir.
Beiträge: 2.796
Themen: 178
Registriert seit: Sep 2007
Bewertung:
7
Jeremy schrieb:Our servers are a bunch of primadonnas. They demand to be pampered in the greatest colocation facility in the world (if you agree with the video of Fisher Plaza touting that fact), resting on pillows of AC and fed power in Waterford crystal goblets. We literally pay more for the 5 cabinets that house the servers* than we do our entire Groundspeak office - and then some.
Around 5am Pacific today, all of our grumpy but lucid Groundspeak servers woke from their slumber to greet geocachers** who were, as one user wrote, scratching their arms in search for their next geocaching fix. Most were just happy to have the servers back online but others were asking questions about disaster recovery and communication in a crisis. Instead of finger pointing, although cathartic, I'd like to focus on what worked, what didn't, and how we can try to avert some issues if (and when) this happens again.
To set the stage, we have been hosted at Internap in the Fisher Plaza since 2002 and in that time have only had 2 significant events that related directly to facility issues. The last issue lasted around 8 hours while this one is, by far, the most signficant downtime in the history of the web site. In total we had 29 hours of downtime. Unfortunately the 29 hours were during the geocaching peak season on the busiest weekend of the year and, to compound things, a day off from work for many. The Fates were definitely conspiring to pick the worst day to bring the Geocaching.com site down.
What Worked
The usefulness of Twitter and Facebook became obvious for this crisis. All our web servers and email servers were all located at Fisher Plaza. We had very few options for posting updates, so we had to rely on outside systems to communicate with our community and our partners. I switched from Groundspeak emails to my Gmail account, and my iPhone running Tweetie helped me to get information out as I was "on the scene." By the end of the day I added an additional 800+ followers on Twitter which, in the past, was used as a toy for logging geocaching finds with my family and for the random Groundspeak update.
Also, although we didn't have the need for backups this time, we have daily backups of all our systems. Since this happened before our nightly backups occured it was close to the worst time for a data failure. At the most we would have lost a day of data. In a catastrophic event this isn't a total Fail. It just sucks.
What Didn't Work
Although I won't finger point at the cause of this issue, I will point out that Fisher Plaza people lacked any official communication with the first responders at the scene. Many clients of the building were in the dark, both figuratively and literally, while we were waiting outside for news of what really happened. Instead we had to join in on Twitter to figure out what happened. Was it a fire? (yes) Did the sprinklers turn on? (yes) OMG! Our machines are fried! (no. just the generator) If someone walked out of the building with some authority and told us what they knew - we could have passed that information on to our customers. Internap did a relatively good job at giving status updates though they were sparse and sometimes repeated. I'd give Internap a C and Fisher Plaza an F for communication.
I'll be just as hard on us and say that we should get an F for communication preparedness. Although I think we did a good job at working around our own issues with Facebook and Twitter (and this blog), we were unable to make updates available on our web pages and our iPhone application. The reason why some sites could do this and others could not is that our entire server infrastructure was in the Fisher Plaza basket. The other companies likely had better ways to switch over to a new location. Our only alternative, pointing DNS to another server, would have made it harder to get back online since many people would continue to point to the wrong machine when the servers were back with power. Since we only anticipated a ~12hr outage it made no sense to do something that could take another 24 hours to correct for some users.
What Next?
There are some obvious things to do to correct what didn't work, and some solutions that will require some thought. I'll highlight a couple of high level things we'll consider and implement.
We're not a bank, so although 29 hours is a long time to be down, we do not plan to duplicate our infrastructure so we are completely redundant. It is just too expensive to make fiscal sense. Instead, we'll ensure that in the case of a catastrophic event that we'll have the best backups and the best steps for restoring those backups to a new system. We already have a good system but we'll make it even better.
We'll have a better system for communicating with our customers, so these systems will be the focus for redundancy planning. This includes rerouting web servers and email. Even streaming my Twitter account on the front page of Geocaching.com would have been helpful for letting people know what is happening.
Lastly, we're going to create an official disaster recovery plan so everyone knows what to do at Groundspeak in the situation where there is a catastrophic event. We should always understand the worst case scenario and how to recover from it. We owe this to our customers.
For those in the US, have a Happy 4th of July! And thanks to everyone for your ongoing support of Groundspeak and the geocaching activity. From the Tweets and Facebook posts you definitely enjoy geocaching. Now go out and find a cache!
* we're not using all of the cabinets at Internap yet but we're still paying for them
** although we also run Waymarking.com and Wherigo.com, the geocaching community is easily the largest and most vocal, so I'm focusing on them for the blog. I know everyone else is just as excited to see our other sites back online.
Beiträge: 2.148
Themen: 117
Registriert seit: Feb 2008
Bewertung:
19
Ein offenes und ehrliches statement - gefällt mir!
Gloria Gaynor, October 1978!
Beiträge: 1.275
Themen: 49
Registriert seit: Nov 2007
Bewertung:
12
(05.Jul.2009, 09:36 )Termite2712 schrieb: (04.Jul.2009, 19:52 )Charliemike schrieb: wie war das jetzt eigentlich mit dem nano-pad?
(03.Jul.2009, 20:56 )Termite2712 schrieb: Wird zur Siegerehrung wieder gedilbert?
Falls ja, spende ich wieder ein Nano-Pad für den Sieger
Wenn obengenannte Bedingung erfüllt wird, kannst schon Termine vorschlagen - Koordinaten gibt's in einschlägigen Threads hier im Forum bzw. in 3 (archivierten) Eventcacheliesdings von Stegi und mir.
seit wann muss der sieger seine eigene siegerehrung organisieren?
Beiträge: 2.148
Themen: 117
Registriert seit: Feb 2008
Bewertung:
19
Den Ring, den du kriegst wenn du sub auspiciis promovierst, musst du auch selber bezahlen - hab ich auch nie verstanden...
naja, termite, bist ja sonst nicht so - willst nicht doch du das Event ausrufen?
Gloria Gaynor, October 1978!
Beiträge: 766
Themen: 24
Registriert seit: Apr 2008
Bewertung:
0
nau super ..... scho wieder aus
ah... war nur kurz rennt scho wieder
Beiträge: 7.377
Themen: 290
Registriert seit: Sep 2006
Bewertung:
28
Wann soll den das geocaching.com-down-dilbern stattfinden?
Nemo me impune lacessit!
Beiträge: 1.234
Themen: 14
Registriert seit: Sep 2007
Bewertung:
9
(05.Jul.2009, 23:59 )Tafari schrieb: Wann soll den das geocaching.com-down-dilbern stattfinden?
lt. jeremy-blog offensichtlich 29 stunden vor dem gc-wieder-live-dilbern, oder???
"Die Normalität ist eine gepflasterte Straße; man kann gut darauf gehen - doch es wachsen keine Blumen auf ihr." (van Gogh)
|