I was curious to look at the distribution of duration with the intention to be brave as a physicist and infer a simple stochastic model which reproduces that distribution. I copied the duration data into a matlab vector duration, made histograms, fits for different distributions and KS-Tests. As duration is a discrete random variable (days starting from inauguration), distributions living on the nonnegative integers are the natural candidates. The classical one-parameter distributions Poisson and geometric failed to deliver fitting distributions, but the negative binomial (NB) did surprisingly well.

Normalized histogram for duration of incumbencay and best-fit negative binomial probabilty mass function.

What model does this imply? Looking at the days in the incumbency of a minister. Let us assume that every day can either be a success or failure which happens with probability . The negative binomial is the distribution of the number of successful days until failures occur (there is an extension to non-integer number of failures). Our model is thus, that a minister's incumbency ends after a certain number of failures (what ever that means in practice). The best fit suggests that under this model 1.79 failures are allowed during a minister's incumbency and that failures are relatively rare events happening with probabilty 0.11% every day, i.e. on average the first failure happens approximately at day 900.

Further notes:
Here ist the matlab code which delivers the results
% computation
dist='nbin';bins=0:500:7500;hi=hist(duration,bins);par=mle(duration,'distribution',dist);
% plots
clf;bar(bins,hi/sum(hi)/(bins(2)-bins(1)));hold on;x=0:8000;plot(x,pdf(dist,x,par(1),par(2)),'r','LineWidth',3);
% Kolmogorov-Smirnov test
[h,p]=kstest(duration,[x' cdf(dist,x,par(1),par(2))'])

You can test other two-parameter distributions by changing dist, e.g. to 'logn' or 'gam'. If you want to check one-parameter distribution you have to further remove ,par(2) from the code. It turns out that also the gamma distribution delivers a fit which is not rejected. This is reasonable because it is sometimes seen as the continuous-valued version of the negative binomial. Also the Weibull distribution was not rejected (although with much lower p-value), this shows that also other models might be appropriate. As always with statistics and real world data, I assume that the KS-Test would reject my theory when we have a larger dataset, as certainly some deviations from the negative binomial trend get dominant (e.g. caused by election cycles).

I hope this "finger exercise" on finding a simple stochastic model that fits is inspiring for political scientists, although every political theory would likely immediately reject it.

We study a situation of two communities, say Conservatives and Progressives which members are connected through many links within their community and fewer links to members of the other community. We showed that increasing the number of links while keeping the ratio of external to internal friends constant can make persistent dissent between communities possible . With a fewer number of friends both communities must converge finally to a consensual view.

Eli Pariser reports that he lost access to opinions of his few conservative friends (his intercommunity links) because Facebook automatically sorted and filtered his news feed due to the fact that he clicks more often at the news of his progressive community friends.
Both results together lead to the conclusion:
With more friends and more connections in social networks we might face more dissent and more fragmentation in opinions and culture.

By the way, our paper contains a nice “dynamical overview” figure about our model. I think it is a good example to learn what an attractive but unstable fixed point is and how fixed points bifurcate. (Click on the picture for a larger pdf.)

The model was taken from Universality Class of the Fiber Bundle Model on Complex Networks ([6] in the paper). There you can find a different definition of the model dynamics. It is valid only for undirected networks (as our examples) but is equivalent to ours’ in the paper. Our definition also holds for directed networks. Here are the definitions and two examples. (Thereby we also clarify slight typo and formatting errors which we unfortunatelly overlooked in correcting the proof.)

Let be the initial load, uniformly one for all nodes, is the vector of failing states and stands for the network. The dynamics to compute the loads of alive nodes from the current vector of failing states is Eq. (12)

Failing states are updated according to the general model, in Eq. (2)

with

with being the Heaviside function being zero when input is below zero and one when input is above zero. Thus, a failure is assigned when load () is above failing threshold ().

Let’s go to the details and look at Fig. 3 and Fig. 15. We focus on the left branch (labeled “links remain” for LLSC model) and the final step from the second last configuration to the last configuration. In both configurations in the second last step it holds

because nodes C,D, and E failed. To compute loads by Eq. (12) we need to quantify the set for all nodes alive (A,B,F,G,H,I). Subsequently, we have to quantify for all the failed nodes (C,D,E). It is not that difficult for this example because both sets are always equal. (See the paper for the formal definitions of both “reach”-sets). As example for a node alive look at

This holds because A can be reached from all the failed nodes through a path of failed nodes. Thus, it will receive parts of the initial loads of all failed nodes. What part will become clear once we quantify as example for a failed node

Each failed node transfers its load to 6 nodes alive, because each failed node can reach all nodes alive along a path of failed nodes. Consequently, each of the nodes alive receives 3 times 1/6 as additional load to its own initial load, summing up to 1.5 for each node alive. When the load of failed nodes is set to zero (which is naturally but unfortunately never formally stated) the total load remains constant at the magnitude of 9.

The transfer of load along a path of failed nodes is what is meant with the description “links remain”. Thus, the load of all failed nodes can be rebalanced when clusters of failed nodes merge, which does not happen in the current example. But the examples in Fig. 3 shows that the load of some nodes alive can decrease (e.g. node A) by new failures when the newly failed nodes bridges the cluster of failed nodes to many other nodes alive such that load can be carried by more nodes.

As a consequence, one can say that the process of local load sharing (as emphasized in [6], and consequently also by us) is not that local as it concerns the failed nodes. Vie a cluster of failed nodes it is possible to rebalance load among otherwise disconnected components of nodes alive.

The two examples Fig. 3 and Fig. 15 show that a different initially failing node (D instead of C) does not change the result of the cascade when links remain, as discussed. But it changes dramatically when links fail: First, the cascade proceeds in both cases because rebalancing is not possible. Second, it changes direction when the initially failing node is changed to the neighbor.

Es wurden 271 Zettel abgegeben.

Hier alle SchätzerInnen, die besser waren als der Median aller Schätzungen (924).

Als Bonus-Frage konnte man schätzen, wieviel Prozent der Schätzungen besser sind als die “Weisheit der Masse”. Die Weisheit der Masse wurde als Median aller Schätzungen definiert.

Das waren 49,8%.

Die besten SchätzerInnen der Bonus-Frage waren:

Die Ergebnisse wurden beim Science Slam mit dieser Präsentation vorgestellt.

Die Verteilungen der Schätzungen (im Histogramm) zeigt eine deutliche Rechtsschiefe. Die meisten Schätzungen sind niedrig, einige große Schätzungen allerdings extrem groß. Rechts fehlt sogar noch sehr viel vom Histogramm. Es gab auch einige Schätzungen im 10.000er Bereich und das Maximum war 110.000.

Histogramm Schätzungen Anzahl Zettel

Fazit zur Schätzfrage: Mit der Weisheit der Masse war es bei der Nacht der Wissenschaft nicht so doll. Die meisten überschätzten die Anzahl der abgegebenen Zettel deutlich. Unsere Vermutung ist, dass die meisten Leute zu stark auf die Anzahl der Besucher bei der Nacht der Wissenschaft geschaut haben und zu wenig auf den administrativen Aufwand mit wenigen Leuten in 3 Stunden viele Leute zum Ausfüllen zu motivieren. Mit mehr Personal hätten wir sicherlich auch 927 (wie der Median der Masse sagte) erreichen können.

In der Bonus-Frage war nach eine Prozentzahl gefragt. Die Verteilung der Antworten ist also nicht nach einer Seite offen, sondern durch 0 und 100 begrenzt. Hier zeigt sich das Bild anders herum: Die meisten Leute schätzten zu tief, wie sowohl Median also auch Mittelwert zeigen. Die Verteilung ist aber rechtsschief genauso wie vorher.

Histogram Schätzungen "Wieviel Prozent sind besser als die Masse?"

Fazit zur Bonus-Frage: Auch bei der deutlich komplizierteren Bonus-Frage ist von der Weisheit der Masse nicht sehr viel zu sehen. Die richtige Antwort liegt bei knapp 50%. Dass das so sein muss, lässt sich im Prinzip schon an der Abbildung zur Verteilung der Schätzungen zur ersten Frage ablesen. Der Medianliegt bei 927, die richtige Antwort bei 271 und eine natürliche Untergrenze bei 0. Das heißt, alle unterhalb das Medians sind besser als der Median, weil es nach unten keine größeren Abweichungen geben kann. Das sind 50% (bzw. die nächst kleinere mögliche Prozentzahl) nach Definition des Median. Es sieht so aus, als hätte sich die Person mit Gewinnschätzung (49,9%) das genauso überlegt! Herzlichen Glückwunsch.

Fazit: Die aggregierte Masse der Besucher hat bei der Nacht der Wissenschaft die Schätzfrage schlecht beantwortet und gleichzeitig die Güte der Schätzungen der Masse deutlich überschätzt. Beim Schätzquiz in Bremen sah das anders aus. Da gab es allerdings die zweite Frage noch nicht.

Vielleicht fragt sich noch jemand: Warum wurde eigentlich der Median und nicht der Mittelwert als “Weisheit der Masse” in der Bonus-Frage gewählt? Es hätte dann eine Gewinnmöglichkeit bei der Bonus-Frage durch folgende Antworten gegeben: Schätzfrage=10^100 (=1 Googol), Bonusfrage=99,9%. Der Mittelwert (als Weisheit der Masse) wäre dann auch im Bereich des Googol gewesen und somit wären alle Leute besser als der Mittelwert der Masse, bis auf den einen mit der schlauen Idee. Wenn mehrere die gleiche die Idee haben ergibt sich ein interessantes Spiel darum, wer welche Zahl als höchste Zahl ansieht… Das ganze wurde aber durch die Wahl des Medians vermieden.
Eine clevere Gruppe von SchätzerInnen war übrigens tatsächlich am Überlegen, mich so ähnlich reinzulegen, hat dann aber meine Sicherheitsmaßnahme bemerkt.

PS: Danke! An Anne Krull, Sebastian Schneider und Kamil Marcinkiewiecz fürs Helfen.

Meine Erkenntnisse ziehe ich übrigens zum Teil aus diesem Experiment.

Wieviele Lose werden bei der “Haste mal ‘nen Euro”-Tombola insgesamt verkauft?

Wer am nächsten am richtigen Ergebnis war konnte, neben der Ehre der beste Bremer Schätzer zu sein, Freikarten für den Zirkus gewinnen. Nachempfunden ist dieser Schätzquiz dem Ochsen-Gewicht-Schätz-Wettbewerb der westenglische Nutztiermesse von 1906 deren Daten Francis Galton 1907 in seinem Artikel Vox populi (nature, 75, 7, March 7) auswertete. Damals war der Median aller 787 Schätzungen zum Gewicht eines Ochsen 1207 lb. und sein echtes Gewicht 1198 lb. Auf dem Viertelfest lag der Median von 1226 Schätzungen bei 9843 und es wurden 10788 Lose verkauft. Immerhin 96 Personen (7,8%) schätzen besser als das Kollektiv. Der Experte (Leiter der Bremer Bürgerpark-Tombola) war weit abgeschlagen, allerdings nicht so weit wie der klassische Durchschnitt aller Schätzungen. Damit sind wir bei einem interessanten Thema welches ein bisschen über die simple “Weisheit der Massen”-Geschichte hinausgeht:

Im Gegensatz zum Ochsen-Gewicht-Schätzwettbewerb waren die Schätzung beim Viertelfest breiter gestreut. In Galtons Stichprobe schätzten 5% der Leute unter 1074 lb. (5%-Quantil) und 5% über 1293 lb. (95%-Quantil). Bei der Anzahl der Lose schätzten 5% der Leute unter 1203 Lose (5%-Quantil) und 5% über 99910 Lose (95%-Quantil). Insbesondere schätzten einige Leute noch deutlich höher, was zu dem sehr schlechten Mittelwert (arithmetisches Mittel) von 53164 führt. Damit haben wir ein gutes Beispiel dafür, dass der Median ein besseres Aggregationsmaß ist als das arithmetische Mittel, weil es robust ist gegen einzelne Extremmeinungen. Das hat Galton auch 1907 in One vote, one value (nature, 75, 414, Februar 28) schon geschrieben und den Median als “demokratisches” Aggregtionsmaß vorgeschlagen. Das ist auch argumentativ korrekt, nur ist es dummerweise in Galtons Stichprobe anders, wie Reginald Hawthorn Hooker gleich in Mean or Median (nature, 75, 418, March 21) geantwortet hat. Er hatte aus Galtons Quantil-Daten ein arithmetisches Mittel von 1196 lb. geschätzt. Darauf gab Galton in einem Letter (nature 75, 508-509, March 28) zu, dass es korrekt sogar 1197 lb. seien und das arithmetische Mittel weiche damit sogar nur um 1 Pfund vom richtigen Wert ab im Gegensatz zu 9 Pfund beim Median. Unser Experiment vom Viertelfest mit den breiter gestreuten Daten gibt nun allerdings wieder Galton recht und zwar deutlich: Der Median ist gut, das arithmetische Mittel 5mal zu hoch.

Ist das jetzt alles Zufall gewesen? Meine vage Hypothese dazu ist folgende: Der Median ist für die meisten Stichproben wohl die sicherere Variante, weil er tatsächlich robust gegen extrem falsche Einzelschätzungen ist. Viele Stichproben zu Schätzfragen sind nicht normal verteilt, andernfalls könnte man sich die Diskussion sparen, da Median und arithmetisches Mittel dann gleich wären. Die Verteilung der Antworten zu einer Frage, die prinzipiell nur positive Zahlen zulässt ist z.B. typischerweise eher log-normal verteilt, also rechtsschief, wie z.B. bei der Anzahl der Lose. Galtons Stichprobe ist dagegen interessanterweise linksschief, was er sich auch nicht so recht erklären kann. In beiden Fällen trifft übrigens folgendes zu: Der Median ist recht nah am richtigen Wert, und der richtige Wert ist zwischen Median und arithmetischem Mittel. D.h. heisst, man muss den Median in Richtung Mittelwert anpassen um noch korrekter zu werden. Für dieses Faktum habe ich noch 6 andere Beispiele, die ich demnächst hier noch einstelle. Ist dort empirische Evidenz? Eine spannende offene Frage …

PS: Auf die Idee, sehr viele Lose zu kaufen und dann sehr hoch zu schätzen und dadurch sicher zu gewinnen, ist irgendwie keiner gekommen. Dabei habe ich extra diesen interessanten Feedback-Loop zwischen richtiger Antwort (wieviel verkaufte Lose) und Antwort-Aktivität (ein Los kaufen, d.h. richtiger Wert +1) eingebaut. Um ihn wirksam zu machen, hätte man wohl höhere Geldpreise gebraucht…

PPS: Die Kommunikationsfrequenz von damals (alles in 30 Tagen!) erinnert schon ziemlich an Blogs.

PPPS: Hier sind die Daten vom Viertelfest, für alle die mal selbst was rechnen wollen.

PPPPS: Ich danke Susanne Claasen und ihrem Tombola-Team für die Datensammlung!

PPPPPS: Einen scienceblog-Beitrag gibt es auch.

A possible nice side effect:
Imagine you burn some calories to recharge your mobile.
I appreciate any technical information how to implement such a charge power point on human skin.

PS: The issue was also touched at xkcd.com but with an emphasis on software issues not electricity.

Everybody who reads or writes scientific papers knows that a citation may have very different meanings which do not always coincide with the interpretation of “pointing to relevance”, as implied by the above uses. Further on, every scientist knows that the motivations of citing a paper are not always driven by pure scientific reasons.

Ideally, all these differences in citations could be incorporated in a scientific citation markup like \cite[markup]{RefKeyForPaper} (in LaTeX citation style) or the like.
Some ideas:

\cite[negative]{PaperWithSevereErrors}
\cite[community feeling]{PopularPaperWithNoSpecificRelation}
\cite[please journal editor]{AnyPaperOfEditor}
\cite[enforced by a referee]{SuggestedPaper}
\cite[proof or evidence elsewhere]{TechnicalPaper}
(The latter can be used to (i) avoid redundancy in the literature, (ii) save space, or (iii) to obfuscate that there is none. (iii) is prominent in physics as a citation with a reference to an own paper which is “to appear”)

Imagine, what more sophisticated profiles of papers, journals and scientists one could create with it …