{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "f7926912",
   "metadata": {},
   "source": [
    "# Wissenssuche im Labor\n",
    "\n",
    "Ein Beispielnotebook zum Buch *Das Richtige als Nächstes*, Kapitel 6.\n",
    "\n",
    "Das Notebook spielt den ersten Laborversuch von Aerantis Service durch. Die Wartungsunterlagen und die Fragen sind **erfunden**, die Lüftungsanlage LA-300 gibt es nicht. Ein Sprachmodell kommt hier nicht vor. Das Notebook prüft den Schritt davor: Findet die Suche zu einer Frage die richtige Stelle in den Unterlagen? Ein Wissensassistent kann nur so gut antworten, wie die Stellen sind, die ihm die Suche vorlegt.\n",
    "\n",
    "Sie können jede Zelle einzeln ausführen (Umschalt + Enter) und Zahlen verändern, um zu sehen, was passiert. Das Notebook läuft ohne Installation zum Beispiel in Google Colab: Datei hochladen und im Menü „Laufzeit“ den Punkt „Alle ausführen“ wählen.\n",
    "\n",
    "Material zum Buch, Stand November 2026. Die aktuelle Fassung liegt immer unter kiwi-strategie.de/material/."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9a0c0994",
   "metadata": {},
   "source": [
    "## 1. Die Laborhypothese\n",
    "\n",
    "Bevor wir rechnen, halten wir fest, was wir herausfinden wollen. Das ist die Tabelle aus Abschnitt 6.2, ausgefüllt für diesen Versuch:\n",
    "\n",
    "| Feld | Für diesen Versuch |\n",
    "|---|---|\n",
    "| Aufgabe | Antworten auf typische Kundenfragen schneller und verlässlich finden |\n",
    "| Hypothese | Eine Suche im Text der Unterlagen findet die richtige Stelle deutlich öfter als die heutige Suche nach Überschriften |\n",
    "| Vergleichsgrundlage | Suche nur in den Überschriften, so wie heute nach Dateinamen gesucht wird |\n",
    "| Daten | Ein Anlagentyp, 24 freigegebene Abschnitte aus den Wartungsunterlagen, 20 typische Fragen mit bekannter Fundstelle |\n",
    "| Messgröße | Anteil der Fragen, bei denen die richtige Stelle unter den ersten drei Treffern liegt |\n",
    "| Testumfang | Alle 20 Fragen |\n",
    "| Abbruchkriterium | Die richtige Stelle liegt bei weniger als 80 Prozent der Fragen unter den ersten drei Treffern |\n",
    "| Verantwortung | Das Beratungsteam bewertet das Ergebnis, die Geschäftsleitung entscheidet über den nächsten Schritt |\n",
    "\n",
    "Die 80 Prozent sind eine Annahme für dieses Beispiel. Im echten Versuch legen die Fachleute diese Schwelle fest, **bevor** das erste Ergebnis vorliegt."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7f1b7c06",
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "from sklearn.metrics.pairwise import cosine_similarity\n",
    "\n",
    "ERFOLGSSCHWELLE = 0.80   # richtige Stelle bei mindestens 80 % der Fragen unter den ersten drei\n",
    "TREFFERZAHL = 3          # so viele Treffer sieht die Person, die sucht"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9bc61f00",
   "metadata": {},
   "source": [
    "## 2. Erfundene, aber plausible Unterlagen\n",
    "\n",
    "24 kurze Abschnitte aus dem Wartungshandbuch, jeder mit Kennung, Überschrift und Text. Alle tragen den Status „freigegeben“. Was in den Index darf, ist eine fachliche Entscheidung (Abschnitt 5.4)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "00f0b085",
   "metadata": {},
   "outputs": [],
   "source": [
    "abschnitte = pd.DataFrame([\n",
    " (\"A01\", \"Filterwechsel Zuluft\", \"Die Taschenfilter der Zuluft werden alle sechs Monate getauscht. Bei staubiger Umgebung verkürzt sich das Intervall auf drei Monate. Vor dem Öffnen der Filterkammer die Anlage am Reparaturschalter abschalten.\"),\n",
    " (\"A02\", \"Filterwechsel Abluft\", \"Die Abluftfilter werden einmal im Jahr getauscht. Gebrauchte Filter in den mitgelieferten Beutel geben und als Restmüll entsorgen.\"),\n",
    " (\"A03\", \"Differenzdruck am Filter\", \"Zeigt die Anzeige am Filter mehr als 250 Pascal, ist der Filter zugesetzt und muss gewechselt werden. Ein neuer Filter liegt bei etwa 80 Pascal.\"),\n",
    " (\"A04\", \"Keilriemen prüfen\", \"Der Keilriemen des Ventilators wird bei jeder Wartung auf Risse und Spannung geprüft. Er darf sich in der Mitte höchstens einen Zentimeter eindrücken lassen. Ein quietschendes Geräusch beim Anlauf weist auf zu geringe Spannung hin.\"),\n",
    " (\"A05\", \"Lager des Ventilators\", \"Die Lager sind dauergeschmiert. Bei mahlendem oder brummendem Laufgeräusch den Ventilator stillsetzen und die Lager tauschen lassen.\"),\n",
    " (\"A06\", \"Frostschutz Wärmetauscher\", \"Sinkt die Temperatur hinter dem Wärmetauscher unter fünf Grad, schließt die Außenluftklappe und die Anlage meldet Frostalarm. Die Anlage startet erst wieder, wenn der Alarm am Bedienteil quittiert wurde.\"),\n",
    " (\"A07\", \"Kondensatablauf\", \"Steht Wasser in der Wanne unter dem Wärmetauscher, ist der Ablauf verstopft. Siphon abschrauben, spülen und mit Wasser gefüllt wieder einsetzen. Ein trockener Siphon führt zu Geruch in den Räumen.\"),\n",
    " (\"A08\", \"Störung E12 Strömungswächter\", \"Die Meldung E12 erscheint, wenn der Ventilator läuft, aber kein Luftstrom gemessen wird. Häufige Ursachen sind ein gerissener Keilriemen oder eine geschlossene Brandschutzklappe.\"),\n",
    " (\"A09\", \"Störung E21 Fühlerbruch\", \"Die Meldung E21 bedeutet, dass ein Temperaturfühler keinen Wert liefert. Steckverbindung am Fühler prüfen. Bleibt die Meldung, den Fühler tauschen.\"),\n",
    " (\"A10\", \"Störung E30 Motorschutz\", \"Bei E30 hat der Motorschutzschalter ausgelöst. Den Motor abkühlen lassen und den Schalter im Schaltschrank zurücksetzen. Löst er erneut aus, den Service rufen und die Anlage nicht weiter betreiben.\"),\n",
    " (\"A11\", \"Brandschutzklappen\", \"Brandschutzklappen werden einmal jährlich ausgelöst und wieder geöffnet. Die Prüfung ist im Prüfbuch mit Datum und Namen einzutragen.\"),\n",
    " (\"A12\", \"Zeitprogramm einstellen\", \"Betriebszeiten werden am Bedienteil im Menü Zeitprogramm eingestellt. Für jeden Wochentag sind bis zu vier Schaltzeiten möglich. Feiertage werden im Untermenü Sondertage eingetragen.\"),\n",
    " (\"A13\", \"Sollwert Zulufttemperatur\", \"Die Zulufttemperatur ist ab Werk auf 20 Grad eingestellt. Sie lässt sich am Bedienteil zwischen 16 und 24 Grad verändern.\"),\n",
    " (\"A14\", \"Sommerbetrieb und Nachtlüftung\", \"Im Sommerbetrieb umgeht die Luft den Wärmetauscher über die Bypassklappe. Die Nachtlüftung kühlt das Gebäude mit Außenluft, wenn es draußen mindestens drei Grad kälter ist als innen.\"),\n",
    " (\"A15\", \"Wärmerückgewinnung reinigen\", \"Der Plattenwärmetauscher wird alle zwei Jahre mit Druckluft gegen die Luftrichtung ausgeblasen. Keinen Hochdruckreiniger verwenden, die Lamellen verbiegen sich.\"),\n",
    " (\"A16\", \"Schalldämpfer\", \"Schalldämpfer sind wartungsfrei. Bei sichtbarer Verschmutzung trocken absaugen.\"),\n",
    " (\"A17\", \"Luftmenge einstellen\", \"Die Luftmenge wird über die Drehzahl des Ventilators in drei Stufen gewählt. Stufe 2 ist der Normalbetrieb. Ziehen sich Türen schwer auf, ist die Abluftmenge zu hoch eingestellt.\"),\n",
    " (\"A18\", \"Hygieneinspektion\", \"Alle drei Jahre ist eine Hygieneinspektion durch geschultes Personal vorgeschrieben. Dabei werden Abklatschproben an den Kanalwänden genommen.\"),\n",
    " (\"A19\", \"Wiederinbetriebnahme nach Stillstand\", \"Nach mehr als vier Wochen Stillstand zuerst die Filter prüfen, den Siphon füllen und die Anlage eine Stunde auf Stufe 1 laufen lassen.\"),\n",
    " (\"A20\", \"Reparaturschalter und Freischalten\", \"Vor allen Arbeiten im Gerät den Reparaturschalter auf Null stellen und mit einem Schloss sichern. Der Ventilator läuft bis zu zwei Minuten nach.\"),\n",
    " (\"A21\", \"Ersatzteile bestellen\", \"Ersatzteile werden mit der Seriennummer vom Typenschild bestellt. Das Typenschild sitzt innen an der Tür der Ventilatorkammer.\"),\n",
    " (\"A22\", \"Gewährleistung\", \"Die Gewährleistung beträgt 24 Monate ab Inbetriebnahme. Sie setzt voraus, dass die Wartungen im Prüfbuch nachgewiesen sind.\"),\n",
    " (\"A23\", \"Fernzugriff\", \"Die Anlage kann über das Netzwerk an die Gebäudeleittechnik angebunden werden. Die Freigabe erteilt die IT des Betreibers.\"),\n",
    " (\"A24\", \"Notbetrieb bei Ausfall der Regelung\", \"Fällt die Regelung aus, lässt sich der Ventilator im Schaltschrank von Hand auf Stufe 1 schalten. Der Frostschutz ist dann nicht aktiv, deshalb nur bei Außentemperaturen über fünf Grad verwenden.\"),\n",
    "], columns=[\"kennung\", \"ueberschrift\", \"text\"])\n",
    "abschnitte[\"status\"] = \"freigegeben\"\n",
    "print(len(abschnitte), \"Abschnitte\")\n",
    "abschnitte.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5c822107",
   "metadata": {},
   "source": [
    "## 3. Die Testfragen\n",
    "\n",
    "20 Fragen, so wie sie am Telefon gestellt werden, also in den Worten der Kundschaft und nicht in denen des Handbuchs. Zu jeder Frage hat das Beratungsteam vorab die richtige Fundstelle notiert. Ohne diese Liste ließe sich später nur sagen, dass die Suche etwas findet, aber nicht, ob es das Richtige ist."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "0aead025",
   "metadata": {},
   "outputs": [],
   "source": [
    "fragen = pd.DataFrame([\n",
    " (\"Wie oft müssen die Filter für die Zuluft getauscht werden?\", \"A01\"),\n",
    " (\"Wohin mit den alten Filtern aus der Abluft?\", \"A02\"),\n",
    " (\"Die Anzeige am Filter steht bei 300 Pascal. Ist das schlimm?\", \"A03\"),\n",
    " (\"Beim Einschalten quietscht es laut. Woran liegt das?\", \"A04\"),\n",
    " (\"Wann muss wieder jemand zur Keimprüfung kommen?\", \"A18\"),\n",
    " (\"Die Anlage zeigt Frostalarm und läuft nicht mehr an.\", \"A06\"),\n",
    " (\"Unter dem Gerät steht Wasser in der Wanne.\", \"A07\"),\n",
    " (\"Es riecht muffig in den Büros, woher kommt der Geruch?\", \"A07\"),\n",
    " (\"Im Display steht E12. Was bedeutet das?\", \"A08\"),\n",
    " (\"Wie lange haben wir Garantie auf das Gerät?\", \"A22\"),\n",
    " (\"Der Motorschutzschalter hat ausgelöst. Darf ich ihn zurücksetzen?\", \"A10\"),\n",
    " (\"Wie oft werden die Brandschutzklappen geprüft und wo trage ich das ein?\", \"A11\"),\n",
    " (\"Wie stelle ich ein, dass die Lüftung an Feiertagen aus bleibt?\", \"A12\"),\n",
    " (\"Den Leuten ist zu kalt. Kann ich die Temperatur der Zuluft höher stellen?\", \"A13\"),\n",
    " (\"Wann kühlt die Anlage nachts mit Außenluft?\", \"A14\"),\n",
    " (\"Darf ich den Wärmetauscher mit dem Hochdruckreiniger sauber machen?\", \"A15\"),\n",
    " (\"Die Türen gehen so schwer auf. Hat das mit der Lüftung zu tun?\", \"A17\"),\n",
    " (\"Die Anlage stand zwei Monate still. Was ist vor dem Einschalten zu tun?\", \"A19\"),\n",
    " (\"Können wir die Lüftung vom Büro aus am Rechner überwachen?\", \"A23\"),\n",
    " (\"Die Regelung ist ausgefallen. Kann der Ventilator trotzdem laufen?\", \"A24\"),\n",
    "], columns=[\"frage\", \"richtig\"])\n",
    "print(len(fragen), \"Fragen\")\n",
    "fragen.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "245262ca",
   "metadata": {},
   "source": [
    "## 4. Zwei Suchen\n",
    "\n",
    "Beide Suchen arbeiten gleich: Sie zerlegen Frage und Text in kurze Buchstabenfolgen und zählen, wie viele davon übereinstimmen. Seltene Folgen zählen mehr als häufige. So findet die Suche „Filter“ auch in „Filterwechsel“. Das ist eine Stichwortsuche, kein Sprachverständnis.\n",
    "\n",
    "Die Vergleichsgrundlage durchsucht nur die Überschriften, so wie heute jemand im Dateiserver nach Dateinamen sucht. Die zweite Suche durchsucht Überschrift und Text."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "db72e357",
   "metadata": {},
   "outputs": [],
   "source": [
    "def suche_bauen(texte):\n",
    "    zerleger = TfidfVectorizer(analyzer=\"char_wb\", ngram_range=(3, 5), lowercase=True)\n",
    "    matrix = zerleger.fit_transform(texte)\n",
    "    def suchen(frage, anzahl=TREFFERZAHL):\n",
    "        naehe = cosine_similarity(zerleger.transform([frage]), matrix)[0]\n",
    "        return np.argsort(-naehe)[:anzahl]\n",
    "    return suchen\n",
    "\n",
    "def auswerten(suchen, unterlagen):\n",
    "    zeilen = []\n",
    "    for _, f in fragen.iterrows():\n",
    "        treffer = unterlagen.iloc[suchen(f[\"frage\"])]\n",
    "        kennungen = list(treffer[\"kennung\"])\n",
    "        zeilen.append({\"frage\": f[\"frage\"], \"richtig\": f[\"richtig\"], \"treffer\": \", \".join(kennungen),\n",
    "                       \"platz_1\": kennungen[0] == f[\"richtig\"], \"unter_den_ersten\": f[\"richtig\"] in kennungen})\n",
    "    return pd.DataFrame(zeilen)\n",
    "\n",
    "suche_ueberschrift = suche_bauen(abschnitte[\"ueberschrift\"])\n",
    "suche_volltext = suche_bauen(abschnitte[\"ueberschrift\"] + \". \" + abschnitte[\"text\"])\n",
    "\n",
    "ergebnis_ueberschrift = auswerten(suche_ueberschrift, abschnitte)\n",
    "ergebnis_volltext = auswerten(suche_volltext, abschnitte)\n",
    "\n",
    "vergleich = pd.DataFrame({\n",
    "    \"Verfahren\": [\"Vergleichsgrundlage (nur Überschriften)\", \"Suche im Text\"],\n",
    "    \"richtige Stelle auf Platz 1\": [f\"{ergebnis_ueberschrift['platz_1'].mean():.0%}\", f\"{ergebnis_volltext['platz_1'].mean():.0%}\"],\n",
    "    f\"richtige Stelle unter den ersten {TREFFERZAHL}\": [f\"{ergebnis_ueberschrift['unter_den_ersten'].mean():.0%}\", f\"{ergebnis_volltext['unter_den_ersten'].mean():.0%}\"],\n",
    "})\n",
    "vergleich"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eae80724",
   "metadata": {},
   "source": [
    "## 5. Die Entscheidung am Gate"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "82c44d40",
   "metadata": {},
   "outputs": [],
   "source": [
    "quote_ueberschrift = ergebnis_ueberschrift[\"unter_den_ersten\"].mean()\n",
    "quote_volltext = ergebnis_volltext[\"unter_den_ersten\"].mean()\n",
    "\n",
    "print(f\"Vergleichsgrundlage: {quote_ueberschrift:.0%} der Fragen\")\n",
    "print(f\"Suche im Text:       {quote_volltext:.0%} der Fragen  (Schwelle: {ERFOLGSSCHWELLE:.0%})\")\n",
    "print()\n",
    "if quote_volltext >= ERFOLGSSCHWELLE and quote_volltext > quote_ueberschrift:\n",
    "    print(\"Die Hypothese hält. Ein nächster Schritt ist gerechtfertigt, wenn das Beratungsteam zustimmt.\")\n",
    "else:\n",
    "    print(\"Die Schwelle ist nicht erreicht. Nachschärfen, vereinfachen oder bewusst anhalten.\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "191bc2bb",
   "metadata": {},
   "source": [
    "## 6. Was das Beratungsteam sehen sollte\n",
    "\n",
    "Eine Kennzahl allein überzeugt selten. Die Grafik zeigt für jede Frage, ob die richtige Stelle unter den ersten Treffern lag. Darunter stehen die Fragen, an denen die Suche im Text gescheitert ist. Genau über diese Fragen lohnt das Gespräch: Fehlt ein Abschnitt, oder fragt die Kundschaft in anderen Worten, als das Handbuch schreibt?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fee8b66f",
   "metadata": {},
   "outputs": [],
   "source": [
    "fig, ax = plt.subplots(figsize=(11, 2.6))\n",
    "bild = np.array([ergebnis_ueberschrift[\"unter_den_ersten\"], ergebnis_volltext[\"unter_den_ersten\"]]).astype(int)\n",
    "ax.imshow(bild, cmap=\"Greys\", vmin=0, vmax=1.6, aspect=\"auto\")\n",
    "ax.set_yticks([0, 1], [\"nur Überschriften\", \"Suche im Text\"])\n",
    "ax.set_xticks(range(len(fragen)), [f\"F{i + 1}\" for i in range(len(fragen))])\n",
    "ax.set_title(f\"Dunkel: richtige Stelle unter den ersten {TREFFERZAHL} Treffern\")\n",
    "plt.tight_layout()\n",
    "plt.show()\n",
    "\n",
    "ergebnis_volltext[~ergebnis_volltext[\"unter_den_ersten\"]][[\"frage\", \"richtig\", \"treffer\"]]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "07615ce5",
   "metadata": {},
   "source": [
    "## 7. Gegenprobe: Eine veraltete Fassung liegt mit im Index\n",
    "\n",
    "Auf dem Dateiserver liegt neben dem aktuellen Handbuch noch die Fassung von 2021. Darin stehen andere Intervalle und Grenzwerte. Was passiert, wenn beide Fassungen durchsucht werden?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "67d6b649",
   "metadata": {},
   "outputs": [],
   "source": [
    "veraltet = pd.DataFrame([\n",
    " (\"V01\", \"Filterwechsel Zuluft\", \"Die Taschenfilter der Zuluft werden alle zwölf Monate getauscht. Vor dem Öffnen der Filterkammer die Anlage am Reparaturschalter abschalten.\"),\n",
    " (\"V03\", \"Differenzdruck am Filter\", \"Zeigt die Anzeige am Filter mehr als 400 Pascal, ist der Filter zugesetzt und muss gewechselt werden.\"),\n",
    " (\"V06\", \"Frostschutz Wärmetauscher\", \"Sinkt die Temperatur hinter dem Wärmetauscher unter zwei Grad, meldet die Anlage Frostalarm. Sie startet nach zehn Minuten selbsttätig wieder.\"),\n",
    " (\"V10\", \"Störung E30 Motorschutz\", \"Bei E30 hat der Motorschutzschalter ausgelöst. Den Schalter im Schaltschrank zurücksetzen. Das darf beliebig oft wiederholt werden.\"),\n",
    " (\"V11\", \"Brandschutzklappen\", \"Brandschutzklappen werden alle zwei Jahre ausgelöst und wieder geöffnet.\"),\n",
    " (\"V15\", \"Wärmerückgewinnung reinigen\", \"Der Plattenwärmetauscher wird alle zwei Jahre mit dem Hochdruckreiniger gereinigt.\"),\n",
    "], columns=[\"kennung\", \"ueberschrift\", \"text\"])\n",
    "veraltet[\"status\"] = \"veraltet\"\n",
    "\n",
    "alles = pd.concat([abschnitte, veraltet], ignore_index=True)\n",
    "suche_alles = suche_bauen(alles[\"ueberschrift\"] + \". \" + alles[\"text\"])\n",
    "ergebnis_alles = auswerten(suche_alles, alles)\n",
    "ergebnis_alles[\"veraltet_dabei\"] = ergebnis_alles[\"treffer\"].str.contains(\"V\")\n",
    "ergebnis_alles[\"veraltet_platz_1\"] = ergebnis_alles[\"treffer\"].str.startswith(\"V\")\n",
    "\n",
    "print(f\"Fragen mit veralteter Stelle unter den ersten {TREFFERZAHL}: {ergebnis_alles['veraltet_dabei'].sum()} von {len(fragen)}\")\n",
    "print(f\"Fragen mit veralteter Stelle auf Platz 1:            {ergebnis_alles['veraltet_platz_1'].sum()} von {len(fragen)}\")\n",
    "ergebnis_alles[ergebnis_alles[\"veraltet_dabei\"]][[\"frage\", \"richtig\", \"treffer\"]]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f28026a6",
   "metadata": {},
   "source": [
    "Die Suche kann nicht wissen, welche Fassung gilt. Für sie sind beide Texte gleich gut, und der veraltete passt manchmal sogar besser zur Frage. Ein Sprachmodell würde aus einer solchen Stelle eine flüssige, überzeugende und falsche Antwort formulieren.\n",
    "\n",
    "Die Lösung ist keine bessere Suche, sondern eine Festlegung: In den Index kommt nur, was freigegeben ist."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "9696290b",
   "metadata": {},
   "outputs": [],
   "source": [
    "nur_freigegeben = alles[alles[\"status\"] == \"freigegeben\"].reset_index(drop=True)\n",
    "suche_freigegeben = suche_bauen(nur_freigegeben[\"ueberschrift\"] + \". \" + nur_freigegeben[\"text\"])\n",
    "ergebnis_freigegeben = auswerten(suche_freigegeben, nur_freigegeben)\n",
    "print(f\"Nur freigegebene Abschnitte: richtige Stelle unter den ersten {TREFFERZAHL} bei {ergebnis_freigegeben['unter_den_ersten'].mean():.0%} der Fragen\")\n",
    "print(f\"Veraltete Stellen unter den Treffern: {ergebnis_freigegeben['treffer'].str.contains('V').sum()}\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7b84a614",
   "metadata": {},
   "source": [
    "## 8. Zum Weiterprobieren\n",
    "\n",
    "1. Setzen Sie `TREFFERZAHL` auf 1. Was würde das für die Entscheidung am Gate bedeuten?\n",
    "2. Schreiben Sie eine eigene Frage in die Liste und notieren Sie die richtige Fundstelle, **bevor** Sie die Suche starten.\n",
    "3. Formulieren Sie eine der Fragen so um, dass sie kein Wort aus dem Handbuch mehr enthält. Findet die Suche die Stelle noch?\n",
    "\n",
    "Halten Sie am Ende in wenigen Sätzen fest, was entschieden wurde, warum und was als Nächstes geschieht. Das ist das Entscheidungsprotokoll.\n",
    "\n",
    "**Wichtig:** Die Unterlagen hier sind erfunden und deshalb gutmütig. Echte Unterlagen sind lückenhafter und widersprüchlicher, und genau das macht ein echtes Laborergebnis wertvoll."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4b68bcc8",
   "metadata": {},
   "source": [
    "## 9. Was dieser Versuch nicht zeigt\n",
    "\n",
    "Ein ehrliches Laborergebnis nennt seine Grenzen. Für dieses Notebook sind es vier.\n",
    "\n",
    "1. **Finden ist noch nicht Antworten.** Das Notebook prüft, ob die richtige Stelle gefunden wird. Ob ein Sprachmodell daraus eine Antwort formuliert, die durch die Stelle gedeckt ist, muss das Testteam gesondert bewerten.\n",
    "2. **Die Fragen stammen von denen, die auch die Unterlagen kennen.** Echte Fragen sind ungenauer, enthalten Tippfehler und meinen manchmal etwas anderes, als sie sagen. Deshalb gehören in den Testkreis auch Menschen, die das Handbuch nicht auswendig kennen.\n",
    "3. **20 Fragen sind eine kleine Stichprobe.** Eine Frage mehr oder weniger verschiebt das Ergebnis um fünf Prozentpunkte. Das zeigt eine Tendenz, keinen Beweis.\n",
    "4. **Zeit wurde nicht gemessen.** Die Hypothese im Buch spricht von schnelleren Antworten. Wie lange jemand heute sucht und wie lange mit der neuen Suche, zeigt erst der Test mit Menschen.\n",
    "\n",
    "Keine dieser Grenzen macht den Versuch wertlos. Sie gehören ins Entscheidungsprotokoll, damit der nächste Schritt weiß, was noch offen ist."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "name": "python"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}
