05 Informatie theorie

Activiteit 5

Waar gaat activiteit 5 over?

unpluggedTeachersMar2010-USletter_Pagina_047_Afbeelding_0001Een gevierde Amerikaanse wiskundige (daarnaast jongleur en eenwieler) genaamd Claude Shannon deed veel experimenten met dit spel. Hij mat de hoeveelheid informatie in bits, iedere ja/nee vraag is op te vatten als 1/0 bit. Hij vond dat de hoeveelheid informatie die in een bericht staat, afhangt van wat je al weet. Soms kunnen we zulke vragen stellen dat een heleboel andere vragen overbodig worden. In dit geval is de hoeveelheid informatie in een bericht laag. Bijvoorbeeld de hoeveelheid informatie bij het tossen van een munt is normaal gesproken maar één bit: kop of munt. Maar als de munt niet zuiver is en het negen van de tien keer kop wordt, is de hoeveelheid informatie niet één bit maar, geloof het of niet, minder dan één bit!

Hoe kom je erachter wat de uitkomst is van een toss met minder dan een simpele ja/nee vraag? Heel simpel – stel vragen als “zijn de volgende twee tossen beide kop?” Voor een reeks van tossen met de oneerlijke munt zal het antwoord in 80% van de gevallen “ja” zijn. In de 20% van de keren waarin het antwoord “nee” is hoef je maar twee extra vragen te vragen. Maar gemiddeld vraag je minder dan één vraag per toss!
Shannon noemde de informatiedichtheid van een bericht “entropie”. Entropie hangt niet
alleen af van het aantal mogelijke uitkomsten – in het geval van een munt opgooien, 2 –
maar ook om de kans dat het gebeurt. Bij ongewone gebeurtenissen, of verrassende informatie hebben we meer vragen nodig om achter het bericht te komen omdat ze ons informatie vertellen die we niet al wisten – denk aan het naar school gaan met een helicopter.

De entropie van een bericht is erg belangrijk voor computerdeskundigen. De ruimte om
een bericht op te slaan kun je niet kleiner maken dan zijn entropie en de beste compressieprogramma’s zijn een equivalent van het raadspel. Omdat een computerprogramma de ‘vragen’ stelt, kan de lijst met gestelde vragen altijd gereproduceerd worden, dus als de antwoorden (bits) maar opgeslagen worden, kunnen we de informatie altijd weer herconstrueren! De beste compressieprogramma’s kunnen tekstbestanden tot een kwart van hun originele grootte terugbrengen en dat scheelt een hoop opslagruimte! Deze raadmethode kan ook gebruikt worden om een computerprogramma te maken dat raadt wat de gebruiker wil gaan typen. Bijvoorbeeld de bekende zoeksuggesties van zoekprogramma’s of autocorrect op telefoons.

Geschikt voor leeftijd: 10 jaar en ouder

De hele pdf van activiteit 5 (staat ook in het boek): Activiteit05.pdf

De losse werkbladen:

Werkblad: Beslisboom.pdf