Kappa degli Fleiss è un metodo statistico di valutazione accordo tra tre o più valutatori valutare un numero qualsiasi di elementi. Ad esempio, si supponga Abigail, Bob e Charlie ogni tasso tre dipinti, di Picasso, Rembrandt e Monet, su una scala da 1 a 5. Kappa degli Fleiss corregge per la quantità di variazione di possibilità.
Istruzioni
• Contare, per ogni elemento, il numero di volte che ogni voto è stato dato. Ad esempio, quante volte è stato il dipinto di Rembrandt dato un voto di 5? Se r è il numero o i valutatori e q è il numero di categorie di rating, si dovrebbe avere q * calcoli di r.
• Quadrato di questi numeri.
• Aggiungere i numeri al quadrato.
• Sottrarre qr dal risultato. Nell'esempio, qr è 15. Questo risultato sarà il numeratore di una frazione
• Moltiplicare rq dal numero di valutatori - 1. Nell'esempio 152 = 30. Questo è il denominatore della frazione.
• Dividere il numeratore per il denominatore. Si tratta di kappa degli Fleiss.