The present invention provides systems and methods for statistically
analyzing collected data and providing training for the collection of the
data. In one embodiment, the system and method are configured to collect
data about a plurality of objects and determine a measure of agreement
between the collected data and a benchmark. Based on the measure of
agreement reliability and a variance of the collected data are determined
relative to the benchmark. In training a plurality of raters are
instructed to rate at least one of a plurality of objects such that each
rater collects data that rates at least one of the objects. A measure of
agreement of the data collected by a rater is determined relative to the
benchmark, and reliability and variance of the data collected are
determined, which are used to evaluate the rater.
Η παρούσα εφεύρεση παρέχει τα συστήματα και τις μεθόδους για στατιστικά τα συλλεχθέντα στοιχεία και την κατάρτιση για τη συλλογή των στοιχείων. Σε μια ενσωμάτωση, το σύστημα και η μέθοδος διαμορφώνονται για να συλλέξουν τα στοιχεία για μια πολλαπλότητα των αντικειμένων και να καθορίσουν ένα μέτρο της συμφωνίας μεταξύ των συλλεχθέντων στοιχείων και μιας συγκριτικής μέτρησης επιδόσεων. Με βάση το μέτρο της αξιοπιστίας συμφωνίας και μια διαφορά των συλλεχθέντων στοιχείων καθορίζεται σχετικά με τη συγκριτική μέτρηση επιδόσεων. Στην κατάρτιση μιας πολλαπλότητας των raters καθοδηγείται στο ποσοστό τουλάχιστον μια από μια πολλαπλότητα των αντικειμένων έτσι ώστε κάθε rater συλλέγει τα στοιχεία που ποσοστά τουλάχιστον ένα από τα αντικείμενα. Ένα μέτρο της συμφωνίας των στοιχείων που συλλέγονται από ένα rater καθορίζεται σχετικά με τη συγκριτική μέτρηση επιδόσεων, και η αξιοπιστία και η διαφορά των στοιχείων συλλεχθέντων καθορίζονται, τα οποία χρησιμοποιούνται για να αξιολογήσουν το rater.
