NO330128B1 - System og fremgangsmate for a forbedre kvalitet til datamaskingenererte eksamensoppgaver - Google Patents

Abstract

System og fremgangsmåte for å generere eksamener, spørreskjemaer eller lignende, inkludert et sett av spørsmål som skal besvares, der systemet omfatter en database inkludert et antall spørsmål i minst ett emne, der hvert spørsmål er assosiert med et datasett relatert til svar gitt på spørsmålene i tidligere anvendelser av spørsmålssettene, der systemet videre omfatter seleksjonsmidler for tilfeldig å selektere et spørsmål innen ett eller flere forutbestemte emner fra ovennevnte database, og et evalueringsmiddel for å evaluere de selekterte spørsmålene relativt til forutbestemte betingelser til de selekterte spørsmålene og deres korresponderende svar i ovennevnte datasett, og å forkaste spørsmål som ikke innfrir ovennevnte betingelser.

Description

System og fremgangsmåte for å forbedre kvaliteten av datamaskingenererte eksamener

Den foreliggende oppfinnelsen relateres til en fremgangsmåte og system for å forbedre kvaliteten av datamaskingenererte eksamener ved å utnytte empiriske data for kvaliteten til hvert element i en spørsmålsbank. Mer spesifikt relateres det til anvendelsen av empiriske data angående kvaliteten til hvert element som spørsmålssettet er omfattet av.

Noen typer av eksamener og spørreskjemaer, som førerkortprøver osv. er produsert i relativt store kvantiteter og i forskjellige anledninger. For å redusere risikoen for juksing og kopiering av eldre svar må eksamener være forskjellige, og derfor må hver eksamen være konstruert slik at den er unik.

Aktuelle fremgangsmåter for å konstruere eksamensspørsmålssett basert på spørsmål i en elementdatabank er begrenset til enten manuell seleksjon av spørsmål av en kvalifisert profesjonell, eller en tilfeldig seleksjon av spørsmål fra en kvalifisert databank. Eksempler på slike systemer er vist i patentsøknadene US20030228563 og US20060121432 , som omfatter valg av spørsmål og tilsvarende svar som evalueres ut fra forskjellige kriterier, deriblant studenters tidligere prestasjoner. Et annet kjent system anvendt for piloteksamener inkluderer omtrent 7000 godkjente spørsmål, men praksis har vist at selv denne databanken omfatter en stor kvantitet av upassende eller feilaktige spørsmål og svar. Det totale antallet av spørsmål i slike tilfeller er så stort at det er underlagt et iboende problem ettersom det ikke tar kvaliteten til eksamenen under overveielse og derfor krever manuell kvalitetskontroll og verifisering av en kvalifisert profesjonell. Mye av fordelen oppnådd ved den automatiske seleksjonen er derfor tapt.

På grunn av dette er det et behov for å forbedre kvaliteten av datamaskingenererte eksamener for å minske byrden og kostnadene med å verifisere kvaliteten til et eksamensspørsmålssett.

Formålet med denne foreliggende oppfinnelsen er derfor å forbedre kvaliteten av automatisk genererte eksamener eller lignende. Dette formålet er oppnådd som beskrevet i de etterfølgende kravene.

Den foreliggende oppfinnelsen fremskaffer derfor midler for å forutsi kvaliteten av datamaskingenererte eksamener med spørsmålselementer trukket fra en strukturert elementdatabank, gitt at en viss mengde av elementer har blitt anvendt i lignende spørsmålssett i fortiden og at dataene fra tidligere anvendelse er tilgjengelig for systemet. Systemet er også i stand til å kontrollere rekkefølgen av spørsmålene i eksamenene sammen med forutbestemte retningslinjer, slik som å legge de enkle spørsmålene foran og de vanskelige men differensierte spørsmålene senere i eksamenen.

Systemet og fremgangsmåten trekker spørsmålselementer fra en strukturert elementdatabank ved å anvende empiriske data fra tidligere eksamener for å optimalisere settet av elementer som utgjør en datamaskingenerert eksamen.

Fremgangsmåten fremskaffer videre tilbakemelding til spørsmålsforfatterne om kvaliteten av de fremskaffede spørsmålene for å differensiere mellom eksamenskandidater med forskjellige styrker.

Videre, så fremskaffer fremgangsmåten tilbakemelding til utdanningsinstitusjonen angående effektiviteten av deres pensumdekning og den samlede kvaliteten av utdanningen i det tilfelle hvor utdannelse og eksamen er fremskaffet av forskjellige organisasjonene organer.

Den foreliggende oppfinnelsen vil bli beskrevet mer detaljert med referanse til de medfølgende tegningene, som illustrerer den foreliggende oppfinnelsen som eksempel.

Fig. 1 illustrerer skjematisk fremgangsmåten ifølge den foreliggende oppfinnelsen.

BESKRIVELSE AV DEN FORELIGGENDE OPPFINNELSEN

Generelt uttrykt, relateres den foreliggende oppfinnelsen til et databehandlet eksamineringssystem som genererer eksamensspørsmålssett fra spørsmålselementer lagret i en databank.

Den foreliggende oppfinnelsen forbedrer på et slikt basissystem ved å diskriminerende plukke elementer som - basert på empiriske data - er bedre egnet for oppgaven med å separere kandidater med forskjellige ferdighetsnivåer. Den foreliggende oppfinnelsen reduserer derfor kostnadene og tiden som kreves for forfatterne av eksamensspørsmålssett til å produsere passende spørsmålssett.

Når anvendt i en tettpakket administrert automatisk - eller eventuelt manuell - eksamensprosess, der resultater fra faktiske eksamineringer er gjort tilgjengelige for den foreliggende oppfinnelsen gjennom en tilbakemeldingsmekanisme, anvender den foreliggende oppfinnelsen vanligvis kjente gode statistiske fremgangsmåter for å analysere utførelsen av de individuelle spørsmålselementene i eksamen spørsmålssettet. Utførelsesmålingen er deretter lagret i en databank med referanse til elementene i elementdatab anken.

Databanken som er nevnt kan være en eller flere relaterte datalagringsanordninger slik som hard disker, inkludert spørsmålene og den relaterte informasjonen rundt kvaliteten på svarene, spørsmålsforsørgerne, eksamenene der hvert svar var del, så vel som annen informasjon, og kan være omfattet i en datamaskin eller i et datamaskinnettverk.

Når den foreliggende oppfinnelsen er anvendt til å generere et nytt eksamensspørsmålssett kan det være regissert for å forbedre kvaliteten til det genererte settet ved å plukke en viss mengde av velkjente gode elementer basert på de statistiske målingene til de individuelle elementenes evne til å selektere mellom kandidater, og ved å plukke elementer fra et fornuftig omfang av fasiliteter slik at de genererte spørsmålssettene effektivt diskriminerer kandidater innen omfanget av akseptable ferdighetsnivåer. I tillegg til de godt kjente spørsmålene fra datasettet bør en viss mengde av spørsmål i de fleste tilfeller bli valgt blant de ikke-anvendte spørsmålene for å sørge for bred dekning av elementdatabanken, inkludert hvilke som helst nylig tilsatte elementer.

Med referanse til fig. 1 relateres den foretrukne utførelsesformen av den foreliggende oppfinnelsen til en fremgangsmåte hvor en emneliste først er valgt fra en tilgjengelig linje av emner, og eksamenstiden og andre restriksjoner er satt.

Det første trinnet er deretter å velge et spørsmål innen et av et eller flere emner som et element i en elementdatabank. Hvert element er relatert til en korresponderende databank som omfatter en liste av kjente statistiske data for hvert element. Disse statistiske dataene kan inkludere flere variabler, slik som korrelasjonen mellom kvaliteten på svaret gitt på spørsmålet og kvaliteten til resten av eksamenen gitt av den personen, slik at kvaliteten på spørsmålet er relatert til hvorvidt de generelt gode kandidatene svarer korrekt på spørsmålet eller om svaret er skjønnsmessig, som kan indikere at de er lett å misforstå. Det kan også inkludere data relatert til avviket i responsene gitt på spørsmålet, f.eks. om det er i stand til å skille mellom kandidatene eller om hver kandidat fikk omtrent det samme skår på spørsmålet. Element plukket fra databasen som ikke passer inn i den mente profilen til eksamenen er deretter forkastet og et nytt element er plukket. Andre kriterier kan selvfølgelig også bli valgt avhengig av typen av eksamen eller spørreskjema.

I det illustrerte eksempelet er letthetsgraden på spørsmålet også tatt hensyn til, ved å se på det generelle skåret gitt i relasjon til spørsmålet slik at vanskelighetsgraden på spørsmålet er tatt hensyn til. På denne måten kan man oppnå en forutbestemt distribusjon av vanskelighetsgraden av spørsmålene i eksamenen, f.eks. slik at eksamenen omfatter noen, kanskje innledende, spørsmål som de fleste av kandidatene skulle være i stand til å besvare, mens andre spørsmål er ment å bli besvart av bare de beste studentene.

Prosedyren illustrert i fig. 1 sammenligner således dataene relatert til de utvalgte elementene og forkaster dem fra spørsmålssettet hvis de ikke passer inn i den valgte profilen angående selektiviteten og letthetsgraden til prøven, og går tilbake for å velge et nytt element fra databasen. De forskjellige emnene og spørsmålene kan bli posisjonert av systemet i forutbestemt rekkefølge, slik som sortert med hensyn til letthet eller den differensierende kapabiliteten til spørsmålet.

Dersom spørsmålet er akseptabelt er det nye elementet lagt til listen og prosedyren er repetert inntil det forlangte antall spørsmål i det relevante emnet er fullt. Dersom andre emner er forlangt er prosedyren repetert for andre emner inntil eksamenen har den ønskede profilen med hensyn til elementspesifikasjoner, emner og vanskelighetsgrader.

Når et datamaskinbasert system for automatisk generering av eksamenselementsett konstruerer et spørsmålselementsett basert på spørsmål fra en

spørsmålselementdatabank, kan en fast eller tilfeldig mengde spørsmål bli valgt blant

spørsmålselementer som har blitt anvendt i tidligere lignende spørsmålselementsett. Når data som indikerer letthetsgraden, selektiviteten og distribusjonen av svar blant de forskjellige valgene er tilgjengelige, kan systemet konstruere et sett av sannsynlige elementsettsvar. Med et slikt sett av sannsynlige elementsettsvar kan systemet beregne et mål for den samlede prøvekvaliteten til settet av spørsmålselementer - slik som Kuder-Richardsons mål (KR 20) eller Cronbachs Alpha mål. Ved å anvende Spearman-Brown forutsigbarhetsformelen kan et mål på kvaliteten av det utvidete settet med elementer med kjent og ukjent kvalitet bli ervervet. Dette forutsagte målet på kvaliteten hjelper operatøren som er ansvarlig for den samlede kvalitetsbekreftelsen av spørsmålselementsettet til å redusere mengden av tid som er nødvendig for kvalitetssikringsprosessen.

Å konstruere et sett av sannsynlige spørsmålssettsvar vil fortrinnsvis bli gjort ved først å finne gjennomsnittsdistribusjonen av skår for subjektet. Et array av tomme svar for n kandidater er deretter konstruert, hvor w er antallet elementer med data tilgjengelig, eller et multiplum av dette dersom antallet elementer er mindre enn 10. For hvert element» multipliserer systemet deretter selektiviteten si med antallet

kandidater « og distribuerer produktet av den relative mengden av korrekte svar, Pa og antallet svar « slik at det korrekte svaret danner en normal distribusjon med lokalisering ved kandidaten nærmest sin . Galt svar er distribuert blant de gjenværende kandidatene. Når svar på alle elementene har blitt fastsatt til det konstruerte svarsettet, kan en

statistisk fremgangsmåte for å måle påliteligheten til et elementsett bli anvendt. Den resulterende påliteligheten til elementsettet P * er deretter anvendt i Spearman-Brown ;forutsigbarhetsformelen ;Her er N et multiplum av antallet elementer i det kjente gode undersettet av elementer, funnet ved ;(hvor NT er ;antallet elementer i det komplette settet, mens NR er antallet elementer i det konstruerte undersettet. Algoritmen anvendt for dette formålet kan variere og kan bli valgt av en person med ferdigheter i faget avhengig av tilgjengelighet eller den aktuelle situasjonen. ;Når det introduseres nye spørsmål inn i databanken er de nødt til å matche systemet, og trenger derfor noen forberedende kvalitetsindikasjoner. Spearman-Brown forutsigbarhetsformelen baserer disse indikasjonene på et sett som har en kjent pålitelighet (rho) og sier noe om hva som skjer med rho dersom du øker settet med en kjent multiplikator N, der det nye spørsmålet (for N>1) er antatt å ha den samme distribusjonen fra og med karakteristikker som spørsmålene i det kjente settet. ;Når en prøve har vært gjennom en runde av eksamener er systemet fremskaffet med de faktiske responsene, f.eks. gjennom en optisk leser, og således har kvalitetsdataene for anvendelse når de nye settene skal bli generert. Ettersom det alltid vil være et antall "dårlige" spørsmål i databasen vil kvaliteten på det nye spørsmålet sannsynligvis være litt mindre bra enn det kjente settet. Ved å beregne den faktiske påliteligheten etter at settet har vært i anvendelse og sammenlignet dette med den beregnede påliteligheten kan vi også finne en koeffisient a (hvor 0<a<l) som indikerer den samlede kvaliteten på spørsmålene i databasen. Denne koeffisienten kan bli multiplisert med den beregnede påliteligheten. Derfor kan den antatte kvaliteten til nye spørsmål bli korrigert relativt til påliteligheten til hele settet etter anvendelse. ;Som et eksempel kan databaseinformasjonen også omfatte informasjon om de som har bidratt med spørsmål, og det vil være mulig å finne et antall for den samlede kvaliteten på spørsmålene fra denne personen eller arbeidsgruppen, og således estimere koeffisienten basert på deres opphav. ;For å oppsummere relateres den foreliggende oppfinnelsen til en fremgangsmåte og system for å forbedre kvaliteten på datamaskingenererte eksamener med spørsmålselementer trukket fra en strukturert elementdatabank ved å anvende empiriske data fra tidligere eksamener for å optimalisere settet av spørsmål som utgjør den datamaskingenererte eksamenen. De empiriske dataene for hvert element på en datamaskingenerert eksamen er samlet inn på slutten av en eksamenssamling og avhengig av statistisk analyse for å finne selektiviteten, påliteligheten og letthetsgraden av elementet, er elementdatabanken deretter oppdatert for å reflektere de innsamlede empiriske data. Datamaskinsystemet og fremgangsmåten for å trekke spørsmål anvender de empiriske data for å diskriminere spørsmål, og produserer således et eksamensspørsmålssett med en mye høyere kvalitet enn et tilfeldig selektert sett. Systemet og fremgangsmåten kan også bli anvendt for å forutsi kvaliteten av datamaskingenererte eksamener med spørsmålselementer trukket fra en strukturert elementdatabank, gitt at en viss kvantitet av elementer har blitt anvendt i lignende spørsmålssett i fortiden og at dataene fra tidligere anvendelse er tilgjengelig for systemet. Fremgangsmåten konstruerer en signifikant distribusjon av statistisk plausible spørsmålssett svar for settet av elementer som har data tilgjengelig, og anvender Spearman-Brown forutsigbarhetsformelen for settet av uanvendte elementer for å forutsi den samlede kvaliteten på spørsmålselementsettet. ;Selv om den foreliggende oppfinnelsen primært har blitt beskrevet her med hensyn til eksamener av forskjellige typer kan noen andre applikasjoner bli kontemplert, slik som spørreskjemaer hvor kvaliteten eller relevansen til svarene kan påvirke verdien til responsene. ;Systemet som utfører fremgangsmåten i følge den foreliggende oppfinnelsen omfatter en database som inkluderer et antall spørsmål i minst ett emne, der hvert spørsmål er assosiert med et datasett relatert til svar gitt på spørsmålene i tidligere anvendelser av spørsmålssettet. Systemet inkluderer også seleksjonsmidler for tilfeldig å selektere et spørsmål innen ett eller flere forutbestemte emner fra ovennevnte database, og et evalueringsmiddel for å evaluere de selekterte spørsmålene relativt til forutbestemte betingelser for de selekterte spørsmålene og deres korresponderende svar i ovennevnte datasett, og for å forkaste spørsmål som ikke innfrir ovennevnte betingelser. Det omfatter også midler for å mate kvalitetsinformasjonen inn i databasen etter at en eksamen har blitt holdt. Alle disse kan bli programmert inn i en datamaskin eller et datamaskinnettverk ved å anvende generelle programmeringsverktøy. ;Som fremlagt over er evalueringsmidlene i systemet i stand til å evaluere og forkaste spørsmål som ikke innfrir de forutbestemte betingelsene, der ovennevnte betingelser blir relatert til minst ett av det følgende: korrelasjon mellom kvaliteten til responsene gitt på spørsmålene og den generelle kvaliteten til responsen til alle spørsmålene der svaret er fremskaffet, for slik å sikre at spørsmålene skiller de generelt gode kandidatene, • avvik i kvaliteten som er over en forutbestemt verdi, for slik å sikre at spørsmålet er egnet for å skille mellom kandidatene, • antallet korrekte svar per mislykkede forsøk på spørsmålet passer med en forutbestemt distribusjon, for slik å sikre en kontrollert distribusjon av ;vanskelighetsgraden av spørsmålene i eksamenen som skal bli generert. Kvalitetslesingen av hvert svar vil avhenge av eksamenen. Enkle riktig/feilaktig eksamener eller andre typer inkludert å velge seleksjonen fra en liste kan bli utført automatisk, f.eks. med optiske lesere, mens i andre skriftlige skjemaer kan det bli lest med ocr eller karakterene er introdusert manuelt gjennom et tastatur eller mus. *

Claims (10)

1. System for å generere eksamener, spørreskjemaer eller lignende, inkludert et spørsmålssett som skal besvares, der systemet omfatter en database inkludert et antall spørsmål i minst ett emne, der hvert spørsmål er assosiert med et datasett relatert til svar gitt på spørsmålene i tidligere anvendelser av spørsmålssettene, der ovennevnte database er minst en datalagringsanordning, der systemet videre erkarakterisert vedat det omfatter seleksjonsmidler for tilfeldig å selektere et spørsmål innen ett eller flere forutbestemte emner fra ovennevnte database, og et evalueringsmiddel for å evaluere de selekterte spørsmålene relativt til forutbestemte betingelser for de selekterte spørsmålene og deres korresponderende svar i ovennevnte datasett, og å forkaste spørsmål som ikke innfrir ovennevnte betingelser.

2. System ifølge krav 1, hvori datasettet omfatter informasjon angående kvaliteten på svarene på hvert spørsmål i en forutbestemt skala.

3. System ifølge krav 2, hvori kvalitetsinformasjonen også omfatter avviket i ovennevnte kvalitet på svarene på spørsmålet og kvaliteten på det komplette datasettet i minst en tidligere anvendelse.

4. System ifølge krav 1, hvori informasjonen også omfatter ratioen av korrekte svar på hvert spørsmål.

5. System ifølge krav 1, hvori evalueringsmidlene er tilpasset til å forkaste spørsmål som ikke innfrir de forutbestemte betingelsene, der ovennevnte betingelser er relatert til minst ett av de følgende: • korrelasjon mellom kvaliteten på responsene gitt på spørsmålene og den generelle kvaliteten på responsen på alle spørsmålene der svaret er fremskaffet, for slik å sikre at spørsmålene skiller de generelt gode kandidatene, • avvik i kvaliteten er over en forutbestemt verdi, for slik å sikre at spørsmålet er passende for å skille mellom kandidatene, • antall korrekte svar per mislykket forsøk i spørsmålet passer med en forutbestemt distribusjon, for slik å sikre en kontrollert distribusjon av vanskelighetsgraden til spørsmålene i eksamenen som skal genereres.

6. Fremgangsmåte for å generere eksamener, spørreskjemaer eller lignende, der fremgangsmåten er omfattet av trinnene: å lagre et antall spørsmål i minst ett emne i en database, der hvert spørsmål er assosiert med et datasett relatert til svar gitt på spørsmålene i tidligere eksamener, der ovennevnte database er minst en datalagringsanordning,karakterisert vedat det omfatter trinnene • å tilfeldig selektere et spørsmål innen ett eller flere forutbestemte emner fra ovennevnte database, og • å evaluere de selekterte spørsmålene relativt til forutbestemte betingelser korresponderende til ovennevnte datasett og forkaste spørsmål som ikke innfrir ovennevnte betingelser.

7. Fremgangsmåte ifølge krav 6, hvori datasettet omfatter informasjon angående kvaliteten på responsene på hvert spørsmål i en forutbestemt skala.

8. Fremgangsmåte ifølge krav 7, hvori kvalitetsinformasjonen også omfatter avviket i ovennevnte kvalitet og kvaliteten til den fullstendige eksamenen fra hvilken hvert svar var en del.

9. Fremgangsmåte ifølge krav 6, hvori informasjonen også omfatter ratioen av korrekte svar på hvert spørsmål.

10. Fremgangsmåte ifølge krav 6, hvori evalueringen av de selekterte spørsmålene er tilpasset til å forkaste spørsmål som ikke innfrir de forutbestemte betingelsene, der hjelpebetingelser er relatert til minst ett av det følgende: • korrelasjon mellom kvaliteten på responsene gitt på spørsmålene og den generelle kvaliteten på eksamenen der svaret er fremskaffet, for slik å sikre at spørsmålene skiller de generelt gode kandidatene, • avvik i kvaliteten som er over en forutbestemt verdi, for slik å sikre at spørsmålet er passende for å skille mellom kandidatene, antallet korrekte svar per mislykket forsøk i spørsmålet passer med en forutbestemt distribusjon, for slik å sikre en kontrollert distribusjon av vanskelighetsgraden til spørsmålene i eksamenen som skal bli generert.