NO335888B1 - System og fremgangsmåte for å gjøre elementer til brukergrensesnittet kjent for en applikasjon og bruker - Google Patents

Description

Teknisk område

Foreliggende oppfinnelse vedrører dataprogramvare, og mer spesielt ti I— gjengelighetsegenskaper for dataprogramvare til et brukergrensesnitt.

Teknisk bakgrunn

Noen individer er ikke i stand til å vekselvirke med et databrukergrensesnitt på den måten som det vanligvis blir brukt. Små ikoner og typer er f.eks. en utfordring for synshemmede. Hørbare varsler og tilbakemeldinger er ubrukbare for de som hører dårlig. Dataindustrien er følsom for disse behovene. Noen operativsystemer kommer med ytterligere tilgjengelighetsegenskaper som gjør funksjonshemmede i stand til å modifisere brukergrensesnittet på måter som passer bedre til deres behov. Noen operativsystemer gjør det f.eks. mulig for brukere å benytte visuell tilbakekopling der hvor hørbar tilbakekopling ellers vil bli brukt. Ekstra store skjermfonter og høye kontraster kan i tillegg brukes for brukere med dårlig syn. For de med ekstreme visuelle svakheter, slik som blinde, tilveiebringer noen operativsystemer "skjermlesere" som forteller om elementene i brukergrensesnittet til brukeren eller tilveiebringer infrastruktur som gjør det mulig for en annen ledsager å tilveiebringe en slik skjermleser.

Et typisk skjermleseranlegg utføres samtidig med en hvilken som helst applikasjon som brukeren kan arbeide med. Når brukeren navigerer fra element til element, slik som ved å trykke fra én knapp til en annen, sender skjermleseren informasjon om det aktuelle elementet til en tekst/tale-motor og/eller en oppfriskbar Braille-fremvisning for å viderebringe denne informasjonen til brukeren. Tekst/tale-motorer oversetter denne informasjonen til syntetisert tale for å annonsere den for brukeren. Oppfriskbare Braille-fremvisninger oversetter denne informasjonen til et veldefinert mønster av prikker (dvs. Braille-tegn) og løfter tapper på en fysisk maskinvare-anordning som svarer til hver prikk i Braille-tegnene. I tilfelle av en tast, overfører skjermleseren ofte navnet på tasten og den aktuelle tilstanden til vedkommende tast (f.eks. at den for tiden er frakoplet og derfor ikke kan trykkes ned). Hvis en bruker er i en ordbehandlingsapplikasjon, kan likeledes skjermleseren være konfigurert for å identifisere forgrunnsvinduet (dvs. navnet på applikasjonen) og den aktuelle linjen, setningen, ordet eller tegnet som er nærmest innføringspunktet. Skjermleseren kan også beskrive attributter for denne teksten, slik som fontnavnet, vekten, fargen, understrekningen og rettferdiggjøringen. Ofte informerer skjermleseren også brukeren om hvilke handlinger brukeren for tiden kan foreta. Hvis brukeren f.eks. har navigert til en tast, kan skjermleseren varsle brukeren om at denne kan trykke ned tasten ved å betjene mellomromstasten.

Skjermlesere er uunnværlige for datamaskinbrukere med visse syns-svekkelser. Mange brukere vil vanligvis ganske enkelt ikke være i stand til å trekke fordel av en datamaskin uten et assisterende teknologiprodukt som kompenserer for deres tap av mobilitet, sansepersepsjon eller andre ting som kan forbedres ved hjelp av teknologi. Nåværende utformingsteknologier for programvare gjør imidlertid sensitive teknologiprodukter slik som skjermlesere, vanskelige å utforme. Som nevnt mottar det sensitive teknologiproduktet typisk et varsel om en endring av en for tiden kjørt applikasjon eller selve operativsystemmiljøet. Dette varselet har ofte form av en hendelse som indikerer at fokus er endret fra ett element (f.eks. en knapp eller listeboks) til et annet element (f.eks. et redigeringsfelt, et ikon eller lignende) eller at et nytt element er blitt laget eller ødelagt (f.eks. at et vindu er blitt åpnet eller lukket). En velgerstyring tilknyttet applikasjonen hever hendelsen og varsler operativsystemet om endringen. Som reaksjon på dette kan det assisterende teknologiproduktet spørre velgerstyringen om å bestemme hvilket element som er tilknyttet hendelsen (f.eks. hvilket element som har fokus) slik at det kan oppnå ytterligere informasjon for videreføring til brukeren.

Assisterende teknologiprodukter er for tiden hovedsakelig bare i stand til å be om et begrenset sett med informasjoner fra elementene, slik som den type (f.eks. knapp, listeboks eller lignende), dets posisjon på skjermen eller dets figurtekst. Hjelpeteknologiproduktet eller det assisterende teknologiproduktet selv må så utlede fra den tilbakesendte elementtypen hvilken funksjonalitet som er tilgjengelig for brukeren. Hjelpeteknologiproduktet må med andre ord forstå hva en "knapp" er og at knappen kan trykkes ned (påkalles). Konstruktører av et godt hjelpeteknologiprodukt må derfor forhåndsbestemme alle elementtypene som kan innbefattes i en applikasjon og identifisere deres funksjonalitet. Dette er en umulig oppgave fordi det er nye typer skjermelementer eller styringer som produseres rutinemessig av programvare-selskaper i hele programvareindustrien. I tillegg er det ineffektiv bruk av ressurser fordi ikke alle elementene er unike. Mange elementer deler lik funksjonalitet slik som evnen til å bli påkalt eller evnen til å styre en samling dataelementer hvor ett eller flere av dataelementene kan velges.

GNOME Accessibility for Developers - DRAFT: How to make GNOME 2.0 Applications Accessible, Examples that USE the Accessibility API, Internet Article, (http://web.archive.org/web/20020821064040/developer.gnome.org/projects/gap/guid e/gad/gad-api-examples.html), 2 August 2002, omhandler eksempler som bruker tilgjengelighets-API.

En mer generell applikasjonsklasse, automatinnretninger, har nesten det samme settet med krav som disse hjelpeteknologiproduktene. Automatiske anordninger trenger generelt evne til dynamisk å oppdage skjermelementer (f.eks. styringer) enten ved å gjennomgå objekt-hierarkiet av elementer eller ved å motta et hendelsesvarsel, slik som når fokus endres fra én styring til en annen. Disse anordningene behøver også en generell mekanisme for å utspørre disse elementer med menneskelesbar informasjon som kan overføres til brukeren eller lagres for senere referanse. De automatiske anordningene må til slutt ha evne til å oppdage hvilken funksjonalitet eller oppførsel som tilbys av et spesielt skjermelement selv når elementet er fullstendig ukjent for den automatiske anordningen. En overlegen mekanisme for å oppdage elementer i et brukergrensesnitt og utspørring og manipulering av deres tilhørende funksjonalitet på en slik måte at den kan anvendes på hele spekteret av mulige elementer, har dessverre unngått fagkyndige på området.

Oppsummering av oppfinnelsen

Hovedtrekkene ved oppfinnelsen fremgår av de selvstendige patentkrav. Ytterligere trekk ved oppfinnelsen er angitt i de uselvstendige krav.

Foreliggende oppfinnelse er rettet mot å gjøre funksjonalitet av et brukergrensesnittelement (eller en styring) programmatisk tilgjengelig for en applikasjon uten å ha forutgående kjennskap til elementets type. Foreliggende oppfinnelse er i tillegg rettet mot en mekanisme for å tilveiebringe programkonstruktørstyring over den informasjonen som kan overføres til en bruker ved å benytte en automatisk anordning, slik som et hjelpeteknologiprodukt (f.eks. en skjermleser for blinde). Kort sagt blir styringsmønsteret brukt til å beskrive funksjonalitet som kan eksponeres ved hjelp av én eller flere typer elementer. Funksjonalitet som er vanlig blant to eller flere typer elementer, blir beskrevet ved hjelp av det samme styringsmønsteret. Visse forutbestemte metoder, strukturer, egenskaper og/eller hendelser kan være tilknyttet et spesielt styringssystem. Elementer som understøtter styringsmønsteret, returnerer når de utspørres, et grensesnitt som beskriver disse metodene, strukturene, egen skapene og/eller hendelsene. På denne måten kan en automatisk anordning manipulere et element uten å ha forutgående kjennskap til funksjonaliteten som understøttes av elementet så lenge elementet er i stand til å bekrefte at det understøtter et spesielt styringsmønster eller et sett med styringsmønstre.

Ifølge et annet aspekt er et antall egenskaper innbefattet i hvert element, som definerer, i menneskeleselig form, et sett med informasjoner som kan være nyttige for den automatiske anordningen eller en bruker av anordningen. Programvare-utviklere har på denne måten bedre kontroll over nøyaktig hvilken informasjon som kan samles inn og presenteres for brukeren når et element blir beskrevet, for derved å forbedre brukererfaringen.

Kort beskrivelse av tegningene

Fig. 1 er et funksjonsblokkskjema som illustrerer en datamaskinanordning som kan brukes ved implementeringer av foreliggende oppfinnelse. Fig. 2 er et funksjonsblokkskjema som generelt illustrerer en skjermvisning i et system som implementerer foreliggende oppfinnelse. Fig. 3 er en grafisk representasjon av et objekt-tre som representerer de elementene som er vist på skjermbildet på fig. 2. Fig. 4 er en grafisk representasjon av et del-tre for objekt-treet som er vist på fig. 3. Fig. 5 er et logisk flytskjema som generelt illustrerer en prosess som kan anvendes av et hjelpeteknologiprodukt til å beskrive og manipulere skjermelementer for en bruker, i samsvar med oppfinnelsen. Fig. 6 er et logisk flytskjema som generelt illustrerer en prosess for å utspørre et objekt for å bestemme hvilken oppførsel det eksponerer, i samsvar med oppfinnelsen.

Detaljert beskrivelse av den foretrukne utførelsesformen Oppfinnelsen tilveiebringer en mekanisme som gjør det mulig for en automatisk anordning, slik som et hjelpeteknologiprodukt, automatisk å teste skript, makroregistreringsanordning eller kommandoapplikasjon, for å samle inn beskrivende informasjon om et brukergrensesnittelement og for å bestemme hvilken funksjonalitet dette elementet tilveiebringer, uten å kjenne nøyaktig til hvilken type element det er. Oppfinnelsen har kort sagt bestemt at et slikt element eller en slik styring innbefatter to aspekter av interesse for den automatiske anordningen: (1) den informasjon som beskriver dens utseende, plassering og aktuelle tilstand, og (2) den funksjonaliteten som elementet eksponerer. På bakgrunn av denne beskrivelsen innebærer oppfinnelsen å tilordne et antall egenskaper til et element, som innbefatter en beskrivelse av hva elementet er på en slik måte at det kan kommuniseres til en bruker (f.eks. på en menneskelig lesbar form). Oppfinnelsen innebærer videre å identifisere funksjona-litetsgrupper som kan gjøres tilgjengelige av elementet og som kan aksesseres direkte uten å oppdage nøyaktig hva elementet er.

Oppfinnelsen vil her først bli beskrevet med henvisning til et eksempel på et illustrerende datamaskinmiljø hvor utførelsesformer av oppfinnelsen kan implemen-teres. Deretter vil et detaljert eksempel på en spesiell implementering av oppfinnelsen bli beskrevet. Alternative implementeringer kan også være innbefattet i forbindelse med visse detaljer ved den spesielle implementeringen. Det skal bemerkes at utførelsesformer av oppfinnelsen ikke er begrenset til de som er beskrevet her.

Illustrerende datamaskinmiljø for oppfinnelsen

Fig. 1 illustrerer en datamaskinanordning som kan brukes i en illustrerende implementering av foreliggende oppfinnelse. Det vises til fig. 1 hvor et eksempel på et system for implementering av oppfinnelsen innbefatter en datamaskinanordning, slik som en datamaskinanordning 100. I en meget grunnleggende utforming omfatter datamaskinanordningen 100 typisk minst én prosessorenhet 102 og et systemlager 104. Avhengig av den nøyaktige utførelsen og typen til datamaskinanordningen, kan systemlageret 104 være flyktig (slik som RAM), ikke-flyktig (slik som ROM, flash-lager, osv.) eller en kombinasjon av disse. Systemlageret 104 innbefatter typisk et operativsystem 105, én eller flere programmoduler 106 og kan innbefatte program-data 107. Denne grunnleggende konfigurasjonen av datamaskinanordningen 100, er illustrert på fig. 1 ved hjelp av komponentene innenfor den stiplede linjen 108.

Datamaskinanordningen 100 kan ha ytterligere egenskaper eller funksjonalitet. Datamaskinanordningen 100 kan f.eks. også innbefatte ytterligere lagrings-anordninger (fjernbare og/eller ikke-fjernbare) slik som f.eks. magnetplater, optiske plater eller bånd. Slike ytterligere lagre er illustrert på fig. 1 ved hjelp av det fjernbare lageret 109 og det ikke-fjernbare lageret 110. Datalagringsmedier kan innbefatte flyktige og ikke-flyktige, fjernbare og ikke-fjernbare media implementert ved hjelp av en hvilken som helst metode eller teknologi for lagring av informasjon, slik som data maskinlesbare instruksjoner, datastrukturer, programmoduler eller andre data. Systemlageret 104, det fjernbare lageret 109 og det ikke-fjernbare lageret 110 er alle eksempler på datamaskinlagringsmedier. Datamaskinlagringsmedier innbefatter, men er ikke begrenset til RAM, ROM, EEPROM, flash-lager eller annen lagrings-teknologi, CD-ROM, digitale videoplater (DVD) eller andre optiske lagringsmedier, magnetkassetter, magnetbånd, magnetiske platelagre eller andre magnetlagrings-anordninger, eller et hvilket som helst annet medium som kan brukes til å lagre den ønskede informasjon og som kan aksesseres av datamaskinanordningen 100. Et hvilket som helst slikt datamaskinlagringsmedium kan være en del av anordningen 100. Datamaskinanordningen 100 kan også ha én eller flere innmatingsanordninger 112, slik som et tastatur 122, en mus 123, en penn, en taleinnmatingsanordning, en berøringsinnmatingsanordning, en skanner, osv. Én eller flere utmatingsanordninger 114 slik som en skjerm, høyttalere, en skriver, osv. kan også være innbefattet. Disse anordningene er velkjente på området og behøver ikke å bli diskutert i detalj her.

Datamaskinanordningen 100 kan også inneholde kommunikasjonsforbindelser 116 som gjør det mulig for anordningen å kommunisere med andre datamaskin-anordninger 118, slik som over et nett. Kommunikasjonsforbindelsene 116 er et eksempel på kommunikasjonsmedier. Kommunikasjonsmediene kan typisk være utformet av datamaskinlesbare instruksjoner, datastrukturer, programmoduler eller andre data i et modulert datasignal, slik som en bærebølge eller en annen transport-mekanisme, og innbefatter et hvilket som helst informasjonsleveringsmedium. Uttrykket "modulert datasignal" betyr et signal som har ett eller flere av sine karakteris-tikker fastsatt eller endret på en slik måte at informasjon blir kodet inn i signalet. Som et eksempel, og ikke ment som noen begrensning, innbefatter kommunikasjonsmedier ledningsmedier slik som ledningsnett eller direkte ledningsforbindelser, og trådløse medier slik som akustiske, radiofrekvente, infrarøde og andre trådløse medier. Uttrykket datamaskinlesbart medium, slik det brukes her, innbefatter både lagringsmedier og kommunikasjonsmedier.

Illustrerende implementering av oppfinnelsen

Fig. 2 er et funksjonsblokkskjema som generelt illustrerer komponenter i et system som implementerer foreliggende oppfinnelse. Illustrert på fig. 2 er en automatisk anordning (f.eks. et hjelpeteknologiprodukt) 201 og en applikasjon 202. Applikasjonen 202 innbefatter flere elementer. For formålet med foreliggende oppfinnelse betyr uttrykket element en hvilken som helst komponent i brukergrensesnittet som brukeren kan vekselvirke med eller som tilveiebringer informasjon av betydning til brukeren, eller funksjonaliteten til applikasjonen 202. Uttrykket styring blir også noen ganger brukt for å identifisere slike elementer. Brukeren kan vekselvirke med mange av elementene som er illustrert i applikasjon 202. Applikasjonen 202 omfatter f.eks. en menylinje 212 med flere menyer, der hver meny har en tilknyttet rekke med meny-poster. En redigeringsmeny 214 innbefatter en rullegardinmenyliste med flere meny-poster 215.

Slike elementer er innbefattet i andre elementer. En listevisning 220 omfatter f.eks. noen ikoner, slik som ikon 222. En ramme 225 inneholder en kombiboks 230 og to knapper, knapp 231 og knapp 232. I tillegg er både rammen 225 og listevisningen 220 inneholdt på et merket dialogelement 221. I vanlig dataterminologi blir hvert element som er inneholdt i et annet element, betraktet som et avkom av det elementet det inneholder. Kombiboksen 230 er derfor et avkom av rammen 225. Rammen 225 og listeboksen 220 er avkom av det merkede dialogelementet 221.

En bruker kan navigere fra ett element til et annet på flere måter. Én måte er å manøvrere en musepeker fra ett element til et annet element. En annen måte kan være å trykke på en tabulatortast eller en piltast. Det elementet som en bruker har navigert, det "for tiden aktive" elementet, blir antatt å ha "fokus". Som illustrert på fig. 2 er f.eks. posten 216 valgt og har for tiden fokus. Etter hvert som brukeren navigerer fra ett element til et annet element kan den automatiske anordningen 201 varsles automatisk om det elementet som har fått fokus. I det tilfelle hvor den automatiske anordningen 201 er en skjermleser, henter den inn navnet eller etiketten til det nylig fokuserte elementet og "taler" denne informasjonen til brukeren. Skjermleseren kan lese tittelen til det aktive vinduet, menyvalg, teksten som er skrevet og lignende. I virkeligheten samler skjermleseren tekstinformasjon og videresender dem til en tekst/tale-motor som omformer denne teksten til syntetisert tale som mates ut. Selv om den automatiske anordningen her er beskrevet som en skjermleser, vil man forstå at denne kan være én av et antall forskjellige typer anordninger, slik som tale- og dikterings-programvare, kommando- og styrings-anordninger, makroregistrerings-anordninger, automatisk testskript, kommandoanordninger eller lignende.

Tidligere ville den automatiske anordningen 201, som beskrevet her, ganske enkelt ha bestemt den type element som for tiden har fokus og bruke dets styrings-type (f.eks. knapp, menypost, redigerbart tekstfelt eller lignende) til å ekstrahere styringsspesifikk informasjon som skal gis til brukeren. Som beskrevet mer detaljert nedenfor, er elementene i samsvar med oppfinnelsen konfigurert til å innbefatte et flertall vanlige og spesielle egenskaper som kollektivt beskriver vedkommende element og som kan brukes av en automatisk anordning 201 til å supplementere brukerens erfaring. Ved å eksponere informasjon om elementet gjennom disse egenskapene, har utviklere bedre styring over hvilken informasjon som vil bli videreført til brukeren ved bruk av en automatisk anordning 201 som benytter foreliggende oppfinnelse. Istedenfor å være begrenset til typebasert informasjon tilknyttet elementer på skjermen, kan den automatiske anordningen 201 med andre ord føre en hvilken som helst informasjonsstreng som kan leses av et menneske, for et spesielt element og beskrive oppførselen eller formålet med elementet for brukeren.

Mange av elementene er interaktive og oppviser funksjonalitet som får applikasjonen 202 til å virke på tilsiktet måte. Klikking på knappen 231 resulterer f.eks. sannsynligvis i en reaksjon fra applikasjonen 202. Klikking på knappen 232 resulterer sannsynligvis i en annen reaksjon fra applikasjonen 202. Valg av menypost 216 resulterer sannsynligvis i nok en annen reaksjon.

Selv om hvert av elementene kan være litt forskjellig, eksponerer mange lignende grunnleggende funksjonskarakteristikker. Disse grunnleggende funksjons-karakteristikkene er relatert til selve elementets oppførsel i motsetning til den spesielle reaksjonen som kan inntreffe ved hjelp av applikasjonen 202. Knappen 231 og 232 kan derfor begge klikkes på selv om applikasjonen 202 kan reagere på forskjellige måter avhengig av hvilken knapp som det ble klikket på. Menypostene 215 og postene i kombiboksen 230 er likeledes velgbare. Derimot har flesteparten av de forskjellige elementtypene en viss grunnleggende funksjonalitet som er forskjellig. Kombiboksen 230 gjør det f.eks. mulig å redigere tekst inne i en redigeringsboksdel 233, mens menypostene 215 ikke tilveiebringer evnen til å redigere deres innhold.

Oppfinnerne har bestemt visse mønstre av grunnleggende funksjonalitet som er tilstede i mange forskjellige typer elementer. Denne bestemmelsen har gjort "styringsmønstre" i stand til å bli opprettet for å beskrive grunnleggende funksjonalitet som kan eksponeres ved hjelp av et element. Et styringsmønster er en mekanisme for å beskrive oppførselen til et element. Mer spesielt kan et spesielt styringsmønster definere visse strukturer, egenskaper, hendelser og metoder som understøttes av et element. Elementer kan understøtte (og gjør det vanligvis) flere styringsmønstre. Samlingen av styringsmønstre som understøttes av ett element, definerer totaliteten av elementets oppførsel.

En applikasjon kan spørre om elementet understøtter et spesielt styrings-mønster for å bestemme elementets oppførsel. Uten å ha forhåndskunnskap om et spesielt elements type kan derfor en klientapplikasjon oppdage den funksjonalitet som er tilgjengelig for vedkommende element ved å spørre om det understøtter et spesielt styringsmønster. Applikasjonen kan så programmatisk manipulere elementet gjennom vanlige grensesnitt tilknyttet vedkommende styringsmønster. Nye elementer kan skapes med litt eller drastisk forskjellig oppførsel, likevel kan applikasjoner frem-deles vekselvirke med de nye elementene ved å spørre etter de styringsmønstrene som det nye elementet understøtter. Den følgende tabellen representerer noen illustrerende styringsmønstre og settet med oppførsler som er tilknyttet vedkommende styringsmønster.

De elementene som er illustrert på fig. 2, kan konfigureres med de riktige sty-ringsmønstre for å representere den type oppførsel som kan forventes av et element av den spesielle typen. Det følgende er en tabell som beskriver noen vanlige elementer og noen styringsmønstre som kan brukes til å definere oppførselen til disse vanlige elementene:

Fig. 3 er en grafisk illustrasjon av et objekt-tre 301 som representerer elementene til den applikasjonen 202 som er vist på fig. 2. Det skal bemerkes at ett eller flere objekter i objekt-treet 301 kan være et mellomobjekt eller et flytteobjekt som representerer et tilsvarende element i applikasjonen 202. For enkelhets skyld vil imidlertid denne beskrivelsen behandle hvert objekt i objekt-treet 301 som det aktuelle elementet. Hovedapplikasjonsvinduet er representert for å danne objektet 305, og hvert element i applikasjonen 202 innbefatter et tilsvarende objekt i objekt-treet 301. Hver del av den merkede dialogen 221 på fig. 2 h ar f.eks. en tilsvarende merkepost (merke 306, merke 307, merke 308) i objekt-treet 301. Listevisningen 220 og rammen 225 har likeledes tilsvarende objekter (listevisningen 311 og rammen 312) i objekt-treet 301. Foreldre/avkom-relasjonene er også representert i objekt-treet 301. Rammeobjektet 312 har f.eks. avkomobjekter (kombiboks 230, kapp 321 og knapp 322) som svarer til de elementene som befinner seg i rammen 225.

Under bruk kan brukeren navigere fra ett element til et annet i applikasjonen, en velgerstyring tilknyttet applikasjonen 202 varsler den automatiske anordningen 201 (illustrert på fig. 3 som et objekt) om at fokuset er endret. I tilfelle med en skjermleser kan denne fokusendringen forårsake at den automatiske anordningen 201 spør det spesielle objektet som representerer det aktuelle elementet med fokus for et antall egenskaper og for styringsmønstrene som understøttes av vedkommende element. En endring i fokuset er bare én av mange mulige grunner til at den automatiske anordningen kan velge å spørre et element om denne informasjonen.

Et under-tre 401 for objekt-treet 301 er illustrert på fig. 4. For ytterligere å illustrere virkemåten kan det antas at den automatiske anordningen 201 er en skjermleser. Når brukeren navigerer til knappen 231, spør skjermleseren sitt tilsvarende objekt (knapp 321) og innhente dens navneegenskap 410, en streng som kan leses av mennesker, for å gi den til brukeren. Navneegenskapen 411 inneholder den strengen som vil være tilknyttet vedkommende styring ved at en seende bruker ser på dataskjermen. I dette tilfelle sender skjermleseren strengen "hjelpeknapp" til tekst/tale-motoren som så viderebringer denne informasjonen til brukeren.

I tillegg kan den automatiske anordningen 201 spørre knappen 321 om å identifisere de styringsmønstrene 412 som understøttes av dens tilsvarende element. I dette tilfelle er et identifisert styringsmønster for knappen 321 det "påkalte" styrings-mønsteret. Styringsmønstrene gjør det ikke bare mulig for en klientapplikasjon å spørre om et elements oppførsel, de gjør den også i stand til programmatisk å mani pulere elementet via grensesnitt utformet for det spesielle styringsmønsteret. I dette eksempelet kan den automatiske anordningen 201 spørre knappen 321 direkte for å bestemme om den understøtter det påkalte styringsmønsteret. Knappen 321 kan indikere et bekreftende svar ved å returnere et grensesnitt (grensesnitt X 414) som innbefatter et sett metoder for å trekke fordel av den påkalte oppførselen. I et annet eksempel kan et velgerstyringsmønster (tilknyttet kombiboksen 320) tilveiebringe metoder for å spørre etter valgte poster, velge eller frafalle en spesiell post, bestemme om elementet understøtter én eller flere velgermodi, og lignende.

Gjennom den mekanismen som er tilveiebrakt ved hjelp av foreliggende oppfinnelse kan automatiske anordninger bli skrevet som forstår hvordan de skal arbeide med hvert styringsmønster, istedenfor hvert Ul-element eller styring. Siden de diskrete oppførselstyper som elementene vil fremvise, er forholdsvis få, vil det være langt færre styringsmønstre enn det er typer av elementer eller styringer. Dette resulterer i mindre kode å skrive for en automatisk anordning, og det oppmuntrer til en mer fleksibel arkitektur for de automatiske anordningene som effektivt kan under-søke og manipulere nye elementer som understøtter kjente styringsmønstre.

Fig. 5 er et logisk flytskjema som generelt illustrerer en prosess som kan anvendes av en hendelsesdrevet automatisk anordning som beror på Ul-automatiske hendelser til å oppdage skjermelementer som skal undersøkes med hensyn på egenskapsinformasjon og manipuleres ved å bruke styringsmønstre. Prosessen begynner med enten å gjennomgå et objekt-hierarki for å lokalisere et spesielt element av interesse (blokk 510), eller den kan gå på tomgang i en sløyfe (blokk 511) inntil den mottar et hendelsesvarsel som den tidligere registrerte å motta.

Ved blokk 513 blir det elementet som for tiden er av interesse utspurt om et antall egenskapsinformasjoner som er nødvendige for brukeren eller den automatiske anordningen. I en implementering innhenter en automatisk anordning fra det aktuelle elementet i egenskaper som innbefatter menneskelig lesbare strenger ment for kommunikasjon med brukeren. Prosessen fortsetter ved blokk 515.

Ved blokk 515 blir elementet av interesse utspurt etter styringsmønsterunder-støttelse. En fremgangsmåte for å gjøre dette, er beskrevet nedenfor i forbindelse med fig. 6. Kort sagt kan en automatisk anordning for å bestemme hvordan elementene skal manipuleres programmatisk, spørre om elementet understøtter en spesiell type styringsmønstre, eller den kan spørre elementet om den type styrings- mønstre som det understøtter. Når de understøttede styringsmønstrene er kjent, fortsetter prosessen til blokk 517.

Ved blokk 517 blir det elementet som har fokus, manipulert i samsvar med dets understøttede styringsmønstre. Som reaksjon på en forespørsel (f.eks. blokk 515) om et spesielt styringsmønster er understøttet, kan elementet f.eks. returnere et grensesnitt som innbefatter metoder som omfatter den oppførselen som svarer til styringsmønsteret. Ved bruk av dette grensesnittet, kan den automatiske anordningen (eller en annen klient bygd på Ul-automatisk rammeverk og som har de riktige sikkerhetstillatelsene) manipulere elementet.

Fig. 6 er et logisk flytskjema som generelt illustrerer en prosess for å spørre et objekt for å bestemme hvilken oppførsel det eksponerer. Prosessen begynner ved beslutningsblokk 601 hvor et element (representert av et objekt) er blitt oppdaget ved hjelp av et hendelsesvarsel eller en annen mekanisme, slik som gjennomgang av det automatiske Ul-objekt-hierarkiet.

Ved beslutningsblokk 601 blir det tatt en bestemmelse med hensyn til om kunnskap er ønsket om alle de understøttede styringsmønstrene for elementet med fokus. Noen tilfeller kan f.eks. trenge utspørring av elementet for å bestemme alle dets funksjonaliteter istedenfor ganske enkelt å spørre om det oppfører seg på en spesiell ønsket måte. Et eksempel på et slikt tilfelle kan være i et avlusings- eller test-miljø. Disse tilfellene fortsetter prosessen ved blokk 603. Imidlertid trenger den automatiske anordningen oftere enn ikke å vite om elementet understøtter en spesiell oppførsel. I disse tilfellene fortsetter prosessen ved blokk 605.

Ved blokk 603, blir et spørsmål om de understøttede styringsmønstrene avgitt til elementet av interesse. Spørsmålet kan omfatte en fullstendig liste over de styringsmønstrene som understøttes av elementet. Forespørselen kan ganske enkelt be om en liste eller den kan be om grensesnitt til hvert av de understøttede styrings-mønstrene. Som reaksjon, ved blokk 607, blir listen mottatt og spørreanordningen eller applikasjonen håndterer den på passende måte; en vanlig bruk er imidlertid å så bruke metodene for returnerte styringsmønstre til programmatisk å manipulere elementet (f.eks. bruke "påkall mønster/påkall-metoden "til å trykke ned knappen 321 og derved vise hjelpevinduet).

Ved blokk 605, blir det sendt en forespørsel til elementet for å bestemme om det understøtter et spesielt styringsmønster. I mange tilfeller kan en automatisk anordning, for å lette navigasjonen til en applikasjon, vite hvilken funksjonalitet eller oppførsel som er forventet ved et spesielt punkt i applikasjonen. Istedenfor å spørre om en liste over alle de understøttede styringsmønstrene, kan følgelig den automatiske anordningen spørre om et element understøtter et spesielt styringsmønster. Ved blokk 605 kan den automatiske anordningen derfor spørre et element om det understøtter det spesielle styringsmønsteret.

Ved beslutningsblokk 609 blir det tatt en bestemmelse med hensyn til om det spesielle styringsmønsteret er understøttet. Det utspurte elementet kan f.eks. ganske enkelt returnere en svikt hvis det etterspurte styringsmønsteret ikke er understøttet. I så fall kan AT-anordningen gjenta spørsmålet ved blokk 605 med et annet ønsket styringsmønster, eller den kan slutte hvis ingen av de ønskede styringsmønstrene er understøttet. Hvis det aktuelle styringsmønsteret er understøttet, fortsetter prosessen ved blokk 611. Den automatiske anordningen kan spørre om understøttelse av spesielle styringsmønstre inntil alle styringsmønstre av interesse er blitt forsøkt. Det skal gjentas at varsel om understøttelse for et spesielt styringsmønster kan tilveie-bringes ved ganske enkelt å returnere et grensesnitt til den anropte automatiske anordningen med den eller de fremgangsmåter som svarer til det understøttede styringsmønsteret.

Ved blokk 611 blir det grensesnittet mottatt som innbefatter metoden eller metodene som muliggjør den oppførsel som er tilknyttet styringsmønsteret. Ved dette punktet kan den automatiske anordningen bruke de tilhørende styringsmønster-metodene til å manipulere elementet på en passende måte i samsvar med oppførselen til styringsmønsteret. Man vil forstå at det beskrevne systemet, komponentene og prosessen har muliggjort en mekanisme ved hjelp av hvilken brukergrensesnittelementer kan gjøres kjent på en dynamisk måte for en bruker og for en applikasjon, slik som en automatisk anordning, for programmatisk manipulering.

Den ovennevnte beskrivelse, eksemplene og dataene gir en fullstendig beskrivelse av fremstillingen og bruken av komposisjonen ifølge oppfinnelsen. Siden mange utførelsesformer av oppfinnelsen kan gjøres uten å avvike fra oppfinnelsens ramme, er oppfinnelsen bare begrenset av de vedføyde patentkravene.

Claims (16)

1. Datamaskinimplementert fremgangsmåte for programmatisk manipulering av et brukergrensesnittelement til en applikasjon (202), omfattende følgende trinn: ved hjelp av en automatisk anordning (201), å samle (513) fra brukergrensesnittelementet til applikasjonen (202) informasjon om brukergrensesnittelementet, idet informasjonen er lagret i en egenskap for brukergrensesnittelementet; ved hjelp av den automatiske anordningen (201), å videreformidle eller viderebringe denne informasjonen til brukeren; ved hjelp av den automatiske anordningen (201), å spørre (515) brukergrensesnittelementet til applikasjonen (202) om brukergrensesnittelementet understøtter et styringsmønster, idet brukergrensesnittelementet er av en spesiell brukergrensesnittelement-type, hvor styringsmønsteret beskriver grunnleggende funksjonalitet eksponert av et antall typer brukergrensesnittelementer; og hvis brukergrensesnittelementet understøtter styringsmønsteret, å returnere et grensesnitt som omfatter minst én metode som under-støttes av brukergrensesnittelementet, og programmatisk å manipulere (517), ved hjelp av den automatiske anordningen (201), brukergrensesnittelementet ved å bruke den minst ene metode omfattet i det returnerte grensesnittet og eksponert ved hjelp av brukergrensesnittelementet, idet brukergrensesnittelementet svarer til styrings-mønsteret, hvorved brukergrensesnittelementet blir programmatisk manipulert ved hjelp av den automatiske anordningen gjennom det returnerte grensesnittet assosiert med styringsmønsteret basert på dets understøttelse av styringsmønsteret uten referanse til brukergrensesnittelementets type.

2. Fremgangsmåte ifølge krav 1, hvor den grunnleggende funksjonaliteten omfatter én eller flere forutbestemte metoder, strukturer, egenskaper eller hendelser.

3. Fremgangsmåte ifølge krav 1, hvor brukergrensesnittelementet understøtter et antall forskjellige styringsmønstre.

4. Fremgangsmåte ifølge krav 1, hvor den automatiske anordning (201) omfatter et hjelpeteknologiprodukt, en kommandoanordning, et automatisk testskript, en makroregistreringsanordning, tale- eller dikteringsprogramvare eller kommando- og styringsanordninger.

5. Fremgangsmåte ifølge krav 1, videre omfattende trinn med: å spørre brukergrensesnittelementet om et antall egenskaper som kan brukes av den automatiske anordning (201) til å samle informasjon som anses å være viktig for brukeren; og å videreformidle denne informasjonen til brukeren.

6. Fremgangsmåte ifølge krav 1, hvor styringsmønsteret er minst ett i en liste som omfatter: applikasjonsvindu, kalender, kommandoer, beskrivende informasjon, dokk, forminsk/forstørr, grafikk, gitter, gitterpost, hierarkipost, påkall, multimedia, multippel visning, områdeverdi, rotasjon, rulling, valg, valgpost, sortering, deling, tabell, tabellpost, tekst, verdi, visuell informasjon, vindu, zoom.

7. Datamaskinlesbart medium med datamaskinutførbare komponenter for programmatisk manipulering av et brukergrensesnittelement til en applikasjon (202), omfattende: en automatisk anordning (201) konfigurert for å samle fra brukergrensesnittelementet informasjon om brukergrensesnittelementet, idet informasjonen er lagret i en egenskap for brukergrensesnittelementet, der den automatiske anordningen videre er konfigurert for å videreformidle informasjonen til brukeren; og hvor den automatiske anordningen (201) videre er konfigurert for programmatisk å manipulere (517) brukergrensesnittelementet ved å spørre (515) om brukergrensesnittelementet understøtter et styrings-mønster, og hvis så er tilfelle, programmatisk å manipulere (517) brukergrensesnittelementet i samsvar med styringsmønsteret; hvor styringsmønsteret beskriver grunnleggende funksjonalitet eksponert av et antall typer brukergrensesnittelementer, og hvor den programmatiske manipulering av brukergrensesnittelementet omfatter returnering av et grensesnitt og manipulering av brukergrensesnittelementet, ved hjelp av den automatiske anordningen, gjennom det returnerte grensesnittet assosiert med styringsmønsteret ved å bruke minst én metode eksponert av brukergrensesnittelementet som svarer til styringsmønsteret, idet grensesnittet omfatter den minst ene metoden, og det returnerte grensesnittet returneres av brukergrensesnittelementet som svar eller reaksjon på forespørselen eller spørringen om brukergrensesnittelementet understøtter styringsmønsteret.

8. Datamaskinlesbart medium ifølge krav 7, hvor styringsmønsteret definerer struktur, egenskaper, hendelser og metoder som understøttes av brukergrensesnittelementet.

9. Datamaskinlesbart medium ifølge krav 7, hvor brukergrensesnittelementet understøtter et antall styringsmønstre.

10. Datamaskinlesbart medium ifølge krav 7, hvor brukergrensesnittelement-informasjonen omfatter menneskelig-lesbar tekst lagret i et antall egenskaper, hvor den menneskelig-lesbare teksten refererer til et attributt ved brukergrensesnittelementet.

11. Datamaskinlesbart medium ifølge krav 10, hvor attributtet til brukergrensesnittelementet omfatter informasjon om brukergrensesnittelementet som, hvis den sendes eller videreformidles til brukeren, informerer brukeren om brukergrensesnittelementet.

12. Datamaskinlesbart medium ifølge krav 7, hvor brukergrensesnittelementet videre omfatter: et antall egenskaper som identifiserer informasjon om brukergrensesnittelementet, idet egenskapene er i stand til å bli formidlet til brukeren ved hjelp av den automatiske anordning (201); og et annet felt som identifiserer ett eller flere styringsmønstre, der hvert styrings-mønster er tilknyttet eller assosiert med en spesiell oppførsel av brukergrensesnittelementet.

13. Datamaskinlesbart medium ifølge krav 12, hvor egenskapene omfatter menneskelig-lesbare tekststrenger.

14. Datamaskinlesbart medium ifølge krav 13, hvor de menneskelig-lesbare tekst-strengene videre omfatter informasjon som beskriver brukergrensesnittelementet, slik at formidlingen av denne informasjonen informerer en bruker om brukergrensesnittelementet.

15. Datamaskinlesbart medium ifølge krav 12, hvor hvert styringsmønster beskriver struktur, egenskaper, hendelser og fremgangsmåter som understøttes av brukergrensesnittelementet.

16. Datamaskinlesbart medium ifølge krav 12, hvor styringsmønsteret omfatter et middel til å beskrive grunnleggende funksjonalitet for et brukergrensesnittelement.