NO337112B1 - Fremgangsmåte, datamaskinprogram og en anordning for tilveiebringe kognitiv støtte av et brukergrensesnitt - Google Patents

Fremgangsmåte, datamaskinprogram og en anordning for tilveiebringe kognitiv støtte av et brukergrensesnitt Download PDF

Info

Publication number
NO337112B1
NO337112B1 NO20140304A NO20140304A NO337112B1 NO 337112 B1 NO337112 B1 NO 337112B1 NO 20140304 A NO20140304 A NO 20140304A NO 20140304 A NO20140304 A NO 20140304A NO 337112 B1 NO337112 B1 NO 337112B1
Authority
NO
Norway
Prior art keywords
remote control
button
endpoint
gui
user
Prior art date
Application number
NO20140304A
Other languages
English (en)
Other versions
NO20140304A1 (no
Inventor
Dagfinn Wåge
Gunnar Crawford
Arild Stapnes Johnsen
Theresa Harmanen
Harald Saevareid
Original Assignee
Norsk Telemedisin As
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Norsk Telemedisin As filed Critical Norsk Telemedisin As
Priority to NO20140304A priority Critical patent/NO337112B1/no
Priority to EP15708814.7A priority patent/EP3114848A1/en
Priority to PCT/EP2015/054752 priority patent/WO2015132394A1/en
Priority to US15/123,540 priority patent/US20170068449A1/en
Publication of NO20140304A1 publication Critical patent/NO20140304A1/no
Publication of NO337112B1 publication Critical patent/NO337112B1/no

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226—Reprogrammable remote control devices
    • H04N21/42227—Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computer And Data Communications (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

Fremgangsmåte, datamaskinprogram og en anordning for å tilveiebringe kognitiv støtte av et brukergrensesnitt
Teknikkens område
Den foreliggende oppfinnelse vedrører fremgangsmåter og datamaskin-implementerte applikasjoner for å tilveiebringe kognitiv støtte i en brukerinteraksjon mellom en fjernkontroll og et grafisk brukergrensesnitt (Graphical User Interface -GUI) vist på en skjerm inkludert i et endepunkt eller en brukerterminal.
Oppfinnelsens bakgrunn
Overføring av levende bilder i sanntid blir benyttet i flere applikasjoner som for eksempel videokonferanser, nettmøter og videotelefoni.
Videokonferansesystemer tilveiebringer mulighet for simultan utveksling av lyd, video og datainformasjon mellom flere konferansesteder. En videokonferanseterminal består i hovedsak av et kamera, en skjerm, en høyttaler, en mikrofon og en kodek. Disse elementene kan settes sammen i en frittstående enhet kun med videokonferanseformål (ofte referert til som et endepunkt) eller de kan være innebygd i enheter med flere formål som personlige datamaskiner og TVer.
Videokonferanseterminaler er vanligvis styrt av en fjernkontroll i samspill med et grafisk brukergrensesnitt (Graphical User Interface -GUI) som vises på skjermen. Hovedproblemet med dagens videostyringssystemer er den høye brukerterskel knyttet til samspillet mellom fjernkontrollen og GUIen, og en usikkerhet av valgene som tas av en bruker i ulike situasjoner og hendelser. Derfor er det et behov for å tilveiebringe et hjelpe- og situasjonssystem som er omfattende og intuitivt for alle brukere, uavhengig av tekniske ferdigheter.
US 2013/0283184 Al beskriver et system og en framgangsmåte for å tilveiebringe støtte til en brukers interaksjon gjennom toveis kommunikasjon mellom en fjernkontroll og et grafisk brukergrensesnitt. Knappene på fjernkontrollen har bestemte funksjoner.
US 2007/0185968 Al beskriver et system og en framgangsmåte for bruk av en fjernkontroll. Fjernkontrollen omfatter et antall knapper med forskjellig belysning og farger. En bestemt knapp representerer en bestemt handling som vises som ikoner på en skjerm i et brukergrensesnitt. Knappene og de tilhørende ikoner har felles belysning, farge og form. Knappenes funksjon er faste.
Oppsummering
En hensikt med utførelsesformene heri er å overvinne eller i det minste å lindre den ovennevnte ulempe. Dette formålet og andre formål oppnås ved tilveiebringelse av en fremgangsmåte for å gi kognitiv støtte i brukerens interaksjon mellom en fjernkontroll og et grafisk brukergrensesnitt (Graphical User Interface -GUI) som vises på en skjerm som inngår i et endepunkt eller en brukerterminal, hvori et antall ikoner i GUIen representerer et antall brukerhandlinger er gitt. Brukerinteraksjonen tilveiebringer toveiskommunikasjon mellom fjernkontrollen og endepunktet hvori toveis kommunikasjonen omfatter en tilbakemeldingskanal, og ved belysningsmiddelet, belysning av et antall knapper på fjernkontrollen med et antall farger, og ved belysningsmiddelet, belysning av en første knapp av et antall knapper med en første farge som korresponderer til en farge som fremhever et første ikon av det antallet ikoner i GUIen som representerer en første handling av et antall brukerhandlinger som blir aktivert når du trykker på den første knappen. Instruksjoner for endring i fjernkontrollens knappebelysningstilstand er tilveiebrakt basert på informasjon kommunisert gjennom tilbakemeldingskanalen
I andre utførelsesformer kan toveiskommunikasjonen mellom fjernkontrollen og endepunktet inkludere en tilbakemeldingskanal fra endepunktet eller terminalen til fjernkontrollen som er Bluetooth-kompatibel.
I andre utførelsesformer kan det antall brukerhandlinger inkluderer å sette opp en samtale, motta anrop, velge en kontaktliste eller velge en generell funksjon tilveiebrakt av endepunktet eller terminalen.
I andre utførelsesformer kan antallet brukerhandlinger inkluderer å slukke belysningsmiddelet av den første knappen belyst med den første fargen, og å belyse en andre knapp av et antall knapper med den første fargen plassert på venstre side, på den høyre side, under eller ovenfor den første knappen.
I andre utførelsesformer kan GUIen plasseres over et nåværende vist TV-bilde eller en videokonferanse på skjermen.
I henhold til et annet aspekt, oppnås det ovennevnte formål og andre formål ved å tilveiebringe et arrangement for å gi kognitiv støtte i en brukerinteraksjon mellom en fjernkontroll og et grafisk brukergrensesnitt (GUI) som vises på en skjerm som er inkludert i et endepunkt eller en brukerterminal hvori toveis kommunikasjonen omfatter en tilbakemeldingskanal. Et antall ikoner i GUIen representerer et antall brukerhandlinger. Arrangementet omfatter minst et kommunikasjonsmiddel som tilveiebringer toveiskommunikasjon mellom fjernkontrollen og endepunktet, minst et belysningsmiddel som tilveiebringer belysning av et antall knapper på fjernkontrollen med et antall farger. Det minst det ene belysningsmiddelet tilveiebringer belysning av en første knapp av det antallet knapper med en første farge som korresponderer til en farge som fremhever et første ikon av det antall ikoner i GUIen som representerer en første handling av det antall brukerhandlinger som blir aktivert når du trykker på den første knappen, instruksjoner for endring i fjernkontrollens knappebelysningstilstand baseres på informasjon kommunisert gjennom tilbakemeldingskanalen.
I andre utførelsesformer, kan toveiskommunikasjonen mellom fjernkontrollen og endepunktet inkludere en tilbakemeldingskanal fra endepunktet eller terminalen til fjernkontrollen som er Bluetooth-kompatibel.
I andre utførelsesformer, kan antallet brukerhandlinger inkluderer å sette opp en samtale, motta anrop, velge en kontaktliste eller velge en generell funksjon tilveiebrakt av endepunktet eller terminalen.
I andre utførelsesformer kan antallet brukerhandlinger inkludere å slukke belysningsmiddelet av den første knappen belyst med den første fargen, og å belyse en andre knapp av det antallet knapper med den første fargen plassert på venstre side, på høyre side, under eller over den første knappen.
I andre utførelsesformer kan GUIen plasseres over et nåværende vist TV-bilde eller en videokonferanse på skjermen.
I henhold til enda et annet aspekt, oppnås det ovennevnte formål og andre formål ved tilveiebringelse av et datamaskinprogram, som omfatter datalesbare kodeenheter som når de blir utført på en elektronisk anordning forårsaker den elektroniske anordningen til å utføre fremgangsmåten i henhold til hvilken som helst fremgangsmåte beskrevet her.
I henhold til enda et annet aspekt, oppnås det ovennevnte formål og andre formål ved tilveiebringelse av en bærer som omfatter datamaskinprogrammet i henhold til det foregående krav, hvori bæreren er en av et elektronisk signal, et optisk signal, et radiosignal, og et datamaskinlesbart medium.
I henhold til enda et annet aspekt, oppnås det ovennevnte formål og andre formål ved tilveiebringelse av et datamaskinprogramprodukt som gir kognitiv støtte i en brukerinteraksjon mellom en fjernkontroll og et grafisk brukergrensesnitt (GUI) som vises på en skjerm som inngår i et endepunkt eller en brukerterminal, hvori en rekke ikoner i GUIen representerer en rekke brukerhandlinger er tilveiebrakt, datamaskinprogramproduktet omfatter et datamaskinlesbart lagringsmedium som har datamaskinlesbar programkode tilveiebrakt i det nevnte medium, den nevnte datamaskinlesbare programkoden omfatter datamaskinlesbar programkode konfigurert til å utføre alle trinnene i fremgangsmåten i henhold til hvilken som helst av fremgangsmåtene beskrevet heri.
Kort beskrivelse av te<g>nin<g>ene
Figur 1 er et første øyeblikksbilde av en relasjon mellom en fjernkontroll og et brukergrensesnitt i en første eksempelhendelse, Figur 2 er et første øyeblikksbilde av en relasjon mellom en fjernkontroll og et brukergrensesnitt i en andre eksempelhendelse, Figur 3 er en tredje øyeblikksbilde av en relasjon mellom en fjernkontroll og et brukergrensesnitt i en tredje eksempelhendelse, Figur 4 er et fjerde øyeblikksbilde av en relasjon mellom en fjernkontroll og et brukergrensesnitt i en fjerde eksempelhendelse.
Detaljert beskrivelse av eksempelutførelsesformer
Utførelsesformene heri beskriver fremgangsmåter som gir kognitiv støtte i interaksjonen mellom en fjernkontrolls grafiske brukergrensesnitt (Graphical User Interface - GUI) med en universell utforming, spesielt for bruk i videokonferanser.
Et videokonferanseendepunkt (terminal) er utstyrt med en eller flere skjermer, en eller flere høyttalere, en mikrofon og en kodek. Brukeren samhandler vanligvis med endepunktet ved en fjernkontroll eller et brukerpanel (fra nå av referert til som en fjernkontroll) og en GUI vises på skjermen for å styre endepunktet. De mest grunnleggende kommandoene er knyttet til å opprette en samtale og motta et anrop. Kommunikasjonen er enveiskommunikasjon fra fjernkontrollen til endepunktet, som kan tilveiebringes av infrarøde signaler.
Imidlertid, i henhold til utførelsesformene heri, er en tilbakemeldingskanal fra endepunktet tilbake til fjernkontrollen tilveiebrakt. I tillegg er de ulike knappene på fjernkontrollen tilveiebrakt med belysningsmidler av forskjellige farger som korresponderer til farger som fremhever ikoner i GUIen som representerer brukerhandlinger som blir aktivert når det trykkes på de respektive knappene.
Til forskjell fra en konvensjonell fjernkontroll som benytter IR-kommunikasjon, kan fjernkontrollen heri være Bluetooth Smart-kompatibel. Bluetooth Smart definerer en stor samling av tjenester, herunder for eksempel tastaturer (HID-enheter) og pulsmålere. Utførelsesformer heri definerer en profil, som inkluderer de aktuelle tjenestene og mulig en spesialdefinert tjeneste for LEDer som tilveiebringer belysning av knappene.
Bluetooth Smart støtter eventuelt også kryptering ved hjelp av en 128-bit AES kryptering.
For praktisk implementering av Bluetooth i fjernkontrollen i den hensikt heri, bør en chip med lavt strømforbruk, som kan leve av AAA batteriet i fjernkontrollen i måneder, benyttes.
Tilbakemeldingskanalen kan deretter brukes til å transmittere informasjon om hendelser og endringer i tilstander som forekommer i endepunktet som krever eller inviterer til en brukerhandling. Hendelsen kan enten være initiert av brukeren via fjernkontrollen, eller som et resultat av en ekstern anmodning som et innkommende anrop til endepunktet. Informasjonen transmittert gjennom tilbakemeldingskanalen kan være en indikasjon på hvordan knappene på fjernkontrollen må være belyst slik at det tilveiebringer en logisk sammenheng mellom knappebelysningen og den gjeldende GUI-hendelsesindikasjonen som vises på skjermen. En protokoll som definerer representasjoner av ulike tilstander bør gis som skal kommuniseres gjennom tilbakemeldingskanalen. I henhold til en utførelsesform, er anvendelse av tilbakemeldingskanelen minimalisert ved å tilveiebringe en tilstandsmaskin i fjernkontrollen og endepunktet, respektivt, slik at overganger mellom tilstander vil bli synkronisert på hver side, avhengig av de forekommende handlinger (for eksempel valg av brukeren eller eksterne hendelser). Imidlertid, i de utførelsesformer som blir presentert i det følgende, er det antatt at instruksjoner for endring i fjernkontrollens knappebelysningstilstand er eksplisitt kommunisert gjennom tilbakemeldingskanalen i henhold til den ovennevnte protokollen.
Enhver belysning av knappene på fjernkontrollen vil indikere en invitasjon eller en anmodning om en brukerhandling. Den spesifikke knappebelysning vil også indikere hvilke av knappene som vil aktivere en handling i den konkrete hendelsen, og derfor støtter brukeren i å navigere i GUIen, og i tillegg å bistå brukeren med å gjøre et riktig valg og fjerne unødvendig usikkerhet.
Figur 1 viser et første øyeblikksbilde av en relasjon mellom en fjernkontroll og et brukergrensesnitt i en første eksempelhendelse i henhold til én utførelsesform. Figur la illustrerer en eksempelutforming av en fjernkontroll med noen av knappene belyst, og figur lb illustrerer et eksempel på et tilsvarende utseende på det grafiske brukergrensesnittet. Før denne hendelsen, har brukeren transmittert en kommando for å ringe fra fjernkontrollen. En rad med forskjellige kontakter som det er mulig å ringe vises derfor i GUIen representert ved ikoner som inkluderer navn og portretter. En av kontaktene er forsynt med en blåfarget ramme, og senterknappen på fjernkontrollen er belyst med et tilsvarende blått lys. Dette indikerer at når man trykker på den blåbelyste knappen, transmitteres et signal fra fjernkontrollen til endepunktet som instruerer en samtale til å etableres fra endepunktet til videokontakten innrammet av den blå rammen i GUIen.
Fortsatt med henvisning til figur 1, tre knapper på fjernkontrollen er belyst med et grønt lys, henholdsvis plassert på venstre side, under og på høyre side av senterknappen, mens det er tre grønnfargede piler respektivt plassert på venstre side, under og på høyre side av det blåfargede, innrammede kontaktikonet. Ved å trykke på de belyste knappene på venstre eller høyre side, transmitteres et signal fra fjernkontrollen til endepunktet som instruerer å flytte posisjonen til den blåfargede rammen til venstre eller til høyre i kontaktraden.
Ved å trykke på den grønne belyste knappen under senterknappen, overføres et signal fra fjernkontrollen til endepunktet som instruerer å flytte posisjonen til den blåfargede rammen ned til en rad med ikoner som representerer mulig aktivering av andre funksjoner.
Figur 2 viser et første øyeblikksbilde av en relasjon mellom en fjernkontroll og et brukergrensesnitt i en andre eksempelhendelse i henhold til én utførelsesform. Figur 2a illustrerer en eksempelutforming av en fjernkontroll med noen av knappene belyst, og figur 2b illustrerer et eksempel på et tilsvarende utseende på det grafiske brukergrensesnittet. Før denne hendelsen, har endepunktet mottatt et innkommende anrop. Det innkommende anropet angis med et nedtrekksvindu lagt over det for eksempel nåværende viste TV-bildet på skjermen. Nedtrekksvinduet inkluderer et navn og et portrett som tilsvarer brukeren av det innkommende anropet, i tillegg til to ikoner som representerer "godta anrop" og "avvis anrop", respektivt.
Det innkommende anropet initierer også transmisjon av et signal på tilbakemeldingskanalen til fjernkontrollen som indikerer at et innkommende anrop er til stede. Denne indikasjonen setter deretter en forhåndsdefinert belysningskombinasjon av knappene på fjernkontrollen. I eksempelet i figur 2a, er senterknappen på fjernkontrollen belyst med blåfarget ramme, den høyre siden av senterknappen belyst med grønnfarget ramme, og den nederste knappen belyses med oransjefarget ramme.
Fortsatt med henvisning til figur 2, ved å trykke på den blåfargede senterknappen, blir et signal sendt fra fjernkontrollen til endepunktet som instruerer endepunktet til å godta det innkommende anropet. Ved å trykke på den grønnfargede knappen, blir et signal sendt fra fjernkontrollen til endepunktet som instruerer å flytte posisjonen til den grønnfargede rammen til «avvis anrop» ikonet. En ny tilstand har da oppstått (ikke vist), som impliserer at ved å trykke på den blåfargede senterknappen, sendes et signal fra fjernkontrollen til endepunktet som instruerer endepunktet til å avvise det innkommende anropet.
Figur 3 viser et første øyeblikksbilde av en relasjon mellom en fjernkontroll og et brukergrensesnitt i en andre eksempelhendelse i henhold til én utførelsesform. Figur 3a illustrerer en eksempelutforming av en fjernkontroll med noen av knappene belyst, og figur 3b illustrerer et eksempel på et tilsvarende utseende på det grafiske brukergrensesnittet. Før denne hendelsen har brukeren transmittert en kommando for å endre skjerminnholdet under en videosamtale. En liten rad med tre forskjellige valg blir derfor vist i GUIen representert ved ikoner som indikerer de valgbare alternativene. Den lille raden er her plassert lagt over et stor direkte videobilde og ved siden av et lite direkte brukerbilde.
I eksempelet i figur 3b, blir ikonet lengst til høyre i den lille raden i GUIen tilgjengeliggjort med en blå ramme, som indikerer at et signal sendes fra fjernkontrollen til endepunktet og instruerer endepunktet til å lukke kameraet med en gardin når den blå innrammede knappen på fjernkontrollen blir trykket på. Siden den eneste muligheten til å flytte den blå ikonrammen er mot venstre, er bare den knappen på venstre side av senterknappen på fjernkontrollen belyst med en grønnfarget ramme.
Figur 4 viser et første øyeblikksbilde av en relasjon mellom en fjernkontroll og et brukergrensesnitt i en andre eksempelhendelse i henhold til én utførelsesform. Figur 4a illustrerer en eksempelutforming av en fjernkontroll med noen av knappene belyst, og figur 4b illustrerer et eksempel på et tilsvarende utseende på det grafiske brukergrensesnittet. Før denne hendelsen har brukeren valgt å se hans/hennes kontaktliste. En rad med forskjellige kontakter som det er mulig å ringe vises derfor i GUIen representert ved ikoner som inkludert navn og portretter. Under denne raden er det tre ikoner, som hver representerer en viss funksjon. Kontaktlisteikonet er i posisjonen lengst til høyre i denne raden, og blir belyst med blått lys, siden brukeren nettopp har valgt kontaktlistealternativet. I denne posisjonen, kan den blå ikonrammen eventuelt flyttes opp til kontaktlisteraden, eller til venstre langs funksjonsraden. Dermed er både knappen over og knappen på venstre side av senterknappen på fjernkontrollen belyst med en grønn ramme. Ved å trykke på den grønne belyste knappen over senterknappen, overføres et signal fra fjernkontrollen til endepunktet som instruerer å flytte posisjonen til den blåfargede rammen opp til det midtre ikonet på kontaktraden, og ender opp med den første eksempelhendelsen som beskrevet ovenfor. Ved å trykke på den grønne belyste knappen på venstre side av senterknappen, transmitteres et signal fra fjernkontrollen til endepunktet som instruere å skifte posisjonen til den blåfargede rammen til midtikonet av funksjonsikonraden. Samtidig transmitterer tilbakemeldingskanalen informasjon tilbake til fjernkontrollen om ny tilstand, som impliserer å slå på belysningen av knappen til høyre for senterknappen og til å slå av belysningen av knappen over.
En ny tilstand har da oppstod (ikke vist), som impliserer at ved å trykke på den blåfargede senterknappen, transmitteres et signal fra fjernkontrollen til endepunktet som instruerer endepunkt til å aktivere funksjonen representert ved det hjerteformede ikonet.
Den ovenstående beskrivelse er kun illustrerende eksempler på forskjellige utførelsesformer av den foreliggende oppfinnelse, og begrenser ikke omfanget av oppfinnelsen som definert i de påfølgende selvstendige krav og den korresponderende oppsummeringen av oppfinnelsen, som beskrevet ovenfor.

Claims (13)

1. En fremgangsmåte for å tilveiebringe kognitiv støtte i en brukerinteraksjon mellom en fjernkontroll og et grafisk brukergrensesnitt (GUI) som vises på en skjerm som inngår i et endepunkt eller en brukerterminal, hvori et antall ikoner i GUIen som representerer et antall brukerhandlinger er tilveiebrakt, fremgangsmåten omfatter: å tilveiebringe toveis kommunikasjon mellom fjernkontrollen og endepunktet, hvori toveis kommunikasjonen omfatter en tilbakemeldingskanal, å tilveiebringe, med et belysningsmiddel, belysning av et antall knapper på fjernkontrollen med et antall farger, å tilveiebringe, med et belysningsmiddel, belysning av en første knapp av et antall knapper med en første farge som korresponderer med en farge som fremhever et første ikon av antallet ikoner i GUIen som representerer en første handling av et antall brukerhandlinger aktivert ved å trykke på den første knappen og å tilveiebringe, baseret på information kommunisert gjennom tilbakemeldingskanalen, instruktioner for endring i knappebelysningstilstand av fjernkontrollen.
2. En fremgangsmåte i henhold til krav 1, som videre omfatter at toveis kommunikasjonen mellom fjernkontrollen og endepunktet inkluderer att tilbakemeldingskanalen fra endepunktet eller terminalen til fjernkontrollen er Bluetooth-kompatibel.
3. En fremgangsmåte i henhold til krav 1 eller 2, som videre omfatter at antallet brukerhandlinger inkluderer å sette opp en samtale, motta anrop, velge en kontaktliste eller velge en generell funksjon tilveiebrakt av endepunktet eller terminalen.
4. En fremgangsmåte i henhold til krav 1 eller 2, som videre omfatter at antallet brukerhandlinger inkluderer å slukke belysningsmiddelet av den første knappen belyst med den første fargen, og å belyse en andre knapp av et antall knapper med den første fargen plassert på venstre side, på den høyre side, under eller ovenfor den første knappen.
5. En fremgangsmåte i henhold til hvilket som helst av kravene 1-4, som videre omfatter at GUIen er plassert over et nåværende vist TV-bilde eller en videokonferanse på skjermen.
6. Et arrangement for å tilveiebringe kognitiv støtte i en brukerinteraksjon mellom en fjernkontroll og et grafisk brukergrensesnitt (GUI) som vises på en skjerm som inngår i et endepunkt eller en brukerterminal, hvori et antall ikoner i GUIen representerer et antall brukerhandlinger er tilveiebrakt, arrangementet omfatter: Minst en kommunikasjonsenhet som tilveiebringer toveis kommunikasjon mellom fjernkontrollen og endepunktet, hvori toveis kommunikasjonen omfatter en tilbakemeldingskanal, Minst et belysningsmiddel som tilveiebringer belysning av et antall knapper på fjernkontrollen med et antall farger, hvori den i det minste et av belysningsmiddelene tilveiebringer belysning av en første knapp av et antall knapper med en første farge som korresponderer til en farge som fremhever et første ikon av et antall ikoner i GUIen som representerer en første handling av det antall brukerhandlinger som blir aktivert når den første knappen trykkes på og hvori instruktioner for endring i knappebelysningstilstand av fjernkontrollen baseres på information kommunisert gjennom tilbakemeldingskanalen.
7. Et arrangement i henhold til krav 6, som videre omfatter at toveiskommunikasjonen mellom fjernkontrollen og endepunktet inkluderer en tilbakemeldingskanal fra endepunktet eller terminalen til fjernkontrollen som er Bluetooth-kompatibel.
8. Et arrangement i henhold til krav 6 eller 7, som videre omfatter at antallet brukerhandlinger inkluderer å sette opp en samtale, motta anrop, velge en kontaktliste eller velge en generell funksjon tilveiebrakt av endepunktet eller terminalen.
9. Et arrangement i henhold til krav 6, 7 eller 8, som videre omfatter at antallet brukerhandlinger omfatter å slukke belysningsmiddelet av den første knappen belyst med den første fargen, og å belyse en andre knapp av det antallet knapper med den første fargen plassert på venstre side, på høyre side, under eller over den første knappen.
10. Et arrangement i henhold til hvilket som helst av kravene 6-9, som videre omfatter at GUIen er plassert over et nåværende vist TV-bilde eller en videokonferanse på skjermen.
11. Et datamaskinprogram, som omfatter datalesbare kodeenheter som når de blir utført på en elektronisk anordning forårsaker den elektroniske anordningen til å utføre fremgangsmåten i henhold til hvilket som helst av kravene 1-5.
12. En bærer som omfatter datamaskinprogrammet i henhold til det foregående krav, hvori bærer er en av et elektronisk signal, et optisk signal, et radiosignal, og et datamaskinlesbart medium.
13. Et datamaskinprogramprodukt som tilveiebringer kognitiv støtte i en brukerinteraksjon mellom en fjernkontroll og et grafisk brukergrensesnitt (GUI) som vises på en skjerm som inngår i et endepunkt eller en brukerterminal, hvori en rekke ikoner i GUIen representerer en rekke brukerhandlinger er tilveiebrakt, datamaskinprogramproduktet omfatter et datamaskinlesbart lagringsmedium som har datamaskinlesbar programkode tilveiebrakt i det nevnte medium, den nevnte datamaskinlesbare programkoden omfatter datamaskinlesbar programkode konfigurert til å utføre alle trinnene i fremgangsmåten i henhold til hvilket som helst av kravene 1-5.
NO20140304A 2014-03-06 2014-03-06 Fremgangsmåte, datamaskinprogram og en anordning for tilveiebringe kognitiv støtte av et brukergrensesnitt NO337112B1 (no)

Priority Applications (4)

Application Number Priority Date Filing Date Title
NO20140304A NO337112B1 (no) 2014-03-06 2014-03-06 Fremgangsmåte, datamaskinprogram og en anordning for tilveiebringe kognitiv støtte av et brukergrensesnitt
EP15708814.7A EP3114848A1 (en) 2014-03-06 2015-03-06 Method, computer program and device for providing cognitive support of a user interface
PCT/EP2015/054752 WO2015132394A1 (en) 2014-03-06 2015-03-06 Method, computer program and device for providing cognitive support of a user interface
US15/123,540 US20170068449A1 (en) 2014-03-06 2015-03-06 Method, computer program and device for providing cognitive support of a user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
NO20140304A NO337112B1 (no) 2014-03-06 2014-03-06 Fremgangsmåte, datamaskinprogram og en anordning for tilveiebringe kognitiv støtte av et brukergrensesnitt

Publications (2)

Publication Number Publication Date
NO20140304A1 NO20140304A1 (no) 2015-09-07
NO337112B1 true NO337112B1 (no) 2016-01-25

Family

ID=52633277

Family Applications (1)

Application Number Title Priority Date Filing Date
NO20140304A NO337112B1 (no) 2014-03-06 2014-03-06 Fremgangsmåte, datamaskinprogram og en anordning for tilveiebringe kognitiv støtte av et brukergrensesnitt

Country Status (4)

Country Link
US (1) US20170068449A1 (no)
EP (1) EP3114848A1 (no)
NO (1) NO337112B1 (no)
WO (1) WO2015132394A1 (no)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD738905S1 (en) * 2013-06-09 2015-09-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD851111S1 (en) 2017-09-09 2019-06-11 Apple Inc. Electronic device with graphical user interface
USD843442S1 (en) 2017-09-10 2019-03-19 Apple Inc. Type font
USD902221S1 (en) 2019-02-01 2020-11-17 Apple Inc. Electronic device with animated graphical user interface
USD900871S1 (en) 2019-02-04 2020-11-03 Apple Inc. Electronic device with animated graphical user interface
US11368503B2 (en) 2019-06-25 2022-06-21 Kyndryl, Inc. Automated video positioning during virtual conferencing
USD956775S1 (en) * 2019-10-02 2022-07-05 Meta Platforms, Inc. Display screen with a graphical user interface
USD912635S1 (en) * 2019-10-11 2021-03-09 Reliance Medical Products Wireless hand controller
USD948480S1 (en) * 2020-11-13 2022-04-12 Shenzhen Antop Technology Co., Ltd Remote control
USD999177S1 (en) * 2022-03-16 2023-09-19 Microsoft Corporation Remote controller

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070185968A1 (en) * 2006-02-08 2007-08-09 Sbc Knowledge Ventures, L.P. Communicating with a remote control
US20130283184A1 (en) * 2012-04-20 2013-10-24 Wayne E. Mock Determining Presence of a User in a Videoconferencing Room Based on a Communication Device Transmission

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7154428B2 (en) * 2003-06-25 2006-12-26 Universal Electronics Inc. Remote control with selective key illumination
US8780271B2 (en) * 2005-01-20 2014-07-15 Thomson Licensing Bi-modal switching for controlling digital TV applications on hand-held video devices
US8818272B2 (en) * 2007-07-18 2014-08-26 Broadcom Corporation System and method for remotely controlling bluetooth enabled electronic equipment
GB201005454D0 (en) * 2010-03-31 2010-05-19 Skype Ltd Television apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070185968A1 (en) * 2006-02-08 2007-08-09 Sbc Knowledge Ventures, L.P. Communicating with a remote control
US20130283184A1 (en) * 2012-04-20 2013-10-24 Wayne E. Mock Determining Presence of a User in a Videoconferencing Room Based on a Communication Device Transmission

Also Published As

Publication number Publication date
EP3114848A1 (en) 2017-01-11
NO20140304A1 (no) 2015-09-07
WO2015132394A1 (en) 2015-09-11
US20170068449A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
NO337112B1 (no) Fremgangsmåte, datamaskinprogram og en anordning for tilveiebringe kognitiv støtte av et brukergrensesnitt
US9264659B2 (en) Video conference network management for a mobile device
EP2879470A1 (en) Control method of mobile device
CN102215372B (zh) 视频会议中的远程控制操作
US11197064B2 (en) Display device, display control method, and program
US11115227B2 (en) Terminal and method for bidirectional live sharing and smart monitoring
CN103402004A (zh) 一种预启动移动终端多摄像头的方法
US10349008B2 (en) Tool of mobile terminal and intelligent audio-video integration server
KR20090042499A (ko) 휴대 단말기 및 그 이미지 전송 방법
EP2800359B1 (en) Display device, display control method, and program
JP6055421B2 (ja) 表示装置、表示制御方法、携帯端末装置、およびプログラム
US10902763B2 (en) Display device, display control method, and program
US20130307919A1 (en) Multiple camera video conferencing methods and apparatus
JP4475579B2 (ja) 映像コミュニケーション装置および映像コミュニケーション装置の制御方法
US20070002012A1 (en) Graphical user interface device, operating input processing method, and two-way communication apparatus
JP2005348360A (ja) 双方向コミュニケーションシステムにおけるグラフィカルユーザインタフェース装置及び接続方法
KR101137348B1 (ko) 화상통화 기능을 갖는 이동통신 단말기 및 이를 이용한화상처리 방법
CN116114251A (zh) 视频通话方法及显示设备
US10380949B2 (en) Display apparatus and control method of the same
WO2022057286A1 (zh) 一种显示方法及显示设备
KR102280212B1 (ko) 영상 통화 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR20210001154A (ko) 단말기, 서버 및 그것의 동작 방법
CN111416920A (zh) 移动图像处理装置、方法及计算机可读存储介质
JP2005223737A (ja) インターホンシステム
JP2013198136A (ja) テレビ会議用カメラ