NO316250B1 - Hastighetskontroll for stereoskopisk digital videokoding - Google Patents

Hastighetskontroll for stereoskopisk digital videokoding Download PDF

Info

Publication number
NO316250B1
NO316250B1 NO19973060A NO973060A NO316250B1 NO 316250 B1 NO316250 B1 NO 316250B1 NO 19973060 A NO19973060 A NO 19973060A NO 973060 A NO973060 A NO 973060A NO 316250 B1 NO316250 B1 NO 316250B1
Authority
NO
Norway
Prior art keywords
image
bits
layer
activity level
images
Prior art date
Application number
NO19973060A
Other languages
English (en)
Other versions
NO973060L (no
NO973060D0 (no
Inventor
Xuemin Chen
Original Assignee
Gen Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gen Instrument Corp filed Critical Gen Instrument Corp
Publication of NO973060D0 publication Critical patent/NO973060D0/no
Publication of NO973060L publication Critical patent/NO973060L/no
Publication of NO316250B1 publication Critical patent/NO316250B1/no

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

Foreliggende oppfinnelse vedrører en fremgangsmåte og en anordning av på hverandre følgende bilder med videodata i et forbednngslag for et stereoskopisk digitalt datasignal
Digital teknologi har revolusjonert fremføringen av video- og audiotjenester til for-brukere siden denne teknologi kan gi signaler med meget høyere enn analoge teknikker og dessuten by på ytterligere trekk som tidligere ikke var tilgjengelige Digitale systemer er særlig fordelaktige for signaler som er kringkastet via et kabelfjernsynsnett eller av satellitt-til-kabelfjernsynsselskaper og/eller direkte til mottakere til hjemmebruk av satellittfjernsyn I slike systemer mottar en abonnent den digitale datastrøm via en mottaker/anordning som opphever omkastning som dekomprimerer og dekoder dataene for å bygge opp de opprinnelige video- og audiosignaler Den digitale mottaker innbefatter en mikrodator og minnelagerelementer til bruk i denne prosess
Behovet for å komme frem til billige mottakere samtidig med at disse byr på høy-kvalitets video og audio krever imidlertid at datamengden som blir behandlet må være begrenset Videre kan den tilgjengelige båndbredde for overføring av det digitale signal også være begrenset av fysiske krav, eksisterende kommunikasjonsprotokoller og myndighetenes reglementer Som følge av dette er det blitt utviklet forskjellige kompresjonsopplegg for data vedrørende intradelbilde der disse drar fordel av den rommessige korrelasjon blant sammenstående piksler i et bestemt videobilde (for eksempel delbilde)
Videre drar kompresjonsopplegg for mtradelbilder fordel av tidsmessige korrelasjoner mellom samsvarende områder i på hverandre følgende delbilder ved bruk av bevegelses-kompensasjonsdata og bevegelsesvurderende algoritmer for blokktilpasmng I dette tilfellet blir en bevegelsesvektor bestemt for hver blokk i et løpende bilde av en scene ved identifisering av en blokk i et foregående bilde som ligner mest på den særlige løpende blokk Hele det løpende bildet kan så bh rekonstruert av en dekoder ved å sende data som representerer forskjellen mellom samsvarende blokkpar sammen med bevegelsesvektoren som er nødvendig for å identifisere de samsvarende par Bevegelsesvurderende algoritmer for blokkhlpasning er særlig effektive når de kombineres med blokkbasert romkompnmenngsteknikk som for eksempel den diskrete kosinustransform (DCT)
Det oppstår imidlertid nå en enda større utfordnng ved de foreslåtte stereoskopiske overfønngsformater som for eksempel Motion Picture Experts Group (MPEG) MPEG-2 Multi-view Profile (MVP) system, som er beskrevet i dokument ISO/IEC JTC1/SC29/WG11 N1088, med tittelen "Proposed Draft Amendment Nr 3 til 13818-2
(Multi-view Profile)", november 1995, som det her vises til som referanse Stereoskopisk video frembringer svakt forskjøvne gjengivelser av samme scene for å danne en scene med større feltdybde for dermed å skape en tredimensjonal (3-D) virkning I et slikt system kan to kameraer anbringes omtrent 50 cm fra hverandre for å gjøre opptak av en hendelse på to atskilte videosignaler Avstanden mellom kameraene svarer til-nærmet til avstanden mellom høyre og venstre øye hos en person Videre, med noen
stereoskopiske videokamkordere, er to linser bygget inn i et kamkorderhode og beveger seg derfor i synkronisme ved, for eksempel, panorering over en scene To videosignaler kan overføres og rekombineres ved mottaker for å frembringe en scene med en feltdybde som svarer til normalt syn hos et menneske Andre spesielle effekter kan også komme på tale
MPEG MVP-systemet innbefatter to videolag som blir overført i et multiplekset signal Det første er et basislag som representerer en venstre betraktning av en tre-dimensjonal gjenstand Det andre, et forbedrende (for eksempel hjelpelag) lag representerer en høyre betraktning av gjenstanden Siden de høyre og venstre betraktninger er av samme gjenstand og er forskjøvet bare svakt i forhold til hverandre, vil det som regel foreligge en høy grad av korrelenng mellom videoscenene i basislaget og forbedringslaget Denne korrelasjon kan benyttes til å komprimere forbednngslagets data i forhold til basislaget og derved redusere den datamengde som må overføres i forbednngslaget for å opprettholde en gitt bildekvalitet Bildekvaliteten svarer som regel til kvantiseringsnivået for videodataene
MPEG MVP-systemet innbefatter tre typer videobilder, særlig det intrakodede bildet (I-bildet), forutsigelseskodet bilde (P-bilde) og toveis-forutsigelseskodet bilde (B-bilde) Videre, mens basislaget inneholder enten delbilde eller feltstrukturvideosekvenser, inneholder forbednngslaget bare delbildestruktur Et I-bilde beskriver fullstendig et enkelt videobilde uten henvisning til noe annet bilde For bedre å skjule feil kan bevegelsesvektoren være innbefattet i et I-bilde En feil i et I-bilde har evne til større virkning på den viste video siden både P-bilder og B-bilder i basislaget blir forutsagt fra I-bilder Videre kan bilder i forbednngslaget forutsies fira bilder i basislaget med en krysslagsforutsigende prosess som er kjent som dispantetsforutsigelse Forutsigelse fra et delbilde til et annet i et lag er kjent som tidsmessig forutsigelse
I basislaget blir P-bilder forutsagt basert på tidligere I- eller P-bilder Referansen er fra et tidligere I- eller P-bilde til et fremtidig P-bilde og er kjent som forutsigelse forover
B-bilder blir forutsagt fra det nærmeste tidligere I- eller P-bildet og det nærmeste senere I- eller P-bildet
I forbednngslaget kan et P-bilde bh forutsagt ut fra det senest dekodede bildet i forbednngslaget uansett bildetype eller fra det seneste basislagbildet uansett type, i visningsrekkefølge Videre, med et B-bilde i forbednngslaget, er det foroverrettede referansebildet det senest dekodede bildet i forbednngslaget og det bakoverrettede referansebildet er det seneste bildet i basislaget i visningsrekkefølgen Siden B-bilder i forbednngslaget kan være referansebilder for andre bilder i forbednngslaget, må bittildelingen for P- og B-bilder i forbedringslaget justeres basert på kompleksiteten (for eksempel aktiviteten) for scenne i bildene I en mulig utforming kan forbednngslaget ha bare P- og B-bilder og ingen I-bilder
Henvisningen til et fremtidig bilde (dvs et som enda ikke er blitt vist) kalles bakoverrettet forutsigelse Det finnes situasjoner der bakoverrettet forutsigelse er meget nyttig når det gjelder å øke kompnmenngshastigheten For eksempel i en scene der en dør åpnes kan det pågående bildet forutsi hva som er bak døren basert på et fremtidig bilde hvon døren allerede er åpen
B-bilder byr på den største kompnmenng, men innbefatter også flest feil For å oppheve forplantning av feil kan B-bilder aldn bh forutsagt fra andre B-bilder i basislaget P-bilder gir færre feil og mmdre kompnmenng I-bilder gir mmst kompnmenng, men er også i stand til å by på direkte tilgang
På denne måte må for å dekode P-bilder i basislaget det foregående I-bildet eller P-bildet være tilgjengelig På samme måte må, for å dekode B-bilder, de foregående P-eller I-bilder og fremtidige P- eller I-bilder være tilgjengelige Som en følge av dette blir videobilder kodet og overført i en avhengig rekkefølge slik at alle bilder som benyttes til forutsigelse blir kodet før bildene blir forutsagt fra disse Når det kodede signal blir mottatt ved en dekoder, blir videobildene dekodet og omordnet for visning Som følge av dette er midlertidige lagnngselementer nødvendig for å bufferbehandle dataene før visning
MPEG-2 standarden for ikke-stereoskopiske videosignaler angir ikke noen bestemt fordeling som I-bilder, P-bilder og B-bilder må ha i et lag, men tillater forskjellig for-delinger for å gi forskjellige grader av kompnmenng og direkte tilgjengelighet En vanlig fordeling i basislaget er å ha to B-bilder mellom på hverandre følgende I- eller P- bilder Sekvensen med bilder kan, for eksempel, være I], Bl9B2, Pi, B3, B4,12, B5, B6, P2, B7, B8,13osv I forbednngslaget kan et P-bilde følges av tre B-bilder, med et I-bilde anbrakt for hver tolv P- og B-bilder, for eksempel,1rekkefølgen li, Bi, B2, P|, B3, B4, P2, B5, B6, P3, B7, B8,12Ytterligere detaljer ved MPEG-2 standarden finnes1dokument ISO/IEC JTC1/SC29/WG11 NO702, med tittelen "Information Technology -Genene Coding of Moving Pictures and Associated Audio, Recommendahon H 262", 25 mars 1994, som det her vises til som referanse
Fig 1 viser et vanlig opplegg for tidsmessig bildeforutsigelse med dispantetsvideo1MPEG MVP-systemet Pilspissene angir forutsigelsesretmngen slik at det bildet det pekes på med pilspissen blir forutsagt basert på det bildet som er knyttet til pilens hale Med en basislagsekvens (venstre scene) 150 med \ 155, Bb| 160, Bb2165, Pb 170 der indeks "b" angir basislaget, foregår tidsmessig forutsigelse som vist Mer bestemt blir Bbi160 forutsagt fra Ih 155 og Pb 170, Bb2165 blir forutsagt fra Ib 155 og Pb 170 og Pb 170 blir forutsagt fra Ib 155 Med en forbednngslagsekvens 100 (høyre scene) med Pe 105, Bel 110, Be2115 og Be3120, der indeks "e" angir forbednngslaget, foregår tidsmessig og/eller dispantetsforutsigelse Mer bestemt blir Pe 105 dispantetsforutsagt fra It, 155 Bei HO blir både tidsmessig forutsagt fra Pe 105 og dispantetsforutsagt fra Bel 160 Be2115 blir tidsmessig forutsagt fra Bbl110 og dispantetsforutsagt fra Bb2165 B^ 120 blir tidsmessig forutsagt fra Be2115 og dispantetsforutsagt fra Pb 170
Generelt blir basislaget1MPEG MVP-systemet kodet1henhold til Main Profile (MP)-protokollen, mens forbednngslaget er kodet ifølge MPEG-2 Temporal Scalabihty tools
For stereoskopiske video tjenester med fast båndbredde må utgangsbitstrømmen som omfatter multiplekset av basis- og forbednngslagene ikke oversknde en gitt bithastighet eller tilsvarende båndbredde Dette resultat kan oppnås med atskilte hashghetskontroll-opplegg1basis- og forbednngslagene slik at bithastigheten for hvert lag ikke overskrider en gitt terskel og summen av de to bithastigheter tilfredsstiller det samlede båndbreddekrav Som et alternativ kan bithastigheten1hvert lag tillates å vanere så lenge den kombinerte bithastighet tilfredsstiller de samlede båndbreddekrav
Videre bør hastighetskontrollopplegget også holde fast ved en forholdsvis konstant videosignalkvalitet over alle bildetyper (for eksempel I-, P- og B-bilder)1forbednngslaget og holde dette sammen med Video Buffenng Venfier (VBV) modellen1MPEG MVP-systemet VBV er en hypotetisk dekoder som begrepsmessig er forbundet med utgangen fra en koder Kodede data blir anbrakt1bufferen med den konstante bithastighet som benyttes og tas ut alt etter hvilke data som har vært lagret i bufferen i lengst tid Det er nødvendig at bitstrømmen som frembringes av en koder eller redigerer ikke får VBV til verken å overflyte eller underflyte
Ved vanlige systemer kan kvaliteten på et P-bilde i forbednngslaget vanere avhengig av om det er tidsmessig forutsagt eller dispantetsforutsagt For eksempel, for en scene der kameraene panorerer mot høyre med et konstant kvantisenngsnivå, kan et P-bilde som er tidsmessig forutsagt fra et B-bilde i forbednngslaget ha en lavere kvalitet enn om det var blitt dispantetsforutsagt fra et I-bilde i basislaget Årsaken til dette er som nevnt at B-bi Idene gir størst kompnmenng, men tar også med seg flest feil I motsetning vil dette vil kvaliteten på et basislag P-bilde bh opprettholdt siden et B-bilde ikke kan benyttes som et referansebilde i basislaget Kvaliteten på P-bildets scene svarer til den gjennomsnittlige størrelse på kvantisenngstnnnet for P-bildedataene
Videre vil redigenngsoperasjoner som for eksempel hurtig forover og bakover kunne utføres ved en dekoderterminal etter kommando fra en bruker Slike redigenngsoperasjoner kan resultere i en kodefell siden gruppen av delbilder (GOP) eller delbilder fra oppfriskmngspenoden kan være forskjellige i basislaget og forbednngslaget og deres respektive startpunkter kan bh tidsmessig forskjøvet GOP består av et eller flere på hverandre følgende bilder Rekkefølgen som bildene blir vist med er som regel forskjellig fra rekkefølgen hvon de kodede versjoner befinner seg i bitstrømmen I bit-strømmen er det første delbildet i en GPO alltid et I-bilde I vismngsrekkefølgen er imidlertid det første bildet i en GOP enten et I-bilde eller det første B-bilde i den på-følgende sene med B-bilder som ligger umiddelbart foran det første I-bildet I vismngsrekkefølgen er videre det siste bildet i en GOP alltid et I- eller P-bilde
Videre blir en GOP-topptekst benyttet umiddelbart foran et kodet I-delbilde i bitstrøm-men for å vise dekoderen om de første påfølgende B-bilder som umiddelbart følger det kodede I-delbildet i bitstrømmen kan bh riktig rekonstruert ved direkte tilgang der I-delbildet ikke er tilgjengelig forbruk som et referansedelbilde Selv når I-delbildet er utilgjengelig, kan B-bilder eventuelt rekonstrueres ved bruk av bare bakoverrettet forutsigelse fra et påfølgende I- eller P-delbilde
Når det er nødvendig å vise et delbilde som ikke følger umiddelbart etter GOP-topp-teksten, som for eksempel under redigenngsoperasjoner, kan synkronisenngen mellom delbilder i basislaget og i forbednngslaget gå tapt Dette kan resultere i et avbrudd som fører til en frysing av et delbilde eller annen mangel i det resulterende videobildet
Det ville derfor være hensiktsmessig å komme frem til et hastighetskontrollopplegg for et stereoskopisk videosystem som for eksempel MPEG MVP-systemet, som justerer kvantiseringsnivået for P-bilder i forbednngslaget avhengig av om bildet blir tidsmessig forutsagt eller dispantetsforutsagt Opplegget skal videre ta hensyn til kompleksitetsnivået for det kodede bildet og referansedelbildet Videre skal opplegget ta hensyn til datahastighetskravene under eventuelle redigenngsoperasjoner til opprettholdelse av en ensartet bildekvalitet og for å unngå frysing av delbilder Den foreliggende oppfinnelse byr på de ovenstående og andre fordeler
Ifølge foreliggende oppfinnelse er det utviklet en fremgangsmåte og anordning til hastighetskontroll for bruk i en koder på sendersiden i et stereoskopisk digitalt videokommunikasjonssystem for å modifisere kvantisenngsnivået for P- eller B-delbildedata i forbednngslaget avhengig av om delbildet blir tidsmessig forutsagt (fra samme lag) eller dispantetsforutsagt (fra det motstående lag) Oppfinnelsen kan opprettholde en jevn bildekvalitet ved å sørge for ytterligere kvantisenngsbiter for dispantetsforutsagte P-bilder, for eksempel der et P-delbilde kan kodes fra et B-delbilde i basislaget Det valgte kvantisenngsnivået svarer til et samlet bithastighetskrav for forbednngslaget høyre bit hastighet og en virtuell bufferfyldeparameter Vr
På mange anvendelsesområder er det videre nødvendig å omkode dekodede data for redigenngsformål som for eksempel hurtig spohng forover og bakover Når referansedelbildet i basislaget er det første delbildet i en GOP, vil ifølge foreliggende oppfinnelse det tilsvarende forbednngsdelbildet bh kodet som et I- eller P-delbilde for å forbedre bildekvaliteten og oppheve forplantning av feil under slik eventuell redigenng Hvis, for eksempel, forbednngslagets delbilde det gjelder skulle kodes som et B-delbilde ved bruk av vanlig bildefordehng, vil bildetypen bh vekslet i stedet til et P- eller I-bilde Videre vil beregninger for hastighetskontroll ved senderen ta hensyn til denne mulighet ved å redusere de tildelte biter for det pågående bildet i forbednngslaget for å unngå eventuell overflyt i den virtuelle buffer ved koderen
Videre, for dispantetsforutsagte P-delbilder, blir størrelsen på kvantisenngstnnnet modifisert i henhold til aktivitetsnivået i det delbildet som kodes i forbednngslaget eller etter referansedelbildet i basislaget, alt etter hvilket som er størst
Nærmere bestemt kjennetegnes den innledningsvis nevnte fremgangsmåte ved de trekk som fremgår av krav 1 Ytterligere utførelsesformer derav fremgår av kravene 2-9
Videre kjennetegnes den innledningsvis nevnte anordning ved de trekk som fremgår av krav 10 Ytterligere utførelsesformer derav fremgår av kravene 11-18 Fig 1 viser det vanlige opplegg for tidsmessig forutsigelse og dispantetsforutsigelse ved MPEG MVP-systemet Fig 2 viser den opprinnelige GOP eller delrutinen for oppfhskmngspenoden ifølge foreliggende oppfinnelse Fig 3 viser bildelagets tidsstyring for forbednngslagsekvensen i henhold til foreliggende oppfinnelse Fig 4 viser delrutinen til forbehandling av det løpende bildet i henhold til foreliggende oppfinnelse Fig 5 viser delrutinen for etterbehandling av det foregående bildet i henhold til foreliggende oppfinnelse Fig 6 viser et bildefordehngsmønster ifølge foreliggende oppfinnelse
Fremgangsmåten til hastighetskontroll ifølge foreliggende oppfinnelse innbefatter syv prosedyrer med parameterimtialisenng,lnitiahsenng for forbednngslaget,lnitialisenng og oppdatenng for oppfhskningspenoden eller gruppen av bilder (GOP), forbehandling av det pågående bildet, etterbehandling av det foregående bildet, behandling av makro-blokkoppgave og behandling av hastighetsregulenng for utsnittoppgave og adaptiv kvantisenngsprosess
Parametre som blir initialisert og senere brukt innbefatter det minste antall tildelte biter,Trmin, for de feilbilder som svarer til en GOP eller en oppfhsknmgspenode for forbednngslaget Trminblir bestemt ut fra der høyrejbitjiastighet er den maksimalt tildelte bithastighet for forbednngslaget, og bddehastighet er bildehastigheten for det stereoskopiske signal, for eksempel, 30 bilder/sekund for NTSC-video og 25 bilder/sekund for PAL-video
Videre blir en første kompleksitetsverdi, Ajc, tildelt det pågående bildet i forbednngslaget Det valgte kvantisenngsnivå for det pågående bildet tilsvarer kompleksitetsnivået slik at en mindre størrelse på kvantisenngstnnnet benyttes med et mer komplekst bilde, noe som gir flere kodede databiter Det første kompleksitetsnivå blir tildelt avhengig av bildetype Et I-bilde benyttes som et referansebilde med direkte tilgang og bør derfor kvantiseres i forholdsvis små tnnn Et I-bilde har således et forholdsmessig større kompleksitetsnivå P- og B-bilder far tilført en lavere første kompleksitetsverdi og blir derfor kvantisert grovere Videre kan kompleksiteten for et bilde bestemmes enten i romverdi-området eller i transformverdiområdet Representative verdier er Kxi= 1,39, Kxdp - 0,52, KxTp = 0,37 og KxB= 0,37, der indekset "I" angir et I-bilde, "DP" angir et dispantetsforutsagt P-bilde, "TP" angir et tidsmessig forutsagt P-bilde og "B" angir et B-bilde I tillegg vil uttrykkene PD og PT her bh benyttet for å angi henholdsvis et dispantetsforutsagt P-bilde og et tidsmessig forutsagt P-bilde Kompleksitetsparametrene skal tilfredsstille forholdet Kx{ >KxDP>KxTp>KxB
For en gitt bildetype er kompleksitetsverdien Ajc justerbar Et meget komplekst bilde vil ha større vanasjoner for eksempel i pikselluminans eller krominansverdier For å opprettholde en gitt bildekvalitet (for eksempel oppløsning) må det meget komplekse bildet kodes ved bruk av ekstra biter sammenlignet med et mindre komplekst bilde Som følge av dette kan kompleksitetsverdien for et gitt bilde henholdsvis økes eller reduseres hvis bildet er mer eller mindre komplekst enn andre bilder av samme type
KrDP, KrTP, KrBer første virtuelle parametere for bufferfylhng når det gjelder de forut-sigelseskodede delbilder (for eksempel PD, PT og B-delbilder) i forbednngslaget For eksempel er Kvdp- 1,0, KrTP= 1,4 og KrB= 1,4 egnede verdier Disse parametere er regulerbare og bør tilfredsstille KrDP<KrTp£KrBXrop, Xrjp og KrBer kompleksitetene for PD, PT og B-bilder, og blir i utgangspunktet bestemt ut fra kompleksitetsparametrene KrDP, Krrpog KrBMer bestemt, ved bruk av det minste tildelte antall biter for forbednngslaget blir høyrejbithastighet som er den ønskede bithastighet hos I-bilder til Xri= Kx/* høyrejbitjiastighet For PD-bilder er Xrop = KxDp* høyre_ bit_ hastighet For P-r-bilder er Xrrp = Kxrp* høyre_ bit_ hastighet For B-bilder er XrB= KxB* høyre_ bit_ hastighet I tilfeller der det ikke er noen I-delbilder i forbednngslaget kan den tildelte bithastighet for de dispantetsforutsagte P-bilder økes med leddet Xr^ Nh der Ni = maks{ Nr/ GOPJengde_ av_ venstre_ bilde, 1}, der Nr er oppfhskningspenoden for forbednngslaget som nevnt, og GOP_ lengde_ av_ yenstre_ bilde er antall delbilder i en gruppe bilder i basislaget I dette tilfellet er Xtqp = KxDP* høyre_ bit_ hastighet + Xri/ Nj Når det gjelder GOPJengdeavvenstrebilde vises det til et vanlig mønster for fordeling av bildet i basislaget med I], Bi, B2, Pi, B3, B4,12, B5, B6, P2, B7, B8I dette tilfellet er GOP_ lengde_ av_ yenstre_ bilde =12
Deretter blir den pågående bildetype i forbednngslaget bestemt Hvis det pågående bildet er et I-bilde, er det virtuelle fyllmgsmvå for bufferen Vrj= 10* RPr/ 31 Hvis det pågående bildet er et dispantetsforutsagt P-bilde, blir det virtuelle fyllingsnivå for bufferen VrDP= 10* RPr* KrDp/ 31 For et tidsmessig forutsagt P-bilde blir det virtuelle fylhngsnivået for bufferen VrTp = 10* RPr* Krrp/ 31 For et B-bilde er det virtuelle fyllingsnivået for bufferen VrB= Vrrp = 10* RPr* KrB/ 31 siden Krjp = KrBReaksjonsparameteren RPr er definert som RPr =
2* høyre_ bit_ hastighet/ bilde_ hastighet
Initialisenngen av forbednngslaget vil nå bli beskrevet Fig 2 viser den første GOP eller delrutine for oppfhskningspenode i henhold til foreliggende oppfinnelse Rutinen begynner ved blokk 200 Ved blokk 210 blir verdiene Nr, NI og Ml hentet ut Nr er antall bilder (for eksempel lengde) i oppfhskningspenoden eller GOP i forbednngslaget (høyre bildet) NI er GOP-lengden i basislaget (venstre bilde), og Ml angir konfigurasjonen av bildetyper i basislaget Mer bestemt, for Ml = 1, har basislaget bare I- og P-bilder For Ml = 2 har basislaget I-, P- og B-bilder med et B-bilde mellom I-eller P-bilder For Ml = 3 har basislaget I-, P- og B-bilder med to på hverandre følgende B-bilder mellom I- eller P-bilder
Ved blokk 220 blir den første verdi for antallet av I-, P- og B-bilder i oppfhskningspenoden eller GOP i forbednngslaget beregnet Nrjer antallet av I-delbilder, Nrop er antallet av dispantetsforutsagte P-delbilder, Nrjp er antallet tidsmessige forutsagte P-bilder, og NrBer antallet av B-delbilder
Ved blokk 230 bin- den første verdi for de gjenværende antall biter, Gr, i oppfhskningspenoden eller GOP i forbednngslaget bestemt fra
Ved blokk 240 blir Rrtsom er det gjenværende antall biter tilgjengelig for koding av gjenværende bilder i oppfhskningspenoden eller GOP hentet ut Rr er en løpende balanse som blir oppdatert etter at bildet er kodet i forbednngslaget Den første verdi for det gjenværende antall biter er Rr =0 I blokk 250 blir Rr oppdatert som Rr =Rr + Gr
Ved blokk 260 blir andre parametere initialisert som omhandlet tidligere innbefattende Trmm, Ajc, Kr, Xr og Vr Ved blokk 270 ender rutinen
Imtiahsenng og oppdatenng for oppfhskningspenoden eller gruppene av bilder (GOP) vil nå bh beskrevet I basislaget er oppfhskningspenoden intervallet mellom på hverandre følgende I-bilder i sekvensen med kodede videodelbilder og danner de samme bilder som GOP I forbednngslaget er oppfhskningspenoden intervallet mellom på hverandre følgende I-bilder hvis de finnes, eller mellom to forhåndstildelte dispantetsforutsagte P-bilder (for eksempel PD-bilder) Forhåndshldelt betyr at bildetypen blir stilt i forbednngslaget før undersøkelse av basislagets konfigurasjon I henhold til foreliggende oppfinnelse kan en forhåndstildelt bildetype bli vekslet til en annen bildetype før koding I basislaget og i forbednngslaget, når I-delbilder benyttes, vil GOP- topp-teksten komme umiddelbart foran et kodet I-delbilde i den pakkede videobitstrøm for å angi om de første påfølgende B-bilder som umiddelbart følger det kodede I-delbildet kan rekonstrueres riktig hvis direkte tilgang er tilgjengelig Denne situasjon kan oppstå for eksempel under redigenng av en sekvens av videodelbildet ved en dekoder Når ingen I-delbilder er benyttet i forbednngslaget, finnes det heller ingen GOP Videre vil GOP eller oppfhskningspenoden som benyttes i basislaget og forbednngslaget som regel ha en tidsmessig forskyvmng når det gjelder start- og sluttpunkter Dette betyr at det første delbildet fra en GOP i basislaget ikke nødvendigvis vil falle sammen med det første delbildet fra oppfhskningspenoden av forbednngslaget På tilsvarende måte kan penodelengden (for eksempel antall delbilder) for GOP eller oppfriskningen også som regel vanere mellom basislaget og forbednngslaget
Det faktum at basislaget og forbednngslaget kan være forskjøvet og ha forskjellige
lengder kan skape problemer under redigenng, for eksempel, ved kjønng hurtig frem og tilbake Egentlig kan redigenngsoperasjonene føre til tap av forbednngslaget eller annen synlig fomngelse Protokoller som for eksempel PMEG-2 skaper et syntaktisk hierarki i den kodede bitstrøm for å muliggjøre slike redigeringsfunksjoner For eksempel kan bit-
strømmen kodes med forskjellige tilgangspunkter som tillater behandling og redigenng av tilsvarende deler av basislaget uten at det er behov for å dekode hele videoen
Slike tilgangspunkter i basislaget svarer imidlertid ikke nødvendigvis til godtagbare tilgangspunkter i forbednngslaget For eksempel finnes som regel et tilgangspunkt i basislaget der et I-bilde befinner seg Siden et I-delbilde danner et selvstendig videodelbilde, kan påfølgende delbilder i basislaget forutsies ved bruk av I-bildet Imidlertid, vil I-delbildet i basislaget ikke alltid falle sammen med et B-delbilde i forbednngslaget I dette tilfellet kan påfølgende bilder ikke forutsies nøyaktig ut fra B-delbildet i forbednngslaget siden et B-delbilde ikke inneholder data fra et fullstendig videodelbilde
Ifølge foreliggende oppfinnelse blir et bilde i forbednngslaget, der bildet er forhånds-definert som et B-bilde, kodet i stedet som et PD-bilde når det blir bestemt at bildet faller sammen med det første I-bilde i basislagets GOP Dette betyr at bildetypen blir vekslet Hvis en direkte tilgang er nødvendig i basislaget, kan således det tilsvarende P-bilde i forbednngslaget bh dispantetsforutsagt ved bruk av I-delbildet i basislaget for dermed å frembnnge den informasjon som er nødvendig for å rekonstruere bildet i forbednngslaget Som et alternativ kan bildet i forbednngslaget kodes som et I-bilde hvis tilstrekkelig med biter er tilgjengelig og dermed føre til synkronisert direkte tilgang for både basislaget og forbednngslaget
Ved dekoderen kan videre feil forplante seg i delbilder som er forutsagt fra andre delbilder på grunn av kvantisenng og andre feil Det er derfor nødvendig penodisk å frembnnge et nytt delbilde som er selvstendig og ikke avhenger av noe annet delbilde (for eksempel som et I-delbilde i basislaget) eller som er direkte forutsagt fra et I-delbilde (som for eksempel et dispantetsforutsagt P-delbilde i forbednngslaget) Når et delbilde av denne art fremkommer, sies datastrømmen å være oppfrisket siden forplantet feil blir eliminert eller redusert og en ny basishnje blir satt opp Med en delbildehastighet på 30 delbilder/sekund som eksempel og med hvert åttende bilde i basislaget som et I-bilde, er oppfhskningspenoden 8/30 sekund Delbilder som er knyttet til en GOP-topptekst sies å spenne over oppfhskningspenoden
Fig 3 viser tidsforløpet for bildelaget i forbednngslagsekvensen i henhold til foreliggende oppfinnelse Forbednngslaget innbefatter sekvensen med delbilder IlfBlsPD1, Pti> B3, B4, PT2, B5, PD2, Pt3, B7, B81 den komplette GOP som er vist Bildene PD1og Pd2har erstattet B2respektivt B6(ikke vist) Et tilbakestillingssignal 310 angir begynnelsen av kodesekvensen med en puls 315 Et pulssynk (PSYNC) signal 320 skaper et pulstog Puls 325 angir det siste delbildet (som er vist som et B-bilde) i den foregående GOP eller oppfhskningspenode Puls 330 angir det første delbildet i den neste GOP eller oppfhskningspenode Som nevnt, blir GOP dannet når I-bilder benyttes i forbednngslaget Ellers danner oppfhskningspenoden det sett med bilder som skal kodes med det tildelte antall biter Bildene i oppfhskningspenoden blir således fortsatt gruppert selv om det ikke finnes noen GOP Pulsene 330 til 390 svarer henholdsvis hl bilder Ij, Bj, Ppi, Vj\, B3, B4, Pt2, B5, Bg, Px3, B7, Bg, I2
Puls 390 angir start av en annen gruppe bilder eller oppfhskningspenode1forbednngslaget I det eksempel som er vist er det første delbildet som skal kodes1GOP eller oppfhskningspenoden enten et I-bilde eller et PD-bilde Det neste delbildet som er angitt med puls 335 er et B-bilde I henhold til foreliggende oppfinnelse er imidlertid det neste delbildet som er angitt med pulsen 340 blitt vekslet fra et B-bilde (for eksempel B2) ul et PD-bilde På tilsvarende måte er PD2-bildet som er angitt med pulsen 370 blitt byttet ut med et annet B-bilde, B6(ikke vist) De to siste delbilder1GOP eller oppfhskningspenoden er B7og Bg, som angitt med pulsene 380 og 385 Etter pulsen 317 som er et tilbakeshllmgssignal begynner en annen GOP eller oppfhskningspenode som angitt med pulsen 390 med et annet I-bilde eller PD-bilde Pulsen 395 angir et første B-bilde1denne GOP osv
I tillegg angir hver av pulsene 330-385 at det foregår en etterbehandling av et foregående bilde og forbehandling av det pågående bildet Det kan for eksempel antas at det ikke ligger noen I-bilder1forbednngslaget Dermed angir pulsen 330 at forbehandling av det pågående bildet som skal kodes som et PD-bilde begynner På dette tidspunkt begynner også etterbehandling av B-bildet som er angitt med pulsen 325 På tilsvarende måte angir pulsen 335 at forbehandling av det pågående delbildet B! begynner og etterbehandling av PD-bildet som er angitt med pulsen 330 starter Forbehandling og etter-behandlmgstnnnene vil bh beskrevet1det følgende
Fig 4 viser delrutinen for forbehandling av det løpende bildet1henhold til foreliggende oppfinnelse Rutinen begynner ved blokk 400 Ved blokk 405 blir parametrene Ær, Trmub Nn Nr op, NrTp, NrB, KrDP, Krjp, KrB, XrDP, XrBogXrrPhentet ut Rr er det gjenværende antall biter som kan tildeles for delbildene av en GOP eller oppfhskningspenode for forbednngslaget Trminer det minste tildelte antall biter for et delbilde
Nn Nr pp, NrTPog NrBer antallene av I-, PD-, P-p og B-bilder som finnes1en GOP eller oppfhskningspenoden for forbednngslaget1henhold til foreliggende oppfinnelse Hvis, i et stereoskopisk videosignal, det basislagkodede delbildet er det første delbildet for GOP bør det tilsvarende delbildet i forbednngslaget være kodet enten som et I- eller P-delbilde med basislagdelbildet som et referansedelbilde Denne faktor bør det også tas hensyn i hastighetskontrollberegmnger for å sikre at oppfhskningspenoden blir utformet nktig
For eksempel viser fig 6 en bildefordehngsskonfigurasjon i henhold til foreliggende oppfinnelse Det skal påpekes at det eksempel som er vist bare er en av mange mulige bildefordehngskonfigurasjoner Bildene 602 til 626 ligger i forbednngslaget 600 og bildene 652 til 676 ligger i basislaget Bildetypen er angitt i bildet Indeksen "e" skal når det brukes angi forbednngslaget, indekset "b" angir basislaget og talhndekset er en sekvensindikator For eksempel er bildet Be4616 det fjerde B-bilde i bildene i forbednngslaget som er vist PD og PT angir henholdsvis et dispantetsforutsagt P-bilde og et tidsmessig forutsagt P-bilde Det skal påpekes at bildene er vist i den rekkefølge hvormed de overføres i bitstrømmen og denne er vanligvis forskjellig fra rekkefølgen ved visning
Videre angir de piler som peker på respektive bilder i forbednngslaget den type koding som er benyttet for dette bildet En heltrukken pil angir at bildet det pekes på er kodet ved bruk av bildet ved pilens hale som et referansebilde For eksempel er Bei 604 kodet ved bruk av både IEi 6021forbednngslaget og Bb26541basislaget En stiplet pil angir et mulig fritt valg av koding For eksempel kan bildet 608 kodes ved bruk av bildet PD16061forbednngslaget, hvorved bildet blir PT1, eller bildet 608 kan kodes ved bruk av bildet Bb3658 i basislaget, og blir i så tilfellet til PD I henhold til foreliggende oppfinnelse kan den mulighet som tilfredsstiller spesielle kntener velges Disse kntener kan reflektere en minimalisert forutsigelsesfeil eller en ønsket bittildehng eller bildekvalitet som eksempler I alle tilfeller vil hastighetsregulenngen ifølge foreliggende oppfinnelse ta hensyn til den valgte bildetype
Det skal påpekes at mens et P-bilde bare har ett referansedelbilde, vil et B-bilde som regel ha makroblokker som er forutsagt fra delbilder i begge lag ved en gjennomsnitts-beregning For eksempel er Be3612 forutsagt både fra Be2610 og Pbl 662 Forutsigelses-måter i basislaget er ikke vist siden de er vanlige
I den bildefordelmgs- og forutsigelsesmåtekonfigurasjon som er vist i fig 6 innbefatter forbednngslaget I-bilder 1^ 602 og 1^ 626 På denne måte vil en GOP i forbednngslaget innbefatte tolv bilder 602 til 624 En annen GOP i forbednngslaget begynner ved 1^626, men er ikke vist i sin helhet En GOP i basislaget innbefatter bildene Ibi656 til BM 666 En annen GOP i basislaget begynner med bildet Ib2, men er ikke vist i sin helhet Det skal påpekes at de tolv bildene Bbi652 til Pb26741basislaget svarer til GOP i forbednngslaget I denne basislagsekvens på tolv bilder er det to I-bilder ved begynnelsen av GOP'ene i basislaget I henhold til foreliggende oppfinnelse blir de bilder i forbednngslaget som svarer til disse I-bilder i basislaget vekslet til en annen bildetype for koding Mer bestemt er bildet PDi606 som svarer til bildet IbI6561basislaget blitt vekslet På tilsvarende måte er bildet PD2618 som svarer til bildet Ib2668 i basislaget blitt vekslet Tidligere, i et vanlig fordehngsopplegg for bilder, var bildene PDi606 og PD2618 B-bilder I en alternativ utførelse kan forbednngslagets bilder som svarer til begynnelsen av GOP-bilder i basislaget veksles til I-bilder Veksling av et B-bilde til enten et P- eller I-bilde i forbednngslaget på den måte som er beskrevet byr på fordeler under redigenng da direkte tilgang kan være nødvendig i basislaget og forbednngslaget
I eksempelet på fig 6 er Nr/= 1, Nr^ p = 2, Nrrp = 3 og Nrg = 61GOP i forbednngslaget som spenner over bildene 1^ 602 til B^ 624 I tillegg er Nr = 12 siden det er tolv bilder i forbednngslagets GOP (høyre), NI =6 siden det er seks bilder i basislagets GOP (venstre), og Ml = 3 siden det er to påfølgende B-bilder mellom I- eller P-bildene i basislaget
Det vises nå til fig 4 der typen på det pågående bildet blir bestemt i forbednngslaget ved blokk 410 Alt etter bildetype vil en av fire forskjellige grener på fig 4 bh fulgt Hvis det pågående bildet er et I-bilde, blir det virtuelle fyllingsmvå Vri for bufferen bestemt ved blokk 415 Hvis det pågående bildet er et P-bilde, blir typen på P-bildet bestemt ved blokk 412 For et dispantetsforutsagt P-bilde vil det virtuelle fyllingsmvå Vrop for bufferen bh bestemt ved blokk 435 For et tidsmessig forutsagt P-bilde vil det virtuelle fyllingsmvå Vrrp for bufferen bh bestemt ved blokk 455 For et B-bilde blir bufferens virtuelle fyllingsmvå Vrsbestemt ved blokk 475
Deretter blir det pågående bildet i forbednngslaget som blir kodet forbehandlet for å bestemme en "mål"-bittildehng, Tr, som er det anslåtte antall tilgjengelige biter for å kode neste bilde Videre gjøres bittildelingen over et antall delbilder som er definert av GOP eller oppfhskningspenoden Som en følge av dette er det også nødvendig å kjenne til hvor mange delbilder og hvilken type som utgjør gruppen av bilder (GOP) eller oppfhskningspenoden Særlig når det nettopp kodede delbildet er et I-bilde ved blokk 420 bhr
For et dispantetsforutsagt P-bilde ved blokk 440 er For et tidsmessig forutsagt P-bilde ved blokk 460 er For et B-bilde ved blokk 480 er
Når det pågående delbildet er kodet som en bestemt bildetype, kan antallet gjenværende bilder av denne type som er nødvendig i forbednngslaget reduseres med en For I-bilder ved blokk 425 blir således Nn dekrementert med en og lagret Tilsvarende operasjoner finnes det for NrDP, Nrjp og NrBved blokkene 445,465 og 485
Hvis det pågående bildet er et PD-bilde, vil ifølge foreliggende oppfinnelse et nytt gjennomsnittlig aktivitetsnivå avg_act" bh definert ved blokk 450 avg__act angir den gjennomsnittlige aktivitet for det foregående delbildet i forbednngslaget og kan bestemmes enten i det rommessige verdiområdet som i MPETG Test Model 5-systemet, eller i transformverdiområdet som ved noen MPEG-2 systemer Ytterligere detaljer ved Test Model 5 kan finnes i dokument ISO/IEC UTC1/SC29/WG11, AVC-491, versjon 1, med tittelen "Test Model 5", apnl1993, som her er tatt med som referanse
Som regel blir kvantisenngsnivået for et delbilde som kodes bestemt basert på aktivitetsnivået bare referansedelbildet Dette kan imidlertid føre til en redusert bildekvalitet hvis det pågående delbildet har et høyere aktivitetsnivå enn referansedelbildet For et PD-bilde vil referansedelbildet være i basislaget (venstre) med en gjennomsnittlig aktivitet på avg act l I henhold til foreliggende oppfinnelse blir for PD-biIder de maksimale gjennomsnittlige aktivitetsnivåer for det foregående delbildet og referansedelbildet benyttet På denne måte er det nye gjennomsnittlige aktivitetsnivå
Som et alternativ, når systemet har delbildebufre, kan avg_act for et kodet delbilde i forbednngslaget bh forhåndsberegnet og lagret Dette betyr at for det pågående delbildet som kodes, kan gjennomsnittsaktiviteten beregnes ut fra selve det pågående bildet For I-, P-p og B-bilder er ved henholdsvis blokkene 430,470 og 487 det gjennomsnittlige aktivitetsnivå avg_act"=avg_act Ved blokk 489 blir den pågående bildetype lagret for senere uthenting i etterbehand-lingen av det foregående bildet Ved 490 bestemmes om det skal benyttes lineær eller ikke-lineær kvantisenng For lineær kvantisenng er størrelsen på det første kvantisenngstnnn til bruk ved kvantisenng både av de skalerte likestrøms- og veksel-strømskoeffisienter i det pågående bildet avledet fra makroblokkens kvantisenngsparameter, MQUANT, som blir bestemt ved blokk 492 som MQUANT = maks { 2,
Som tidligere omhandlet er Vr bufferens virtuelle fyllin<g>smvå og
RPr er reaksjonsparameteren For en ikke-lineær kvantisenngsskala ved blokk 494 er ikkelineærmquanttabell er utgangen fra en oppslagstabell med en inngang på Vr* 31/ RPr
Rutinen ender ved blokk 496
Fig 5 viser delrutinen for etterbehandling av det tidligere bildet i henhold til foreliggende oppfinnelse Ved blokk 505 blir parametrene Rr, MBr, Sr, Tr, TQr og Vr hentet ut Rr er det gjenværende antall biter som kan tildeles for delbildene i en GOP eller oppfhskningspenode i forbednngslaget etter at det pågående bildet er blitt kodet MBr er antallet av makroblokker i et delbilde Sr er antallet av biter i et foregående bilde i forbednngslaget og innbefatter ikke hjelpebiter som er falske biter innsatt foran en startkode i datastrømmen Tr er antallet av biter som er tildelt for koding av det pågående delbildet TQr er oppsamlingen av MQUANT av det foregående bildet Vr er bufferens virtuelle fyllmgsnivå
Ved blokk 510 blir den gjennomsnittlige kvantisenngsparameter Qr beregnet Hvis neste bilde er et PD-bilde, er QrDP= TQrDP/ MBr Ellers er Qr = TQr/ MBr
Ved blokk 515 blir et globalt kompleksitetsnivåer bestemt Hvis det neste bildet er et PD-bilde, er den globale kompleksitet slik Xr = Srr>P* QroP Ellers er Ar = Sr* Qr
Ved blokk 520 blir bufferens virtuelle fyllingsmvå Vr oppdatert ved å ta det foregående bufferfylhngsmvå og legge til antall biter i det foregående bildet Sr for deretter å subtrahere det antall biter som er tildelt det pågående bildet Tr
Ved blokk 525 blir den tidligere bildetype hentet ut Hvis det tidligere bildet i forbednngslaget er et I-bilde, blir Ar; og Vrjstilt inn og lagret ved blokk 535 Hvis det foregående bildet er et PD-bilde som bestemt ved blokk 555, blir XRdPog Vrop stilt inn og lagret ved blokk 545 Hvis det foregående bildet er et P-pbilde som bestemt ved blokk 555, blir Xrjp og Vrrp stilt mn og lagret ved blokk 560 Hvis det foregående bildet er et B-bilde, bhiXrBog VrBstilt inn og lagret ved blokk 570
Deretter bhr gjennomsnittlig aktivitet beregnet og lagret for I-, PD-, PT- og B-bildene ved blokkene henholdsvis 540, 550, 565 og 575, som omhandlet i forbindelse med blokkene 430,450,470 og 487 på fig 4
Deretter ved blokk 580 blir det gjenværende antall biter som kan tildeles for delbildene i GOP eller oppfhskningspenoden for forbednngslaget oppdatert ved subtraksjon av antallet av biter i det tidligere bildet i forbednngslaget, Sr
Rutinen slutter ved blokk 585
Makroblokkoppgaven og hastighetsregulenngsprosessen ved utsmttoppgaven vil nå bh omhandlet I MPEG-2 systemet blir hastighetskontrollen delvis basert på makroblokknivået og utsnittnivået for et videodelbilde For eksempel med et NTSC-format kan et videodelbilde bh delt opp i tretti utsnitt der hvert av disse har førtifire makroblokker På denne måte vil et fullstendig NTSC-delbilde omfatte 1320 makroblokker Med et PAL-format finnes det 1584 makroblokker
For makroblokkbasert hastighetskontroll la Bm()) representere antallet av biter i den jte makroblokk i det pågående bildet, for j = 1 til 1320 AbmQ) er antallet av samlede biter opp til den jte makroblokk i det pågående bildet MBr er antallet av makroblokker i bildet Et virtuelt bufferavvik d(j) for makroblokker bhr bestemt fra
Referansekvantisenngsparameteren for jte makroblokk er For hastighetskontroll med utsnittnivå er Bs( j) antallet biter i det jte utsnitt i det pågående bildet for j = 1 til 30 AbsQ) er det samlede antall biter opp til jte utsnitt i det pågående bildet Nrjitsmtt er antall utsnitt i bildet Utsnittets virtuelle bufferavvik er Referansekvantisenngsparameteren for det jte utsnitt er
Adaptiv kvantisenngsprosess vil nå bh beskrevet Først bhr aktiviteten for den jte markoblokk, act( j), beregnet Hvis det pågående bildet er et dispantetsforutsagt P-bilde, bhr den normaliserte aktivitet for den jte makroblokk N_ act( j), beregnet som
For andre typer P-bilder bhr Med hastighetskontroll for makroblokknivået blir størrelsen på kvantisenngstnnnet for den jte makroblokk beregnet slik For en lineær Q-skala
For en ikke-lineær kvantisermgsskala bhr
MQUANT( j) =maks{ l, min{ ikkeJineær_ mquantJabell[ QO)* N_ act( j)], 112}}, der ikkehneærmquanttabell er utgangen fra en oppslagstabell med en inngang på QO)* N_ actO)
Med hastighetskontroll for utsmttmvå bhr Qs( j) erstatning for Q(]) slik at for en lineær Q-skala bhr
og for en ikke-lineær kvantisermgsskala bhr
MQUANT( j) =maks{ l, min{ ikke_ lineær_ mquant_ tabell[ Qs(})* N actQ)], 112}}, der en ikke_ lineær_ mquant_ tabell er utgangen fra en oppslagstabell med en inngang på QsO)* N_ actO)
Det fremgår således av dette at foreliggende oppfinnelse går ut på et hastighetskontrollopplegg for et stereoskopisk digitalt videokomrnunikasjonssystem som modifiserer kvantisenngsnivået for P- eller B-delbildedata i forbednngslaget avhengig av om delbildet er tidsmessig forutsagt (fra samme lag) eller dispantetsforutsagt (fra det mot stående lag) Videre er størrelsen på kvantisenngstnnnet modifisert alt etter aktivitetsnivået i det delbildet som blir kodet i forbednngslaget eller i referansedelbildet i basislaget alt etter det som er størst Videre blir bildekvalitet forbedret og frysning av delbilder blir motvirket under redigenngsarbeid ved koding av forbednngslagets delbilde som et I- eller P-delbilde når referansedelbildet i basislaget er det første delbildet i en gruppe med bilder (GOP)

Claims (18)

1 Fremgangsmåte for koding av på hverandre følgende bilder med videodata i et forbednngslag for et stereoskopisk digitalt datasignal,karakterisert vedat den omfatter følgende trinn frembringelse av et referansebilde til bruk ved koding av et pågående bilde i en gruppe med bilder, der hvis referansebildet finnes i forbednngslaget, koding av i det minste en del av det pågående bildet ved bruk av et første antall biter, og hvis referansebildet finnes i et basislag i det stereoskopiske signal, koding av den nevnte del av det pågående bildet ved bruk av et andre antall biter som er forskjellig fra det første antall biter
2 Fremgangsmåte som angitt i krav 1,karakterisert vedat den omfatter de ytterligere trinn med tildeling av et startantall av biter for koding av den nevnte gruppe av bildene, og opprettholdelse av et løpende totalt antall av gjenværende biter når hvert av de nevnte bilder i gruppen kodes der i det minste ett av de første og andre antall biter modifiseres i overensstemmelse med det løpende totale antall
3 Fremgangsmåte som angitt i krav 1 eller 2,karakterisertved at de første og andre antall biter er bestemmende for henholdsvis første og andre størrelser av kvantisenngstnnn for koding av den nevnte del av det pågående bildet
4 Fremgangsmåte som angitt i ett av de foregående krav,karakterisert vedat de første og andre antall biter er knyttet til en ønsket datahastighet for det stereoskopiske signal
5 Fremgangsmåte som angitt i ett av de foregående krav og der det løpende bildet er et dispantetsforutsagt bilde (PD-bilde),karakterisert vedat den omfatter det ytterligere tnnn med økning av de første og andre antall biter når det ikke finnes mtrakodede bilder (I-bilder) i forbednngslaget i forhold til når det finnes mtrakodede bilder (I-bilder) i forbednngslaget
6 Fremgangsmåte som angitt i ett av kravene 1-5, der referansebildet finnes i basislaget,karakterisert vedat den omfatter de følgende ytterligere tnnn med bestemmelse av et første aktivitetsnivå for i det minste en del av et bilde som ligger foran det løpende bildet i forbednngslaget, bestemmelse av et andre aktivitetsnivå for i det minste en del av referansebildet, og utledning av et av de første og andre antall biter fra det høyeste av de første og andre aktivitetsnivåer
7 Fremgangsmåte som angitt i ett av kravene 1-5, der referansebildet finnes i basislaget,karakterisert vedde følgende ytterligere tnnn med bestemmelse av et første aktivitetsnivå for i det minste en del av et bilde som ligger foran det løpende bildet i forbedringslaget, bestemmelse av et andre aktivitetsnivå for i det minste en del av referansebildet, og utledning av et av de første og andre antall biter fra et gjennomsnitt for de første og andre aktivitetsnivåer
8 Fremgangsmåte som angitt i ett av kravene 1-5,karakterisert vedat den omfatter de følgende ytterligere tnnn med forhåndsberegning og lagnng av en verdi som angir et første aktivitetsnivå som er aktivitetsnivået for i det minste en del av det pågående bildet før et tidspunkt da det pågående bildet skal kodes, uthenting av den nevnte verdi til bruk ved koding av det pågående bildet, bestemmelse av et andre aktivitetsnivå som er et aktivitetsnivå for i det minste en del av referansebildet, og utledning av det antall biter som er brukt for å kode det pågående bildet ved bruk av det høyeste av de første og andre aktivitetsnivåer
9 Fremgangsmåte som angitt i ett av kravene 1-5,karakterisert vedat den omfatter de følgende ytterligere tnnn med forhåndsberegning og lagnng av en verdi som angir et første aktivitetsnivå som er aktivitetsnivået for i det minste en del av det pågående bildet før tidspunktet da det pågående bildet skal kodes, uthenting av den nevnte verdi til bruk ved koding av det pågående bildet, bestemmelse av et andre aktivitetsnivå som er et aktivitetsnivå for i det minste en del av referansebildet, og utledning av antall biter som er brukt til koding av det pågående bildet ved bruk av et gjennomsnitt for de første og andre aktivitetsnivåer
10 Anordning for koding av på hverandre følgende bilder med videodata i et forbednngslag i et stereoskopisk digitalt datasignal,karakterisert vedat det omfatter anordning til frembnngelse av et referansebilde til bruk ved koding av et pågående bilde i en gruppe av bilder, der hvis referansebildet finnes i forbednngslaget, bhr i det minste en del av det pågående bildet kodet ved bruk av et første antall biter, og hvis referansebildet finnes i et basislag for det stereoskopiske signal, bhr den nevnte del av det pågående bildet kodet ved bruk av et andre antall biter som er forskjellig fra det første antall biter
11 Anordning som angitt i krav 10,karakterisert vedat den omfatter anordning for tildeling av et startantall av biter for koding av gruppene av bilder, og anordning for opprettholdelse av et løpende totalt antall med gjenværende biter som er tilgjengelige når hvert av bildene i gruppen kodes, der i det minste ett av de første og andre antall biter bhr modifisert i overensstemmelse med det løpende totale antall
12 Anordning som angitt i et av kravene 10 eller 11,karakterisert vedat den videre omfatter anordning til bestemmelse av respektive første og andre størrelser på kvantisenngstnnn ifølge de første og andre antall biter for koding av den nevnte del av det pågående bildet
13 Anordning som angitt i ett av kravene 10-12,karakterisertved at de første og andre antall biter er knyttet til en ønsket datahastighet for det stereoskopiske signal
14 Anordning som angitt i ett av kravene 10 -13 der det pågående bildet er et dispantetsforutsagt bilde (PD-bilde),karakterisert vedat den omfatter anordning for økning av ett av de første og andre antall biter når det ikke finnes mtrakodede bilder (I-bilder) i forbednngslaget i forhold til når det finnes mtrakodede bilder (I-bilder) i forbednngslaget
15 Anordning som angitt i ett av kravene 10-14 der referansebildet ligger i basislaget,karakterisert vedat den omfatter anordning for bestemmelse av et første aktivitetsnivå for i det minste en del av et bilde som ligger foran det pågående bildet i forbednngslaget, anordning for bestemmelse av et andre aktivitetsnivå for i det minste en del av referansebildet, og anordning for utledning av ett av de første og andre antall biter fra det høyeste av de første og andre aktivitetsnivåer
16 Anordning som angitt i ett av kravene 10-14 der referansebildet finnes i basislaget,karakterisert vedat den omfatter anordning til bestemmelse av et første aktivitetsnivå for i det minste en del av et bilde som ligger foran det pågående bildet i forbednngslaget, anordning til bestemmelse av et andre aktivitetsnivå for i det mmste en del av referansebildet, og anordning for utledning av det ene av de første og andre antall biter fra et gjennomsnitt for de første og andre aktivitetsnivåer
17 Anordning som angitt i ett av kravene 10-14, karakterisert vedat den omfatter anordning til forhåndsberegning og lagring av en verdi som angir et første aktivitetsnivå som er aktivitetsnivået for i det minste en del av det pågående bildet før et tidspunkt da det pågående bildet skal kodes, anordning for uthenting av den nevnte verdi til bruk ved koding av det pågående bildet, anordning for bestemmelse av et andre aktivitetsnivå som er et aktivitetsnivå for i det minste en del av referansebildet, og anordning for utledning av antallet av biter som er brukt for å kode det pågående bildet ved bruk av det høyeste av de første og andre aktivitetsnivåer
18 Anordning som angitt i ett av kravene 10-14, karakterisert vedat den omfatter anordning til forhåndsberegning og lagring av en verdi som angir et første aktivitetsnivå som er aktivitetsnivået for i det minste en del av det pågående bildet før et tidspunkt da det pågående bildet skal kodes, anordning for uthenting av den nevnte verdi til bruk ved koding av det pågående bildet, anordning for bestemmelse av et andre aktivitetsnivå som er et aktivitetsnivå for i det minste en del av referansebildet, og anordning for utledning av det antall biter som er brukt til koding av det pågående bildet ved bruk av et gjennomsnitt for første og andre aktivitetsnivåer
NO19973060A 1996-07-03 1997-07-01 Hastighetskontroll for stereoskopisk digital videokoding NO316250B1 (no)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US67485996A 1996-07-03 1996-07-03

Publications (3)

Publication Number Publication Date
NO973060D0 NO973060D0 (no) 1997-07-01
NO973060L NO973060L (no) 1998-01-05
NO316250B1 true NO316250B1 (no) 2003-12-29

Family

ID=24708179

Family Applications (1)

Application Number Title Priority Date Filing Date
NO19973060A NO316250B1 (no) 1996-07-03 1997-07-01 Hastighetskontroll for stereoskopisk digital videokoding

Country Status (8)

Country Link
US (1) US6072831A (no)
EP (1) EP0817493B1 (no)
JP (1) JPH10174110A (no)
KR (1) KR980011300A (no)
CN (2) CN1496133A (no)
CA (1) CA2208950A1 (no)
DE (1) DE69736537T2 (no)
NO (1) NO316250B1 (no)

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
US6233356B1 (en) 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
JP4240554B2 (ja) * 1997-07-11 2009-03-18 ソニー株式会社 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法
JP3736808B2 (ja) * 1997-07-25 2006-01-18 ソニー株式会社 編集装置、編集方法、再符号化装置及び再符号化方法
WO1999040728A1 (en) * 1998-02-03 1999-08-12 Koninklijke Philips Electronics N.V. Method of switching of coded video sequences and corresponding device
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
US6215825B1 (en) * 1998-07-09 2001-04-10 Canon Kabushiki Kaisha Stereographic image compression with image difference generation and lossy compression
US6275253B1 (en) 1998-07-09 2001-08-14 Canon Kabushiki Kaisha Stereographic image compression with image moment normalization
JP3185763B2 (ja) * 1998-07-13 2001-07-11 日本電気株式会社 動画像符号化装置
JP4021998B2 (ja) * 1998-08-07 2007-12-12 松下電器産業株式会社 データ伝送制御システム及びデータ伝送制御方法
US6963608B1 (en) 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
US6151362A (en) * 1998-10-30 2000-11-21 Motorola, Inc. Joint rate control for stereoscopic video coding
EP1061750A3 (en) * 1999-06-18 2010-05-05 THOMSON multimedia Picture compression process, especially of the MPEG2 type
US7245663B2 (en) * 1999-07-06 2007-07-17 Koninklijke Philips Electronis N.V. Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images
US6765962B1 (en) * 1999-12-02 2004-07-20 Sarnoff Corporation Adaptive selection of quantization scales for video encoding
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
US6950121B2 (en) 1999-12-28 2005-09-27 Vrex, Inc. 3D camera
US7865306B2 (en) 2000-09-28 2011-01-04 Michael Mays Devices, methods, and systems for managing route-related information
US6351710B1 (en) * 2000-09-28 2002-02-26 Michael F. Mays Method and system for visual addressing
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
JP2002271788A (ja) * 2001-03-08 2002-09-20 Monolith Co Ltd 画像符号化方法と装置および画像復号方法および装置
US7010043B2 (en) * 2001-07-05 2006-03-07 Sharp Laboratories Of America, Inc. Resolution scalable video coder for low latency
FR2832271A1 (fr) * 2001-11-13 2003-05-16 Koninkl Philips Electronics Nv Tuner comprenant un convertisseur de tension
DE10157111A1 (de) * 2001-11-21 2003-06-05 Deutsche Telekom Ag Begrenzung der Bitrate für die Übermittlung von Videosignalen mit zeitlich variablen Datenmengen im ATM-Netz
US7027982B2 (en) * 2001-12-14 2006-04-11 Microsoft Corporation Quality and rate control strategy for digital audio
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
KR100959573B1 (ko) * 2002-01-23 2010-05-27 노키아 코포레이션 비디오 코딩시 이미지 프레임들의 그루핑
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
US6980695B2 (en) * 2002-06-28 2005-12-27 Microsoft Corporation Rate allocation for mixed content video
CN101232615A (zh) * 2002-07-16 2008-07-30 诺基亚有限公司 用于在视频编码中随机存取和逐步更新图像的方法
KR100751422B1 (ko) 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
US7580584B2 (en) * 2003-07-18 2009-08-25 Microsoft Corporation Adaptive multiple quantization
US8218624B2 (en) * 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US7343291B2 (en) 2003-07-18 2008-03-11 Microsoft Corporation Multi-pass variable bitrate media encoding
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US7383180B2 (en) * 2003-07-18 2008-06-03 Microsoft Corporation Constant bitrate media encoding techniques
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US8345754B2 (en) * 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US9071846B2 (en) * 2003-12-25 2015-06-30 Nec Corporation Moving picture encoding method and apparatus for performing a multi-frame motion prediction with reference to a plurality of picture frames
US7675970B2 (en) * 2004-01-12 2010-03-09 General Instrument Corporation Method and apparatus for processing a bitstream in a digital video transcoder
CA2557533A1 (en) * 2004-02-27 2005-09-09 Td Vision Corporation S.A. De C.V. Method and system for digital coding 3d stereoscopic video images
JP2007525907A (ja) * 2004-02-27 2007-09-06 ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． 立体３ｄビデオイメージディジタルデコーディングのシステムおよび方法
US7801383B2 (en) * 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
US7848428B2 (en) * 2004-06-17 2010-12-07 Broadcom Corporation System and method for reducing visible artifacts in video coding using multiple reference pictures
CN100581245C (zh) * 2004-07-08 2010-01-13 高通股份有限公司 用于视频编码的有效速率控制技术
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US20060156363A1 (en) * 2005-01-07 2006-07-13 Microsoft Corporation File storage for scalable media
KR100779875B1 (ko) * 2005-01-14 2007-11-27 주식회사 휴맥스 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
US7403562B2 (en) * 2005-03-09 2008-07-22 Eg Technology, Inc. Model based rate control for predictive video encoder
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
WO2006110007A1 (en) * 2005-04-13 2006-10-19 Industry-Academic Cooperation Foundation, Yonsei University Method for coding in multiview video coding/decoding system
KR100643291B1 (ko) * 2005-04-14 2006-11-10 삼성전자주식회사 랜덤 엑세스의 지연을 최소화하는 비디오 복부호화 장치 및방법
US7974341B2 (en) * 2005-05-03 2011-07-05 Qualcomm, Incorporated Rate control for multi-layer video design
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US8139642B2 (en) * 2005-08-29 2012-03-20 Stmicroelectronics S.R.L. Method for encoding signals, related systems and program product therefor
CN100448297C (zh) * 2005-11-08 2008-12-31 上海广电（集团）有限公司中央研究院 一种码率控制方法
FR2895172A1 (fr) * 2005-12-20 2007-06-22 Canon Kk Procede et dispositif de codage d'un flux video code suivant un codage hierarchique, flux de donnees, procede et dispositif de decodage associes
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
RU2443074C2 (ru) * 2006-07-06 2012-02-20 Томсон Лайсенсинг Способ и устройство для отделения номера кадра и/или счетчика очередности изображения (рос) для мультивидового видеокодирования и видеодекодирования
CN100425077C (zh) * 2006-08-07 2008-10-08 浙江大学 采用帧目标比特数不平均分配的视频压缩码率控制方法
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8594180B2 (en) * 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
DE102007022955A1 (de) * 2007-05-16 2008-11-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Qualitätsskalierbares Videosignal, Verfahren zu dessen Erzeugung, Codierer und Decodierer
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
EP2393301A1 (en) * 2007-06-11 2011-12-07 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
KR101345295B1 (ko) * 2007-06-11 2013-12-27 삼성전자주식회사 인트라 픽처만을 이용한 동영상 시퀀스의 부호화시의비트율 제어 방법 및 장치
US20080303832A1 (en) * 2007-06-11 2008-12-11 Samsung Electronics Co., Ltd. Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
JP5646994B2 (ja) * 2007-08-15 2014-12-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 多視点符号化ビデオにおける領域視差ベクトルを使用したモーションスキップモードのための方法及び装置
CN101415114B (zh) * 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
JP2009135686A (ja) 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
CN100563338C (zh) * 2007-12-13 2009-11-25 上海广电（集团）有限公司中央研究院 一种恒定码率的控制方法
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8325800B2 (en) 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
US7860996B2 (en) * 2008-05-30 2010-12-28 Microsoft Corporation Media streaming with seamless ad insertion
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8265140B2 (en) 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
BRPI1004210A2 (pt) * 2009-02-27 2016-02-23 Panasonic Corp meio de gravação, dispositivo e reprodução, e circuito integrado
WO2010100875A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JP5274359B2 (ja) 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
JP5627860B2 (ja) 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
US9286709B2 (en) * 2009-07-27 2016-03-15 Dreamworks Animation Llc Variable frame rate rendering and projection
US9414080B2 (en) * 2009-08-21 2016-08-09 Broadcom Corporation Method and system for asymmetrical rate control for 3D video compression
US8428122B2 (en) 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
US9578325B2 (en) * 2010-01-13 2017-02-21 Texas Instruments Incorporated Drift reduction for quality scalable video coding
JP5667773B2 (ja) * 2010-03-18 2015-02-12 キヤノン株式会社 情報作成装置及びその制御方法
KR20110124161A (ko) * 2010-05-10 2011-11-16 삼성전자주식회사 계층 부호화 영상의 송수신 방법 및 장치
JP5768332B2 (ja) * 2010-06-24 2015-08-26 ソニー株式会社 送信機、受信機及び通信システム
JP2012034352A (ja) * 2010-06-30 2012-02-16 Panasonic Corp ステレオ動画像符号化装置及びステレオ動画像符号化方法
US9357229B2 (en) 2010-07-28 2016-05-31 Qualcomm Incorporated Coding motion vectors in video coding
US9137555B2 (en) * 2010-10-05 2015-09-15 Telefonaktiebolaget L M Ericsson (Publ) Client, a content creator entity and methods thereof for media streaming
US9066102B2 (en) 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
US8873627B2 (en) * 2010-12-07 2014-10-28 Mediatek Inc Method and apparatus of video coding using picture structure with low-delay hierarchical B group
JP5377589B2 (ja) * 2011-07-07 2013-12-25 三菱電機株式会社 再生方法、再生装置、光ディスク
JP5383833B2 (ja) * 2012-01-20 2014-01-08 三菱電機株式会社 映像情報記録方法、映像情報再生方法、映像情報記録装置、映像情報再生装置、光ディスク
WO2014003379A1 (ko) * 2012-06-24 2014-01-03 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
US20150139310A1 (en) * 2012-06-29 2015-05-21 Sony Corporation Image processing apparatus and image processing method
US20150085915A1 (en) * 2013-09-25 2015-03-26 Jay C.-C. Kuo Method and system for automatically encoding video with uniform throughput
JP2014042308A (ja) * 2013-10-03 2014-03-06 Mitsubishi Electric Corp 映像再生方法、映像再生装置、光ディスク
KR102274747B1 (ko) 2014-11-24 2021-07-07 삼성전자주식회사 코덱과 이를 포함하는 시스템 온 칩, 및 상기 시스템 온 칩을 포함하는 데이터 처리 시스템
US10218981B2 (en) * 2015-02-11 2019-02-26 Wowza Media Systems, LLC Clip generation based on multiple encodings of a media stream
US10412412B1 (en) 2016-09-30 2019-09-10 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10553029B1 (en) 2016-09-30 2020-02-04 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10609356B1 (en) * 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content
EP3474548A1 (en) 2017-10-18 2019-04-24 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
EP3796652B1 (en) * 2019-09-23 2022-05-18 Axis AB Video encoding method and method for reducing file size of encoded video

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL83752A (en) * 1987-09-02 1992-03-29 Ibm Israel Method and apparatus for transmitting and receiving 3-dimensional video images
GB9022326D0 (en) * 1990-10-15 1990-11-28 British Telecomm Signal coding
GB9102220D0 (en) * 1991-02-01 1991-03-20 British Telecomm Method and apparatus for decoding video signals
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
NL9201593A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende een eerste encoder voor het coderen van een eerste digitaal signaal, een tweede encoder voor het coderen van een tweede digitaal signaal en ten minste één decoder voor het decoderen van gecodeerde digitale signalen, en encoder en decoder voor toepassing in het systeem.
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
EP0639031A3 (en) * 1993-07-09 1995-04-05 Rca Thomson Licensing Corp Method and device for encoding stereo image signals.
US5515377A (en) * 1993-09-02 1996-05-07 At&T Corp. Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH08126033A (ja) * 1994-10-24 1996-05-17 Sanyo Electric Co Ltd 立体動画像符号化方法
JPH0951538A (ja) * 1995-08-07 1997-02-18 Hitachi Ltd 画像信号の符号化方法
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding

Also Published As

Publication number Publication date
DE69736537D1 (de) 2006-10-05
KR980011300A (ko) 1998-04-30
NO973060L (no) 1998-01-05
DE69736537T2 (de) 2007-08-23
CA2208950A1 (en) 1998-01-03
EP0817493B1 (en) 2006-08-23
CN1190974C (zh) 2005-02-23
CN1496133A (zh) 2004-05-12
EP0817493A3 (en) 2001-06-27
EP0817493A2 (en) 1998-01-07
JPH10174110A (ja) 1998-06-26
CN1175859A (zh) 1998-03-11
NO973060D0 (no) 1997-07-01
US6072831A (en) 2000-06-06

Similar Documents

Publication Publication Date Title
NO316250B1 (no) Hastighetskontroll for stereoskopisk digital videokoding
EP0838959B1 (en) Synchronization of a stereoscopic video sequence
US5652616A (en) Optimal disparity estimation for stereoscopic video coding
US6043838A (en) View offset estimation for stereoscopic video coding
US5612735A (en) Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US5619256A (en) Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
EP2163103B1 (en) Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
JP4793366B2 (ja) 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
US20090190662A1 (en) Method and apparatus for encoding and decoding multiview video
KR100375708B1 (ko) 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
US8532405B2 (en) Pseudo 3D image generation device, image encoding device, image encoding method, image transmission method, image decoding device, and image decoding method
EP2538675A1 (en) Apparatus for universal coding for multi-view video
JP2007180982A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
JP2000308089A (ja) 立体画像符号化装置および復号化装置
WO2006110007A1 (en) Method for coding in multiview video coding/decoding system
MXPA97004998A (en) Control of the proportion for encoding digital video estereoscop
MXPA97005999A (en) Optimal disparity estimation for stereoscopic video coding
MXPA97008213A (en) Synchronization of a stereoscop video sequence

Legal Events

Date Code Title Description
MM1K Lapsed by not paying the annual fees