SE512171C2 - Videoöverföring - Google Patents

Videoöverföring

Info

Publication number
SE512171C2
SE512171C2 SE9702544A SE9702544A SE512171C2 SE 512171 C2 SE512171 C2 SE 512171C2 SE 9702544 A SE9702544 A SE 9702544A SE 9702544 A SE9702544 A SE 9702544A SE 512171 C2 SE512171 C2 SE 512171C2
Authority
SE
Sweden
Prior art keywords
motion
image
receiving
predicted
station
Prior art date
Application number
SE9702544A
Other languages
English (en)
Other versions
SE9702544L (sv
SE9702544D0 (sv
Inventor
Haibo Li
Robert Forcheimer
Original Assignee
Forskarpatent I Linkoeping Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Forskarpatent I Linkoeping Ab filed Critical Forskarpatent I Linkoeping Ab
Priority to SE9702544A priority Critical patent/SE512171C2/sv
Publication of SE9702544D0 publication Critical patent/SE9702544D0/sv
Priority to US09/254,081 priority patent/US6594395B1/en
Priority to AT98900799T priority patent/ATE301909T1/de
Priority to AU55838/98A priority patent/AU5583898A/en
Priority to JP11506995A priority patent/JP2001501422A/ja
Priority to EP98900799A priority patent/EP0937367B1/en
Priority to DE69831129T priority patent/DE69831129T2/de
Priority to PCT/SE1998/000030 priority patent/WO1999002003A1/en
Publication of SE9702544L publication Critical patent/SE9702544L/sv
Publication of SE512171C2 publication Critical patent/SE512171C2/sv

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N7/5066
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

512 171 basstationen såsom visas i ñg 2.
Huvudproblemet med detta slag av konfiguration är att effekten som är tillgänglig i de mobila terminalerna är mycket begränsad, vilket utesluter komplicerade signalbearbetnings- operationer. Olyckligtvis måste med denna konfiguration rörelseestimeringen (-uppskatt- ningen) utföras i de mobila terminalerna vid kodandet av realtidsvideosignalema. Normalt är rörelseestirnering mycket tids- och effektkrävande. Då exempelvis ett enkelt korrelationsmått användes, beräknas summan av absolutvärdet av differensema (SAD). För en full sökning över ett +/-7 förskjutningsornråde vid QCIF(l76xl44 pixels) upplösning och 10 frames/s skulle SAD beräkningen behöva utföras mer än 57 miljoner gånger varje sekund. Med ökat sökområde och en finare upplösning för rörelsevektorer ökas beräkningsbehovet avsevärt.
Därför är i mobil videokommunikation rörelseestimeringen ett stort hinder mot åstadkom- mandet av realtids videotransmission.
Mot bakgrund av ovanstående problem har uppfinningen som sitt syfte att möjliggöra mo- bil videokommunikation. Detta problem löses på ett förvånansvärt enkelt sätt med en ny teknik med vilken rörelseestimeringen inte utförs i den mobila terrninalen (kodaren). I stället utförs rörelseestirneringen i basstationen där tillräcklig beräkningskraft kan vara tillgänglig utan problem. Sedan överförs de estimerade rörelsevektorerna till både kodaren och avko- daren i de mobila terrninalema för användning för rörelsekompensering utgående från den föregående bilden. D v s i den sändande terminalen jämförs den estimerade bilden med den verkliga bilden och en signal motsvarande skillnaden mellan bildema avges till basstationen likväl som till avkodaren. Signalen användes i den mottagande terrninalen för korrektion av den estimerande bilden.
Den ovanstående tekniken resulterar iasymmetri med avseende på den erforderliga bithas- tigheten till och från mobilterrninalerna, bithastigheten till terminalerna är större än den från dem. Eftersom basstationen har mer effekt än mobilterminalerna innebär detta också att den har en högre tillgänglig bithastighet. Med andra ord kräver den uppfunna tekniken mindre sändningseffekt från mobilterminalerna än vad som skulle krävas om transmissionen var sym- metrisk.
Ytterligare fördelar och vidareutvecklingar av uppfinningen framgår av den följande be- skrivningen av ett föredraget utförande på uppñnningen och en ny teknik för att utföra rö- relseprediktion. Utförandet illustreras också i de bifogade ritningarna i vilka 1 visar en hybrid kodningsstruktur som används i H.263-standarden, fig 2 realtids mobil videokommuni- 512171 3 kation i enlighet med känd teknik, ñg 3 en schematisk illustration av videokompression och överförande från mobilterminalen A till terminalen B i enlighet med uppfinningen, fig 4 över- förd data för tvåvågs realtids mobil videokommunikation i enlighet med uppfinningen och fig 5 en illustration av ett rörelseestimeringsschema.
I uppfinningen kommer basstationen att ta del i kodningsprocessandet och hanterar rörel- seestimeringen.
Anta att två föregående och redan avkodade bilder I',_1 och I',_2 är tillgängliga vid bassta- tionen och att den sista av dessa (i tiden) I',_, även är tillgänglig vid både kodaren och avkoda- ren. Uppgiften är nu att överföra den föreliggande bilden 1,. Vi använder fortfarande den kon- ventionella hybridkodningsstrukturen.
För att genomföra en rörelsekompenserad prediktion, måste rörelsevektor för den förelig- gande bilden, M, föreligga. Detta görs ibasstationen där rörelseprediktionen (MP) måste gö- ras.
M,=MP(I',.,, 11.2) <1) Den erhållna rörelseinformationen överförs sedan till både kodaren och avkodaren för kodning- respektive avkodningssyften.
Med rörelsevektorer ges den rörelsekompenserade prediktionen (MCP) för den föreliggan- de bilden av I',=MCP(M,, 1' ,_,) (2) Det rörelsekompenserade prediktionsfelet blir A I,=I,-I', (3) Restinfonnationen kommer att vara ett resultat av applicerandet av DCT på prediktions- felet.
R,= DCTÛÄL) (4) 512171 4 Denna kodnings och överföringsprocess är illustrerad i fig 3.
En förenklad version är visad i fig 4. Vid jämförelse mellan fig 4 och fig 2 finner man att från de mobila terininalema till den tillhörande basstationen överförs endast restinforina- tionen. Emellertid behöver extra information om rörelsevektorema överföras från basstationen till mobilterrninalema. Detta resulterar i en asymmetri för bithastigheten. D v s en mycket högre bithastighet sänds i riktning från basstationen till mobilterminalerna än i den andra rikt- ningen (från rnobilterminalerna till basstationen). Detta slag av asymmetrisk bithastighet är mer lämplig för praktiska mobilkanaler. I enlighet med Shannons informationsteori bestäms kanalkapaciteten C av C =Blog (1 + S/N) (5) där B är bandbredden och S/ N är signal brusförhållandet. Ökningen i signaleffekten kommer att öka kanalkapaciteten. Basstationen har mer effekt än de mobila tenninalema och därigenom är en högre bithastighet uppnåelig i riktningen från basstationen till mobilterrninaleriia.
Sammanfattningsvis har denna uppfmning två signifikanta fördelar: (1) med denna uppfinning, förflyttas tidskrävande beräkning och rörelseestimering till basstationen. Detta reducerar kraftigt effektförbrukningen för de mobila ter- minalema och sänker kostnaden för att implementera videokompressionsalgorit- men. (2) denna uppfmning medger asymmetri i bithastigheten vilket är mycket lämpligt för mobilkanaler i praktiken.
Rörelseprediktion kan, genom användningen av uppfinningen, utföras i enlighet med en ny teknik. Nyckeln här är utnyttjandet av en ny sökstrategi som låter oss använda existerande metoder t ex blockmatchningsalgoritmen för att åstadkomma rörelseprediktion.
Med denna ytterligare utveckling, kan den föreliggande bilden I, predikteras eller förut- sägas genom användning av rörelseinformation som estimerats från de två föregående rekon- struerade bilderna I',_1 och 112.
Mera specifikt måste för prediktion av den föreliggande bilden 1,, denna bild först seg- menteras till rektangulära block varefter en förskjutningsvektor u', v' per block estimeras genom 5 12 1 7 1 W E 14min» - mm, - u. n; - W <6> (n,,n2)ER där R är ett rektangulärt block centrerat på (nl, nz).
Eftersom I, ej är tillgängligt i basstationen kan rörelse eller förskjutningsvektom (u”, v') ej återvinnas vid tiden t från villkoret (6). För att uppnå rörelseprediktion antas rörelsen mellan bilderna vara likformig. Under detta antagande har vi I,(n,, ny = I*,_,(n, - u*,n2 - v*) = I*,_2 (n, - 2u' ,n2 - 2v') (7) Nu kan villkoret (6) skrivas som æšn E |I*,_2(n, - 2u,n2 - 2v) - I*,_,(n, - u,n2 - v) |2 (8) (n,,n,)6R Rörelsevektorn (u°', v*) kan sedan estimeras från det nya villkoret.
Rörelsevektorerna (u', v') är rörelseirifomlationen M, specificerad i ekvation (1). Nu kan den rörelsekompenserade prediktionen av den föreliggande bilden ges enligt I',(n,,nQ = I*,_,(n, - u*,n2 - v*). (9) Detta specificerar MCP-boxen som beskrives i ekvation 2.

Claims (7)

512171 6 PATENTKRAV
1. l. Förfarande för överförandet av rörliga bilder där en predikterad bild erhålles genom rörelsekompenseringsteknik och sedan jäinförs med den verkliga bilden, en avvikelsesignal genereras motsvarande skillnaden mellan den föreliggande och den predikterade bilden och rörelseinforrnationen sänds för kompensering till den mottagande stationen, kännetecknad av att rörelseestirneringen utförs utanför den bildsändande enheten och av att den predikterade rörelseinfonnationen som genereras av rörelseestimeringen inte endast sänds till den motta- gande enheten utan även till den sändande enheten i vilken den predikterade bilden jämförs med den verkliga bilden och resulterande avvikelsesignalen sänds till den rörelsekompense- rade predikteringsenheten och den mottagande stationen eller terrninalen.
2. Förfarande enligt krav 1, kännetecknat av att rörelseprediktionen utförs utanför sänd- ningsenheten, t ex en basstation i mobiltelefonfallet eller en central station i trådtelefonfallet och att kommunikationen mellan rörelseestimatorn och den sändande enheten respektive den mottagande enheten är via ordinarie tråd eller mobiltelefonnät eller andra media.
3. Förfarande enligt krav 1 eller 2, kännetecknad av duplexkommunikation med rörelse- estimeringen för bägge ändar arrangerad centralt åtskilt från de bildsändande och mottagande terminalerna.
4. Förfarande enligt något av föregående krav, kännetecknat av ett regelbundet och extra eller ursprungligt uppdaterande av hela bilden eller delar därav.
5. Förfarande enligt något av föregående krav, kännetecknat av att infonnationsflödet från den bildsändande enheten är mindre än eller lika med det från den centrala basstationen till den bildsàndande enheten.
6. Kommunikationsnät för överförandet av rörliga bilder i enlighet med krav l, känne- tecknat av att utrustning för rörelseestirnering är anordnad i en eller flera basstationer.
7. Kommunikationsnät i enlighet med krav 6, kännetecknat av att terminal eller telefoner är försedda med utrustning möjliggörande jämförandet av predikterade bilder och verkliga och avgivandet av signaler motsvarande avvikelsen till basstationen och den mottagande termina- len.
SE9702544A 1997-07-02 1997-07-02 Videoöverföring SE512171C2 (sv)

Priority Applications (8)

Application Number Priority Date Filing Date Title
SE9702544A SE512171C2 (sv) 1997-07-02 1997-07-02 Videoöverföring
US09/254,081 US6594395B1 (en) 1997-07-02 1998-01-12 Real-time mobile video communication with low power terminals
AT98900799T ATE301909T1 (de) 1997-07-02 1998-01-12 Mobile echtzeit-videoübertragung mit engeräten mit geringer leistung
AU55838/98A AU5583898A (en) 1997-07-02 1998-01-12 Real-time mobile video communication with low power terminals
JP11506995A JP2001501422A (ja) 1997-07-02 1998-01-12 低出力端末による実時間移動ビデオ通信
EP98900799A EP0937367B1 (en) 1997-07-02 1998-01-12 Real-time mobile video communication with low power terminals
DE69831129T DE69831129T2 (de) 1997-07-02 1998-01-12 Mobile echtzeit-videoübertragung mit engeräten mit geringer leistung
PCT/SE1998/000030 WO1999002003A1 (en) 1997-07-02 1998-01-12 Real-time mobile video communication with low power terminals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
SE9702544A SE512171C2 (sv) 1997-07-02 1997-07-02 Videoöverföring

Publications (3)

Publication Number Publication Date
SE9702544D0 SE9702544D0 (sv) 1997-07-02
SE9702544L SE9702544L (sv) 1999-01-03
SE512171C2 true SE512171C2 (sv) 2000-02-07

Family

ID=20407603

Family Applications (1)

Application Number Title Priority Date Filing Date
SE9702544A SE512171C2 (sv) 1997-07-02 1997-07-02 Videoöverföring

Country Status (8)

Country Link
US (1) US6594395B1 (sv)
EP (1) EP0937367B1 (sv)
JP (1) JP2001501422A (sv)
AT (1) ATE301909T1 (sv)
AU (1) AU5583898A (sv)
DE (1) DE69831129T2 (sv)
SE (1) SE512171C2 (sv)
WO (1) WO1999002003A1 (sv)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560700B1 (en) 1998-11-17 2003-05-06 Telefonaktiebolaget Lm Ericsson (Publ) Protocol for synchronizing parallel processors in a mobile communication system
US6893347B1 (en) * 1999-07-09 2005-05-17 Nokia Corporation Method and apparatus for playing games between the clients of entities at different locations
US7312813B1 (en) * 2000-02-14 2007-12-25 Nokia Corporation Wireless application protocol television
EP1178620A1 (fr) 2000-07-31 2002-02-06 Koninklijke Philips Electronics N.V. Procédé et systeme pour la synchronisation de trame
US7336720B2 (en) * 2002-09-27 2008-02-26 Vanguard Software Solutions, Inc. Real-time video coding/decoding
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
CN101953166B (zh) * 2008-02-21 2013-06-05 法国电信公司 被划分为像素块的图像或图像序列的编码和解码
US9030486B2 (en) 2008-08-22 2015-05-12 University Of Virginia Patent Foundation System and method for low bandwidth image transmission
TWI414271B (zh) * 2008-10-31 2013-11-11 Ind Tech Res Inst 感測器及其資訊顯示方法與系統
WO2011042905A1 (en) * 2009-10-08 2011-04-14 Hd Medix Distributed video compression system
WO2011100347A2 (en) 2010-02-09 2011-08-18 Vanguard Software Solutions, Inc. Video sequence encoding system and algorithms
US8693551B2 (en) 2011-11-16 2014-04-08 Vanguard Software Solutions, Inc. Optimal angular intra prediction for block-based video coding
US9106922B2 (en) 2012-12-19 2015-08-11 Vanguard Software Solutions, Inc. Motion estimation engine for video encoding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4703350A (en) 1985-06-03 1987-10-27 Picturetel Corporation Method and apparatus for efficiently communicating image sequences
FR2623955B1 (fr) * 1987-11-27 1990-04-27 Labo Electronique Physique Procede et dispositif d'estimation et de compensation de mouvement dans une sequence d'images et leur application dans un systeme de transmission d'images de television a haute definition
GB2222338B (en) * 1988-08-27 1992-11-04 Plessey Co Plc Remote operated vehicle control
US5305400A (en) * 1990-12-05 1994-04-19 Deutsche Itt Industries Gmbh Method of encoding and decoding the video data of an image sequence
TW224553B (en) * 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
JP3111763B2 (ja) * 1993-08-05 2000-11-27 松下電器産業株式会社 高能率伝送方法
DE4329010A1 (de) * 1993-08-28 1995-03-02 Sel Alcatel Ag Funksystem
DE4344924A1 (de) * 1993-12-30 1995-08-10 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Bewegungsschätzung

Also Published As

Publication number Publication date
US6594395B1 (en) 2003-07-15
AU5583898A (en) 1999-01-25
EP0937367B1 (en) 2005-08-10
WO1999002003A1 (en) 1999-01-14
SE9702544L (sv) 1999-01-03
DE69831129D1 (de) 2005-09-15
DE69831129T2 (de) 2006-03-30
SE9702544D0 (sv) 1997-07-02
JP2001501422A (ja) 2001-01-30
EP0937367A1 (en) 1999-08-25
ATE301909T1 (de) 2005-08-15

Similar Documents

Publication Publication Date Title
EP0676900B1 (en) Motion compensation for interlaced digital video signals
US8259805B2 (en) Method and apparatus for generating coded picture data and for decoding coded picture data
EP1206881B1 (en) Apparatus and method for compressing a motion vector field
CN110944191A (zh) 具有自适应运动矢量分辨率的运动矢量精度指示的信令通知
SE512171C2 (sv) Videoöverföring
CN1131872A (zh) 利用逐个像素运动估算与帧抽取的图像处理系统
US11930205B2 (en) Side motion refinement in video encoding/decoding systems
CN111010570B (zh) 基于仿射运动信息的尺寸限制
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
CN111193930B (zh) 一种前向双假设编码图像块的编解码方法和装置
US5574663A (en) Method and apparatus for regenerating a dense motion vector field
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
JP2002531018A (ja) デジタル画像フレームの高解像化方法
US20060133497A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures at different temporal decomposition level
US20060159176A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
US20070242747A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
EP0613299A2 (en) Dual bus dual bank architecture for motion compensation
EP2359601B1 (en) Image prediction method and system
JPH09284777A (ja) 動きベクトルなしで動き補償を用いるビデオ符号化方法とその装置
KR19990027484A (ko) 움직임 벡터 부호화 방법 및 그 장치
US20060133498A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
US20060120457A1 (en) Method and apparatus for encoding and decoding video signal for preventing decoding error propagation
CN111970517B (zh) 基于双向光流的帧间预测方法、编码方法及相关装置
AU681324C (en) Method and apparatus for regenerating a dense motion vector field
JPH09261661A (ja) 2つの基準ピクチャから双方向コード化ピクチャを形成するための方法

Legal Events

Date Code Title Description
NUG Patent has lapsed