NL2012575C2 - Video processing system and method. - Google Patents

Video processing system and method. Download PDF

Info

Publication number
NL2012575C2
NL2012575C2 NL2012575A NL2012575A NL2012575C2 NL 2012575 C2 NL2012575 C2 NL 2012575C2 NL 2012575 A NL2012575 A NL 2012575A NL 2012575 A NL2012575 A NL 2012575A NL 2012575 C2 NL2012575 C2 NL 2012575C2
Authority
NL
Netherlands
Prior art keywords
image
video
images
positions
cameras
Prior art date
Application number
NL2012575A
Other languages
English (en)
Inventor
Anton Havekes
Johannes Gerardus Maria Schavemaker
Original Assignee
Tno
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tno filed Critical Tno
Application granted granted Critical
Publication of NL2012575C2 publication Critical patent/NL2012575C2/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video programme
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Claims (15)

1. Een geautomatiseerde werkwijze voor het selecteren van een activerend beeld uit een reeks van beelden, welke werkwijze het opnemen van beelden omvat en voor elk beeld in de reeks - classificeren van lokale beeldinhoud uit verschillende voorgrondposities in het beeld elk in één van een verzamebng klassen, gebaseerd op een eigenschap van de lokale beeldinhoud, waarbij de verzamebng klassen een eerste en tweede klasse omvat; - het bepalen van een eerste en tweede verzamelde positie voor de eerste en tweede klassen, gebruik makend van een mediaan of gemiddelde van de beeldposities van de lokale beeldinhoud die is toegewezen aan respectievelijk de eerste en tweede klas; - detecteren of aan een volwaarde voldaan is dat de eerste en tweede verzamelde posities aan onderling tegenoverliggende kanten van een referentiepositie liggen en afstand tussen de verzamelde posities of afstanden tussen de referentiepositie en de eerste en tweede verzamelde positie boven een drempelwaarde bggen; - selecteren van het beeld als het activerende beeld afhankelijk van of aan de genoemde voorwaarden voldaan is.
2. Een werkwijze volgens conclusie 1, waarin het selecteren van het beeld als het activerende beeld het detecteren omvat of aan genoemde voorwaarde voldaan is voor ten minste een vooraf behaalde fractie van de beelden voor beeldtijdspunten in een tijdsinterval dat het activerende beeld omvat.
3. Een werkwijze volgens een der voorafgaande conclusies, omvattende het bepalen van een hoeveelheid beweging in relatie met het beeld, detecteren of aan een verdere voorwaarde voldaan is dat de hoeveelheid beweging onder een eerste drempel ligt en/of een afname in de hoeveelheid beweging vergeleken met een voorafgaand beeld een tweede drempel overschrijdt en het beeld selecteren als activerend beeld afhankelijk van of aan genoemde verdere voorwaarde ook voldaan is.
4. Een werkwijze volgens een der voorafgaande conclusies, omvattende bepalen of een eerste volgorde van de eerste en tweede verzamelde posities langs een vooraf bepaalde richting in het activerende beeld omgekeerd is ten opzichte van een tweede volgorde langs de genoemde vooraf bepaalde richting van de eerste en tweede verzamelde posities uit een voorafgaand activerend beeld, en onderdrukken of kwalificeren van het activerende beeld afhankelijk van een resultaat van genoemde bepahng.
5. Een werkwijze volgends een der voorafgaande conclusies, omvattende het bepalen van een hoeveelheid beweging in eerste en tweede delen van de beelden voor tijdspunten die vooraf gaan aan het tijdspunt van het activerende beeld, waarbij de eerste en tweede delen verschillende delen van een speelveld in beeld brengen, detecteren of de hoeveelheid beweging in het eerste deel groter is dan de hoeveelheid beweging in het tweede deel of vice versa en het kwalificeren van het activerende beeld afhankelijk van een resultaat van genoemde detectie.
6. Een werkwijze volgends een der voorafgaande conclusies, omvattende het opnemen van beeldstromen uit een veeltal camera’s die gericht zijn op eenzelfde speelveld, gebruik van de beelden van de beeldstroom van een eerste camera van genoemde veeltal als genoemde reeks beelden, en in reactie op het genoemde selecteren van het beeld als het activerende beeld, extraheren van een videoclip die een gedeelte van de beeldstroom van een tweede camera omvat, op genomen in een tijdsinterval dat vooraf gaat aan een tijdspunt waarop het activerende beeld werd op genomen.
7. Een werkwijze volgens conclusie 6, omvattende het genereren van een gecombineerde beeldstroom uit de beeldstromen van een veeltal camera’s, door te schakelen tussen camera’s van het veeltal op basis van een inhoud van de beeldstromen, waarbij de videoclip daarna geëxtraheerd wordt uit de gecombineerde beeldstroom.
8. Een werkwijze volgens conclusie 6 of 7, omvattende weergeven van de videoclip op een videodisplay, het beschikbaar maken van de videoclip voor weergave, en/of verzenden van de videoclip, in reactie op selectie van het beeld als het activerende beeld.
9. Een werkwijze volgens conclusie 6 of 7, omvattende het selectief bewaren van de videoclip in een video opslagsysteem in reactie op selectie van het beeld als het activerende beeld.
10. Een werkwijze volgens een der voorafgaande conclusies, omvattende het segmenteren van het beeld en het afleiden van genoemde beeldinhoud uit voorgrondgebieden die door genoemde segmenteren geïdentificeerd zijn.
11. Een werkwijze volgens conclusie 6, omvattende het genereren van een gecombineerde beeldstroom uit de beeldstromen van het veeltal camera’s, door te schakelen tussen camera’s van het veeltal op basis van een inhoud van de beeldstromen, waarbij de werkwijze een camera selectieproces bevat om te schakelen tussen de camera’s, waarin het camera selectieproces het segmenteren omvat van beelden van beeldstromen van elk van de camera’s, bepalen van beeldposities van de voorgrond segmenten uit de beelden van de beeldstromen van elk van de camera’s en het maken van omschakelingen tussen de camera’s gebaseerd op de beeldposities, waarin de segmentatie die uitgevoerd wordt in genoemde camera selectieproces wordt gebruikt als genoemde segmentatie en bepaling van de beeldposities voor het activerende beeld uit de beeldstroom voor de eerste camera.
12. Een videoverwerkingsysteem voorzien van - een ingang voor het ontvangen van een reeks beelden; - een classificator voor het classificeren van lokale beeldinhoud uit verschillende voorgrondposities in elk van de beelden, waarbij de lokale beeldinhoud van elke verschillende voorgrondpositie wordt toegekend aan een van een verzamebng vooraf bepaalde klassen, op basis van een eigenschap van de lokale beeldinhoud, waarbij de verzamebng vooraf bepaalde klassen een eerste en een tweede klas omvat; - een positie verzamelaar ingericht om een eerste en tweede verzamelde positie te verzamelen voor de eerste en tweede klassen in elk van de beelden, gebruik makend van een mediaan of een gemiddelde van de beeldposities van de lokale beeldinhoud die respectievelijk is toegekend aan de eerste en tweede klassen; - een detector geconfigureerd om te detecteren of voldaan is aan een voorwaarde dat de eerste en tweede verzamelde posities aan onderling tegenoverliggende kanten van een referentiepositie hggen en een afstand tussen verzamelde posities of afstanden tussen de referentiepositie en de eerste en tweede verzamelde posities boven een drempelwaarde liggen.
13. Een videoverwerkingsysteem volgens conclusie 11, voorzien van een beeldsegmentatie module geconfigureerd om het beeld te segmenteren in voorgrondgebieden en achtergrondgebied, waarbij de classificator geconfigureerd is om, als genoemde lokale beeldinhoud voor de classificatie, gebruik te maken van geaggregeerde beelddata uit voorgrondgebieden die door genoemde segmentatie module geïdentificeerd zijn.
14. Een videoverwerkingsysteem volgens 12 of 13, waarin het video opslag systeem is ingericht om een video cbp af te spelen die beelden bevat die zijn op genomen in een tijdinterval voorafgaand aan een tijd van opname van het activerende beeld, in reactie op de detectie dat aan de voorwaarde voldaan is, en/of middelen omvat om in reactie op de detectie de videoclip te verzenden naar inrichtingen die in staat zijn om de videoclip af te spelen een signaal te sturen te signaleren dat de videoclip beschikbaar is voor weergave, en/of in reactie op de detectie een signaal te sturen naar de inrichtingen dat de videoclip beschikbaar is voor weergave.
15. Een video opnamesysteem, voorzien het videoverwerkingsysteem volgens conclusie 12, 13 of 13, een veeltal camera’s en een video opslagsysteem, waarbij de ingang van het video processingsysteem direct of indirect gekoppeld is aan een eerste camera van genoemde veeltal camera’s, waarbij de detector geconfigureerd is om een signaal af te geven aan een video opslagsysteem in reactie op detectie dat aan de voorwaarden voldaan is voor een huidig beeld, om een videoclip af te spelen, de video clip te verzenden en/of boodschappen te versturen om te signaleren dat de videoclip beschikbaar is, waarbij het video opslagsysteem geconfigureerd is om in de videoclip een deel van de beeldstroom van een tweede camera op te nemen dat is op genomen in een tijdsinterval dat vooraf gaat aan een tijdspunt van opnemen van het huidige beeld.
NL2012575A 2013-04-05 2014-04-07 Video processing system and method. NL2012575C2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13162585.7A EP2787741A1 (en) 2013-04-05 2013-04-05 Video processing system and method
EP13162585 2013-04-05

Publications (1)

Publication Number Publication Date
NL2012575C2 true NL2012575C2 (en) 2014-10-07

Family

ID=48044690

Family Applications (1)

Application Number Title Priority Date Filing Date
NL2012575A NL2012575C2 (en) 2013-04-05 2014-04-07 Video processing system and method.

Country Status (4)

Country Link
US (1) US9948999B2 (nl)
EP (2) EP2787741A1 (nl)
NL (1) NL2012575C2 (nl)
WO (1) WO2014163505A1 (nl)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11022858B2 (en) * 2014-11-21 2021-06-01 Motorola Mobility Llc Multiple camera apparatus and method for synchronized autofocus
US10893011B2 (en) * 2016-09-13 2021-01-12 Gluru Limited Semantic interface definition language for action discovery in cloud services and smart devices
CN110226329B (zh) * 2017-01-27 2021-09-21 阿帕里奥全球咨询股份有限公司 用于将物理显示器的替代图像内容发送到不同观看者的方法和系统
EP3355586A1 (en) * 2017-01-27 2018-08-01 LANE GmbH Method and system for transmitting alternative image content of a physical display to different viewers
EP3649615A1 (en) * 2017-07-07 2020-05-13 Time2market SA A method and system for node vectorisation
TWI699756B (zh) * 2017-09-13 2020-07-21 國立清華大學 基於彈性特徵影像尺的定位量測系統
GB2583101B (en) * 2019-04-16 2021-05-19 Sony Interactive Entertainment Inc Video processing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4366023B2 (ja) * 2001-03-16 2009-11-18 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
WO2006009521A1 (en) * 2004-07-23 2006-01-26 Agency For Science, Technology And Research System and method for replay generation for broadcast video
ES2790885T3 (es) * 2005-03-29 2020-10-29 Sportvu Ltd Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos
ITRM20050192A1 (it) * 2005-04-20 2006-10-21 Consiglio Nazionale Ricerche Sistema per la rilevazione e la classificazione di eventi durante azioni in movimento.
GB2452512B (en) * 2007-09-05 2012-02-29 Sony Corp Apparatus and method of object tracking
GB2465538B (en) * 2008-08-01 2013-03-13 Sony Corp Method and apparatus for generating an event log
KR101269900B1 (ko) * 2008-12-22 2013-05-31 한국전자통신연구원 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치
EP2522134B1 (en) * 2010-01-05 2018-10-24 Isolynx, LLC Methods for analyzing event data and camera guidence
EP2413286A1 (en) * 2010-07-29 2012-02-01 LiberoVision AG Image processing method and device for instant replay
US8659663B2 (en) 2010-12-22 2014-02-25 Sportvision, Inc. Video tracking of baseball players to determine the start and end of a half-inning
CA2798298C (en) * 2011-12-09 2016-08-23 W-Ideas Network Inc. Systems and methods for video processing

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ASSFALG J ET AL: "Semantic annotation of soccer videos: automatic highlights identification", COMPUTER VISION AND IMAGE UNDERSTANDING, ACADEMIC PRESS, US, vol. 92, no. 2-3, 1 November 2003 (2003-11-01), pages 285 - 305, XP004472303, ISSN: 1077-3142, DOI: 10.1016/J.CVIU.2003.06.004 *
BERTINI M ET AL: "Highlights modeling and detection in sports videos", PATTERN ANALYSIS AND APPLICATIONS, SPRINGER-VERLAG, LO, vol. 7, no. 4, 1 December 2004 (2004-12-01), pages 411 - 421, XP019381468, ISSN: 1433-755X, DOI: 10.1007/S10044-004-0234-1 *

Also Published As

Publication number Publication date
EP2787741A1 (en) 2014-10-08
EP2982132B1 (en) 2020-06-03
US20160073179A1 (en) 2016-03-10
WO2014163505A1 (en) 2014-10-09
US9948999B2 (en) 2018-04-17
EP2982132A1 (en) 2016-02-10

Similar Documents

Publication Publication Date Title
NL2012575C2 (en) Video processing system and method.
D’Orazio et al. A review of vision-based systems for soccer video analysis
US11308158B2 (en) Information processing system, method for controlling information processing system, and storage medium
US12468762B2 (en) Method and system for dynamically analyzing, modifying, and distributing digital images and video
Ren et al. Tracking the soccer ball using multiple fixed cameras
JP2017525245A (ja) 関連するメディアコンテントを識別するための方法及びシステム
JP6649231B2 (ja) 検索装置、検索方法およびプログラム
Pallavi et al. Graph-based multiplayer detection and tracking in broadcast soccer videos
Shuai et al. Large scale real-world multi-person tracking
Kumar et al. Cricket activity detection
CN109460724B (zh) 基于对象检测的停球事件的分离方法和系统
Jiang et al. Deep learning application in broadcast tennis video annotation
JP2021509201A (ja) 映像前処理方法、装置及びコンピュータプログラム
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
WO2014103673A1 (ja) 情報処理システム、情報処理方法及びプログラム
JP6983049B2 (ja) オブジェクト追跡装置及びそのプログラム
Heydari et al. An MLP-based player detection and tracking in broadcast soccer video
US10405065B2 (en) Video processing system and method
JP5962383B2 (ja) 画像表示システムおよび画像処理装置
JP2003143546A (ja) フットボールビデオ処理方法
Kumar et al. Automatic summarization of broadcast cricket videos
Soomro et al. Tracking when the camera looks away
Sgarbi et al. Structure in soccer videos: detecting and classifying highlights for automatic summarization
US20240406497A1 (en) Techniques for automatically generating replay clips of media content for key events
Zameni et al. A low cost algorithm for expected goal events detection in broadcast soccer video

Legal Events

Date Code Title Description
MM Lapsed because of non-payment of the annual fee

Effective date: 20210501