SE536619C2 - Förfarande för kompensation av rörelseoskärpa i samband medvibrationer - Google Patents

Förfarande för kompensation av rörelseoskärpa i samband medvibrationer Download PDF

Info

Publication number
SE536619C2
SE536619C2 SE1230067A SE1230067A SE536619C2 SE 536619 C2 SE536619 C2 SE 536619C2 SE 1230067 A SE1230067 A SE 1230067A SE 1230067 A SE1230067 A SE 1230067A SE 536619 C2 SE536619 C2 SE 536619C2
Authority
SE
Sweden
Prior art keywords
sharpness
degree
frame
image
selected frame
Prior art date
Application number
SE1230067A
Other languages
English (en)
Other versions
SE1230067A1 (sv
Inventor
Emanuel Johansson
Odd Larson
Erland Waldreus
Original Assignee
Flir Systems Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Systems Ab filed Critical Flir Systems Ab
Priority to SE1230067A priority Critical patent/SE536619C2/sv
Priority to CN201380042961.2A priority patent/CN104781846B/zh
Priority to US14/410,040 priority patent/US9332186B2/en
Priority to PCT/SE2013/000096 priority patent/WO2013191611A2/en
Priority to EP13806181.7A priority patent/EP2864960A4/en
Publication of SE1230067A1 publication Critical patent/SE1230067A1/sv
Publication of SE536619C2 publication Critical patent/SE536619C2/sv

Links

Classifications

    • G06T5/73
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Abstract

Uppfinningen avser ett förfarande för kompensation av rörelseoskärpa i samband medvibrationer i en bildupptagande utrustning (1), såsom en kamera, för stabilisering avupptagna bilder, varvid en referensbild utnyttjas. Enligt uppfinningen väljs en bildruta(2) av en upptagen bild ut för bildstabilisering och utvärderas graden av skärpa (3) iutvald bildruta. och jämförs (5) med ett tidigare sparat referensvärde (4) för graden avskärpa för en tidigare utvald bildruta. Den senast valda bildrutan används för attuppdatera (6) en videosekvens och graden av skärpa för den senast valda bildrutansparas (7) som nytt referensvärde om graden av skärpa för den senast valda bildrutanbedöms bättre (5) än eller lika bra som referensvärdet för graden av skärpa för entidigare utvald bildruta. Referensvärdet (4) för graden av skärpa för en tidigare utvaldbildruta sparas med reducering (8) av värdet av skärpan och den tidigare utvaldabildrutan används i videosekvensen om graden av skärpa för den senast valdabildrutan bedöms sämre (5) än referensvärdet för graden av skärpa för den tidigareutvalda bildrutan. Genom uppfinningen är ett förfarande åstadkommet som genomförhållandevis enkla insatser effektivt kan kompensera för rörelseoskärpa i samband med vibrationer.

Description

536 619 Uppfinningsändamålet uppnås genom ett förfarande kärmetecknat av att en bildruta av en upptagen bild väljs ut för bildstabilisering, att graden av skärpa i utvald bildruta utvärderas och jämförs med ett tidigare sparat referensvärde för graden av skärpa för en tidigare utvald bildruta, att den senast valda bildrutan används för att uppdatera en videosekvens och graden av skärpa för den senast valda bildrutan sparas som nytt referensvärde om graden av skärpa för den senast valda bildrutan bedöms bättre än eller lika bra som referensvärdet för graden av skärpa för en tidigare utvald bildruta, att referensvärdet för graden av skärpa för en tidigare utvald bildruta sparas med reducering av värdet av skärpan och den tidigare utvalda bildrutan används i videosekvensen om graden av skärpa för den senast valda bildrutan bedöms sämre än referensvärdet för graden av skärpa för den tidigare utvalda bildrutan.
Genom det föreslagna förfarandet uppnås en effektiv kompensation av rörelseoskärpa förorsakat av vibrationer. För varje bildruta utvärderas graden av skärpa och jämförs skärpan med ett tidigare sparat värde. Om skärpan bedöms bättre eller lika bra används denna bildruta och videon uppdateras samtidigt som ett nytt skärpevärde sparas för denna bildruta. Om det istället bedöms att skärpan var bättre tidigare används istället den tidigare bildrutan. För att inte frysa bilden för länge får dock skärpevärdet klinga av en aning för varje gång en gammal bildruta används. På detta sätt används bara information som faktiskt betyder något för operatören. Resultatet av tillämpandet av förfarandet blir att den faktiska bildtakten kan komma att variera, men att målet för den bildupptagande utrustningen blir lättare att identifiera. I sammanhanget kan framhållas att ofokuserad data inte tillför något mervärde till bilden. Det föreslagna förfarandet lämpar sig främst för användning vid mindre snabba händelseförlopp och där panorering förekommer i ringa omfattning.
Genom förfarandet presenteras användaren endast användbar infomiation. En genom förfarandet genererad bild upplevs stabilare och behagligare att se på, vilket leder till att det är lättare att detektera och identifiera mål.
Enligt ett föreslaget lämpligt förfarande görs valet av bildruta i en av en bildupptagande anordning upptagen bild i bildens centrum. 536 619 Enligt ett annat föreslaget lämpligt förfarande görs valet av bildruta i en av en bildupptagande anordning upptagen bild av användaren av den bildupptagande utrustningen.
Enligt ännu ett föreslaget lämpligt förfarande aktiveras bildstabiliseringen av användaren av den bildupptagande utrustningen. Genom en sådan användaraktiverad funktion där hänsyn till gränsfall som panorering och dylikt kan undvikas är ett förfarande åstadkommet som är optimerat för att presentera information för operatören/användaren under riktigt svåra förhållanden.
I ett förfarandet för kompensation av oskärpa enligt grundprincipen ovan utförs med fördel bildupptagningen inom det infraröda området.
I det fall att referensvärdet för graden av skärpa skall reduceras kan detta göras på många sätt. Ett enkelt föreslaget sätt är att utföra reduceringen av värdet av skärpan med väsentligen samma procentandel av värdet för varje upprepad reducering.
Exempelvis kan en reducering på cirka 5 procent göras per gång. En annan variant kan vara att välja en mer progressiv reducering/avklingning för att undvika att bilden blir fryst för länge. Möjligt är också att begränsa antalet gånger som en reducering av värdet av skärpan kan tillåtas.
För att bestämma värdet av skärpan för en bildruta föreslås ett förfarande kännetecknat av att värdet av skärpan för en bildruta bestäms genom att applicera ett kantdetekterande filter. Ett föreslaget sådant kantdetekterande filter innefattar utnyttjandet av en Tenengradoperator. Ett annat föreslaget kantdetekterande filter innefattar beräkning av enkel standardavvikelse för varje i bildrutan ingående pixel.
Genom ovan beskrivna förfaranden öppnas ytterligare möjligheter till användning.
Exempelvis kan förfaranden enligt ovan tillämpas i samband med kontinuerlig autofokusering. Genom att bevara skärpan när bilden defokuseras kan både större och snabbare sökalgoritmer för att finna bästa fokus användas utan att störa operatören. 536 619 Kortfattad beskrivning av ritningen Uppfinningen kommer att beskrivas ytterligare nedan i exemplifierad form under hänvisning till bifogade ritning visande ett schematiskt flödesschema illustrerande principerna bakom uppfinningen.
Detaljerad utförandebeskrivning Flödesschemat startar med ett blockl benämnt bildupptagning. Här hämtas de bilder in som skall bildbehandlas. För inhämtning ingår företrädesvis någon form av kamera som inte är närmare visad. Kameran kan vara en IR-kamera men utesluter inte användning av andra kameror eller sensorer. I ett block 2 väljs en bildruta ut i ur en bildupptagningsblocket l tillgänglig bild. Lämpligen hämtas bildrutan från bildens centrala del som om det råder skillnader i bildkvalité bedöms ha genomsnittligt högre kvalité och sannolikt också innehålla intressantare och mer användbar information.
Valet av bildruta kan göras av användaren. Detta kan ske genom att flytta bildrutan över bilden och låsa i lämpligt läge. Användaren kan i ett annat alternativ styra kameran så att önskat parti hamnar i mitten av bilden varefter en central bildruta hämtas.
I blocket 3 bestäms graden av skärpa hos den i blocket 2 utvalda bildrutan.
Företrädesvis appliceras ett kantdetekterande filter och särskilt föreslås filter innefattande utnyttj andet av en Tenengradoperator eller altemativt filter innefattande beräkning av enkel standardavvikelse för varje i bildrutan ingående pixel. Vid utnyttjande av Tenengradoperatorn bildas i princip en ny bild och ett skärpevärde erhålls genom att summera pixelvärden över denna Tenengradbild.
I ett block 4 lagras referensvärden för graden av skärpa hos valda bildrutor. I blocket 4 antas nu ligga ett referensvärde från en tidigare processad bildruta eller altemativt vid uppstart av processandet ett lämpligt startvärde som ligger under nivån för en bildruta med bra skärpa. 536 619 Ett block 5 är anordnat att jämföra graden av skärpa bestämd i blocket 2 med graden av skärpa hos referensvärdet lagrat i blocket 4. I det fall att jämförelsen utfaller så att graden av skärpa bestämd i blocket 2 är större än eller väsentligen densamma som referensvärdet, uppdateras en videosekvens i blocket 6 med senaste bild. Vidare tillser ett block 7 att referensvärdet som är lagrat i block 4 ersätts med ett nytt referensvärde.
I det fall att jämförelsen utfaller så att graden av skärpa bestämd i blocket 2 är mindre än referensvärdet sker ingen uppdatering av videosekvensen utan tidigare bild ligger kvar genom att blocket 6 förblir inaktivt. Vidare tillser ett block 8 att det lagrade referensvärdet reduceras genom att hämta referensvärdet i blocket 4 och återlagra ett reducerat referensvärde. Reduceringen kan göras i procent av referensvärdet.
Procentvärden av storleksordningen 5 procent har visat sig fungera väl. Lämpligt kan vara att hålla sig inom ett intervall på mellan 3 och 10 procent. En ytterligare funktion som inte närmare visats kan ingå som räknar antalet gånger ett referensvärde reducerats och endast tillåter ett begränsat antal reduceringar. Det föreslås även att reduceringen av graden av skärpa hos referensvärdet kan ske progressivt.
Det ovan schematisk beskrivna flödesschemat är främst ägnat att illustrera de bakomliggande principerna till uppfinningen utan att för den skull på något sätt låsa upp uppfinningsidén till beskrivna blockfunktioner.
Uppfinningen är inte begränsad till det i ovanstående såsom exempel beskrivna förfarandet, utan den kan underkastas modifikationer inom ramen för efterföljande patentkrav.

Claims (12)

10 15 20 25 30 536 619 Patentkrav
1. Förfarande för kompensation av rörelseoskärpa i samband med vibrationer i en bildupptagande utrustning, såsom en kamera, för Stabilisering av upptagna bilder, varvid referensbilder utnyttjas och graden av skärpa för upptagen bild jämförs med graden av skärpa i referensbilder, kännetecknat av att en bildruta av en upptagen bild väljs ut for bildstabilisering, att graden av skärpa i utvald bildruta utvärderas och jämförs med ett tidigare sparat referensvärde för graden av skärpa för en tidigare utvald bildruta, att den senast valda bildrutan används för att uppdatera en videosekvens och graden av skärpa för den senast valda bildrutan sparas som nytt referensvärde om graden av skärpa för den senast valda bildrutan bedöms bättre än eller lika bra som referensvärdet för graden av skärpa för en tidigare utvald bildruta, att referensvärdet för graden av skärpa för en tidigare utvald bildruta sparas med reducering av värdet av skärpan och den tidigare utvalda bildrutan används i videosekvensen om graden av skärpa för den senast valda bildrutan bedöms sämre än referensvärdet för graden av skärpa för den tidigare utvalda bildrutan, att reducering av referensvärdet för graden av skärpa för den tidigare utvalda bildrutan upprepas för varje ny utvald bildruta vars grad av skärpa bedöms sämre än reducerat referensvärde för graden av skärpa för den tidigare utvalda bildrutan.
2. Förfarande enligt något av föregående patentkrav, kännetecknat av att valet av bildruta i en av en bildupptagande anordning upptagen bild görs i bildens centrum.
3. Förfarande enligt något av föregående patentkrav, kännetecknat av att valet av bildruta i en av en bildupptagande anordning upptagen bild görs av användaren av den bildupptagande utrustningen.
4. Förfarande enligt något av föregående patentkrav, kännetecknat av att bildstabiliseringen aktiveras av användaren av den bildupptagande utrustningen.
5. Förfarande enligt något av föregående patentkrav, kännetecknat av bildupptagningen utförs inom det infraröda området. 10 15 20 25 536 619
6. F örfarande enligt något av föregående patentkrav, kännetecknat av att reduceringen av värdet av skärpan utförs med väsentligen samma procentandel av värdet för varje upprepad reducering.
7. Förfarande enligt något av föregående patentkrav 1-5, kännetecknat av att antalet gånger som en reducering av värdet av skärpan tillåts, begränsas.
8. Förfarande enligt något av föregående patentkrav 1-5, kännetecknat av att reduceringen av värdet av skärpan utförs progressivt.
9. Förfarande enligt något av föregående patentkrav, kännetecknat av att värdet av skärpan för en bildruta bestäms genom att applicera ett kantdetekterande filter.
10. Förfarande enligt patentkravet 9, kännetecknat av att det kantdetekterande filtret innefattar utnyttjandet av en Tenengradoperator.
11. F örfarande enligt patentkravet 9, kännetecknat av att det kantdetekterande filtret innefattar beräkning av enkel standardavvikelse för varje i bildrutan ingående pixel.
12. Användning av förfarandet enligt något av föregående patentkrav vid autofokusering.
SE1230067A 2012-06-20 2012-06-20 Förfarande för kompensation av rörelseoskärpa i samband medvibrationer SE536619C2 (sv)

Priority Applications (5)

Application Number Priority Date Filing Date Title
SE1230067A SE536619C2 (sv) 2012-06-20 2012-06-20 Förfarande för kompensation av rörelseoskärpa i samband medvibrationer
CN201380042961.2A CN104781846B (zh) 2012-06-20 2013-06-11 用于补偿与振动相关的动态模糊的方法
US14/410,040 US9332186B2 (en) 2012-06-20 2013-06-11 Method for compensating motion blur in connection with vibrations
PCT/SE2013/000096 WO2013191611A2 (en) 2012-06-20 2013-06-11 Method for compensating motion blur in connection with vibrations
EP13806181.7A EP2864960A4 (en) 2012-06-20 2013-06-11 METHOD FOR COMPENSATING MOTION BLURRING IN CONNECTION WITH VIBRATIONS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
SE1230067A SE536619C2 (sv) 2012-06-20 2012-06-20 Förfarande för kompensation av rörelseoskärpa i samband medvibrationer

Publications (2)

Publication Number Publication Date
SE1230067A1 SE1230067A1 (sv) 2013-12-21
SE536619C2 true SE536619C2 (sv) 2014-04-01

Family

ID=49769642

Family Applications (1)

Application Number Title Priority Date Filing Date
SE1230067A SE536619C2 (sv) 2012-06-20 2012-06-20 Förfarande för kompensation av rörelseoskärpa i samband medvibrationer

Country Status (5)

Country Link
US (1) US9332186B2 (sv)
EP (1) EP2864960A4 (sv)
CN (1) CN104781846B (sv)
SE (1) SE536619C2 (sv)
WO (1) WO2013191611A2 (sv)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930324B2 (en) 2014-08-05 2018-03-27 Seek Thermal, Inc. Time based offset correction for imaging systems
WO2016022374A1 (en) 2014-08-05 2016-02-11 Seek Thermal, Inc. Local contrast adjustment for digital images
US9924116B2 (en) 2014-08-05 2018-03-20 Seek Thermal, Inc. Time based offset correction for imaging systems and adaptive calibration control
WO2016028755A1 (en) 2014-08-20 2016-02-25 Seek Thermal, Inc. Adaptive adjustment of operating bias of an imaging system
CN106716992B (zh) 2014-08-20 2020-02-07 塞克热量股份有限公司 用于成像系统的增益校准的方法及成像系统
US9947086B2 (en) 2014-12-02 2018-04-17 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US10600164B2 (en) 2014-12-02 2020-03-24 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US10467736B2 (en) 2014-12-02 2019-11-05 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US9549130B2 (en) 2015-05-01 2017-01-17 Seek Thermal, Inc. Compact row column noise filter for an imaging system
US10867371B2 (en) 2016-06-28 2020-12-15 Seek Thermal, Inc. Fixed pattern noise mitigation for a thermal imaging system
US11089220B2 (en) 2019-05-02 2021-08-10 Samsung Electronics Co., Ltd. Electronic test device, method and computer-readable medium
US11276152B2 (en) 2019-05-28 2022-03-15 Seek Thermal, Inc. Adaptive gain adjustment for histogram equalization in an imaging system
WO2020237644A1 (zh) * 2019-05-31 2020-12-03 深圳市晟视科技有限公司 一种基于fpga架构的实时景深合成算法和系统
CN112437283B (zh) * 2020-11-09 2022-06-10 广景视睿科技(深圳)有限公司 一种调整投影抖动的方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708477A (en) * 1994-12-01 1998-01-13 Forbes; Scott Jared Video signal identifier for controlling a VCR and television based on the occurrence of commercials
US6747808B2 (en) 2002-10-04 2004-06-08 Hewlett-Packard Development Company, L.P. Electronic imaging device focusing
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
EP1988705A1 (en) * 2007-04-30 2008-11-05 STMicroelectronics (Research & Development) Limited Improvements in or relating to image sensors
KR101371775B1 (ko) * 2007-07-09 2014-03-24 삼성전자주식회사 카메라의 손떨림 보정 방법 및 장치
US9179060B2 (en) * 2007-09-27 2015-11-03 Qualcomm Incorporated Method and apparatus for camera shake effect image stabilization
JP4935930B2 (ja) 2008-06-10 2012-05-23 富士通株式会社 画像補正装置および画像補正方法
US8611691B2 (en) 2009-07-31 2013-12-17 The United States Of America As Represented By The Secretary Of The Army Automated video data fusion method
JP2011176542A (ja) * 2010-02-24 2011-09-08 Nikon Corp カメラおよび画像合成プログラム
DE102010019399B4 (de) 2010-05-04 2019-02-28 Testo Ag Bildaufnahmeverfahren für IR-Bilder und Wärmebildkamera
US8532421B2 (en) 2010-11-12 2013-09-10 Adobe Systems Incorporated Methods and apparatus for de-blurring images using lucky frames

Also Published As

Publication number Publication date
WO2013191611A2 (en) 2013-12-27
CN104781846A (zh) 2015-07-15
SE1230067A1 (sv) 2013-12-21
CN104781846B (zh) 2017-05-17
EP2864960A4 (en) 2016-04-06
US9332186B2 (en) 2016-05-03
EP2864960A2 (en) 2015-04-29
US20150189183A1 (en) 2015-07-02
WO2013191611A3 (en) 2014-01-30

Similar Documents

Publication Publication Date Title
SE536619C2 (sv) Förfarande för kompensation av rörelseoskärpa i samband medvibrationer
US20150310594A1 (en) Method for imaging processing, and image processing device
JP4697810B2 (ja) 自動追尾装置及び自動追尾方法
KR100985805B1 (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
JP7036176B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP2010020758A5 (sv)
JP5499050B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
CN108702453B (zh) 用于校正所采集的图像的方法
US20150029306A1 (en) Method and apparatus for stabilizing panorama video captured based on multi-camera platform
JP2014176007A (ja) 撮像装置およびその制御方法
JP6512907B2 (ja) シフト素子制御装置、シフト素子制御プログラムおよび光学機器
US20150103190A1 (en) Image acquisition method and apparatus with mems optical image stabilization (ois)
WO2017012372A1 (zh) 用于终端的拍照控制方法、装置和终端
WO2007124360A2 (en) Image stabilization method
CN110572534A (zh) 全景图像的数字视频稳像方法、装置、设备及存储介质
JP2019087974A5 (sv)
DE102014207703A1 (de) Bildaufnahmevorrichtung, verfahren zu deren steuerung, und speichermedium
JP2019020778A5 (sv)
KR102069269B1 (ko) 영상 안정화 장치 및 방법
CN110062150B (zh) 一种自动对焦方法及装置
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP4399742B2 (ja) 動画の処理方法
JP2016059051A (ja) 撮像装置および距離情報取得方法
JP6780983B2 (ja) 画像処理システム
KR101628931B1 (ko) 차량용 블랙박스의 화각 제어 장치 및 방법

Legal Events

Date Code Title Description
NUG Patent has lapsed