SE531942C2 - Metod för bildbehandling av IR-bilder innefattande kontrastförhöjande filtrering - Google Patents
Metod för bildbehandling av IR-bilder innefattande kontrastförhöjande filtreringInfo
- Publication number
- SE531942C2 SE531942C2 SE0700240A SE0700240A SE531942C2 SE 531942 C2 SE531942 C2 SE 531942C2 SE 0700240 A SE0700240 A SE 0700240A SE 0700240 A SE0700240 A SE 0700240A SE 531942 C2 SE531942 C2 SE 531942C2
- Authority
- SE
- Sweden
- Prior art keywords
- image
- color
- contrast
- radiometric
- original
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000001914 filtration Methods 0.000 title claims description 15
- 230000002708 enhancing effect Effects 0.000 title description 4
- 230000002146 bilateral effect Effects 0.000 claims description 3
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Description
25 30 521V! H42 Det finns många tillfällen då man vill ha en bild med god kontrast som dessutom ger radiometrisk information. Till exempel vid sök- och räddningsoperationer (Search and Rescue, SAR), då man vill kunna upptäcka ett litet objekt på långt håll, en som fallit överbord till havs eller en vandrare som gått vilse på fjället. I dessa exempel vill man samtidigt ha koll på temperaturen för att slippa jaga en boj, en reflex, en sten eller dylikt. Man tar i dessa fall ibland till så kallade isotenner. Motsvarande situation råder i termografisarnmanhang där man vill tillföra spatiell upplösning på en radiometrisk bild. En liten förändring på en stor yta kan härigenom lokaliseras och exempelvis den exakta positionen fór en spricka i ett rör identifieras. Det är alltså en fördel om man i som operatör samtidigt kan urskilja detaljer och också veta fóremåls absoluta temperatur. Hittills har kraven på hög spatiell upplösning i kombination med hög dynamisk upplösning och bevarad radiometrisk information varit ofórenliga. Ändamålet med uppfinningen är att tillhandahålla en metod som ger en bild som uppvisar hög spatiell upplösning i kombination med hög dynamisk upplösning och radiometrisk information.
Uppfinningsändamålet uppnås genom en metod enligt första stycket kännetecknad av följande steg: a. tillgängliggörande av originalbilden i digital form. b. kaanaathöjaada fiiffafaada av den digitala afigiaaibiiaaa. c. konverterande av den digitala originalbilden till en radiometrisk fárgbild enligt en vald fárgpalett där varje fárg motsvarar en absolut signalnivå som i sin tur motsvarar en viss utstrålad eller reflekterad energi i det använda våglängdsbandet och där bilden representeras med ett format innefattande en luminanskomponent. d. skalande av den filtrerade kontrastförhöjda originalbilden med avseende på luminanskomponenten i den radiometriska fárgbilden. e. ersättande av luminanskomponenten i den radiometriska fárgbilden med den skalade filtrerade kontrastfórhöjda originalbildens luminanskomponent. 10 15 20 25 30 531 9112 Den patentsökta metoden innefattar dels en IR-tillämpande metod där man visualiserar utstrålad eller reflekterad energi/värrne med en fárgskala och där varje färg, givet kända eller antagna fysikaliska värden fór transmission, reflektion och atmosfárisk dämpning inom det uppmätta våglängdsområdet, svarar mot en absolut temperatur i scenen. Metoden innefattar dessutom en filtrerande metod där bilden filtreras för att öka kontrasten så att detaljer blir lättare att urskilja. Någon absolut temperatur kan dock inte utläsas baserat enbart på sistnämnda metod. Den patentsökta metoden kombinerar således dessa två metoder och skapar en kontrastrik bild där även absolut temperatur kan avläsas. Bilden får en ny dimension som möjliggör att mer information än tidigare kan utläsas.
Med fördel kan den syntetsikt alstrade pseudofárgbilden representeras i formatet YCbCr, där Y svarar mot luminansen och Cb och Cr svarar mot kromafárgskillnader.
Eftersom Cr- och Cb-komponentema i fárgbilden är desamma som i den ursprungliga radiometriska bilden kommer genom vår patentsökta metod färgkomponentema att vara desamma men luminansen har betydligt mer kontrast. Detta betyder att vi fortfarande har radiometrisk information i den grova fárgskalan. Ett objekt färgat rött är varmare än ett objekt färgat blått (om vi använder någon vanlig fárgpalett fór IR) och givet de antaganden som gjorts om fysikaliska egenskaper för värmestrålning i den avbildade scenen kan vi också säga vilken absolut temperatur den aktuella färgen svarar mot. Lokala variationer inom en färg har dock fått högre kontrast, vilket ger en tydligare bild med mer detaljrikedom.
Enligt ett fördelaktigt utförande av metoden utförs det kontrasthöjande filtrerandet enligt en metod kallad bilateral filtrering, se exempelvis artikeln ”Bilateral Filtering for Gray and Color Images” av Tomasi C och Manduchi R, Proceedings of the 1988 IEEE Intemational Conference on Computer Vision, Bombay, India . Metoden ökar den spatiella kontrasten på ett gyrmsamt sätt och har med framgång tidigare applicerats på IR-bilder.
Ett flertal andra kända metoder för kontrastfórhöj ande filtrerande är tänkbara och exempelvis kan den kontrastförhöjande filtreringen ske i frekvensdimensionen (Fouriertransforrn) genom att ta bort eller minska amplituden på de låga frekvenskomponenterna. På liknande sätt kan den lokala kontrasten höjas genom att applicera filter på en bild tranformerad enligt någon Wavelet-metod. 10 15 20 25 53'l HflZ Uppfmningen kommer nedan att beskrivas närmare under hänvisning till bifogad ritning som i schematisk flödesschemaform illustrerar metoden enligt uppfimiingen steg för steg.
Vid bildbehandlingen utgår vi från en originalbild som om ej redan i digital form digitaliseras i det med streckade linjer visade blocket l. Originalbilden i digital form betecknas med imorg. Den digitala originalbilden filtreras för att öka bildens kontrast.
Detta sker i ett block 2. F iltreringen kan utföras enligt artikeln refererad till ovan eller arman lämplig kontrastförhöjande metod. Den filtrerade bilden betecknas med imhc (high contrast) och har hög kontrast men saknar direkt koppling mellan signalnivå och från scenen uppmätt energi.
Parallellt med filtreringen av originalbilden utförs en konvertering av den digitala originalbilden till en syntetiskt, radiometrisk, pseudofárgbild. Detta sker i ett block 3 och den radiometriska fárgbilden betecknas med imrad. Konverteringen sker enligt en vald färgpalett så att, givet kända eller antagna fysikaliska förhållanden för det aktuella väglängdsbandet, varje färg motsvarar en absolut temperatur. Ett lämpligt föreslaget bildformat är det kända YCrCb-formatet. Y svarar därvid mot luminansen och Cb och Cr mot kromafärgskillnader.
I ett block 4 skalas bilden med förstärkt kontrast imhc på samma sätt som pseudofärgbilden så att den får samma spann (min- respektive maxvärde) som lurninanskomponenten Yimmd i den radiometriska fárgbilden imrad. Ett block 5 tillhandahåller den radiometriska färgbildens imrad luminanskomponent Yimrad för denna skalning.
I ett eñerföljande steg representerat av block 6 ersätts luminanskomponenten Yimrad i den radiometriska färgbilden imrad med den skalade luminanskomponenten Yimhwka; för den skalade filtrerade kontrastförhöjda originalbilden och en bild imradhc med hög lokal kontrast och därmed hög spatiell upplösning i kombination med referens (via fárgkomponent) till absolut scentemperatur inom hela temperaturomrädet och därmed hög dynamisk upplösning har erhållits. 10 531 542 Efiersom Cr- och Cb-komponentema i den slutliga bilden ímradhc är desamma som i den ursprungliga radiometriska bilden imrad kommer fárgema, frånsett deras luminanskomponent, att vara desamma men luminansen Yimhflka; kommer att ha betydligt mer lokal kontrast. Detta betyder att vi fortfarande har radiometrisk information i den grova fargskalan. Ett objekt färgat rött är varmare än ett objekt färgat blått om vi i pseudofárgbilden använder en palett där rött är varmare än blått och vi kan också, givet de fysikaliska förutsättningarna, ange vilken absolut temperatur den färgen svarar mot. Lokala variationer inom en fárg har dock fått högre kontrast resulterande i en tydligare bild med mer detaljrikedom.
Uppfinningen är inte begränsad till det i ovanstående såsom exempel beskrivna utförandet utan kan underkastas modifikationer inom ramen fór efterföljande patentkrav. Exempelvis kan andra kontrasttörhöjande filtreringsmetoder användas.
Vidare kan andra bildformat än YCrCb-formatet användas.
Claims (5)
1. Metod för bildbehandling innefattande flltrering och konvertering till radiometrisk fárgbild utgående från en originalbild, kännetecknad av följande steg: tillgängliggörande av originalbilden i digital form. b. kontrasthöjande filtrerande av den digitala originalbilden. c. konverterande av den digitala originalbilden till en radiornetrisk pseudofárgbild enligt en vald íärgpalett där varje färg motsvarar en absolut uppmätt utstrålad eller reflekterad energimängd inom ett visst våglängdsband och där bilden representeras med ett format innefattande en luminanskomponent. d. skalande av den filtrerade kontrastfórhöjda originalbilden med avseende på luminanskomponenten i den radiometriska fárgbilden. e. ersättande av luminanskomponenten i den radiometriska fargbilden med den skalade filtrerade kontrastfórhöj da bilden.
2. Metod enligt patentkravet 1, kännetecknar! av att den konverterade fárgbilden representeras i formatet YCbCr, där Y svarar mot luminansen och Cb och Cr svarar mot kromafárgskillnader.
3. Metod enligt något av föregående patentkrav, kännetecknar! av att det kontrasthöj ande filtrerandet utförs under utnyttjande av bilateral filtrering.
4. Metod enligt något av föregående patentkrav 1-2, kännetecknad av att det kontrasthöjande filtrerandet utförs i frekvensdimensionen.
5. Metod enligt något av föregående patentkrav 1-2, kännetecknad av att lokala kontraster höjs genom att applicera filter på en bild transforinerad enligt någon Wavelet-rnetod.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0700240A SE531942C2 (sv) | 2007-02-01 | 2007-02-01 | Metod för bildbehandling av IR-bilder innefattande kontrastförhöjande filtrering |
US12/525,571 US8340414B2 (en) | 2007-02-01 | 2008-01-30 | Method for enhancing contrast in infrared images |
PCT/SE2008/000082 WO2008094102A1 (en) | 2007-02-01 | 2008-01-30 | Method for enhancing contrast in infrared images |
EP08705252.8A EP2115696B1 (en) | 2007-02-01 | 2008-01-30 | Method for enhancing contrast in infrared images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0700240A SE531942C2 (sv) | 2007-02-01 | 2007-02-01 | Metod för bildbehandling av IR-bilder innefattande kontrastförhöjande filtrering |
Publications (2)
Publication Number | Publication Date |
---|---|
SE0700240L SE0700240L (sv) | 2008-08-02 |
SE531942C2 true SE531942C2 (sv) | 2009-09-15 |
Family
ID=39674310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
SE0700240A SE531942C2 (sv) | 2007-02-01 | 2007-02-01 | Metod för bildbehandling av IR-bilder innefattande kontrastförhöjande filtrering |
Country Status (4)
Country | Link |
---|---|
US (1) | US8340414B2 (sv) |
EP (1) | EP2115696B1 (sv) |
SE (1) | SE531942C2 (sv) |
WO (1) | WO2008094102A1 (sv) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
US9843742B2 (en) | 2009-03-02 | 2017-12-12 | Flir Systems, Inc. | Thermal image frame capture using de-aligned sensor array |
US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
US9235876B2 (en) | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Row and column noise reduction in thermal images |
US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
KR101161979B1 (ko) * | 2010-08-19 | 2012-07-03 | 삼성전기주식회사 | 나이트 비전용 영상 처리 장치 및 방법 |
CN103748867B (zh) | 2011-06-10 | 2019-01-18 | 菲力尔系统公司 | 低功耗和小形状因子红外成像 |
US9143703B2 (en) | 2011-06-10 | 2015-09-22 | Flir Systems, Inc. | Infrared camera calibration techniques |
CA2838992C (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Non-uniformity correction techniques for infrared imaging devices |
WO2014100787A1 (en) * | 2012-12-21 | 2014-06-26 | Flir Systems, Inc. | Compact multi-spectrum imaging with fusion |
US9930324B2 (en) | 2014-08-05 | 2018-03-27 | Seek Thermal, Inc. | Time based offset correction for imaging systems |
WO2016022374A1 (en) | 2014-08-05 | 2016-02-11 | Seek Thermal, Inc. | Local contrast adjustment for digital images |
US9924116B2 (en) | 2014-08-05 | 2018-03-20 | Seek Thermal, Inc. | Time based offset correction for imaging systems and adaptive calibration control |
WO2016028755A1 (en) | 2014-08-20 | 2016-02-25 | Seek Thermal, Inc. | Adaptive adjustment of operating bias of an imaging system |
US9595934B2 (en) | 2014-08-20 | 2017-03-14 | Seek Thermal, Inc. | Gain calibration for an imaging system |
US10547820B2 (en) | 2014-09-12 | 2020-01-28 | Seek Thermal, Inc. | Selective color display of a thermal image |
WO2016040566A1 (en) | 2014-09-12 | 2016-03-17 | Seek Thermal, Inc. | Selective color display of a thermal image |
CN104217407A (zh) * | 2014-09-30 | 2014-12-17 | 成都市晶林科技有限公司 | 非制冷红外焦平面探测器伪彩变换方法 |
US10467736B2 (en) | 2014-12-02 | 2019-11-05 | Seek Thermal, Inc. | Image adjustment based on locally flat scenes |
US9947086B2 (en) | 2014-12-02 | 2018-04-17 | Seek Thermal, Inc. | Image adjustment based on locally flat scenes |
US10600164B2 (en) | 2014-12-02 | 2020-03-24 | Seek Thermal, Inc. | Image adjustment based on locally flat scenes |
US9549130B2 (en) | 2015-05-01 | 2017-01-17 | Seek Thermal, Inc. | Compact row column noise filter for an imaging system |
US10867371B2 (en) | 2016-06-28 | 2020-12-15 | Seek Thermal, Inc. | Fixed pattern noise mitigation for a thermal imaging system |
US10605668B2 (en) | 2016-12-20 | 2020-03-31 | Seek Thermal, Inc. | Thermography process for converting signal to temperature in a thermal imaging system |
US10890490B2 (en) | 2016-12-20 | 2021-01-12 | Seek Thermal, Inc. | Thermography process for converting signal to temperature in a thermal imaging system |
US11113791B2 (en) | 2017-01-03 | 2021-09-07 | Flir Systems, Inc. | Image noise reduction using spectral transforms |
US10699386B2 (en) * | 2017-06-05 | 2020-06-30 | Adasky, Ltd. | Techniques for scene-based nonuniformity correction in shutterless FIR cameras |
US10511793B2 (en) * | 2017-06-05 | 2019-12-17 | Adasky, Ltd. | Techniques for correcting fixed pattern noise in shutterless FIR cameras |
US10819919B2 (en) | 2017-06-05 | 2020-10-27 | Adasky, Ltd. | Shutterless far infrared (FIR) camera for automotive safety and driving systems |
US10929955B2 (en) | 2017-06-05 | 2021-02-23 | Adasky, Ltd. | Scene-based nonuniformity correction using a convolutional recurrent neural network |
US11012594B2 (en) * | 2017-06-05 | 2021-05-18 | Adasky, Ltd. | Techniques for correcting oversaturated pixels in shutterless FIR cameras |
US10848725B2 (en) | 2017-08-04 | 2020-11-24 | Seek Thermal, Inc. | Color display modes for a thermal imaging system |
US11276152B2 (en) | 2019-05-28 | 2022-03-15 | Seek Thermal, Inc. | Adaptive gain adjustment for histogram equalization in an imaging system |
CN110675351B (zh) * | 2019-09-30 | 2022-03-11 | 集美大学 | 一种基于全局亮度自适应均衡化的海上图像处理方法 |
CN111325700B (zh) * | 2020-02-26 | 2023-07-21 | 无锡久仁健康云科技有限公司 | 基于彩色图像的多维度融合方法和系统 |
US11995808B2 (en) | 2020-09-04 | 2024-05-28 | Abova, Inc | Method for X-ray dental image enhancement |
US11978181B1 (en) | 2020-12-11 | 2024-05-07 | Nvidia Corporation | Training a neural network using luminance |
US11637998B1 (en) * | 2020-12-11 | 2023-04-25 | Nvidia Corporation | Determination of luminance values using image signal processing pipeline |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2633746A1 (fr) * | 1988-07-01 | 1990-01-05 | Labo Electronique Physique | Methode numerique de modification d'image et systeme de mise en oeuvre |
US5249241A (en) * | 1991-07-09 | 1993-09-28 | The United States Of America As Represented By The Secretary Of The Air Force | Real-time automated scene display for infrared cameras |
US7194107B2 (en) * | 2003-06-30 | 2007-03-20 | The Boeing Company | System and method for augmented thermal imagery |
JP2005260517A (ja) * | 2004-03-11 | 2005-09-22 | Sanyo Electric Co Ltd | 画像信号処理装置 |
US7450754B2 (en) * | 2004-03-23 | 2008-11-11 | Microsoft Corporation | Radiometric calibration from a single image |
US20060126959A1 (en) * | 2004-12-13 | 2006-06-15 | Digitalglobe, Inc. | Method and apparatus for enhancing a digital image |
JP4534756B2 (ja) * | 2004-12-22 | 2010-09-01 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体 |
-
2007
- 2007-02-01 SE SE0700240A patent/SE531942C2/sv not_active IP Right Cessation
-
2008
- 2008-01-30 US US12/525,571 patent/US8340414B2/en active Active
- 2008-01-30 EP EP08705252.8A patent/EP2115696B1/en not_active Not-in-force
- 2008-01-30 WO PCT/SE2008/000082 patent/WO2008094102A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2008094102A1 (en) | 2008-08-07 |
US8340414B2 (en) | 2012-12-25 |
EP2115696A4 (en) | 2012-06-20 |
SE0700240L (sv) | 2008-08-02 |
EP2115696A1 (en) | 2009-11-11 |
EP2115696B1 (en) | 2013-04-17 |
US20100111412A1 (en) | 2010-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
SE531942C2 (sv) | Metod för bildbehandling av IR-bilder innefattande kontrastförhöjande filtrering | |
CN103198463B (zh) | 基于整体结构和空间细节信息融合的光谱图像全色锐化方法 | |
US20140340515A1 (en) | Image processing method and system | |
KR101563348B1 (ko) | 영상의 노이즈를 저감하는 영상 처리 장치 및 방법 | |
CN106101588B (zh) | 全景图像渐晕现象的补偿方法 | |
TW200838285A (en) | Image processing apparatus, image capturing apparatus, image processing method in these apparatuses, and program allowing computer to execute the method | |
CN107784631B (zh) | 图像去模糊方法及装置 | |
CN102685511A (zh) | 图像处理设备和图像处理方法 | |
JP4442413B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
TWI528815B (zh) | 可降低影像雜訊之影像處理方法 | |
KR101257946B1 (ko) | 영상의 색수차를 제거하는 장치 및 그 방법 | |
CN103236047B (zh) | 一种基于替换分量拟合的全色与多光谱图像融合方法 | |
Miyake et al. | Obtaining and reproduction of accurate color images based on human perception | |
Pal et al. | Defogging of visual images using SAMEER-TU database | |
JP2012227758A (ja) | 画像信号処理装置及びプログラム | |
KR100989760B1 (ko) | 이미지 처리 장치, 이미지 처리 장치의 노이즈 제거 방법 및 노이즈 제거 방법이 기록된 기록매체 | |
JP6375138B2 (ja) | パープルフリンジ除去処理方法及びその処理を遂行するパープルフリンジ除去処理装置 | |
CN106097312B (zh) | 一种基于机器视觉的手套撕破和油污检测方法 | |
JP6441379B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
TW201735645A (zh) | 用於處理由彩色影像擷取矩陣產生的信號的方法以及相應的感測器 | |
Asiq et al. | Efficient colour filter array demosaicking with prior error reduction | |
JPH0668253A (ja) | 画像の鮮鋭度測定方法及び装置 | |
CN104506784A (zh) | 基于方向插值修正的贝尔格式图像坏行消除方法 | |
KR20130000537A (ko) | 퍼플 프린징 보정 장치 및 방법 | |
Yahaghi et al. | Enhanced radiographic imaging of defects in aircraft structure materials with the dehazing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
NUG | Patent has lapsed |