NO340705B1 - Fremgangsmåte og innretning for å detektere et luftspenn fra et luftfartøy - Google Patents

Fremgangsmåte og innretning for å detektere et luftspenn fra et luftfartøy Download PDF

Info

Publication number
NO340705B1
NO340705B1 NO20141554A NO20141554A NO340705B1 NO 340705 B1 NO340705 B1 NO 340705B1 NO 20141554 A NO20141554 A NO 20141554A NO 20141554 A NO20141554 A NO 20141554A NO 340705 B1 NO340705 B1 NO 340705B1
Authority
NO
Norway
Prior art keywords
lines
aircraft
images
accordance
line
Prior art date
Application number
NO20141554A
Other languages
English (en)
Other versions
NO20141554A1 (no
Inventor
Aasmund Barikmo
Arne Sommerfelt
Original Assignee
Kleon Prosjekt As
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kleon Prosjekt As filed Critical Kleon Prosjekt As
Priority to NO20141554A priority Critical patent/NO340705B1/no
Priority to TR2019/00575T priority patent/TR201900575T4/tr
Priority to US15/537,971 priority patent/US10372986B2/en
Priority to DK15834763.3T priority patent/DK3238173T3/en
Priority to SI201530553T priority patent/SI3238173T1/sl
Priority to HUE15834763A priority patent/HUE043020T2/hu
Priority to PCT/IB2015/059875 priority patent/WO2016103173A1/en
Priority to PT15834763T priority patent/PT3238173T/pt
Priority to EP15834763.3A priority patent/EP3238173B1/en
Priority to CA2969644A priority patent/CA2969644C/en
Priority to ES15834763T priority patent/ES2705431T3/es
Priority to PL15834763T priority patent/PL3238173T3/pl
Publication of NO20141554A1 publication Critical patent/NO20141554A1/no
Publication of NO340705B1 publication Critical patent/NO340705B1/no
Priority to HRP20190081TT priority patent/HRP20190081T1/hr

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Electric Cable Installation (AREA)

Description

TEKNISK OMRÅDE
Oppfinnelsen vedrører en fremgangsmåte og en innretning for å detektere et luftspenn fra et luftfartøy.
BAKGRUNN
Det forekommer fra tid til annen fatale ulykker som følge av at et luftfartøy, særlig et helikopter, kommer i kontakt med luftspenn slik som kraftledninger og telekommunikasjonsledninger. Spesielt er det en utfordring å unngå slike luftspenn i forbindelse med landing av luftfartøyet i terreng som er nytt og ukjent for piloten.
Luftspenn har ofte så små dimensjoner (liten bredde) at de er vanskelige å observere med det blotte øye.
Tradisjonelt har helikoptermannskapet unngått luftspenn ved bruk av kart der kjente luftspenn er avmerket. Slike kart er imidlertid ikke alltid fullstendige og oppdaterte.
Innen faget er det derfor et generelt behov for fremgangsmåter og innretninger for å detektere luftspenn fra et luftfartøy.
Det er tidligere blitt utviklet løsninger for å detektere luftspente ledninger fra et luftfartøy, der løsningen er basert på bruk av kamera og bildebehandlingsteknikker som prosesserer bildet som er opptatt av kameraet.
For eksempel viser EP-1 908 010 et system og en fremgangsmåte for passiv deteksjon av ledninger fra et helikopter. Et digitalt bilde tas fra helikopteret. Først preprosesseres det digitale bildet for å redusere støy som ikke likner ledninger. Deretter identifiseres piksler som kan klassifiseres som ledning ved hjelp av en segment-finner-modul. Videre linkes de identifiserte pikslene, i en linker-modul, for å bestemme om en ledningsliknende struktur er til stede. Dette genererer et lednings-overlegg. Linkermodulen omfatter romlige og temporale filtre. Det romlige filteret eliminerer trekk ved bildet som ikke er konsistente med ledninger, mens det temporale filteret eliminerer piksler som ikke oppfyller en minimal bilde-til-bilde-persistens. Ved deteksjon av ledning varsles piloten.
Ved slike varslingssystemer er det ønskelig å forbedre sikkerheten for at varsling skjer når et luftspenn faktisk er til stede. Samtidig er det ønskelig å unngå at varsling skjer når et luftspenn ikke er til stede.
Det er en hensikt ved oppfinnelsen å tilveiebringe en forbedret fremgangsmåte og innretning for å detektere luftspenn fra et luftfartøy.
SAMMENFATNING
I henhold til oppfinnelsen er det tilveiebrakt en fremgangsmåte og en innretning for å detektere et luftspenn fra et luftfartøy, slik det er angitt i patentkravene.
I henhold til oppfinnelsen, sammenliknet med tidligere kjente løsninger, oppnås blant annet en reduksjon i risikoen for at objekter som avbildes som en linje i bildet opptatt av kameraet, feilaktig detekteres som et luftspenn dersom objektet i realiteten befinner seg på bakkenivå. Dette kan være tilfelle dersom objektet er en veikant, fortauskant, en ledning eller slange som ligger på bakken, osv.
Oppfinnelsen innebærer derfor en klar forbedring over den tidligere kjente teknikk, og utgjør et fordelaktig sikkerhetshjelpemiddel, særlig for bruk ved landing av luftfartøyer.
KORT BESKRIVELSE AV TEGNINGENE
Oppfinnelsen skal beskrives i nærmere detalj, ved hjelp av
eksempelutførelsesformer, og med henvisning til tegningene.
Fig. 1 er en skjematisk figur som illustrerer prinsipper ved en fremgangsmåte og innretning for å detektere et luftspenn fra et luftfartøy. Fig. 2 er et skjematisk flytskjema som illustrerer en fremgangsmåte for å detektere et luftspenn fra et luftfartøy. Fig. 3 er et skjematisk blokkdiagram som illustrerer en innretning for å detektere et luftspenn fra et luftfartøy. Fig. 4A og 4B er skjematiske flytskjemaer som illustrerer detaljer ved et linj edeteksj onstrinn. Fig. 5 er en skjematisk figur som angir ytterligere trekk ved linj edeteksj onstrinnet illustrert i fig. 4A og 4B.
DETALJERT BESKRIVELSE AV UTFØRELSESFORMER
Fig. 1 er en skjematisk figur som illustrerer prinsipper ved en fremgangsmåte og innretning for å detektere et luftspenn fra et luftfartøy.
Med luftspenn skal i oppfinnelsens forstand forstås ledninger, kabler, wire og tråder som er opphengt i avstand over bakkenivå, for eksempel mellom stolper eller andre faste strukturer. Luftspenn omfatter derfor både kraftledninger, kommunikasjonsledninger, og kjøreledninger for jernbane eller sporvogn, men også enhver liknende type tynne, langstrakte objekter opphengt over bakkenivå.
Fig. 1 illustrerer et luftfartøy i form av et helikopter 110, som er i bevegelse, ved en viss høyde over bakken 120. En første posisjon A og en andre posisjon B er angitt for helikopteret 110. Posisjonene A og B er assosiert med respektive første og andre tidspunkter. Helikopteret 110 er derfor i bevegelse mellom posisjonene A og B i løpet av den perioden fremgangsmåten for å detektere et luftspenn utføres.
Et kamera er anordnet i helikopteret 110. Fordelaktig er kameraet anordnet slik at dets synsfelt i det vesentlige er rettet loddrett ned mot bakken.
En luftspent ledning, nærmere bestemt dets tverrsnitt, er vist ved 130. Ledningen befinner seg vesentlig høyere enn nivået for bakken 120, for eksempel ved en høyde i størrelsesorden 2-40 meter over bakkenivået, eller mer spesifikt 3-20 meter over bakkenivået.
Når piloten skal lande helikopteret 110 på et område på bakken 120, er det avgjørende å unngå kollisjon med ethvert luftspenn, slik som den luftspente ledningen 130.
Visse objekter på bakkens nivå, slik som eksempelvis en veikant, en fortauskant, en ledning eller slange som ligger direkte på bakken, vil fremstå som en linje både i pilotens synsfelt og i et bilde som opptas av kameraet. Den luftspente ledningen 130 vil også fremstå som en linje både i pilotens synsfelt og i et bilde som opptas av kameraet.
For å skjelne mellom slike objekter på bakkenivå og et luftspenn, opptas i samsvar med oppfinnelsen, ved hjelp av kameraet, et flertall bilder av området under helikopteret mens det er i bevegelse. I figur 1 er det illustrert at det opptas to bilder. Et første bilde 140, tatt ved det første tidspunkt, der helikopteret befinner seg i posisjonen A, representerer et første område A' på bakken. Et andre bilde 150, tatt ved det andre tidspunkt, der helikopteret befinner seg i posisjonen B, representerer et andre område B' på bakken.
I henhold til oppfinnelsen detekteres linjer i begge bildene. En linje 148 er illustrert i det første bildet 140, og en linje 158 er illustrert i det andre bildet 150.
Videre bestemmes om de detekterte linjene 148, 158 representerer linjer på bakkenivå eller linjer på et høyere nivå enn bakkenivå.
Denne bestemmelsen kan gjøres ved hjelp av parallakseberegning. Da identifiseres sammenhørende par av linjer 148, 158 fra henholdsvis det første blidet 140 og det andre bildet 150. Videre identifiseres en bakgrunn i hvert av de første og andre bilder, assosiert med parene av linjer. En slik bakgrunn er illustrert ved arealene 142, 144 i det første bildet 140 og ved arealene 152, 154 i det andre bildet 150. Videre bestemmes om en linje og dens assosierte bakgrunn har forskjøvet seg mer enn en forhåndsbestemt grense fra det første bildet 140 til det andre bildet 150. Hvis dette er tilfelle, bestemmes at linjen representerer en linje på et høyere nivå enn bakkenivå, det vil si at den representerer et mulig luftspenn.
I fig. 1 skal det forstås at linjen 158 i det andre bildet 150 har forskjøvet seg signifikant mot høyre i forhold til dens assosierte bakgrunn 152, 154, sammenlignet med linjen 148 i forhold til dens assosierte bakgrunn 142, 144 i det første bildet 140.
Derfor kan det fastslås at linjene 148, 158 representerer et mulig luftspenn. I henhold til fremgangsmåten kan det da avgis et varsel. Dette medfører at piloten settes i stand til å ta sikkerhetsmessige forholdsregler, slik som å avbryte landingsprosedyren.
Hadde de detekterte linjene i det første og andre bildet i stedet vært forårsaket av et objekt på bakkenivå, slik som for eksempel en fortauskant, ville det ikke oppstått slik forskyvning, og fremgangsmåten ville ikke resultert i deteksjon av mulig luftspenn.
En eksempelvis terskelverdi for deteksjon av signifikant parallakseforskyvning kan beregnes etter mønster av det følgende: Høyden over bakkenivået på luftspennet betegnes h, og høyden til helikopteret betegnes H. Forskyvningen av hele bildet, som skyldes vesentlig horisontal forflytning av helikopteret, betegnes q. Luftspennets parallakse mot bakken er da gitt som: p = hq/(H-h). Luftspennets høyde kan settes til et minimum, f.eks. h=2 m. Helikopterets høyde H kan enten angis av pilot eller hentes fra andre instrumenter, inkl. GPS-data, hvor både helikopeterts høyde over havet og bakkens høyde over havet tas hensyn til. Her er det verdt å merke seg at parallaksen stiger når helikopteret synker, altså er man på den trygge siden dersom man angir for stor H. Verdien q for forskyvning av bildet kan estimeres fra de to aktuelle bildene ved en bildebehandlingsteknikk, f.eks. kjent som bevegelsesdeteksjon («motion detection»). Som regneeksempel er det funnet at parallaksen kan tilsvare 6 piksler ved bruk av et 1000x1000 piksel-kamera fra høyde H=200m når bildeutsnittet er forskjøvet 20% mellom det første og det andre bildet.
Fig. 2 er et skjematisk flytskjema som illustrerer en fremgangsmåte 200 for å detektere et luftspenn fra et luftfartøy.
Fremgangsmåten 200 kan fordelaktig utføres av en prosessorinnretning, slik som en mikroprosessor eller en mikrokontroller, som kan være inneholdt i en innretning for å detektere et luftspenn fra et luftfartøy. En slik innretning kan i tillegg til prosesseringsinnretningen omfatte bl.a. et kamera. Prosesseringsinnretningen og innretningen for å detektere et luftspenn fra et luftfartøy er nærmere beskrevet med henvisning til fig. 3 nedenfor.
Fremgangsmåten 200 starter ved initialtrinnet 210.
Først utføres et trinn 220 for å tilveiebringe et flertall bilder av et område under luftfartøyet. Bildene tilveiebringes fra et kamera anordnet i luftfartøyet, mens luftfartøyet er i bevegelse.
Særlig fordelaktig omfatter trinnet 220 å tilveiebringe, fra kameraet, et første og et andre bilde ved henholdsvis et første og et andre tidspunkt, idet luftfartøyet er i bevegelse mellom det første og andre tidspunkt.
Når bildene er innhentet fra kameraet, utføres et linj edeteksj onstrinn 230, hvor linjer i de tilveiebrakte bildene detekteres.
Særlig fordelaktig omfatter trinnet 230 med å detektere linjer i bildene en modifisert SUSAN-algoritme.
SUS AN (Smallest Univalue Segment Assimilating Nucleus) er et kjent prinsipp innen digital bildebehandling, for deteksjon eller ekstrahering av bestemte trekk, særlig kanter og hjørner, i et bilde. Det konvensjonelle SUSAN-prinsippet er f.eks. beskrevet i S. M. Smith og J. M. Brady: "SUSAN - a new approach to low level image processing", International Journal of Computer Vision archive Volume 23 Issue 1, mai 1997, s. 45-78.
Den her beskrevne prosedyren er ny og vesentlig modifisert, sammenliknet med den kjente SUSAN-algoritmen, for å tilpasses det foreliggende anvendelsesområdet, nemlig deteksjon av luftspenn fra et luftfartøy. Den beskrevne modifiserte SUSAN-algoritmen kan imidlertid også anvendes i andre sammenhenger der det er behov for å detektere linjer i et digitalt bilde.
I dette tilfellet kan den modifiserte SUSAN-algoritmen omfatte, for hvert av de tilveiebrakte bildene:
- å tilveiebringe et sirkulært nabolag omkring en senterpiksel,
- å sammenligne senterpiksel ens verdi med verdier for andre piksler innenfor nabolaget, - å definere et USAN-areal som de piksler i nabolaget som har verdi i det vesentlige lik senterpikselen,
- å bestemme en geometri for USAN-arealet, og
- å anse en linje som detektert når USAN-areal ets geometri oppfyller et forhåndsbestemt vilkår.
En slik utførelse av fremgangsmåten, der deteksjonstrinnet 230 innbefatter en modifisert SUSAN-algoritme, kan videre omfatte
å bestemme en retning for USAN-arealet, og
å la USAN-areal ets retning bestemme linjens retning.
USAN-areal ets retning kan bestemmes ved egenverdidekomposisjon.
Ytterligere mulige egenskaper og trekk ved linj edeteksj onstrinn et 230, spesielt den modifiserte SUSAN-algoritmen, fremgår nedenfor ved henvisning til figur 3A og 3B.
Med henvisning tilbake til fig. 2 utføres videre et bestemmelsestrinn 240, hvor det bestemmes om linjene som er detektert i trinn 230, representerer linjer på bakkenivå eller linjer på et høyere nivå enn bakkenivå.
Bestemmelsestrinnet 240 kan omfatte parallakseberegning. Dette kan for eksempel oppnås ved at bestemmelsestrinnet 240 omfatter: å identifisere sammenhørende par av linjer fra henholdsvis det første og andre bildet; å identifisere en bakgrunn i hvert av de første og andre bilder, assosiert med parene av linjer, og å bestemme om en linje og dens assosierte bakgrunn har forskjøvet seg mer enn en forhåndsbestemt grense fra det første bildet til det andre bildet. Hvis dette er tilfelle, omfatter bestemmelsestrinnet 240 videre å bestemme at linjen representerer en linje på et høyere nivå enn bakkenivå.
Deretter utføres trinnet 250, hvor det bestemmes at en linje på et høyere nivå enn bakkenivå representerer et mulig luftspenn.
I en utførelse kan fremgangsmåten 200 videre omfatte innhenting av posisjons- eller bevegelsesdata for luftfartøyet. I dette tilfellet kan trinnet med å bestemme at linjen representerer en linje på et høyere nivå enn bakkenivå, videre utnytte de innhentede posisjons- eller bevegelsesdataene.
I en utførelse er bildene fargebilder. I dette tilfellet kan trinnet med å detektere linjer i bildene omfatter betraktning av farge for piksler i bildene. Betraktningen av farge kan fordelaktig innebære transformasjon fra et første fargerom til et andre fargerom. En hensiktsmessig transformasjon vil være å gå fra de ubehandlede spektrale intensitetsverdiene rød/grønn/blå (RGB) som ofte er det formatet kameraer leverer pikseler i, til tre verdier for farge, metning og intensitet (HSI) som er hensiktsmessig i bildebehandling. Betraktningen av farge kan fordelaktig innebære bruk av avstandsmål som vektlegger fargeforskjeller som opptrer oftere mellom linjer og deres bakgrunn. Dette kan dynamisk tilpasses den generelle bakgrunnsfargen. Eksempelvis kan man over en fotballbane som er en overveiende grønn bakgrunn, legge vekt på alle piksler som ikke er grønne.
Den beskrevne fremgangsmåten 200 kan i enhver beskrevet utførelse fordelaktig utføres under en landingsforberedende prosedyre for luftfartøyet, spesielt helikopteret.
Kameraet kan hensiktsmessig være anordnet i luftfartøyet på en slik måte at kameraets synsfelt i det vesentlige er rettet loddrett ned mot bakken.
Fremgangsmåten 200 kan i enhver beskrevet utførelse videre omfatte å avgi et varsel når et luftspenn detekteres.
Fig. 3 er et skjematisk blokkdiagram som illustrerer en innretning for å detektere et luftspenn fra et luftfartøy, for eksempel et helikopter. Ved bruk er innretningen anordnet i eller på luftfartøyet. I et mulig aspekt kan oppfinnelsen vedrøre et luftfartøy, for eksempel et helikopter, som omfatter en slik innretning for å detektere et luftspenn fra luftfartøyet.
Innretningen for å detektere et luftspenn fra et luftfartøy omfatter et kamera, fortrinnsvis et digitalt kamera for opptak av stillbilder i farger. Kameraet kan f.eks. ha en bildeoppløsning i størrelsesorden 1-50 megapiksler, og er forsynt med passende optikk, lukker etc. Kameraet er fortrinnsvis anordnet i helikopteret slik at dets synsfelt er rettet i det vesentlige loddrett ned mot bakken, i det minste ved helikopterets regulære, horisontale orientering i rommet.
Kameraet er kommunikasjonsmessig forbundet til en prosesseringsinnretning, angitt i fig. 3 som «datamaskin». Prosesseringsinnretningen er innrettet for både å kontrollere kameraet, særlig å utløse fotografering, og å innhente data fra kameraet. Prosesseringsinnretningen er innrettet for å utføre en fremgangsmåte som beskrevet i den foreliggende spesifikasjonen. Dette kan oppnås ved hjelp av et datamaskinprogram som er lagret i et minne forbundet til prosesseringsenheten. Datamaskinprogrammet omfatter datamaskininstruksjoner som forårsaker at prosesseringsenheten utfører den beskrevne fremgangsmåten.
Prosesseringsenheten omfatter eller er forbundet til minst et minne for lagring av bl.a. programinstruksjoner og data. Minnet kan omfatte et flyktig lese- og skriveminne (RAM), særlig for lagring av midlertidige data, og et ikke-flyktig leseminne, særlig for lagring av programinstruksjoner og andre faste data (ROM, Flash, etc).
Valgfritt kan prosesseringsenheten videre være kommunikasjonsmessig forbundet til en varslingsenhet, som er innrettet for å gi et visuelt og/eller lydmessig varsel, for eksempel til piloten, i det tilfellet at et mulig luftspenn detekteres. Det visuelle varselet kan fordelaktig innbefatte å avmerke en linje som samsvarer med den detekterte linjen i et kart eller i et bilde som fremvises til piloten. I tilfellet av et bilde kan bildet være innhentet ved kameraet og fremvist på et display. I tilfellet av et kart kan kartet være innhentet fra lagrede kartdata og fremvist på et display.
Alternativt kan varselet være et enkelt visuelt og/eller lydmessig varsel, f.eks. gitt ved en kontrollampe og/eller et lydsignal
Valgfritt kan prosesseringsenheten videre være kommunikasjonsmessig forbundet til en eller flere posisjonsdataenheter. En posisjonsdataenhet kan være en GPS-modul, som fremskaffer globale posisjonsdata, og/eller aksellerometer som måler helikopterets orientering i forhold til loddlinjen og hastighetsendringer.
Valgfritt kan innretningen videre omfatte, eller være forbundet til, minst en belysningsenhet, for eksempel lyskastere anordnet på luftfartøyet for å belyse et område under luftfartøyet.
Fig. 4A og 4B er skjematiske flytskjemaer som illustrerer detaljer ved et linj edeteksj onstrinn.
Slik det er beskrevet med henvisning til fig. 2, omfatter fremgangsmåten 200 et linj edeteksj onstrinn 230 for å detektere linjer i de opptatte bildene fra kameraet.
Fig. 4A og 4B, som skal sees i sammenheng, illustrerer en mulig prosedyre for å implementere deteksjon av en eller flere linjer i et bilde. Det skal imidlertid forstås at andre prosedyrer, metoder eller algoritmer for å detektere linjer i bilder er velkjent for fagfolk, og at andre slike prosedyrer, metoder eller algoritmer alternativt kan anvendes i fremgangsmåten 200, og spesielt i linj edeteksj onstrinnet 230 i fremgangsmåten 200.
Fig. 4A starter med tilveiebringelsen av et bilde, f.eks. et fargebilde, svarende til trinn 120 illustrert i fig. 2.
For hvert piksel i bildet beregnes et kjerneområde betegnet US AN, dvs. «Univalue Segment Assimilating Nucleus».
Videre beregnes tyngdepunktet og kovariansmatrisen for kjerneområdet US AN, samt egenverdidekomposisjonen av den resulterende kovariansmatrisen.
Deretter sammenliknes de beregnede egenskapene, dvs. resultatet av egenverdidekomposisjonen, med lagrede terskelverdier, og det beregnes en score-verdi som sier i hvilken grad piksel et likner på en linje.
Videre beregnes vinkelen på linjen, gitt av retningen på egenvektoren som hører til den største egenverdien.
Som resultat av dette fremkommer et linje-score-bilde og et linj e-vinkel-bilde.
Prosedyren for linj edeteksj on fortsetter videre i fig. 4B, som tar utgangspunkt i linje-score-bildet og linj e-vinkel-bildet fremkommet fra fig. 4A.
I prosedyren utføres et trinn for å danne en liste over de piksler i score-bildet som har en verdi over en gitt terskelverdi. Videre grupperes piksler i listen som har lik eller vesentlig lik vinkel, og som ligger med en viss tetthet på samme linje.
Deretter beregnes en gruppe-score, basert på antall piksler og de enkelte linje-score-verdiene.
Til slutt filtreres ut de grupper som har score over en gitt terskelverdi. Disse gruppene anses som detekterte linjer i bildet.
De detekterte linjer, eller den detekterte linjen, er derved fremkommet.
Fig. 5A og 5B er skjematisk figurer som angir ytterligere trekk ved linj edeteksj onstrinnet illustrert i fig. 4 A og 4B.
I fig. 5A er det angitt et eksempelvis bildeutsnitt på 20x20 piksler, med tre utvalgte, sirkulære nabolag betegnet A, B og C. Trådkorsene indikerer senterpikslene for nabolagene. Linj edeteksj onstrinn ets oppgave er å detektere en linje i det eksempelvise bildeutsnittet.
I fig. 5B illustrerer sorte piksler et kjerneområde, dvs. et USAN-areale, for hvert av de tre sirkulære nabolagene A, B, C vist i fig. 5A. Ellipsene illustrert i fig. 5B viser USAN-arealets tyngdepunkt (ellipsens sentrum) og spredningsretning. Disse er beregnet ved egenverdidekomposisjon.
Når ellipsen assosiert med USAN-arealet har en tilstrekkelig flattrykthet, dvs. at ellipsens lille halvakse er tilstrekkelig liten i forhold til ellipsens store halvakse, bestemmes at den undersøkte gruppen av piksler er detektert som en linje.
I figur 5A og 5B vil derved pikslene i de sirkulære nabolagene omkring punktene A og B ikke detekteres som en linje, mens pikslene i det sirkulære nabolaget omkring punktet C vil detekteres som en linje.
Det skal forstås at den detaljerte beskrivelsen er gitt som eksempler, og at oppfinnelsens rekkevidde er definert ved det som fremkommer av patentkravene.

Claims (14)

1. Fremgangsmåte (200) for å detektere et luftspenn fra et luftfartøy, omfattende å tilveiebringe (220), fra et kamera anordnet i luftfartøyet, et flertall bilder av et område under luftfartøyet mens luftfartøyet er i bevegelse; å detektere (230) linjer i bildene; å bestemme (240) om linjene representerer linjer på bakkenivå eller linjer på et høyere nivå enn bakkenivå; og å bestemme (250) at en linje på et høyere nivå enn bakkenivå representerer et mulig luftspenn.
2. Fremgangsmåte i samsvar med krav 1, hvor trinnet (240) å bestemme om linjene representerer linjer på bakkenivå eller linjer på et høyere nivå enn bakkenivå, omfatter parallakseberegning.
3. Fremgangsmåte i samsvar med krav 1 eller 2, hvor trinnet (220) med å tilveiebringe bilder omfatter å tilveiebringe, fra kameraet, et første og et andre bilde ved henholdsvis et første og et andre tidspunkt, idet luftfartøyet er i bevegelse mellom det første og andre tidspunkt.
4. Fremgangsmåte i samsvar med krav 2 eller 3, hvor trinnet (230) med å detektere linjer i bildene omfatter en modifisert SUSAN-algoritme.
5. Fremgangsmåte i samsvar med krav 4, hvor den modifiserte SUSAN-algoritme omfatter, for hvert av bildene: - å tilveiebringe et sirkulært nabolag omkring en senterpiksel, - å sammenligne senterpiksel ens verdi med verdier for andre piksler innenfor nabolaget, - å definere et USAN-areal som de piksler i nabolaget som har verdi i det vesentlige lik senterpikselen, - å bestemme en geometri for USAN-arealet, og - å anse en linje som detektert når USAN-areal ets geometri oppfyller et forhåndsbestemt vilkår, - å bestemme en retning for USAN-arealet, og - å la USAN-areal ets retning bestemme linjens retning, idet USAN-areal ets retning bestemmes ved egenverdidekomposisjon.
6. Fremgangsmåte i samsvar med et av kravene 3-5, hvor trinnet (140) å bestemme om linjene representerer linjer på bakkenivå eller linjer på et høyere nivå enn bakkenivå, omfatter å identifisere sammenhørende par av linjer fra henholdsvis det første og andre bildet; å identifisere en bakgrunn i hvert av de første og andre bilder, assosiert med parene av linjer, og å bestemme om en linje og dens assosierte bakgrunn har forskjøvet seg mer enn en forhåndsbestemt grense fra det første bilde til det andre bilde, og hvis dette er tilfelle, bestemme at linjen representerer en linje på et høyere nivå enn bakkenivå.
7. Fremgangsmåte i samsvar med krav 6, videre omfattende innhenting av posisjons- eller bevegelsesdata for luftfartøyet, og hvor trinnet (140) med å bestemme at linjen representerer en linje på et høyere nivå enn bakkenivå, videre utnytter nevnte posisjons- eller bevegelsesdata.
8. Fremgangsmåte i samsvar med ett av de ovenstående krav, hvor bildene er fargebilder, og hvor trinnet (130) med å detektere linjer i bildene omfatter betraktning av farge for piksler i bildene.
9. Fremgangsmåte i samsvar med krav 8, hvor betraktningen av farge innebærer transformasjon fra et første fargerom til et andre fargerom, herunder bruk av avstandsmål som vektlegger fargeforskjeller som opptrer oftere mellom linjer og deres bakgrunn.
10. Fremgangsmåte i samsvar med ett av de ovenstående krav, utført under en landingsforberedende prosedyre for luftfartøyet.
11. Fremgangsmåte i samsvar med ett av de ovenstående krav, hvor kameraet er anordnet i luftfartøyet på en slik måte at kameraets synsfelt er rettet i det vesentlige loddrett ned mot bakken.
12. Fremgangsmåte i samsvar med ett av de ovenstående krav, videre omfattende å avgi et varsel når et luftspenn detekteres.
13. Fremgangsmåte i samsvar med ett av de ovenstående krav, utført av en prosessorinnretning i en innretning for å detektere et luftspenn fra et luftfartøy.
14. Innretning for å detektere et luftspenn fra et luftfartøy, omfattende et kamera og en prosesseringsinnretning, hvor prosesseringsinnretningen er innrettet for å utføre en fremgangsmåte som angitt i ett av de ovenstående krav.
NO20141554A 2014-12-22 2014-12-22 Fremgangsmåte og innretning for å detektere et luftspenn fra et luftfartøy NO340705B1 (no)

Priority Applications (13)

Application Number Priority Date Filing Date Title
NO20141554A NO340705B1 (no) 2014-12-22 2014-12-22 Fremgangsmåte og innretning for å detektere et luftspenn fra et luftfartøy
PT15834763T PT3238173T (pt) 2014-12-22 2015-12-22 Método e dispositivo para detectar um cabo aéreo a partir de uma aeronave
EP15834763.3A EP3238173B1 (en) 2014-12-22 2015-12-22 Method and device for detecting an overhead cable from an aerial vessel
DK15834763.3T DK3238173T3 (en) 2014-12-22 2015-12-22 METHOD AND DEVICE FOR DETECTING AN AIRCRAFT FROM AN AIRCRAFT
SI201530553T SI3238173T1 (sl) 2014-12-22 2015-12-22 Postopek in naprava za odkrivanje nadzemnega kabla iz letečega vozila
HUE15834763A HUE043020T2 (hu) 2014-12-22 2015-12-22 Eljárás és eszköz egy felsõvezeték felderítésére egy légi jármûrõl
PCT/IB2015/059875 WO2016103173A1 (en) 2014-12-22 2015-12-22 Method and device for detecting an overhead cable from an aerial vessel
TR2019/00575T TR201900575T4 (tr) 2014-12-22 2015-12-22 Bir hava taşıtından bir hava kablosunu algılamaya yönelik yöntem ve cihaz.
US15/537,971 US10372986B2 (en) 2014-12-22 2015-12-22 Method and device for detecting an overhead cable from an aerial vessel
CA2969644A CA2969644C (en) 2014-12-22 2015-12-22 Method and device for detecting an overhead cable from an aerial vessel
ES15834763T ES2705431T3 (es) 2014-12-22 2015-12-22 Método y dispositivo para detectar un cable elevado desde una aeronave
PL15834763T PL3238173T3 (pl) 2014-12-22 2015-12-22 Sposób i urządzenie do wykrywania przewodu napowietrznego ze statku powietrznego
HRP20190081TT HRP20190081T1 (hr) 2014-12-22 2019-01-14 Metoda i uređaj za otkrivanje nadzemnih vodova iz letjelice

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
NO20141554A NO340705B1 (no) 2014-12-22 2014-12-22 Fremgangsmåte og innretning for å detektere et luftspenn fra et luftfartøy

Publications (2)

Publication Number Publication Date
NO20141554A1 NO20141554A1 (no) 2016-06-23
NO340705B1 true NO340705B1 (no) 2017-06-06

Family

ID=55361908

Family Applications (1)

Application Number Title Priority Date Filing Date
NO20141554A NO340705B1 (no) 2014-12-22 2014-12-22 Fremgangsmåte og innretning for å detektere et luftspenn fra et luftfartøy

Country Status (13)

Country Link
US (1) US10372986B2 (no)
EP (1) EP3238173B1 (no)
CA (1) CA2969644C (no)
DK (1) DK3238173T3 (no)
ES (1) ES2705431T3 (no)
HR (1) HRP20190081T1 (no)
HU (1) HUE043020T2 (no)
NO (1) NO340705B1 (no)
PL (1) PL3238173T3 (no)
PT (1) PT3238173T (no)
SI (1) SI3238173T1 (no)
TR (1) TR201900575T4 (no)
WO (1) WO2016103173A1 (no)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102070190B1 (ko) 2019-04-23 2020-03-02 주식회사 지에프아이 소화용 마이크로캡슐을 포함하는 소형 소화기 모듈
KR102122726B1 (ko) 2019-04-23 2020-06-26 주식회사 지에프아이 소화용 마이크로캡슐을 포함하는 와이어 타입 소화기 모듈
KR102123659B1 (ko) 2019-05-08 2020-06-16 한국소방산업기술원 소화용 마이크로 캡슐을 포함하는 소화용 시트
KR102123571B1 (ko) 2019-05-08 2020-06-16 주식회사 지에프아이 소화용 마이크로 캡슐을 포함하는 소화용 조성물
CN110570412B (zh) * 2019-09-06 2022-03-22 西安交通大学 一种零件误差视觉判断系统
NO347027B1 (en) * 2021-06-02 2023-04-24 Kleon Solutions As Method and system for detecting a line above ground from a helicopter

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070086657A1 (en) * 2005-10-01 2007-04-19 Eads Deutschland Gmbh Method for supporting low-level flights
US8373590B1 (en) * 2006-12-21 2013-02-12 Eurocopter Method and a system for processing and displaying images of the surroundings of an aircraft
EP1908010B1 (en) * 2005-07-19 2013-12-25 The Boeing Company System and method for passive wire detection

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1605156A (en) * 1976-07-12 1982-06-09 Secr Defence Method and apparatus for warning aircraft of the presence and direction of electrical transmission lines
US6678394B1 (en) * 1999-11-30 2004-01-13 Cognex Technology And Investment Corporation Obstacle detection system
US7286912B2 (en) * 2001-12-10 2007-10-23 Bae Systems Information And Electronic Systems Integration Inc. Method and apparatus for avoidance of power lines or trip wires by fixed and rotary winged aircraft
EP2149033A4 (en) * 2007-05-29 2012-07-04 Bae Systems Information RADAR CABLE DETECTION SYSTEM
AU2009327362A1 (en) * 2008-12-19 2011-08-04 Xollai, Llc System and method for determining an orientation and position of an object
US8296056B2 (en) * 2009-04-20 2012-10-23 Honeywell International Inc. Enhanced vision system for precision navigation in low visibility or global positioning system (GPS) denied conditions
FR2957447B1 (fr) * 2010-03-15 2012-10-26 Eurocopter France Procede et dispositif pour voler a l'aide d'un aeronef a basse altitude de maniere securisee
US8537034B2 (en) * 2011-11-14 2013-09-17 Safe Flight Instrument Corporation Obstacle detection and notification system
GB2506411B (en) * 2012-09-28 2020-03-11 2D3 Ltd Determination of position from images and associated camera positions
US9292913B2 (en) * 2014-01-31 2016-03-22 Pictometry International Corp. Augmented three dimensional point collection of vertical structures
US9964658B2 (en) * 2015-10-06 2018-05-08 The United States Of America As Represented By The Secretary Of The Army Method of autonomous power line detection, avoidance, navigation, and inspection using aerial crafts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1908010B1 (en) * 2005-07-19 2013-12-25 The Boeing Company System and method for passive wire detection
US20070086657A1 (en) * 2005-10-01 2007-04-19 Eads Deutschland Gmbh Method for supporting low-level flights
US8373590B1 (en) * 2006-12-21 2013-02-12 Eurocopter Method and a system for processing and displaying images of the surroundings of an aircraft

Also Published As

Publication number Publication date
US10372986B2 (en) 2019-08-06
EP3238173A1 (en) 2017-11-01
SI3238173T1 (sl) 2019-02-28
HUE043020T2 (hu) 2019-08-28
CA2969644A1 (en) 2016-06-30
CA2969644C (en) 2023-08-22
PT3238173T (pt) 2019-01-24
WO2016103173A1 (en) 2016-06-30
PL3238173T3 (pl) 2019-05-31
TR201900575T4 (tr) 2019-02-21
ES2705431T3 (es) 2019-03-25
NO20141554A1 (no) 2016-06-23
US20180039834A1 (en) 2018-02-08
HRP20190081T1 (hr) 2019-02-22
EP3238173B1 (en) 2018-10-24
DK3238173T3 (en) 2019-02-11

Similar Documents

Publication Publication Date Title
NO340705B1 (no) Fremgangsmåte og innretning for å detektere et luftspenn fra et luftfartøy
CN109271944B (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
US10262216B2 (en) Hazard detection from a camera in a scene with moving shadows
US9489586B2 (en) Traffic sign recognizing apparatus and operating method thereof
KR102623124B1 (ko) 접안 모니터링 장치 및 방법
US8188880B1 (en) Methods and devices for augmenting a field of view
JP6282498B2 (ja) 画像処理装置、その方法、及び、そのプログラム
CN107728633A (zh) 获取目标物位置信息方法及装置、移动装置及其控制方法
RU2013142167A (ru) Система наблюдения и способ обнаружения засорения или повреждения аэродрома посторонними предметами
US10766616B2 (en) Environment map automatic creation device
CN106327461B (zh) 一种用于监测的图像处理方法及装置
JP2014120167A (ja) 視差図による視差方向連続型物体検知方法及び装置
CN104634784A (zh) 大气能见度监测方法和装置
CN111539264A (zh) 一种船舶火焰探测定位系统与探测定位方法
CN109238281B (zh) 基于图像螺旋线的视觉导航及避障方法
CN114359830A (zh) 图像检测方法、设备及计算机存储介质
US9811738B2 (en) Appearance presentation system, method, and program
KR102259981B1 (ko) 영상 분석 기반 가시거리 측정 및 경보 시스템 및 방법
CN111008609B (zh) 交通灯与车道的匹配方法、装置及电子设备
CN113627343A (zh) 一种行人身高检测方法、装置、设备及可读存储介质
KR102624378B1 (ko) 도로의 균열 검출 시스템
KR102145409B1 (ko) 차량속도 측정이 가능한 시정거리 측정 시스템
KR102147678B1 (ko) 영상병합 스트림 리즈닝 감시방법
CA3213141A1 (en) Method and system for detecting a line above ground from a helicopter
Pirník et al. Non-invasive monitoring of calm traffic