SE527257C2 - Anordning och metod för att presentera en omvärldsbild - Google Patents

Anordning och metod för att presentera en omvärldsbild

Info

Publication number
SE527257C2
SE527257C2 SE0401603A SE0401603A SE527257C2 SE 527257 C2 SE527257 C2 SE 527257C2 SE 0401603 A SE0401603 A SE 0401603A SE 0401603 A SE0401603 A SE 0401603A SE 527257 C2 SE527257 C2 SE 527257C2
Authority
SE
Sweden
Prior art keywords
world
central unit
user
image
image sensor
Prior art date
Application number
SE0401603A
Other languages
English (en)
Other versions
SE0401603D0 (sv
SE0401603L (sv
Inventor
Torbjoern Gustafsson
Per Carleberg
Original Assignee
Totalfoersvarets Forskningsins
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Totalfoersvarets Forskningsins filed Critical Totalfoersvarets Forskningsins
Priority to SE0401603A priority Critical patent/SE527257C2/sv
Publication of SE0401603D0 publication Critical patent/SE0401603D0/sv
Priority to PCT/SE2005/000974 priority patent/WO2005124694A1/en
Priority to EP05753841A priority patent/EP1774479A1/en
Priority to JP2007518006A priority patent/JP2008504597A/ja
Priority to US11/630,200 priority patent/US20070247457A1/en
Priority to CA002569140A priority patent/CA2569140A1/en
Publication of SE0401603L publication Critical patent/SE0401603L/sv
Publication of SE527257C2 publication Critical patent/SE527257C2/sv

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41HARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H7/00Armoured or armed vehicles
    • F41H7/02Land vehicles with enclosing armour, e.g. tanks
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G1/00Sighting devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41HARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H5/00Armour; Armour plates
    • F41H5/26Peepholes; Windows; Loopholes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/12Panospheric to cylindrical image transformations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

20 25 30 35 o-i ro -a io m q 2 omgivningen. Detta är dock inte alltid möjligt att ordna, tex finns det inte mycket utrymme för stora bildskärmar i ett stridsfordon. Ett sätt att lösa detta problem är att förse användaren med en huvudburen presentationsanordning, tex bestående av en eller flera miniatyriserade bildskärmar som betraktas via någon förstorande optik eller en anordning som projicerar/ritar bilder på användarens ögas näthinna.
Vid användning av en huvudburen presentationsanordning kan en bild presenteras för ett enda öga, monokulär presentation. Vid användning av tvà bildskärmar kan samma bild presenteras för båda ögonen, biokulär presentation, eller sä presenteras två olika bilder, binokulär presentation. Vid binokulär presentation kan en stereoskopisk effekt erhållas. Genom att t ex använda två ytterligare bildskärmar kan en effekt av periferiskt seende uppnås. Bildskärmama kan företrädesvis indirekt fästas pà huvudet med hjälp av någon glasögonbàgs- eller hjälmliknande anordning.
Normalt förändras synintrycket vid rörelse av huvudet. Den bild som, via en huvudburen bildskärm, presenteras för en användare påverkas normalt inte av att användarens huvud rör sig i förhållande till omgivningen. Känslan av att inte kunna förändra synintrycket via rörelser kan av de flesta som använder sig av huvudbuma bildskärmar upplevas som frustrerande efter ett tag. Det normala beteendet att avsöka omgivningen genom att röra på huvudet och se sig omkring fungerar inte.
En lösning på detta är att känna av användarens huvuds position och riktning med en huvudpositionssensor. Den bild som presenteras för användaren via den huvudburna bildskärmen kan då anpassas pà ett sådant sätt att användaren upplever att denna kan se sig omkring.
Genom att använda sig av indirekt seende, där användaren bär på en huvudburen presentationsanordning och där användarens huvuds position och riktning avkänns kan ge användaren i ett stridsfordon en känsla av att se genom fordonets väggar, “See-Through-Armour", härefter förkortat STA.
En bildsensoranordning kan placeras på en gimbal som är rörlig i flera riktningar.
Gimbalen, som kan styras fràn huvudpositionssensorn, bör vara mycket snabb både beträffande förmåga till vridning per tidsenhet och till acceleration/retardation. Detta för att användaren inte skall uppleva störande fördröjningar vid snabba rörelser med huvudet. En gimbal är en komplicerad anordning med flera rörliga delar. Den kan i I 0000 0 OI Du 00 0000 O O I 0 I 0 I 0 I 0 I 00 10 15 20 25 30 35 5.97 ”f” - l oo *Vd 9:: 0 n 0 0 -oa- 0000 0 ecco 0 a coon U 0 nano 0000 0 0 0 n n I oc 0 0 0 to 0 0 0 0 n 0 n ocean: 0 3 fallet indirekt seende endast styras från en enda användare. Detta är en nackdel eftersom det hindrar andra användare frán att praktiskt erhålla information från bildsensorsystemet.
Ett alternativ till att placera bildsensorn i en gimbal är att använda en bildsensoranordning som registrerar omgivningen med hjälp av flera bildsensorer där varje bildsensor registrerar en delmängd av en större omgivning.
Ett sådant system är känt genom artikeln ”Combat Vehicle Visualization System" av R. Belt, J. Hauge, J Kelley, G. Knowles och R. Lewandowski, Sarnoff Corporation, Princeton, USA, publicerad på internet med adressen: httpJ/wmmcis.upenn.edul~relchlpaper11.htm. Detta system benämns "See Through Turret Visualization System" och förkortas här STD/_ l ST'l'\/ digitaliseras bilderna fràn en multlkameraanordning av ett system bestående av ett antal elektronikkort med olika funktion. Elektronikkorten innehåller bl a bildprocessorer, digitala signalprocessorer och bildminnen. En huvudprocessor digitaliserar bildinformationen från multikameraanordningen, väljer en eller två kamerors bildinformation utifrån en användares riktning på huvudet, vränger bilderna rätt d v s korrigerar kameraobjektivens distorsion och sätter sedan dem samman utan märkbara skarvar i ett bildminne och presenterar sedan den del av bildminnet som motsvarar användarens riktning på huvudet. STTV klarar att överlagra enkel 2- dimensionell, 2D, virtuell bildinforrnation t ex ett hárkors eller en pil som visar varàt användaren bör vrida sitt huvud. Användarens huvudriktning i STTV detekteras av en huvudpositionssensor som klarar tre frihetsgrader, d v s head, pitch och roll.
Ett användarvänligt och med ett större användningsområde STA-system bör dock kunna användas i en vidare bemärkelse än att bara registrera, överlagra enkel 2D- information och presentera denna bildinformation.
Uppfinningen visar en anordning och metod som genom en generell och mer flexibel lösning ökar detta. Lösningen är beskriven i de efterföljande självständiga patentkraven med fördelaktiga utföringsformeri de osjälvständiga patentkraven. 10 15 20 25 30 35 527 257 -fi 4 Uppfinningen skall närmare beskrivas med hänvisning till följande figurer: Figur 1a-c visar en bildsensoranordning och en 3D-modell.
Figur 2 visar en principskiss av en utföringsform av uppfinningen.
Figur 3a-d visar en 3D-modell.
Figur 4 visar ett fordon med en anordning enligt uppfinningen.
Figur 5 visar en användare med en huvudburen presentationsanordning.
Figur 6 visar bildinformation till användarens presentationsanordning.
Figur 1a visar ett exempel på en bildsensoranordning (10). Bildsensoranordningen (10) innefattar ett antal bildsensorer, t ex kameror (1, 2, 3, 4), som är placerade i en ring så att de tillsammans täcker ett område av 360 grader. Bilderna fràn kamerorna (1, 2, 3, 4) digitaliseras och sänds till en centralenhet (30, se figur 2).
Centralenheten (30) innefattar en datorenhet med en centralprocessorenhet (CPU), minne och en datorgrafikberäkningsenhet (32). l centralenheten (30) är för ändamålet lämplig mjukvara implementerad. l centralenheten (30) läggs bilderna in som texturer i en virtuell 3D-värld som innefattar en eller ett antal 3D-modeller. En sådan modell kan t ex vara formad som en cylinder (se figur 1b) där texturerna placeras på insidan av cylindern. Den första kamerans (1) bild läggs in som textur på den första ytan (1 '), den andra kamerans (2) bild läggs in på den andra ytan (2'), osv. Bilderna kan även läggas in på en mer sofistlkerad 3D-modell än cylindern t ex en halvsfär eller en sfär, företrädesvis med något tillplattad botten. l fallet enligt figur 1b kan 3D-världen utvecklas genom att en virtuell modell av t ex en stridsfordonsinteriör läggs inne i modellen som beskriver cylindern (se figur 1c). I figur 1c visas schematiskt modellen av interiören (5) och ett fönster (6) i denna. Den punkt och riktning varifrån användaren betraktar 3D-världen placeras t ex inne i modellen för interiören (5) (se figur 3d). Denna punkt och riktning erhålls från en positionssensor, tex en huvudpositionssensor (51) (se figur 4). Fördelen med att lägga in en modell av en interiör i 3D-världen är att användaren på så sätt kan få en eller flera referenspunkter.
Figur 2 visar en principskiss över en utföringsform av uppfinningen. En bildsensor- anordning (10) innefattande ett antal sensorer, tex kameror enligt figur 1a, är 10 15 20 25 30 35 nr-z . --.af :..°:.': :: ~:.~ 5 monterad på t ex ett fordon enligt figur 4. I den i figur 1a visade utföringsformen täcker bildsensorerna 360 grader runt fordonet. Bildsensorerna behöver inte täcka hela varvet runt fordonet utan i vissa fall kan det räcka med att en delmängd av varvet täcks. Ytterligare bildsensorer kan anslutas t ex i syfte att täcka uppåt och neråt, dolda vinkla samt sensorer för registrering utanför det synliga området.
Bildsensoranordningen (10) innefattar även en anordning för att digitalisera bilderna samt är ansluten till en överföringsanordning (20) för att kommunicera bildinformationen till centralenheten (30). Kommunikationen i överföringsanordningen (20) kan vara enkelriktad, d v s bildsensoranordningen (10) sänder bildinformation fràn sensorema till centralenheten (30), eller dubbelriktat, vilket betyder att centralenheten (30) t ex kan sända signaler till bildsensoranordningen (10) om vilken bildinformation från bildsensorerna som för tillfället skall överföras till centralenheten (30). Eftersom överföringen företrädesvis sker med små tidsförluster krävs en snabb överföring, tex Ethernet eller Firewire.
Centralenheten (30), innefattar en centralprocessorenhet (CPU) med minne, ett gränssnitt/interface (31) mot överföringsanordningen (20), en datorgrafikberäkningsenhet (GPU) (32) som kan generera (åskådliggöra) en virtuell 3D-värld, ett styrverktyg i form av mjukvara som med hjälp av data från en positionssensor (50) kan styra vilken vy av 3D-världen som visas på en presentationsanordning (40). Positionssensorn (50) kan vara en mus eller liknande, men är företrädesvis en huvudburen huvudpositionssensor (51) som känner av användarens position (52) och betraktelseriktning (53) (se figur 3b). Utifrån data från huvudpositionssensor (51) placeras användaren virtuellt in i den virtuella 3D-världen.
När användaren rör sig skickas data om detta till centralenheten (30) och till datorgrafikberäkningsenheten (32) som beräknar vilken vy som skall presenteras för användaren.
Allmänt i ett datorgrafiksystem byggs en virtuell 3D-värld upp med hjälp av ett antal ytor som kan ges olika egenskaper. Ytan består vanligtvis av ett antal trianglar som sätts samman på ett lämpligt sätt för att ge ytan dess form, t ex del av cylinder eller sfär. l figur 3a visas hur en virtuell 3D-värld är uppbyggd av trianglar. I dessa trianglar kan en 2-dimensionell bild läggas på som en textur (se figur 3c). Texturer av detta slag är statiska och kan förutom en bild bestå av en färg eller egenskap, t Oo o O oooo ooo 0 o O o o oo oo oooo 4 I o o o o ooo o o o o o o o o ooo oo oo o oo o e; o oo o o o o oo o o o o oooooo o II o oo 10 15 20 25 30 35 527 257 6 o o oo o o oooooo o ex genomskinlig eller reflektiv. Texturerna laddas vanligtvis in vid ett bestämt tillfälle och finns sedan i 3D-världen.
Anordningen och metoden enligt uppfinningen använder bildinformation från bildsensoranordningen (10) och lägger in den som texturer i en 3D-värld. Dessa texturer läggs företrädesvis in i realtid i 3D-världen, d v s i den takt som bildsensorerna kan registrera och överföra bildinformationen till centralenheten (30).
Datorgrafikberäkningsenheten (32) beräknar sedan hur 3D-världen med texturerna skall visas för användaren (90) beroende pà position (52) och betraktelseriktning (53). l 3D-världen kan även annan virtuell bildinformation placeras in. En virtuell 3D- modell av en interiör (5) av ett fordon, med reglage, ratt, området runt en vindruta med motorhuv och balkar, kan placeras in i 3D-världen och därmed ge användaren en eller flera referenspunkter. Dessutom kan virtuella back- och sidospeglar placeras in som visar bildinformation från lämpliga bildsensorer. I figur 5-6 visas även hur bildinformation fràn sensorer i närheten av användaren, tex pà användaren huvud, kan användas.
Figur 4 visar ett fordon med en anordning enligt uppfinningen. Sensoranordningen (10) innefattar ett antal kameror, tex enligt figur 1. På fordonet kan också ytterligare kameror (12) placeras för att täcka områden som är dolda eller skymda, exempelvis en backkamera. l fordonet (80) sitter en användare (90) med en huvudburen presentationsanordning (40) och en huvudburen positionsanordning (51).
Figur 5 visar ytterligare en utföringsform av uppfinningen. Användaren (90) har en huvudburen presentationsanordning (40), huvudpositionssensor (51) samt även en sensoranordning innefattande en kamera (13) placerad nära användaren, i det här fallet på användarens huvud. Kameran (13) används för att visa bilder från förarmiljön för användaren. Presentationsanordningen (40) tar ofta upp hela användarens synfält vilket gör att när användaren tittar ner mot sina händer, styrreglage eller liknande så ser inte användaren reglagen. En kamera (13) placerad i närheten av användaren (90), tex på dess huvud, kan hjälpa användaren genom att sända bildinformation om närområdet till centralenheten som lägger in bildinformationen i 3D-världen.
OO 1 000 I 1 II enat 0 I 00-0 0 O 110 15 20 25 30 35 527 257 z°'=z°°== -a 7 Figur 6 visar hur bildinformation fràn olika kameror läggs ihop till en vy som presenteras för användaren. En 3D-värld är visad som en del av en cylinder. Det mörka fältet (45) representerar användarens synfält presenterad via en presentationsanordning (40). Det andra mörka fältet (46) visar motsvarande för en andra användare. l fältet (45) visas en del av bilden fràn kamera (13) vars information placeras som en dynamisk textur på en del (13') av 3D-världen. Denna dynamiska textur presenteras i sin tur dynamiskt, d v s på olika ställen, och styrt av användarens huvuds position och riktning, i 3D-världen. Bilden frän t ex en backkamera (12) kan placeras som en dynamisk textur på en del (12') av omvärldsmodellen, och fungera som backspegel.
För användaren kan bildinformation från kameraanordningen enligt figur 1a, tex från två kameror, ytor (1 ', 2') samt även från en huvudmoterad kamera, som i figur 5, presenteras. Bildinformationen fràn de olika kamerorna kan mixas ihop och presenteras för användaren. För att presentera en bild för användaren kan ett flertal av bildsensoranordningens sensorer behöva bidra med information. Uppfinningen har ingen begränsning i hur mycket information som kan sammansättas till användarens bild.
Nedan beskrivs metoden enligt uppfinningen. Metoden presenterar en omvärldsbild på en eller flera bildskärmar (40) för en användare (90). En bildsensoranordning (10) registrerar bildinformation (8) av en omvärld. Bildinformationen (8) överförs via en överföringsanordning (20) till en centralenhet (30). Centralenheten (30), innefattande en datorgrafikberäkningsenhet (32), genererar (åskådliggör) en virtuell 3D-värld, t ex en del av en virtuell cylinder som i figur 3, eller i en mer avancerad utföringsform i form av en halv- eller hel sfär.
Utifrån information frän en positionssensor placeras användaren (90) virtuellt in i den virtuella 3D-världen. Positionssensorn (50), lämpligtvis i form av en huvudpositionssensor (51), kan detektera upp till 6 frihetsgrader och sänder information om användarens position (52) samt betraktelseriktning (53) till centralenheten (30). Utifràn var och i vilken betraktelseriktning användaren befinner sig i 3D-världen beräknar centralenheten (30) vilken bildinformation som ska visas via presentationsanordningen (40). När användaren (90) förflyttar sig eller ändrar betraktelseriktning beräknar centralenheten (30) automatiskt vilken bildinformation (8) som skall presenteras för användaren. Centralenheten (30) begär bildinformation 10 15 20 25 30 35 5 2 7 u? ä? šïiš. :ni . š.._ .I _.._ 8 från biidsensoranordningen (10), vilken kan innefatta t ex en kamera (13) anordnad pà användarens huvud samt ytterligare kamera (12). Efter att ha digitaliserat den efterfrågade bildinformationen skickar biidsensoranordningen (10) denna till centralenheten (30). Datorgrafikberäkningsenheten (32) i centralenheten (30) lägger in bildinformationen (8) från biidsensoranordningen (10) som dynamiska texturer i 3D-världen i realtid. Centralenheten (30) överför aktuell, utifrån användarens position och betraktelseriktning, bildinformation från 3D-världen till presentationsanordningen (40).
Med en anordning och metod för indirekt seende enligt uppfinningen behöver inte bildsensorerna vara placerade i närheten av presentationsanordningenlanvändaren.
Användaren kan befinna sig på valfri fysisk plats men virtuellt vara på platsen för bildsensorerna. Uppfinningen kan användas i en mängd tillämpningar, både militärt och civilt, som t ex i ett stridsfordon, l en luftburen plattform (t ex obemannat spaningsflygplan), i ett fjärrstyrt miniatyrfordon eller i ett större fordon (t ex gruvfordon), eller l ett stridsfartyg (t ex för att ersätta ubàtens optiska periskop). Den kan också vara manburen och användas av den enskilde soldaten.
Informationen fràn ett antal bildsensorer (kameror) placeras in som dynamiska texturer (d v s texturerna ändras i realtid utifrån information utifrån) på en yta len virtuell 3D-värld. Detta medför att förvrängningar från Kameraobjektiv kan elimineras genom att förändra den virtuella yta på vilken kamerabilden placeras på som en dynamisk textur. Denna förändring kan t ex vara en form av buktning. Ytorna på vilka de dynamiska texturerna placeras kan i en virtuell 3D-värld kombineras med andra ytor för att ge användaren referenspunkter, som t ex interiören av ett stridsfordon. Genom huvudpositionssensorn erhålls information om användarens huvuds riktning och position, i upp till sex frihetsgrader. Med denna information kan centralenheten med hjälp av datorgrafikberäkningsenheten hantera alla dessa ytor och presentera relevant bildinformation för användaren.
Uppfinningen kan mixa in tredimensionell, 3D, virtuell bildinformation i omvärldsbilden registrerad av bildsensorerna. Det kan t ex vara en virtuell stridsvagn som läggs in i bilden för att markera att här står det en stridsvagn. Den verkliga stridsvagnen kan av olika skäl vara gömd och svår att upptäcka. Den virtuella stridsvagnen kan utgöras av en 3D-modell med pålagda texturer. Modellen kan datorgrafiskt belysas så att skuggor på och från modellen passar in i verkligheten. 10 15 20 25 30 5 2 7 2 5 7 §==,.-j:= 9 För att användaren av uppfinningen bättre skall kunna orientera sig i förhållande till den yttre omgivningen registrerad av bildsensorerna och till stridsfordonets interiör, kan det vara en fördel att i omväridsbilder kunna mixa in t ex en virtuell interiör, så att användaren kan använda sig av denna interiör som referens.
Uppfinningen kan användas i en vidare bemärkelse än att bara registrera och presentera bildinformation. Dà t ex ett stridfordon, utrustat med en anordning och/eller metod enligt uppfinningen, är ute pà uppdrag kan det vara en fördel om besättningen innan insats kan förbereda sig, d v s göra en insatsplanering. l denna förberedelse kan det ingå att göra insatsen virtuellt. Nedan presenteras ett exempel pà hur denna virtuella insats kan utföras.
En flygfarkost, bemannad eller obemannad, sänds iväg över det område i vilket insatsen planeras i. Denna farkost bär pà utrustning för 3D-kartering av omgivningen, vilket innebär datainsamling, databehandling och 3D- omvärldsmodellering, som resulterar i en 3D-modell av omgivningen. l en sådan 3D- modell kan också dynamiska effekter läggas in t ex hot, dimma, väder och valfri tid på dygnet. insatsen kan därmed övas virtuellt och olika insatsalternativ prövas.
Dà en 3D-modell av omgivningen finns tillgänglig kan denna också användas under själva insatsen. Om realtidspositionering av stridsfordonet är möjligt kan t ex bildsensordata från omvärlden mixas med 3D-modellen vilket kan ge en förstärkt upplevelse över omgivningen.
Uppfinningen kan använda sig av en 3D-modell som i realtid datortekniskt modellerats utifràn information från bildsensorerna. Metoden kallas för "image Based Rendering" där egenskaper i bilderna används för att bygga 3D-modellen.
I en generell lösning med användande av generell datorgrafikteknik kan all möjlig 2D och 3D virtuell information, enligt ovanstående, snabbt mixas ihop med bildsensorbilderna och därefter presenteras för användaren pà ett för användaren önskvärt sätt. Tidigare kända system, t ex STTV, saknas dessa möjligheter och man kan på sin höjd överlagra enkel 2D-information.

Claims (20)

10 15 20 25 30 35 5 2 7 f) få 7 rgg =; an: -s 10 . PATENTKRAV
1. Anordning för att presentera en omvärldsbild för en användare (90), innefattande en bildsensoranordning (1 O), som registrerar bildinformation om en omvärld, ansluten via en överföringsanordning (20) till en centralenhet (30), en huvudburen presentationsanordning (40) där centralenheten (30) presenterar bilder frän bildsensoranordningen (10), k ä n n e t e c k n a d a v att anordningen innefattar en huvudpositionssensor (51) som känner av användarens position (52) och betraktelseriktning (53); att centralenheten (30) innefattar en datorgrafikberäkningsenhet (32); att centralenheten (30) genererar en virtuell 3D-värld; att centralenheten (30) projicerar bildinformation (8) i realtid från bildsensoranordningen (10) som texturer i 3D-världen; samt att centralenheten (30) visar delar av 3D-världen på presentationsanordningen (40) l realtid.
2. Anordning enligt patentkrav 1, k ä n n e t e c k n a d a v att den del av 3D-världen som visas på presentationsanordningen (40) bestäms av information från huvudpositionssensorn (50).
3. Anordning enligt något av patentkraven 1-2, k ä n n e t e c k n a d a v att centralenheten (30) projicerar lagrad bildinformation (8) som texturer i 3D- världen.
4. Anordning enligt något av ovanstående patentkrav, k ä n n e t e c k n a d a v att den virtuella 3D-världen är i form av en del av en cylinder, en hel- eller en halvsfär
5. Anordning enligt något av ovanstående patentkrav, k ä n n e t e c k n a d a v att överforingskanalen (20) är dubbelriktad, så att endast de av centralenheten efterfrågade bilderna skickas till centralenheten (30).
6. Anordning enligt något av ovanstående patentkrav, k ä n n e t e c k n a d a v att presentationsanordningen (40) är en skärm bärbar i anslutning till användarens ögon, tex en huvudburen miniatyrskärm. Oo I 1000 oss 0 I OI O I I 10 15 20 25 30 35 5 2 7 9 F f' §II= s"ë=ïï.."fi= s I U ø c Q oo 11
7. Anordning enligt något av ovanstående patentkrav, k ä n n e t e c k n a d a v att bildsensoranordningen (10) innefattar medel för att digitalisera bilderna från bildsensorerna.
8. Anordning enligt något av ovanstående patentkrav, k ä n n e t e c k n a d a v att bildsensoranordningen (10) innefattar en kamera (13) anordnad nära användaren, företrädesvis på användarens huvud.
9. Anordning enligt något av ovanstående patentkrav, k ä n n e t e c k n a d a v att bildsensoranordningen (10) innefattar en ytterligare kamera (12).
10. Anordning enligt något av ovanstående patentkrav, k ä n n e t e c k n a d a v att centralenheten (30) projicerar virtuella objekt i 3D-världen.
11. Anordning enligt något av ovanstående patentkrav, k ä n n e t e c k n a d a v att anordningen innefattartvà eller fler huvudpositionssensorer (51) anslutna till två eller flera användare (90) samt två eller flera presentationsanordningar (40) för att visa motsvarande delar av 3D-världen för respektive användare (90).
12. Metod att presentera en omvärldsbild för en användare (90), innefattande en bildsensoranordning (10) som registrerar bildinformation (8) av en omvärld, en överföringsanordning (20), en centralenhet (30), en presentationsanordning (40) samt en huvudpositionssensor (50), k ä n n e t e c k n a d a v att: - centralenheten (30), innefattande en datorgrafikberäkningsenhet (32), genererar en virtuell 3D-värld; - huvudpositionssensorn (50) sänder information om användarens position (52) och betraktelseriktning (53) till centralenheten (30); - centralenheten placerar virtuellt in användaren (90) iden virtuella 3D-världen utifrån informationen från huvudpositionssensorn (50); - bildsensoranordningen (10) sänder bildinformation (8) till centralenheten (30) genom överföringsanordningen (20); - datorgrafikberäkningsenheten (32) projicerar i realtid bildinformation (8) från bildsensoranordningen (10) som texturer i 3D-världen i realtid. - centralenheten (30) sänder de delar av 3D-världen som finns i ett område kring användarens betraktelseriktning till presentationsanordnlngen (40) för visning. 10 15 20 25 30 527 257 12 _. . ..
13. Metod enligt patentkrav 12, k ä n n e t e c k n a d a v att bildsensoranordningen (10) digitaliserar bilderna (8).
14. Metod enligt något av patentkraven 12-13, k ä n n e t e c k n a d a v att: centralenheten (30) skickar en förfrågan till bildsensoranordningen (10) efter den bildinformation (8) som skall visas.
15. Metod enligt patentkrav 14, k ä n n e t e c k n a d a v att bildsensoranordningen (10) sänder den efterfrågade bildinformationen (8) till centralenheten (30).
16. Metod enligt något av patentkraven 12-15, k ä n n e t e c k n a d a v att centralenheten (30) i 3D-världen placerar in en interiör av ett fordon (5) eller liknande för att ge användaren (90) en eller flera referenspunkter.
17. Metod enligt något av patentkraven 12-16, k ä n n e t e c k n a d a v att centralenheten (30) i 3D-världen placerar in ett virtuellt objekt, t.ex. en stridsvagn eller ett hus, för att hjälpa användaren att få en bättre bild av omgivningen.
18. Metod enligt något av patentkraven 12-17, k ä n n e t e c k n a d a v att centralenheten (30) i 3D-världen placerar in bildinformation från en kamera i närheten av användaren, företrädesvis en kamera (13) på användarens huvudet.
19. Metod enligt något av patentkraven 12-18, k ä n n e t e c k n a d a v att centralenheten (30) i 3D-världen placerar in bildinformation från en ytterligare en kamera (12).
20. Metod enligt något av patentkraven 12-20, k ä n n e t e c k n a d a v att den virtuella 3D-världen är i form av en del av en cylinder, en hel- eller en halvsfär.
SE0401603A 2004-06-21 2004-06-21 Anordning och metod för att presentera en omvärldsbild SE527257C2 (sv)

Priority Applications (6)

Application Number Priority Date Filing Date Title
SE0401603A SE527257C2 (sv) 2004-06-21 2004-06-21 Anordning och metod för att presentera en omvärldsbild
PCT/SE2005/000974 WO2005124694A1 (en) 2004-06-21 2005-06-21 Device and method for presenting an image of the surrounding world
EP05753841A EP1774479A1 (en) 2004-06-21 2005-06-21 Device and method for presenting an image of the surrounding world
JP2007518006A JP2008504597A (ja) 2004-06-21 2005-06-21 周辺界の画像を表示するための装置及び方法
US11/630,200 US20070247457A1 (en) 2004-06-21 2005-06-21 Device and Method for Presenting an Image of the Surrounding World
CA002569140A CA2569140A1 (en) 2004-06-21 2005-06-21 Device and method for presenting an image of the surrounding world

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
SE0401603A SE527257C2 (sv) 2004-06-21 2004-06-21 Anordning och metod för att presentera en omvärldsbild

Publications (3)

Publication Number Publication Date
SE0401603D0 SE0401603D0 (sv) 2004-06-21
SE0401603L SE0401603L (sv) 2005-12-22
SE527257C2 true SE527257C2 (sv) 2006-01-31

Family

ID=32906835

Family Applications (1)

Application Number Title Priority Date Filing Date
SE0401603A SE527257C2 (sv) 2004-06-21 2004-06-21 Anordning och metod för att presentera en omvärldsbild

Country Status (6)

Country Link
US (1) US20070247457A1 (sv)
EP (1) EP1774479A1 (sv)
JP (1) JP2008504597A (sv)
CA (1) CA2569140A1 (sv)
SE (1) SE527257C2 (sv)
WO (1) WO2005124694A1 (sv)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE528518C2 (sv) * 2005-04-29 2006-12-05 Totalfoersvarets Forskningsins Sätt att navigera i en omvärld registrerad av en eller flera bildsensorer och en anordning för genomförande av sättet
DE102006003524A1 (de) * 2006-01-24 2007-07-26 Oerlikon Contraves Ag Panorama-Sicht-System insbesondere in Kampfahrzeugen
EP2031137A1 (en) * 2007-08-29 2009-03-04 Caterpillar Inc. Machine and method of operating thereof
IL189251A0 (en) * 2008-02-05 2008-11-03 Ehud Gal A manned mobile platforms interactive virtual window vision system
US8208065B2 (en) * 2008-07-30 2012-06-26 Cinnafilm, Inc. Method, apparatus, and computer software for digital video scan rate conversions with minimization of artifacts
DE102009014401A1 (de) * 2009-03-26 2010-09-30 Skoff, Gerhard, Dr. Knickgelenktes Fahrzeug, insbesondere gepanzertes Fahrzeug
CN102652321B (zh) * 2009-12-11 2014-06-04 三菱电机株式会社 图像合成装置以及图像合成方法
US9879993B2 (en) 2010-12-23 2018-01-30 Trimble Inc. Enhanced bundle adjustment techniques
US10168153B2 (en) 2010-12-23 2019-01-01 Trimble Inc. Enhanced position measurement systems and methods
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
WO2013111146A2 (en) * 2011-12-14 2013-08-01 Virtual Logic Systems Private Ltd System and method of providing virtual human on human combat training operations
WO2013111145A1 (en) * 2011-12-14 2013-08-01 Virtual Logic Systems Private Ltd System and method of generating perspective corrected imagery for use in virtual combat training
DE102012203523A1 (de) * 2012-03-06 2013-09-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten
US20140003654A1 (en) * 2012-06-29 2014-01-02 Nokia Corporation Method and apparatus for identifying line-of-sight and related objects of subjects in images and videos
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
US9235763B2 (en) 2012-11-26 2016-01-12 Trimble Navigation Limited Integrated aerial photogrammetry surveys
JP6287849B2 (ja) 2013-02-22 2018-03-07 ソニー株式会社 ヘッドマウントディスプレイ、画像表示装置及び画像表示方法
JP6123365B2 (ja) * 2013-03-11 2017-05-10 セイコーエプソン株式会社 画像表示システム及び頭部装着型表示装置
US9247239B2 (en) 2013-06-20 2016-01-26 Trimble Navigation Limited Use of overlap areas to optimize bundle adjustment
SE537279C2 (sv) * 2013-07-12 2015-03-24 BAE Systems Hägglunds AB System och förfarande för behandling av taktisk informationhos stridsfordon
WO2015015521A1 (en) * 2013-07-31 2015-02-05 Mes S.P.A. A Socio Unico Indirect vision system and associated operating method
US9335545B2 (en) * 2014-01-14 2016-05-10 Caterpillar Inc. Head mountable display system
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
KR102246553B1 (ko) * 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법
JP6642432B2 (ja) 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
GB2532464B (en) 2014-11-19 2020-09-02 Bae Systems Plc Apparatus and method for selectively displaying an operational environment
GB2532465B (en) 2014-11-19 2021-08-11 Bae Systems Plc Interactive control station
US9542718B2 (en) * 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
EP3262488B1 (en) 2015-02-25 2021-04-07 BAE Systems PLC Apparatus and method for effecting a control action in respect of system functions
DE102015204746A1 (de) * 2015-03-17 2016-09-22 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität
JP2017111724A (ja) * 2015-12-18 2017-06-22 株式会社ブリリアントサービス 配管用ヘッドマウントディスプレイ
DE102016102808A1 (de) * 2016-02-17 2017-08-17 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Steuerung eines an einem Fahrzeug richtbar angeordnetes Sichtgeräts
US10809380B2 (en) * 2017-05-15 2020-10-20 Ouster, Inc. Augmenting panoramic LIDAR results with color
US10586349B2 (en) 2017-08-24 2020-03-10 Trimble Inc. Excavator bucket positioning via mobile device
CN108322705A (zh) * 2018-02-06 2018-07-24 南京理工大学 基于视角显示的特种车辆舱外观察系统及视频处理方法
DE102018203405A1 (de) * 2018-03-07 2019-09-12 Zf Friedrichshafen Ag Visuelles Surround-View-System zur Überwachung des Fahrzeuginneren
JP6429350B1 (ja) * 2018-08-08 2018-11-28 豊 川口 車両
US10943360B1 (en) 2019-10-24 2021-03-09 Trimble Inc. Photogrammetric machine measure up
RU2740472C2 (ru) * 2020-03-20 2021-01-14 Антон Алексеевич Шевченко Способ формирования сферопанорамного поля зрения приборов наблюдения и прицеливания
JP6903287B1 (ja) * 2020-12-25 2021-07-14 雄三 安形 ワイパーを具備しない車両

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5684937A (en) * 1992-12-14 1997-11-04 Oxaal; Ford Method and apparatus for performing perspective transformation on visible stimuli
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5850469A (en) * 1996-07-09 1998-12-15 General Electric Company Real time tracking of camera pose
AU2001250802A1 (en) * 2000-03-07 2001-09-17 Sarnoff Corporation Camera pose estimation
JP2001344597A (ja) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置
US7056119B2 (en) * 2001-11-29 2006-06-06 Lsa, Inc. Periscopic optical training system for operators of vehicles
CN1706195A (zh) * 2002-10-18 2005-12-07 沙诺夫股份有限公司 使用多个摄像机以允许全景可视的方法和系统
US7710654B2 (en) * 2003-05-12 2010-05-04 Elbit Systems Ltd. Method and system for improving audiovisual communication
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
CA2576010C (en) * 2004-08-03 2011-07-26 Silverbrook Research Pty Ltd Head mounted display with wave front modulator

Also Published As

Publication number Publication date
EP1774479A1 (en) 2007-04-18
SE0401603D0 (sv) 2004-06-21
US20070247457A1 (en) 2007-10-25
SE0401603L (sv) 2005-12-22
JP2008504597A (ja) 2008-02-14
CA2569140A1 (en) 2005-12-29
WO2005124694A1 (en) 2005-12-29

Similar Documents

Publication Publication Date Title
SE527257C2 (sv) Anordning och metod för att presentera en omvärldsbild
US10684475B2 (en) Image generation apparatus and image generation method
US7830334B2 (en) Image displaying method and apparatus
CN105793764B (zh) 用于为头戴式显示设备提供扩展显示设备的设备、方法和系统
US10678238B2 (en) Modified-reality device and method for operating a modified-reality device
US10884576B2 (en) Mediated reality
CN107014378A (zh) 一种视线跟踪瞄准操控系统及方法
KR20170100641A (ko) 실세계 객체들의 가상 표현들
CN114730094A (zh) 具有人工现实内容的变焦显示的人工现实系统
JP5869712B1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
KR102188313B1 (ko) Vr을 이용한 다기종 비행 훈련 시뮬레이터
EP3118722A1 (en) Mediated reality
WO2014108799A2 (en) Apparatus and methods of real time presenting 3d visual effects with stereopsis more realistically and substract reality with external display(s)
WO2022133219A1 (en) Mixed-reality visor for in-situ vehicular operations training
CN111417890A (zh) 用于飞行器飞行员的观察设备
CN109727317A (zh) 增强现实系统及控制方法
TW201135583A (en) Telescopic observation method for virtual and augmented reality and apparatus thereof
WO2021117606A1 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
AU2017264323B2 (en) Method and system for facilitating transportation of an observer in a vehicle
JP2023172180A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20220078366A (ko) 핸드 트래킹을 이용한 재활 훈련 장치 및 방법
CN114253389A (zh) 整合动作感测器的增强现实系统与增强现实显示方法
JP2007088660A (ja) 画像表示装置および画像表示方法
Runde Head Mounted Displays & Data Glasses
KR20140139673A (ko) 3차원 시선 인식 시스템을 이용한 증강현실 방법

Legal Events

Date Code Title Description
NUG Patent has lapsed