PL247448B1 - Sposób kontroli położenia maszyn mobilnych w podziemnych wyrobiskach za pomocą analizy obrazów z kamer - Google Patents

Abstract

Przedmiotem zgłoszenia jest sposób kontroli położenia maszyn mobilnych w podziemnych wyrobiskach za pomocą analizy obrazów z kamer wizyjnych. System dedykowany jest zwłaszcza do maszyn używanych podczas drążenia górniczych wyrobisk korytarzowych. Sposób kontroli położenia maszyn mobilnych w podziemnych wyrobiskach za pomocą analizy obrazów z kamer, polega na tym, że w obszarze wyrobiska górniczego instaluje się co najmniej jedną kamerę (1) ustawioną w kierunku maszyny, a na maszynie instaluje się znaczniki (3), po czym kamera/y (1) wykonują zdjęcia korpusu maszyny (4), której położenie określane jest następnie na podstawie analizy położenia znaczników (3) na rejestrowanych kamerami obrazach, przy czym obok jednej kamery (1) i wybranego znacznika (3) instaluje się moduły radiowo — ultradźwiękowe MRU (2) mierzące odległość pomiędzy tymi elementami.

Description

Przedmiotem wynalazku jest system kontroli położenia maszyn mobilnych w podziemnych wyrobiskach za pomocą analizy obrazów z kamer wizyjnych. System dedykowany jest zwłaszcza do maszyn używanych podczas drążenia górniczych wyrobisk korytarzowych, tj. np. kombajnu chodnikowego. Przez pozycjonowanie rozumie się określanie bieżącego położenia i orientacji maszyny podczas jej pracy np. mechanicznego urabiania wyrobiska korytarzowego.

Znane są systemy służące do pozycjonowania i lokalizacji maszyn górniczych przeznaczanych do stosowania w podziemnych wyrobiskach. Znane są na przykład rozwiązania: PPS-RH [1] firmy PPS - Poltinger Precision Systems GmbH, TUnIS Navigation Roadheader [2] firmy VMT GmbH oraz TAUROS [3] firmy GEODATA. W systemach tych położenie kombajnów chodnikowych wyznaczane jest poprzez autonomiczny teodolit/tachimetr, który śledzi pozycję i mierzy odległość do pryzmatów optycznych (odbijających promień lasera) zamontowanych na korpusie kombajnu. Dodatkowo systemy te monitorują aktualne położenie głowicy urabiającej kombajnu chodnikowego względem zaprojektowanego profilu wyrobiska. Tego typu rozwiązania, oparte na autonomicznych tachimetrach/teodolitach laserowych, dedykowane są głównie do drążenia różnego typu tuneli.

Znane są, w przypadku wyrobisk górniczych systemy, których technologia pomiarowa bazuje na dalmierzach laserowych, mierzących odległość maszyny od ociosów wyrobiska. Przykładem jest system SKD-2M (wcześniej MINOS-2) [4] dedykowany do górniczych wyrobisk chodnikowych, gdzie na elementach obudowy chodnikowej zabudowuje się specjalne odbłyśniki odbijające promień lasera. Miejsce montażu odbłyśników określa się względem wskaźnika laserowego, ustalając w ten sposób profil drążonego wyrobiska.

Ponieważ położenie ramy kombajnu względem wyrobiska kontrolowane jest dalmierzami laserowymi, a pochylenie inklinometrem, zatem położenie organów urabiających względem spągu i osi wyrobiska jest mierzone w czasie rzeczywistym i wyświetlane na monitorze w kabinie kombajnisty na tle założonego przekroju wyrobiska.

1. Poltinger Precision Systems - 3D navigation for roadheaders, https://www.pps-muc.de/road- header/ (dostęp: 06.01.2025)

2. TUnIS Navigation Roadheader, https://www.vmt-gmbh.de/wp-content/uploads/2017/10/VMT- INFO-TUnIS-Navigation-Roadheader-GB.pdf (dostęp: 06.01.2025).

3. TAUROS RH guidance system for sandvik roadheaders, https://www.geodata.com/wp-con- tent/uploads/2018/08/Tauros_RH_en.pdf (dostęp: 06.01.2025).

4. Halama A., Loska P. Szymala P.: Wireless control and directional navigation of a roadheader in drilling proces, Pomiary, Automatyka, Robotyka, Nr 2,2013.

System kontroli położenia maszyn mobilnych w podziemnych wyrobiskach za pomocą analizy obrazów z kamer ma w obszarze wyrobiska podziemnego zainstalowaną co najmniej jedną kamerę ustawioną w kierunku maszyny mobilnej, a na korpusie maszyny mobilnej zainstalowane są znaczniki, przy czym obok jednej kamery i wybranego znacznika zainstalowane są pomiarowe moduły radiowo-ultradźwiękowe MRU.

Na korpusie maszyny zainstalowane są nie mniej niż trzy znaczniki o znanym rozmieszczeniu przestrzennym.

W obszarze wyrobiska podziemnego zainstalowane są korzystnie dwie kamery ustawione w kierunku maszyny mobilnej.

Znacznikami korzystnie są sensory emitujące promieniowanie podczerwone.

Kamery korzystnie zamocowane są do elementów obudowy wyrobiska podziemnego.

Kamery zamocowane są do dedykowanej samodzielnej konstrukcji wsporczej.

System kontroli położenia maszyn mobilnych w podziemnych wyrobiskach za pomocą analizy obrazów z kamer przedstawiony jest w przykładzie wykonania na załączonym rysunku, który przedstawia strukturę systemu.

Najważniejsze części systemu to kamery 1 , moduły radiowo-ultradźwiękowe (MRU) 2 oraz znaczniki (punkty charakterystyczne) 3 w liczbie przynajmniej trzech umieszczone na korpusie maszyny 4. Jednostka obliczeniowa systemu 7, która, w czasie rzeczywistym, analizuje obrazy z kamer, celem lokalizacji na nich znaczników, a następnie na tej podstawie określa wektory położenia znaczników względem założonego układu współrzędnych odniesienia, uwzględniając dane pomiarowe z części radiowo-ultradźwiękowej. Współrzędne znaczników zostają przetworzone na położenie oraz orientację mobilnej maszyny górniczej np. kombajnu chodnikowego. Układ współrzędnych odniesienia związany jest z wyrobiskiem podziemnym 5. Korzystnie początek układu współrzędnych znajduje się w miejscu montażu jednej z kamer.

System kontroli położenia maszyn mobilnych w podziemnych wyrobiskach za pomocą analizy obrazów z kamer, według wynalazku, charakteryzuje się dużą dokładnością wyznaczania współrzędnych: Y i X gdzie osie X i Y ułożone są w płaszczyźnie przekroju poprzecznego wyrobiska, natomiast współrzędna osi Z, zgodnej z kierunkiem drążenia wyrobiska, obarczona jest dużym błędem. W związku z powyższym w systemie konieczny jest pomiar odległości pomiędzy jedną z kamer 1 i wybranym znacznikiem 3, co umożliwia skorygowanie współrzędnych osi Z wektorów położenia wszystkich znaczników 3. Do pomiaru tej odległości zastosowano dwa moduły radiowo-ultradźwiękowe MRU 2 korzystnie zabudowane jak najbliższej kamery 1 oraz znacznika 3 na kombajnie. Moduły radiowo-ultradźwiękowe MRU pracują w trybie nadajnik-odbiornik. Do pomiaru odległości wykorzystują zjawiska związane z propagacją fal akustycznych, korzystnie ultradźwięków, natomiast fale radiowe służą do komunikacji oraz synchronizacji pomiarów. Element MRU zabudowany obok kamery 1 w wyrobisku posiada logikę przetwarzającą sygnały pomiarowe na odległość pomiędzy nadajnikiem i odbiornikiem oraz magistralę umożliwiającą wysłanie tej informacji poprzez koncentrator magistrali komunikacyjnej 6 do jednostki obliczeniowej 7. Do określania pozycji i orientacji korpusu maszyny (np. kombajnu chodnikowego) 4, możliwe jest zastosowanie różnej liczby kamer 1. Najbardziej korzystnym i proponowanym rozwiązaniem jest zastosowanie dwóch kamer 1. Pozycja maszyny jest wtedy wyznaczana na podstawie efektu paralaksy. Kamery 1 są przymocowane bezpośrednio do ścian (ociosów) wyrobiska podziemnego 5 lub przymocowane do, nie pokazanej na rysunku, dodatkowej konstrukcji zainstalowanej w wyrobisku. Konstrukcja ta posiada uchwyty na kamery 1 i element MRU. Ułożenie kamer 1 jest modyfikowane i dostosowywane do struktury wyrobiska. Położenie kamer 1, względem założonego układu współrzędnych związanego z wyrobiskiem, jest wprowadzone do jednostki obliczeniowej systemu 7. W przypadku górniczego wyrobiska korytarzowego kamery 1 znajdują się po jednej stronie wyrobiska lub po jego przeciwnych stronach, z tyłu korpusu maszyny 4, tzn. od strony, na której zainstalowano znaczniki 3.

Możliwe jest również zastosowanie w systemie tylko jednej kamery, wtedy ułożenie znaczników 3 na maszynie musi być ściśle zdefiniowane. Położenie ich jest asymetryczne, a różnice pomiędzy ich położeniem są wprowadzone do jednostki obliczeniowej systemu 7, gdyż pozycja obiektu pomiarów określana jest na podstawie analizy obrazu i różnic w położeniach między znacznikami 3.

Możliwe jest zastosowanie również większej niż dwa liczby kamer 1, co nie zmienia idei działania systemu i jest podobne do przypadku z dwiema kamerami 1. Liczba rejestrowanych obrazów jest wtedy nadmiarowa i logika jednostki obliczeniowej systemu 7 wybiera wektory reprezentujące kierunek i zwrot między kamerą 1 a znacznikiem 3, które zapewniają największą dokładność pomiarową.

Na maszynie znajdują się nie mniej niż trzy znaczniki 3, które są wykrywane przez logikę systemu pozycjonowania, na podstawie analizy rejestrowanych obrazów. Znaczniki 3 są charakterystyczne i odróżniają się od otoczenia, aby możliwa była ich jednoznaczna identyfikacja. Korzystniejsze jest zastosowanie znaczników aktywnych, niż pasywnych. Zastosowanie znaczników pasywnych, np. w postaci wybranych części konstrukcji kombajnu, kształtów namalowanych farbą innego koloru niż obudowa korpusu maszyny 4 lub innych elementów dodatkowo umieszczonych na kombajnie, również tych odbijających światło, jest możliwe, lecz mało efektywne, ze względu na trudne warunki środowiskowe. Jako znaczniki stosuje się źródła światła na przykład diody LED. Najbardziej korzystnym rozwiązaniem jest zastosowanie do tego celu elementów generujących promieniowanie podczerwone.

Położenie i orientacja maszyny określona jest na podstawie analizy obrazów rejestrowanych w kamerach 1. Na rejestrowanych obrazach, system musi jednoznacznie określić położenie znaczników 3. Aby to osiągnąć należy ustawić poziom czułości kamer 1, zapewniający odróżnienie znaczników 3 od obrazu tła. Obrazy poddaje się filtracji celem wyeliminowania zniekształcenia obrazów, powodowanego m.in. zjawiskiem dystorsji. Z tak przetworzonych obrazów wyznacza się wektory reprezentujące kierunek i zwrot od kamer 1 do znaczników 3. Wektory te połączone są w pary odpowiadające każdemu znacznikowi 3. Na podstawie pozycji kamer 1 i wyznaczonych par wektorów wyznaczane jest położenie znaczników 3, co oznacza także wyznaczenie położenia śledzonego obiektu. W celu dokonania pomiaru orientacji obiektu konieczne jest rozpoznanie konkretnych znaczników 3. Jest to możliwe dzięki różnicom w położeniu między znacznikami 3 zmierzonymi przy montażu systemu lub porównaniu tych różnic pomiędzy kolejnymi pomiarami.

Kamery 1 oraz moduł radiowo-ultradźwiękowy 2 połączone są magistralą komunikacyjną, np. Ethernet, poprzez koncentrator magistrali 6 do jednostki obliczeniowej systemu (komputera przemysłowego) 7, gdzie odbywa się: rejestracja obrazów i ich analiza oraz wykonywane są niezbędne obliczenia.

Informacja o pozycji maszyny może zostać wyświetlona lokalnie lub może być przesłana łączem danych w inne miejsce, np. do układu sterowania maszyny lub do oddalonego stanowiska zdalnego sterowania maszyną.

Oznaczenia na rysunkach:

- kamery

- moduły radiowo-ultradźwiękowe (MRU)

- znaczniki

- korpus maszyny

- wyrobisko podziemne

- koncentrator magistrali komunikacyjnej

- jednostka obliczeniowa systemu

Claims (6)

1. System kontroli położenia maszyn mobilnych w podziemnych wyrobiskach za pomocą analizy obrazów z kamer, znamienny tym, że w obszarze wyrobiska górniczego zainstalowana jest co najmniej jedna kamera (1) ustawiona w kierunku maszyny mobilnej, a na korpusie (4) maszyny mobilnej zainstalowane są znaczniki (3), przy czym obok jednej kamery (1) i wybranego znacznika (3) zainstalowane są pomiarowe moduły radiowo-ultradźwiękowe MRU (2).

2. System kontroli położenia maszyn mobilnych według zastrz. 1, znamienny tym, że na korpusie maszyny (4) zainstalowane są nie mniej niż trzy znaczniki (3) o znanym rozmieszczeniu przestrzennym.

3. System kontroli położenia maszyn mobilnych według zastrz. 1, znamienny tym, że w obszarze wyrobiska podziemnego (5) zainstalowane są korzystnie dwie kamery (1) ustawione w kierunku maszyny mobilnej.

4. System kontroli położenia maszyn mobilnych według zastrz. 1 znamienny tym, że znacznikami (3) korzystnie są sensory emitujące promieniowanie podczerwone.

5. System kontroli położenia maszyn mobilnych według zastrz. 1 znamienny tym, że kamery (1) korzystnie zamocowane są do elementów obudowy wyrobiska podziemnego (5).

6. System kontroli położenia maszyn mobilnych według zastrz. 1 znamienny tym, że kamery (1) zamocowane są do dedykowanej samodzielnej konstrukcji wsporczej.