PL249003B1 - Sposób kontroli dostępu do przestrzeni roboczej - Google Patents

Abstract

Sposób kontroli dostępu do przestrzeni roboczej (1), który realizuje się za pomocą systemu wizyjnego (2) składającego się z co najmniej trzech skalibrowanych względem siebie sensorów do analizy przestrzeni roboczej (1), z których co najmniej jeden sensor jest kamerą wizyjną RGB (3), co najmniej jeden sensor jest kamerą termowizyjną (4) w zakresie dalekiej podczerwieni i co najmniej jeden sensor jest sensorem głębokości (5) w zakresie bliskiej podczerwieni, przy czym w pierwszych czterech etapach sposobu definiuje się wirtualną strefę bezpieczeństwa (6) i etapy od pierwszego do czwartego można powtarzać w celu zdefiniowania kilku wirtualnych stref bezpieczeństwa (6) o różnym kształcie i rozmiarze, a w piątym etapie kontroluje się dostęp do przestrzeni roboczej (1), do czego wykorzystuje się jedną lub więcej wirtualnych stref bezpieczeństwa (6) zdefiniowanych w poprzednich etapach.

Description

Opis wynalazku

Przedmiotem wynalazku jest sposób kontroli dostępu do przestrzeni roboczej, który realizuje się za pomocą systemu wizyjnego, składającego się z co najmniej trzech skalibrowanych względem siebie sensorów do analizy przestrzeni roboczej, z których co najmniej jeden sensor jest kamerą wizyjną RGB, co najmniej jeden sensor jest kamerą termowizyjną w zakresie dalekiej podczerwieni i co najmniej jeden sensor jest sensorem głębokości w zakresie bliskiej podczerwieni, przy czym w pierwszych czterech etapach sposobu definiuje się wirtualną strefę bezpieczeństwa i etapy od pierwszego do czwartego można powtarzać w celu zdefiniowania kilku wirtualnych stref bezpieczeństwa o różnym kształcie i rozmiarze, a w piątym etapie kontroluje się dostęp do przestrzeni roboczej, do czego wykorzystuje się jedną lub więcej wirtualnych stref bezpieczeństwa zdefiniowanych w poprzednich etapach. Sposób kont roli dostępu do przestrzeni roboczej według wynalazku może być wykorzystywany do kontroli dostępu do określonych przestrzeni roboczych w przemyśle, takich jak gniazda produkcyjne, przestrzenie, w których pracują roboty przemysłowe lub obrabiarki.

Kontrola dostępu do przestrzeni roboczej w przemyśle jest stosowana za pomocą różnych rozwiązań, takich jak kurtyny, osłony, przełączniki, płyty naciskowe. Obecnie w miejscach pracy do zapewnienia bezpieczeństwa życia ludzkiego stosowane są standardowe kurtyny lub skanery 2D. Zazwyczaj są to zabezpieczenia dla jednej ze stron, natomiast pozostała przestrzeń otoczona jest wygrodzeniem. Takie podejście powoduje, że duża część fabryki zostaje wyłączona z użytkowania. Dodatkowo, trudno wprowadza się wszelkie modyfikacje do stanowiska pracy, a co ważniejsze są duże ograniczenia w kształcie zabezpieczonego miejsca. Ponadto kurtyny działają w jednej płaszczyźnie i wykrywają jedynie przekroczenie bariery. Są przypadki, w których pracownik jest w środku maszyny, druga osoba resetuje system i dochodzi do wypadku.

Istnieją również sposoby kontroli dostępu do przestrzeni roboczej oparte na systemach wizyjnych. Klasyczne systemy oparte o bariery optyczne nie umożliwiają pełnej, bezpiecznej współpracy z robotem/maszyną, ponieważ nie są w stanie sklasyfikować, czy w strefie bezpieczeństwa jest człowiek/inny obiekt, nie mają możliwości w łatwy sposób zdefiniowania różnych stref bezpieczeństwa (np. czerwona - jej przekroczenie całkowicie zatrzymuje ramię robota/maszynę i włącza alarm, żółta - robot/maszyna zwalnia i włączony jest system ostrzegawczy) oraz systemy te nie są skalowalne - tzn. rozbudowa systemu wymaga bardzo często przeprojektowania stanowiska i zakupu nowych urządzeń.

W ostatnim czasie pojawiły się również rozwiązania w oparciu o kamery i analizę w dwóch wymiarach. W takim przypadku możliwe jest wydzielenie obserwowanego obszaru jednak bez możliwości oceny w trzech wymiarach położenia obiektu, co w konsekwencji powoduje, że wykrycie niebezpiecznego zdarzenia sprowadza się do porównywania ramek i detekcji dowolnych obiektów. Analiza w dwóch wymiarach ma taką wadę, że wykrycie obiektu nie zawsze oznacza, że znajduje się on w strefie bezpieczeństwa. Obiekt może na przykład stać przed strefą bezpieczeństwa. Takie podejście zakłada wykorzystanie kamer RGB (operujących w zakresie widma 400-700 nm), co ma swoje negatywne aspekty, a szczególnie wrażliwość na warunki oświetlenia.

Firma Pilz w swoim produkcie SafetyEye zaproponowała wykorzystanie stereowizji do zbudowania wirtualnej strefy w 3D, a następnie analizę otoczenia i alarm przy wykryciu anomalii (dowolny obiekt w strefie powoduje aktywację alarmu). Znane w stanie techniki są rozwiązania, które bazują na komunikacji z kontrolerem maszyny i informacjach z wielu sensorów głębi. Sensory te obserwują ten sam obszar roboczy z wielu miejsc, w celu zwiększenia pewności o obecności obiektu w przestrzeni. Takie podejście stosuje firma VeoRobotics, gdzie cały czas monitoruje się otoczenie, implementując protokół “Speed and Separation Monitoring”. Sposoby te mają jednak ograniczenia w postaci niewłaściwego rozpoznawania niektórych obiektów i wyodrębniania postaci ludzkich na obrazach. Protokół VeoRobotics jest przeznaczony dla corobotów, gdzie dynamicznie wyznaczany jest obszar, gdzie robot może działać z pełną prędkością lub musi zwolnić. Protokół ten nie definiuje wirtualnych stref bezpieczeństwa.

Odpowiedzią na te mankamenty są wielomodalne sposoby i systemy kontroli dostępu, oparte na więcej, niż jednym typie kamer, np. kamerze RGB oraz kamerze termowizyjnej. W stanie techniki znanych jest kilka sposobów tego typu.

Z opisu zgłoszeniowego CN 111687829 A znany jest sposób kontroli anty kolizyjnej oparty na widzeniu głębokości, który obejmuje etapy, w których uzyskuje się trójwymiarowe dane obiektu docelowego oraz części operacyjnej działającego urządzenia ruchomego (np. manipulatora robota); na podstawie danych trójwymiarowych określa się pierwszą strefę bezpieczeństwa antykolizyjnego obiektu do celowego i drugą strefę bezpieczeństwa anty kolizyjnego części roboczej działającego urządzenia ruchomego. Wynalazek dotyczy metody unikania kolizji małego ramienia manipulatora z obiektem schwytanym. Do tego celu wykorzystany jest sensor głębokości, na podstawie którego określona jest odległość manipulatora od obiektu. Są tworzone dwie strefy bezpieczeństwa: pierwsza strefa wokół ramienia chwytającego i druga strefa wokół obiektu.

Znane jest z opisu zgłoszeniowego US 2009015663 A urządzenie monitorujące do monitorowania obszaru przestrzennego zawierające co najmniej jedną jednostkę rejestrującą obraz. Trójwymiarowy obraz obszaru przestrzennego jest rejestrowany i wyświetlany w celu konfiguracji. Płaszczyzna konfiguracyjna jest definiowana za pomocą wielu punktów przestrzennych, które zostały określone w trójwymiarowym obrazie. Następnie definiowany jest co najmniej jeden element zmiennej geometrii względem płaszczyzny konfiguracyjnej. Rekord danych reprezentujący przekształcenie elementu geometrii w obszar przestrzenny jest generowany i przesyłany do urządzenia monitorującego. Wyznaczanie punktów przestrzennych obejmuje określanie współrzędnych przestrzennych wybranych i/lub zidentyfikowanych punktów przestrzennych trójwymiarowego obrazu rzeczywistego. Zdefiniowanie płaszczyzny konfiguracji za pomocą tych zidentyfikowanych punktów przestrzennych tworzy jednoznaczną relację pomiędzy „wirtualną” płaszczyzną konfiguracji a rzeczywistym obszarem przestrzennym. Zależność ta pozwala na zdefiniowanie wirtualnych elementów geometrii, pozostających w jednoznacznej i dobrze zdefiniowanej relacji z rzeczywistym obszarem przestrzennym. Wraz z generowaniem i przesyłaniem odpowiedniego rekordu danych do urządzenia monitorującego, w szczególności do jednostki oceniającej takiego urządzenia monitorującego, elementy wirtualnej geometrii są rzutowane na rzeczywisty obszar przestrzenny. Rzut ten jest odwracalnie jednoznaczny ze względu na płaszczyznę konfiguracji zdefiniowaną na podstawie rzeczywistych punktów przestrzennych. Obszary monitorowania w postaci elementów geometrii można w ten sposób niezawodnie i bezpiecznie skonfigurować.

Z opisu zgłoszeniowego CN 113370212 A znany jest sposób kontroli dostępu do manipulatora kratownicowego obejmujący następujące kroki: podział obszaru działania manipulatora kratownicowego na obszar współpracy, obszar nieingerencji i obszar bezpieczny; zbieranie informacji obrazowych o docelowej przeszkodzie w obszarze działania oraz aktualnej odległości między docelową przeszkodą a manipulatorem kratownicowym; określanie docelowej przeszkody jako żywej przeszkody na podstawie informacji o obrazie docelowej przeszkody; oraz pod warunkiem że manipulator kratownicowy pracuje w obszarze współpracy, umożliwienie zlokalizowania żywej przeszkody w obszarze współpracy, wysterowanie manipulatora kratownicowego w celu zaprzestania działania, gdy aktualna odległość żywej przeszkody od manipulatora kratownicowego nie jest większa niż bezpieczna odległość i generowanie informacji o pierwszym alarmie. Zgodnie z metodą obszar działania manipulatora kratownicowego jest podzielony na obszar współpracy, obszar niezakłócony i obszar bezpieczeństwa. W sposobie są gromadzone informacje o obrazie przeszkody docelowej w obszarze roboczym oraz położenie przeszkody docelowej i odległości manipulatora kratownicy, w tym: inf ormacje o obrazie docelowej przeszkody zebrane za pomocą kamery na podczerwień; ultradźwiękowy czujnik radarowy służy do określania aktualnej odległości między docelową przeszkodą a manipulatorem kratownicowym.

Z opisu patentowego US 8154590 B znana jest metoda obserwacji osoby w środowisku przemysłowym przy użyciu systemu wielokamerowego do pozyskiwania danych obrazowych dotyczących pozycji i ustawienia osoby, w tym części ciała. Te dane obrazowe są następnie analizowane pod kątem obrazowania osoby, tak że za każdym razem, gdy osoba zostanie wykryta w danych obrazowych, przegubowy wirtualny model 3D ludzkiego ciała jest dopasowywany do hipotezy tej osoby. Następnie ten wirtualny model ciała jest stale dopasowywany do zachowania ruchowego osoby wykrytej w danych obrazu. Potencjał zagrożenia jest określany na podstawie znajomości położenia i zachowania ruchowego wirtualnego modelu ciała w przestrzeni. Określony w ten sposób potencjał zagrożenia jest poddawany porównaniu z wartością progową, aby w przypadku przekroczenia tej wartości progowej oddziaływać na sterowanie ruchem maszyny lub części maszyny.

Z opisu zgłoszeniowego US 2015228078 A znany jest sposób monitorowania obszaru stacji roboczej linii produkcyjnej. W jednym przykładzie dane obrazu głębi są odbierane z jednej lub większej liczby kamer głębokości skalibrowanych w obszarze stanowiska roboczego, przy czym dane zawierają czasową sekwencję obrazów operatora. Korzystając z danych obrazu głębi, śledzona jest seria ruchów operatora w przestrzeni 3D obszaru stanowiska pracy. Dane o stanie operacyjnym są odbierane z linii produkcyjnej, wskazując, że linia produkcyjna działa. Korzystając z serii ruchów, operator określa, czy znajduje się w określonej odległości od zagrożenia. W odpowiedzi linia produkcyjna otrzymuje polecenie zaprzestania pracy.

Podstawowym problemem związanym z wyznaczeniem wirtualnych stref bezpieczeństwa (o dowolnym kształcie), w sposobach znanych w stanie techniki, jest określenie punktów w podstawie. Zazwyczaj stosowane są do tego znaczniki ArUco, które w sposób automatyczny pozwalają określić transformację (6DOF) względem początku układu kamery w świetle widzialnym. Jednak w tym podejściu można wymienić kilka problemów:

- wraz ze wzrostem odległości pomiędzy kamerą a znacznikiem spada dokładność rozpoznania, - musi być zachowana bezpośrednia linia widoczności pomiędzy kamerą a znacznikiem, przy czym w przypadku środowiska produkcyjnego bardzo ciężko takie wymaganie utrzymać,

- dokładność detekcji uzależniona jest od kąta między płaszczyzną obrazowania a ułożeniem markera. Najlepsze rezultaty detekcji można uzyskać gdy znacznik znajduje się prostopadle do kamery, w przypadku kiedy kamera umieszczona jest pod kątem, znacząco utrudnione jest poprawne wykrycie (szczególnie przy odległościach większych niż 3 m),

- algorytm detekcji markerów ArUco dedykowany jest dla kamery w świetle widzialnym, natomiast gdy referencyjny układ współrzędnych związany jest z inną modalnością (np. kamerą głębokości lub kamerą termowizyjną) wymagane jest przetransformowanie danych, co wprowadza dodatkowe błędy,

- dla większych odległości od kamery trzeba korzystać z dużych znaczników, co w wielu miejscach w przemyśle jest sporym problemem.

Uwzględniając powyższe informacje, brakuje w stanie techniki sposobu kontroli dostępu do przestrzeni roboczej, opartego na detekcji obrazu za pomocą kilku kamer w różnym spektrum (kamery RGB, kamery głębokości, kamery termowizyjnej), który byłby intuicyjny w zastosowaniu, uniwersalny, pozwalał na skalowanie oraz rekonfigurację w przypadku zmian wprowadzanych w przestrzeni roboczej, a jednocześnie charakteryzowałby się wysokim stopniem dokładności i niezawodności, a co za tym idzie - bezpieczeństwa.

Sposób kontroli dostępu do przestrzeni roboczej, który realizuje się za pomocą systemu wizyjnego składającego się z co najmniej trzech skalibrowanych względem siebie sensorów do analizy przestrzeni roboczej, z których co najmniej jeden sensor jest kamerą wizyjną RGB, co najmniej jeden sensor jest kamerą termowizyjną w zakresie dalekiej podczerwieni i co najmniej jeden sensor jest sensorem głębokości w zakresie bliskiej podczerwieni, przy czym w pierwszych czterech etapach sposobu definiuje się wirtualną strefę bezpieczeństwa i etapy od pierwszego do czwartego można powtarzać w celu zdefiniowania kilku wirtualnych stref bezpieczeństwa o różnym kształcie i rozmiarze, a w piątym etapie kontroluje się dostęp do przestrzeni roboczej, do czego wykorzystuje się jedną lub więcej wirtualnych stref bezpieczeństwa zdefiniowanych w poprzednich etapach, charakteryzuje się tym, że w pierwszym etapie określa się co najmniej trzy obszary referencyjne na mapie głębokości, przy czym z każdego obszaru referencyjnego generuje się chmurę punktów i za pomocą tych obszarów referencyjnych oraz chmur punktów wyznacza się równanie płaszczyzny referencyjnej, przy czym układem referencyjnym jest kamera głębokości, a w drugim etapie definiuje się podstawę wirtualnej strefy bezpieczeństwa, a w tym celu wykorzystuje się zdefiniowaną w pierwszym etapie płaszczyznę referencyjną oraz obraz RGB-D, a następnie w trzecim etapie generuje się ściany wirtualnej strefy bezpieczeństwa, przy czym uwzględnia się wysokość oraz kształt podstawy zdefiniowane w drugim etapie, z kolei w czwartym etapie generuje się reprezentację trójwymiarową zdefiniowanej bryły wirtualnej strefy bezpieczeństwa i wyznacza się podstawowe prymitywy przestrzeni trójwymiarowej oraz przydziela się unikalny numer identyfikacyjny wirtualnej strefie bezpieczeństwa, po czym w piątym etapie kontroluje się dostęp do co najmniej jednej wirtualnej strefy bezpieczeństwa, z wyznaczonych w poprzednich etapach, za pomocą systemu wizyjnego, którym monitoruje się wyznaczone prymitywy przestrzeni trójwymiarowej i podejmuje się określone działania w przypadku wykrycia określonego typu obiektu w określonej wirtualnej strefie bezpieczeństwa.

Korzystnie w pierwszym etapie określa się cztery obszary referencyjne na mapie głębokości, przy czym czwarty obszar referencyjny wykorzystuje się do sprawdzenia jakości dopasowania płaszczyzny referencyjnej.

Inne korzyści są uzyskiwane, jeżeli w dowolnym etapie do poprawy jakości obrazów wykorzystuje się procedurę uśredniania ramek, w której otrzymuje się uśredniony obraz z obecnie przetwarzanej ramki oraz k poprzednio przetwarzanych ramek, gdzie k>0.

Korzystnie równanie płaszczyzny referencyjnej wyznacza się za pomocą metody optymalizacji najmniejszych kwadratów.

Inne korzyści są uzyskiwane, jeżeli podstawowymi prymitywami przestrzeni trójwymiarowej w etapie czwartym są trójkąty.

Dalsze korzyści są uzyskiwane, jeżeli obraz RGB-D generuje się za pomocą kamery wizyjnej RGB oraz kamery głębokości.

Korzystnie kamera wizyjna RGB, kamera termowizyjna i kamera głębokości są umieszczone w jednym punkcie przestrzeni roboczej w głowicy pomiarowej.

Korzystnie sposób kontroli dostępu do przestrzeni roboczej realizuje się za pomocą systemu wizyjnego składającego się z kilku głowic pomiarowych umieszczonych w różnych punktach przestrzeni roboczej.

Inne korzyści są uzyskiwane, jeżeli w przypadku wykrycia obiektu typu człowiek w piątym etapie sposobu, za pomocą kamery wizyjnej RGB, kamery termowizyjnej i/lub kamery głębokości, w określonej wirtualnej strefie bezpieczeństwa, nagrywa się obraz z kamery wizyjnej RGB na nośniku pamięci. Dalsze korzyści są uzyskiwane, jeżeli w przypadku wykrycia obiektu typu człowiek w piątym etapie sposobu, za pomocą kamery wizyjnej RGB, kamery termowizyjnej i/lub kamery głębokości, w określonej wirtualnej strefie bezpieczeństwa, określa się, od której ściany obiekt dostał się do wirtualnej strefy bezpieczeństwa.

Korzystnie w przypadku wykrycia obiektu typu człowiek w piątym etapie sposobu, za pomocą kamery wizyjnej RGB, kamery termowizyjnej i/lub kamery głębokości, w określonej wirtualnej strefie bezpieczeństwa, w przypadku kiedy zdefiniowana jest więcej, niż jedna wirtualna strefa bezpieczeństwa, śledzi się przemieszczanie się obiektu pomiędzy poszczególnymi strefami bezpieczeństwa wykorzystując unikalne numery identyfikacyjne poszczególnych wirtualnych stref bezpieczeństwa i analizując sekwencję pojawiających się alarmów.

Korzystnie definiuje się co najmniej dwie wirtualne strefy bezpieczeństwa i kiedy powtarza się pierwszy etap przynajmniej raz wykorzystuje się równanie płaszczyzny referencyjnej wyznaczone wcześniej dla innej wirtualnej strefy bezpieczeństwa.

Dalsze korzyści są uzyskiwane, jeżeli w piątym etapie przesyła się do nadrzędnego systemu sterowania dane dotyczące kontroli dostępu do co najmniej jednej wirtualnej strefy bezpieczeństwa.

Korzystnie w piątym etapie wspomaga się kontrolowanie wirtualnych stref bezpieczeństwa oraz wykrywanie i klasyfikowanie określonych obiektów, za pomocą co najmniej jednej konwolucyjnej sieci neuronowej.

Dalsze korzyści są uzyskiwane, jeżeli w piątym etapie kontroluje się dostęp do co najmniej jednej wirtualnej strefy bezpieczeństwa w dwunastu krokach realizowanych cyklicznie w pętli, przy czym w kroku pierwszym dokonuje się akwizycji danych wielomodalnych za pomocą systemu wizyjnego, następnie w drugim kroku segmentuje się semantycznie pozyskane obrazy za pomocą konwolucyjnych sieci neuronowych, a w trzecim kroku sprowadza się pozyskane maski do układu referencyjnego i w czwartym kroku łączy się dwuwymiarowe maski, po czym w piątym kroku wyznacza się kandydatów dwuwymiarowych i następnie w szóstym kroku filtruje się kandydatów dwuwymiarowych z uwzględnieniem mapy głębokości, a w siódmym kroku dokonuje się przejścia z przestrzeni dwuwymiarowej do przestrzeni trójwymiarowej, przy czym w ósmym kroku dokonuje się wokselizacji i następnie w dziewiątym kroku wydziela się obiekty z podobną głębokością za pomocą metody wyszukiwania spójnych składowych, a w dziesiątym kroku monitoruje się wyznaczone prymitywy przestrzeni trójwymiarowej i sprawdza się kolizje określonego typu obiektów z określoną wirtualną strefą bezpieczeń stwa, a w przypadku wykrycia kolizje, w jedenastym kroku podejmuje się określone działania i następnie w dwunastym kroku przesyła się do nadrzędnego systemu sterowania dane dotyczące kontroli dostępu do co najmniej jednej wirtualnej strefy bezpieczeństwa.

Inne korzyści są uzyskiwane, jeżeli w drugim kroku w piątym etapie segmentuje się semantycznie ludzi.

Korzystnie w dwunastym kroku przesyła się do nadrzędnego systemu sterowania dane związane z detekcją ludzi w wirtualnej strefie bezpieczeństwa i przechowuje się te dane w module zbierania i analizy danych pod postacią bazy danych przechowującej zdarzenia takie jak wkroczenie do wirtualnej strefy bezpieczeństwa, opuszczenie wirtualnej strefy bezpieczeństwa, czas przebywania obiektu w wirtualnej strefie bezpieczeństwa.

Dalsze korzyści są uzyskiwane, jeżeli w dwunastym kroku, dane przesłane do nadrzędnego systemu sterowania prezentuje się za pomocą modułu prezentacji danych w postaci wykresów na stronie internetowej.

Sposób kontroli dostępu do przestrzeni roboczej według wynalazku poprzez efektywną definicję wirtualnych stref bezpieczeństwa daje następujące efekty techniczne:

- umożliwia określenie, z której strony następuje wchodzenie do strefy, co pomaga w analizie wypadków i optymalizacji stanowiska pracy, możliwość rejestracji wejścia od konkretnej strony pozwala również na dopuszczanie wejść do stref od danej strony i traktowanie wejść do stref z innych stron jako alarmów, umożliwia nagrywanie sytuacji alarmowych poprzez wprowadzenie kamery RGB, umożliwia definiowanie różnych obszarów o różnych kształtach w podstawie, dodatkowo o różnej wysokości,

- umożliwia śledzenie odpowiednich sekwencji przejść. W kontrolowanej przestrzeni roboczej można zaprojektować wiele wirtualnych stref bezpieczeństwa, przy czym ruch powinien odbywać się poprzez przejście z jednej do drugiej,

- nie wymaga wprowadzania znaczników, określenie płaszczyzny referencyjnej odbywa się na podstawie bezpośredniego pomiaru głębokości,

- umożliwia zdefiniowanie kilku płaszczyzn referencyjnych, co pozwala ustanawiać wirtualne strefy bezpieczeństwa na kilku poziomach w zależności od wysokości podłogi i obiektów,

- fuzja informacji z wielu sensorów ułatwia dokładną analizę otoczenia. Informacje o temperaturze, kształcie obiektów oraz informacje o głębokości pozwalają lepiej odróżnić pracowników od innych elementów znajdujących się w przestrzeni monitorowanego obszaru,

- odpowiedź kamery głębokości istotnie uzależniona jest od charakteru materiału i od odległości. Z tego względu na większych odległościach brakuje danych. W tych miejscach informacje o głębokości można odzyskać za pomocą wyznaczonej płaszczyzny referencyjnej,

- w wielu przypadkach bardzo ciężko rozpoznać punkty charakterystyczne, a dzięki generowaniu obrazu RGB-D, łatwiej widać poszczególne tekstury obiektów,

- dzięki realizacji sposobu za pomocą systemu wizyjnego składającego się z kilku głowic pomiarowych umieszczonych w różnych punktach przestrzeni roboczej, możliwe jest unikanie “martwych stref’ w nadzorowanych wirtualnych strefach bezpieczeństwa oraz jeszcze dokładniejsze monitorowanie przestrzeni roboczej,

- dzięki wykorzystaniu podstawowych prymitywów przestrzeni trójwymiarowej w postaci trójkątów możliwa jest procedura wyznaczania kolizji obiektu (opisanego przez chmurę punktów w trzech wymiarach) z wirtualną strefą bezpieczeństwa, a dzięki takiej konfiguracji i zbudowaniu stref możliwe jest wykrycie, z której strony strefy następuje wejście do określonej strefy,

- wykorzystanie klasycznej metody wyszukiwania spójnych składowych, pozwala na efektywne połączenie pomiędzy obiektami wzbogacone o informacje o temperaturze oraz teksturze obiektu,

- wykorzystanie bardziej zaawansowanych metod detekcji oraz segmentacji semantycznej obiektów za pomocą konwolucyjnych sieci neuronowych, w szczególności detekcji człowieka, daje możliwość nagrywania niebezpiecznych zdarzeń z udziałem człowieka, jak również dopuszczania do stref bezpieczeństwa określonych obiektów.

Uwzględniając powyższe cechy i funkcjonalności, sposób kontroli dostępu do przestrzeni roboczej według wynalazku, oparty na detekcji obrazu za pomocą trzech i więcej kamer w działających w różnym spektrum widma (kamery RGB, kamery głębokości, kamery termowizyjnej) jest intuicyjny w stosowaniu, uniwersalny, pozwala na kalibrowanie, skalowanie oraz rekonfigurację w przypadku zmian wprowadzanych w przestrzeni roboczej, a jednocześnie charakteryzuje się wysokim stopniem dokładności i niezawodności, a co za tym idzie - bezpieczeństwa.

Sposób kontroli dostępu do przestrzeni roboczej według wynalazku został opisany w dwóch przykładach realizacji, które zostały przedstawione na pomocniczym rysunku, na fig. od 1 do 2, na którym fig. 1 obrazuje przestrzeń roboczą podzieloną na trzy wirtualne strefy bezpieczeństwa, do której dostęp jest kontrolowany za pomocą sposobu kontroli dostępu do przestrzeni roboczej w pierwszym przykładzie realizacji, a fig. 2 obrazuje przestrzeń roboczą z wyznaczoną jedną wirtualną strefą bezpieczeństwa, do której dostęp jest kontrolowany za pomocą sposobu kontroli dostępu do przestrzeni roboczej w drugim przykładzie realizacji.

W pierwszym przykładzie realizacji sposób kontroli dostępu do przestrzeni roboczej 1 realizuje się za pomocą systemu wizyjnego 2 składającego się z trzech skalibrowanych względem siebie sensorów do analizy przestrzeni roboczej 1. Jeden sensor jest kamerą wizyjną RGB 3 drugi sensor jest kamerą termowizyjną 4 w zakresie dalekiej podczerwieni i trzeci sensor jest sensorem głębokości 5 w zakresie bliskiej podczerwieni. Kamera wizyjna RGB 3, kamera termowizyjna 4 i kamera głębokości 5 są umieszczone w jednym punkcie przestrzeni roboczej 1 w głowicy pomiarowej 13. W pierwszych czterech etapach sposobu definiuje się wirtualną strefę bezpieczeństwa 6. Etapy od pierwszego do czwartego powtarza się dwa razy w celu zdefiniowania trzech wirtualnych stref bezpieczeństwa 6 o różnym kształcie i rozmiarze. W piątym etapie kontroluje się dostęp do przestrzeni roboczej 1, do czego wykorzystuje się trzy wirtualne strefy bezpieczeństwa 6 zdefiniowane w poprzednich etapach. W pierwszym etapie określa się cztery obszary referencyjne 7 na mapie głębokości. Z każdego obszaru referencyjnego 7 generuje się chmurę punktów 8 i za pomocą tych obszarów referencyjnych 7 oraz chmur punktów 8 wyznacza się równanie płaszczyzny referencyjnej 9 przy pomocy metody optymalizacji najmniejszych kwadratów. Układem referencyjnym jest kamera głębokości 5. Czwarty obszar referencyjny 7 wykorzystuje się do sprawdzenia jakości dopasowania płaszczyzny referencyjnej 9. W drugim etapie definiuje się podstawę 10 wirtualnej strefy bezpieczeństwa 6. W tym celu wykorzystuje się zdefiniowaną w pierwszym etapie płaszczyznę referencyjną 9 oraz obraz RGB-D, który generuje się za pomocą kamery wizyjnej RGB 3 oraz kamery głębokości 5. W pierwszym i drugim etapie do poprawy jakości obrazów wykorzystuje się procedurę uśredniania ramek, w której otrzymuje się uśredniony obraz z obecnie przetwarzanej ramki oraz dziesięciu poprzednio przetwarzanych ramek. W trzecim etapie generuje się ściany 11 wirtualnej strefy bezpieczeństwa 6, przy czym uwzględnia się wysokość 12 oraz kształt podstawy 10 zdefiniowane w drugim etapie. W czwartym etapie generuje się reprezentację trójwymiarową zdefiniowanej bryły wirtualnej strefy bezpieczeństwa 6 i wyznacza się podstawowe prymitywy przestrzeni trójwymiarowej w postaci trójkątów oraz przydziela się unikalny numer identyfikacyjny wirtualnej strefie bezpieczeństwa 6. W piątym etapie kontroluje się dostęp do trzech wirtualnych stref bezpieczeństwa 6 wyznaczonych w poprzednich etapach, za pomocą systemu wizyjnego 2, którym monitoruje się wyznaczone prymitywy przestrzeni trójwymiarowej i podejmuje się określone działania w przypadku wykrycia określonego typu obiektu w określonej wirtualnej strefie bezpieczeństwa 6. W przypadku wykrycia obiektu typu człowiek w piątym etapie sposobu, za pomocą kamery wizyjnej RGB 3, kamery termowizyjnej 4 i/lub kamery głębokości 5, w określonej wirtualnej strefie bezpieczeństwa 6, nagrywa się obraz z kamery wizyjnej RGB 3 na nośniku pamięci. W tym przypadku określa się również, od której ściany 11 obiekt dostał się do wirtualnej strefy bezpieczeństwa 6 oraz śledzi się przemieszczanie się obiektu pomiędzy poszczególnymi strefami bezpieczeństwa 6 wykorzystując unikalne numery identyfikacyjne poszczególnych wirtualnych stref bezpieczeństwa 6 i analizując sekwencję pojawiających się alarmów. W piątym etapie przesyła się do nadrzędnego systemu sterowania 14 dane dotyczące kontroli dostępu do trzech wirtualnych stref bezpieczeństwa 6. W piątym etapie wspomaga się również kontrolowanie wirtualnych stref bezpieczeństwa 6 oraz wykrywanie i klasyfikowanie określonych obiektów, za pomocą konwolucyjnej sieci neuronowej. W piątym etapie kontroluje się dostęp do trzech wirtualnych stref bezpieczeństwa 6 w dwunastu krokach realizowanych cyklicznie w pętli, przy czym w kroku pierwszym dokonuje się akwizycji danych wielomodalnych za pomocą systemu wizyjnego 2. W drugim kroku segmentuje się semantycznie pozyskane obrazy, w tym obrazy ludzi, za pomocą konwolucyjnych sieci neuronowych. W trzecim kroku sprowadza się pozyskane maski do układu referencyjnego. W czwartym kroku łączy się dwuwymiarowe maski. W piątym kroku wyznacza się kandydatów dwuwymiarowych. W szóstym kroku filtruje się kandydatów dwuwymiarowych z uwzględnieniem mapy głębokości. W siódmym kroku dokonuje się przejścia z przestrzeni dwuwymiarowej do przestrzeni trójwymiarowej. W ósmym kroku dokonuje się wokselizacji. W dziewiątym kroku wydziela się obiekty z podobną głębokością za pomocą metody wyszukiwania spójnych składowych. W dziesiątym kroku monitoruje się wyznaczone prymitywy przestrzeni trójwymiarowej i sprawdza się kolizje określonego typu obiektów z określoną wirtualną strefą bezpieczeństwa 6. W przypadku wykrycia kolizji, w jedenastym kroku podejmuje się określone działania, takie jak uruchomienie alarmu lub wyłączenie maszyny pracującej w nadzorowanej przestrzeni roboczej 1. W dwunastym kroku przesyła się do nadrzędnego systemu sterowania 14 dane dotyczące kontroli dostępu do trzech wirtualnych stref bezpieczeństwa 6, w szczególności dane związane z detekcją ludzi w wirtualnej strefie bezpieczeństwa 6 i przechowuje się te dane w module zbierania i analizy danych 15 pod postacią bazy danych przechowującej zdarzenia takie jak wkroczenie do wirtualnej strefy bezpieczeństwa 6, opuszczenie wirtualnej strefy bezpieczeństwa 6, czas przebywania obiektu w wirtualnej strefie bezpieczeństwa 6. Dane przesłane do nadrzędnego systemu sterowania 14 prezentuje się za pomocą modułu prezentacji danych 16 w postaci wykresów na stronie internetowej.

W drugim przykładzie realizacji sposób kontroli dostępu do przestrzeni roboczej 1 realizuje się za pomocą systemu wizyjnego 2 składającego się z sześciu skalibrowanych względem siebie sensorów do analizy przestrzeni roboczej 1. Pierwszy i czwarty sensor są kamerami wizyjnymi RGB 3 i 3’, drugi i piąty sensor są kamerami termowizyjnymi 4 i 4’ i trzeci i szósty sensor są sensorami głębokości 5 i 5’. Kamera wizyjna RGB 3, kamera termowizyjna 4 i kamera głębokości 5 są umieszczone w jednym punkcie przestrzeni roboczej 1 w pierwszej głowicy pomiarowej 13. Kamera wizyjna RGB 3’, kamera termowizyjna 4’ i kamera głębokości 5’ są umieszczone w drugim punkcie przestrzeni robo czej 1 w drugiej głowicy pomiarowej 13’. W pierwszych czterech etapach sposobu definiuje się wirtualną strefę bezpieczeństwa 6, a w piątym etapie kontroluje się dostęp do przestrzeni roboczej 1, do czego wykorzystuje się jedną wirtualną strefę bezpieczeństwa 6 zdefiniowaną w poprzedn ich etapach. W pierwszym etapie określa się trzy obszary referencyjne 7 na mapie głębokości. Z każdego obszaru referencyjnego 7 generuje się chmurę punktów 8 i za pomocą tych obszarów referencyjnych 7 oraz chmur punktów 8 wy pierwszej głowicy pomiarowej 13. W drugim etapie definiuje się podstawę 10 wirtualnej strefy bezpieczeństwa 6. W tym celu wykorzystuje się zdefiniowaną w pierwszym etapie płaszczyznę referencyjną 9 oraz obraz RGB-D. W trzecim etapie generuje się ściany 11 wirtualnej strefy bezpieczeństwa 6, przy czym uwzględnia się wysokość 12 oraz kształt podstawy 10 zdefiniowane w drugim etapie. W czwartym etapie generuje się reprezentację trójwymiarową zdefiniowanej bryły wirtualnej strefy bezpieczeństwa 6 i wyznacza się podstawowe prymitywy przestrz eni trójwymiarowej oraz przydziela się unikalny numer identyfikacyjny wirtualnej strefie bezpieczeństwa 6. W piątym etapie kontroluje się dostęp do jednej wirtualnej strefy bezpieczeństwa 6, wyznaczonej w poprzednich etapach, za pomocą systemu wizyjnego 2, którym monitoruje się wyznaczone prymitywy przestrzeni trójwymiarowej i podejmuje się określone działania, takie jak uruchomienie alarmu lub wyłączenie maszyny pracującej w nadzorowanej przestrzeni roboczej 1, w przypadku wykrycia obiektu typu człowiek w wirtualnej strefie bezpieczeństwa 6.

Claims (18)

1. Zastrzeżenia patentowe

   1. Sposób kontroli dostępu do przestrzeni roboczej (1), który realizuje się za pomocą systemu wizyjnego (2) składającego się z co najmniej trzech skalibrowanych względem siebie sensorów do analizy przestrzeni roboczej (1), z których co najmniej jeden sensor jest kamerą wizyjną RGB (3), co najmniej jeden sensor jest kamerą termowizyjną (4) w zakresie dalekiej podczerwieni i co najmniej jeden sensor jest sensorem głębokości (5) w zakresie bliskiej podczerwieni, przy czym w pierwszych czterech etapach sposobu definiuje się wirtualną strefę bezpieczeństwa (6) i etapy od pierwszego do czwartego można powtarzać w celu zdefiniowania kilku wirtualnych stref bezpieczeństwa (6) o różnym kształcie i rozmiarze, a w piątym etapie kontroluje się dostęp do przestrzeni roboczej (1), do czego wykorzystuje się jedną lub więcej wirtualnych stref bezpieczeństwa (6) zdefiniowanych w poprzednich etapach, znamienny tym, że w pierwszym etapie określa się co najmniej trzy obszary referencyjne (7) na mapie głębokości, przy czym z każdego obszaru referencyjnego (7) generuje się chmurę punktów (8) i za pomocą tych obszarów referencyjnych (7) oraz chmur punktów (8) wyznacza się równanie płaszczyzny referencyjnej (9), przy czym układem referencyjnym jest kamera głębokości (5), a w drugim etapie definiuje się podstawę (10) wirtualnej strefy bezpieczeństwa (6), a w tym celu wykorzystuje się zdefiniowaną w pierwszym etapie płaszczyznę referencyjną (9) oraz obraz RGB-D, a następnie w trzecim etapie generuje się ściany (11) wirtualnej strefy bezpieczeństwa (6), przy czym uwzględnia się wysokość (12) oraz kształt podstawy (10) zdefiniowane w drugim etapie, z kolei w czwartym etapie generuje się reprezentację trójwymiarową zdefiniowanej bryły wirtualnej strefy bezpieczeństwa (6) i wyznacza się podstawowe prymitywy przestrzeni trójwymiarowej oraz przydziela się unikalny numer identyfikacyjny wirtualnej strefie bezpieczeństwa (6), po czym w piątym etapie kontroluje się dostęp do co najmniej jednej wirtualnej strefy bezpieczeństwa (6), z wyznaczonych w poprzednich etapach, za pomocą systemu wizyjnego (2), którym monitoruje się wyznaczone prymitywy przestrzeni trójwymiarowej i podejmuje się określone działania w przypadku wykrycia określonego typu obiektu w określonej wirtualnej strefie bezpieczeństwa (6).
2. 2. Sposób kontroli dostępu według zastrz. 1, znamienny tym, że w pierwszym etapie określa się cztery obszary referencyjne (7) na mapie głębokości, przy czym czwarty obszar referencyjny (7) wykorzystuje się do sprawdzenia jakości dopasowania płaszczyzny referencyjnej (9).
3. 3. Sposób kontroli dostępu według zastrz. 1, znamienny tym, że w dowolnym etapie do poprawy jakości obrazów wykorzystuje się procedurę uśredniania ramek, w której otrzymuje się uśredniony obraz z obecnie przetwarzanej ramki oraz k poprzednio przetwarzanych ramek, gdzie k>0.
4. 4. Sposób kontroli dostępu według zastrz. 1, znamienny tym, że równanie płaszczyzny referencyjnej (9) wyznacza się za pomocą metody optymalizacji najmniejszych kwadratów.
5. 5. Sposób kontroli dostępu według zastrz. 1, znamienny tym, że podstawowymi prymitywami przestrzeni trójwymiarowej w etapie czwartym są trójkąty.
6. 6. Sposób kontroli dostępu według zastrz. 1, znamienny tym, że obraz RGB-D generuje się za pomocą kamery wizyjnej RGB (3) oraz kamery głębokości (5).
7. 7. Sposób kontroli dostępu według zastrz. 1, znamienny tym, że kamera wizyjna RGB (3), kamera termowizyjna (4) i kamera głębokości (5) są umieszczone w jednym punkcie przestrzeni roboczej (1) w głowicy pomiarowej (13).
8. 8. Sposób kontroli dostępu według zastrz. 7, znamienny tym, że sposób realizuje się za pomocą systemu wizyjnego (2) składającego się z kilku głowic pomiarowych (13) umieszczonych w różnych punktach przestrzeni roboczej (1).
9. 9. Sposób kontroli dostępu według zastrz. 1, znamienny tym, że w przypadku wykrycia obiektu typu człowiek w piątym etapie sposobu, za pomocą kamery wizyjnej RGB (3), kamery termowizyjnej (4) i/lub kamery głębokości (5), w określonej wirtualnej strefie bezpieczeństwa (6), nagrywa się obraz z kamery wizyjnej RGB (3) na nośniku pamięci.
10. 10. Sposób kontroli dostępu według zastrz. 1, znamienny tym, że w przypadku wykrycia obiektu typu człowiek w piątym etapie sposobu, za pomocą kamery wizyjnej RGB (3), kamery termowizyjnej (4) i/lub kamery głębokości (5), w określonej wirtualnej strefie bezpieczeństwa (6), określa się, od której ściany (11) obiekt dostał się do wirtualnej strefy bezpieczeństwa (6).
11. 11. Sposób kontroli dostępu według zastrz. 1, znamienny tym, że w przypadku wykrycia obiektu typu człowiek w piątym etapie sposobu, za pomocą kamery wizyjnej RGB (3), kamery termowizyjnej (4) i/lub kamery głębokości (5), w określonej wirtualnej strefie bezpieczeństwa (6), w przypadku kiedy zdefiniowana jest więcej, niż jedna wirtualna strefa bezpieczeństwa (6), śledzi się przemieszczanie się obiektu pomiędzy poszczególnymi strefami bezpieczeństwa (6) wykorzystując unikalne numery identyfikacyjne poszczególnych wirtualnych stref bezpieczeństwa (6) i analizując sekwencję pojawiających się alarmów.
12. 12. Sposób kontroli dostępu według zastrz. 1, znamienny tym, że definiuje się co najmniej dwie wirtualne strefy bezpieczeństwa (6) i kiedy powtarza się pierwszy etap, przynajmniej raz wykorzystuje się równanie płaszczyzny referencyjnej (9) wyznaczone wcześniej dla innej wirtualnej strefy bezpieczeństwa (6).
13. 13. Sposób kontroli dostępu według zastrz. 1, znamienny tym, że w piątym etapie przesyła się do nadrzędnego systemu sterowania (14) dane dotyczące kontroli dostępu do co najmniej jednej wirtualnej strefy bezpieczeństwa (6)
14. 14. Sposób kontroli dostępu według zastrz. 13, znamienny tym, że w piątym etapie wspomaga się kontrolowanie wirtualnych stref bezpieczeństwa (6) oraz wykrywanie i klasyfikowanie określonych obiektów, za pomocą co najmniej jednej konwolucyjnej sieci neuronowej.
15. 15. Sposób kontroli dostępu według zastrz. 14, znamienny tym, że w piątym etapie kontroluje się dostęp do co najmniej jednej wirtualnej strefy bezpieczeństwa (6) w dwunastu krokach realizowanych cyklicznie w pętli, przy czym w kroku pierwszym dokonuje się akwizycji danych wielomodalnych za pomocą systemu wizyjnego (2), następnie w drugim kroku segmentuje się semantycznie pozyskane obrazy za pomocą konwolucyjnych sieci neuronowych, a w trzecim kroku sprowadza się pozyskane maski do układu referencyjnego i w czwartym kroku łączy się dwuwymiarowe maski, po czym w piątym kroku wyznacza się kandydatów dwuwymiarowych i następnie w szóstym kroku filtruje się kandydatów dwuwymiarowych z uwzględnieniem mapy głębokości, a w siódmym kroku dokonuje się przejścia z przestrzeni dwuwymiarowej do przestrzeni trójwymiarowej, przy czym w ósmym kroku dokonuje się wokselizacji i następnie w dziewiątym kroku wydziela się obiekty z podobną głębokością za pomocą metody wyszukiwania spójnych składowych, a w dziesiątym kroku monitoruje się wyznaczone prymitywy przestrzeni trójwymiarowej i sprawdza się kolizje określonego typu obiektów z określoną wirtualną strefą bezpieczeństwa (6), a w przypadku wykrycia kolizji, w jedenastym kroku podejmuje się określone działania i następnie w dwunastym kroku przesyła się do nadrzędnego systemu sterowania (14) dane dotyczące kontroli dostępu do co najmniej jednej wirtualnej strefy bezpieczeństwa (6).
16. 16. Sposób kontroli dostępu według zastrz. 15, znamienny tym, że w drugim kroku w piątym etapie segmentuje się semantycznie ludzi.
17. 17. Sposób kontroli dostępu według zastrz. 15, znamienny tym, że w dwunastym kroku przesyła się do nadrzędnego systemu sterowania (14) dane związane z detekcją ludzi w wirtualnej strefie bezpieczeństwa (6) i przechowuje się te dane w module zbierania i analizy danych (15)

    PL 249003 Β1 pod postacią bazy danych przechowującej zdarzenia takie jak wkroczenie do wirtualnej strefy bezpieczeństwa (6), opuszczenie wirtualnej strefy bezpieczeństwa (6), czas przebywania obiektu w wirtualnej strefie bezpieczeństwa (6).
18. 18. Sposób kontroli dostępu według zastrz. 15, znamienny tym, że w dwunastym kroku, dane przesłane do nadrzędnego systemu sterowania (14) prezentuje się za pomocą modułu prezentacji danych (16) w postaci wykresów na stronie internetowej.