PL233986B1 - Urządzenie do interakcji z obiektami przestrzennymi - Google Patents

Abstract

Urządzenie do interakcji z obiektami przestrzennymi wykorzystujące układ optyczny z markerami i czujnikami inercyjnymi charakteryzuje się tym, że zbudowane jest z prostokątnej podstawy (1), na której powierzchni (1a) oraz spodzie rozmieszczone są dookoła markery małe (2-13) i markery z symbolami. W środku podstawy (1) wycięty jest otwór (26) z ościeżnicą (27) i ścięciami na marker główny przy czym na rogach otworu (26) umieszczone są magnesy (31), a z obu stron markera głównego znajdują się symbole pozwalające na jego identyfikację. Wewnątrz marker ma wbudowane ferromagnetyki, tworząc z magnesami (31) zatrzask magnetyczny, a na jednym końcu podstawy (1) zmontowany jest uchwyt (34), który zawiera przycisk monostabilny, rolkę (36) z enkoderem, a wewnątrz zawiera źródło zasilania, czujniki inercyjne - akcelerometr, żyroskop i magnetometr oraz elementy elektroniczne pozwalające na komunikację bezprzewodową. Marker główny ma po bokach wcięcia. Rolka (36) z enkoderem i przycisk są umieszczone pod kątem 45°±15° do brzegów podstawy (1). Rolka (36) z enkoderem częściowo wystaje nad górną powierzchnię podstawy (1) i umieszczona jest w takiej odległości od wierzchołka podstawy (1) by możliwe było wygodne obracanie go za pomocą kciuka tj. 50±5mm od najbliższego wierzchołka podstawy.

Description

Opis wynalazku

Przedmiotem wynalazku jest urządzenie do interakcji z obiektami przestrzennymi znajdujące zastosowanie zwłaszcza w medycynie do prezentacji i wizualizacji obiektów i zapewnia możliwość ich pozycjonowania i manipulowania w przestrzenni 3D.

Znane jest z opisu zgłoszenia patentowego US2004113885 „New input devices for augmented reality applications” urządzenie interakcji / wprowadzania danych dla systemu rozszerzonej rzeczywistości. W systemie z rozszerzoną rzeczywistością, wykorzystującym śledzenie oparte na podczerwieni, urządzenie interakcyjne / wejściowe jest wykorzystywane przez umieszczanie znaczników, na przykład małych dysków, we wstępnie określonej lokalizacji w scenie oglądanej przez użytkownika, która jest powiększana w celu symulacji fizycznych przycisków. Te powiększone markery, oglądane przez system rzeczywistości rozszerzonej, mogą być fizycznie zmanipulowane przez użytkownika. Użytkownik położy palce na jednym z tych znaczników, a z kolei moduł śledzący oparty na podczerwieni rozpozna to działanie i odpowiednio je przetworzy. System rzeczywistości rozszerzonej może również rozszerzać symulowane menu w widoku użytkownika, zapewniając użytkownikowi niezbędną informację zwrotną dla interakcji. Wykorzystując konwencjonalną technologię śledzenia, urządzenie interakcji / wprowadzania można wdrożyć przy minimalnym dodatkowym sprzęcie i minim alnym dodatkowym przetwarzaniu wymaganym przez system rzeczywistości rozszerzonej.

Wynalazek “Method for Determining the Position of a Marker in an Augmented Reality System”, US20050587469 dotyczy sposobu określania pozycji markera w systemie rozszerzonej rzeczywistości. Po wykryciu punktów znacznikowych w wychwyconym obrazie, wektory markera są określane przy użyciu punktów znacznikowych znacznika, a odległość znacznika od jednostki przechwytującej jest obliczana przy użyciu określonych wektorów znacznikowych. Określone wektory odległości i znacznika są używane do ustalenia macierzy obrotu odtwarzającej orientację znacznika w stosunku do jednostki przejmującej, przy czym uproszczenie, że wszystkie punkty znacznikowe znacznika znajdują się w tej samej odległości od jednostki chwytającej, jest ważne a znaki macierzy obrotu pochodzą od zasadniczo równoległych wektorów markerowych.

W patencie nr US201213525102 “INPUT METHOD DESIGNED FOR AUGMENTED REALITY przedstawiono aparaty, metody, systemy i odczytywalne przez komputer nośniki do wykorzystywania wejść zbliżeniowych na lub w pobliżu soczewki z ekranem dotykowym do wybierania obiektów w polu widzenia. W niektórych przykładach wykonania urządzenie wyświetlające (na przykład wyświetlacz zamontowany na głowie, gogle z rozszerzoną rzeczywistością) może zawierać co najmniej jedną soczewkę, przy czym soczewka może wykrywać dotknięcia lub bliskie dotknięcia oraz dane wyjściowe wskazujące lokalizację wejścia zbliżeniowego przez użytkownika. Procesor może odbierać dane i może wybierać obiekt w polu widzenia użytkownika odpowiadającym danym, przy czym obiekt i lokalizacja wejścia zbliżeniowego na lub w pobliżu soczewki przez użytkownika znajdują się na wspólnej linii wzroku. W niektórych przykładach wykonania urządzenie wyświetlające może zawierać co najmniej jedną kamerę, która jest skonfigurowana do rejestrowania co najmniej jednego obrazu reprezentatywnego dla pola widzenia użytkownika.

Z patentu nr US201715597776 “VIRTUAL/AUGMENTED REALITY INPUT DEVICE znany jest kontroler skonfigurowany do sterowania wskaźnikiem w środowisku wirtualnej rzeczywistości obejmuje wieloosiowy czujnik pola magnetycznego, przyspieszeniomierz wieloosiowy, żyroskop, tabliczkę dotykową i obwód komunikacji bezprzewodowej. Kontroler może również zawierać procesor i instrukcje przechowywania pamięci, które po wykonaniu przez procesor, powodują, że procesor uzyskuje dane pola geomagnetycznego z wieloosiowego czujnika pola magnetycznego, uzyskuje dane przyspieszenia opisujące kierunek i wielkość siły wpływającej na kontroler z akcelerometru wieloosiowego i uzyskać dane prędkości kątowej opisujące położenie obrotowe sterownika z żyroskopu. Procesor może przekazywać dane ruchu do urządzenia komputerowego skonfigurowanego do generowania renderowania środowiska wirtualnej rzeczywistości, danych ruchu opisujących orientację kontrolera, przy czym dane ruchu są oparte na co najmniej jednym z danych pola geomagnetycznego, dane przyspieszenia, lub dane prędkości kątowej.

Ze zgłoszenia wynalazku P.419600 pt. “System interaktywnej rozszerzonej wizualizacji fuzji wielomodalnych obrazów medycznych, w szczególności obrazów fluorescencyjnych” znany jest system interaktywnej rozszerzonej wizualizacji fuzji wielomodalnych obrazów medycznych, w szczególności obrazów fluorescencyjnych, znajdujący zastosowanie zwłaszcza w medycynie do prezentacji położenia i geometrii struktur tkankowych. System charakteryzuje się tym, że zawiera zamocowany na głowie

PL 233 986 B1 operatora wyświetlacz rozszerzonej rzeczywistości z przymocowaną do niego kamerą trójkolorową światła widzialnego, zamocowane na wyświetlaczu rozszerzonej rzeczywistości: układ markerów wyświetlacza rozszerzonej rzeczywistości oraz układ kontroli ruchu gałek ocznych; umieszczone nad ciałem pacjenta: oświetlacz wzbudzający fluorescencję do oświetlania światłem białym i światłem bliskiej podczerwieni wraz z układem sterowania, kamerą z filtrem optycznym i kamerami do detekcji fluorescencji, układem kamery stereoskopowej trójkolorowej; ponadto znajdujący się nad pacjentem układ nawigacji, układ markerów oświetlacza, układ markerów pacjenta umieszczonych na pacjencie, układ markerów instrumentu chirurgicznego oraz komputer z oprogramowaniem i zbiorem obrazów medycznych innych źródeł skomunikowany z układem nawigacji, oświetlaczem oraz wyświetlaczem rozszerzonej rzeczywistości, a także posiadający cyfrowy plan operacji przygotowany na podstawie informacji z podłączonych do niego źródeł.

Urządzenia wejściowe stosowane w rzeczywistości rozszerzonej (RR) służą do określania pozycji i orientacji przestrzennej obiektów w układzie odniesienia użytkownika systemu wizualizacji. Przytoczone powyżej rozwiązania wykorzystują różne metody realizacji tego zadania za pomocą układu optycznego z markerami (analiza obrazu markerów z kamery) lub czujników inercyjnych (akcelerometr, żyroskop i magnetometr). Wszystkie cytowane metody wykorzystywane w urządzeniach wejściowych RR można podzielić na pasywne (np. markery graficzne) i aktywne (układy elektroniczne). Większość systemów korzystających z urządzeń wejściowych tego typu realizuje wizualizację obiektów i zapewnia możliwość ich pozycjonowania i manipulowania w przestrzenni 3D.

Według wynalazku urządzenie do interakcji z obiektami przestrzennymi wykorzystujące układ optyczny z markerami i czujnikami inercyjnymi charakteryzuje się tym, że zbudowane jest z prostokątnej podstawy, na której powierzchni oraz spodzie rozmieszczone są dookoła markery małe z symbolami, a w środku podstawy wycięty jest otwór z ościeżnicą i ścięciami na marker główny. Na rogach otworu umieszczone są magnesy, natomiast z obu stron markera głównego znajdują się symbole pozwalające na jego identyfikację. Wewnątrz marker ma wbudowane ferromagnetyki, tworząc z magnesami otworu zatrzask magnetyczny. Na jednym końcu podstawy zmontowany jest uchwyt, który zawiera przycisk monostabilny, rolkę z enkoderem, a wewnątrz zawiera źródło zasilania, czujniki inercyjne - akcelerometr, żyroskop i magnetometr oraz elementy elektroniczne pozwalające na komunikację bezprzewodową. Marker główny ma po bokach wcięcia. Rolka z enkoderem i przycisk monostabilny są umieszczone pod kątem 45°±15° do brzegów podstawy. Rolka z enkoderem częściowo wystaje nad górną powierzchnię podstawy i umieszczona jest w takiej odległości od wierzchołka podstawy by możliwe było wygodne obracanie go za pomocą kciuka tj. 50±5 mm od najbliższego wierzchołka podstawy.

Urządzenie łączy aktywne i pasywne metody sterowania przestrzennego obiektami w systemach rozszerzonej rzeczywistości RR. Fizyczna postać markerów, niezależnych od podstawy, wzmacnia imersję (efekt zanurzenia) w systemach wizualizacji RR. Każdy z obiektów, sprzężonych z markerami, może być orientowany i przemieszczany niezależnie od pozostałych obiektów, nadając im realistycznych cech natury fizycznej. Aktywna część podstawy pozwala na projektowanie interaktywnych akcji na wirtualnych obiektach, np. interaktywna animacja. Przycisk na uchwycie pozwala na zmianę układu odniesienia obiektu, np. na zawieszenie obiektu „w powietrzu” w dowolnie wybranym miejscu. Urządzenie ma charakter agnostyczny względem systemów sprzętowych i oprogramowania stosowanego w RR.

Przedmiot wynalazku zostanie pokazany na rysunku, na którym fig. 1 przedstawia widok podstawy urządzenia z góry, fig. 2 to widok podstawy z dołu, fig. 3 to przekrój podstawy b wzdłuż osi wyznaczonych w widoku z góry a, fig. 4 widok na marker główny (z góry i z dołu taki sam), fig. 5 to przekrój przez marker główny wzdłuż osi wyznaczonej w widoku z góry, fig. 6 przedstawia schemat funkcjonalny urządzenia do interakcji z obiektami przestrzennymi, fig. 7 to schemat blokowy urządzenia.

Urządzenie zbudowane jest z prostokątnej podstawy 1, na której powierzchni 1 a oraz spodzie 1 b rozmieszczone są dookoła markery małe 2-13 i 14-25 z symbolami. W środku podstawy 1 wycięty jest otwór 26 z ościeżnicą 27 i ścięciami 28 na marker główny 29 z wcięciami po bokach 30. Na rogach otworu 26 umieszczone są magnesy 31. Z obu stron markera 29 znajdują się symbole 32 pozwalające na jego identyfikację, a wewnątrz marker ma wbudowane ferromagnetyki 33, tworząc z magnesami 31 zatrzask magnetyczny. Na jednym końcu podstawy 1 zmontowany jest uchwyt 34, który zawiera przycisk monostabilny 35, rolkę z enkoderem 36, a wewnątrz zawiera źródło zasilania, czujniki inercyjne akcelerometr, żyroskop i magnetometr oraz elementy elektroniczne pozwalające na komunikację bezprzewodową. Rolka 36 i przycisk 35 są umieszczone pod kątem 45°±15° do brzegów podstawy 1. Rolka 36 częściowo wystaje nad górną powierzchnię podstawy 1 i umieszczona jest w takiej odległości od

PL 233 986 B1 wierzchołka podstawy by możliwe było wygodne obracanie go za pomocą kciuka tj. 50±5 mm od najbliższego wierzchołka podstawy.

Użytkownik ma na głowie okulary RR 37. Do okularów RR 37 przyczepiona jest kamera stereograficzna 38. W jednej ręce użytkownik trzyma podstawę 1. Kciukiem manipuluje rolką enkodera 36, palec wskazujący spoczywa obok przycisku 35. W drugiej ręce użytkownik może trzymać jeden z markerów głównych 29, który może umieścić na ościeżnicy 27. W okularach 37 użytkownik obserwuje obraz z kamery 38 i nałożony nań obraz obiektu 39 generowany przez aplikację użytkową ściśle związaną z programem komputerowym obsługującym urządzenie. Pozycja i orientacja kamery 38 względem układu odniesienia okularów 37 są znane temu programowi komputerowemu.

Pozycja i orientacja podstawy 1 w układzie odniesienia okularów RR 37 jest ustalana na podstawie obrazu markerów małych 2-25 w kamerze 38 oraz na podstawie informacji z sensorów inercyjnych zamontowanych w uchwycie 34. Pozycja i orientacja obiektu 39 w układzie odniesienia okularów RR 37 jest ustalana na bieżąco względem pozycji i orientacji markera głównego 29, która jest ustalana na podstawie obrazu symbolu 32 markera głównego 29 w kamerze 38. Gdy marker główny 29 spoczywa w ościeżnicy 27, to informacja o jego pozycji i orientacji jest wspierana przez informacje o pozycji i orientacji podstawy 1.

Na fig. 7 przedstawiono zależności między głównymi składowymi urządzenia. Program komputerowy obsługujący urządzenie jest ściśle powiązany z aplikacją użytkową, która faktycznie realizuje wyświetlanie i nakładanie obiektów 39 na obraz z kamery 38. Oprogramowanie okularów RR 37 możliwie często ustala pozycję i orientację głowy użytkownika względem jego otoczenia lub względem arbitralnie ustalonego układu odniesienia i przekazuje te informacje do programu komputerowego. Kamera 38 przesyła obraz do analizatora obrazu kamery, który na podstawie obrazu widocznych markerów małych 2-25 i symboli 32 markerów głównych 29 aproksymuje pozycje i orientacje markerów głównych 29 i podstawy 1. Analizator obrazu kamery na podstawie symboli 32 markerów głównych identyfikuje też poszczególne markery główne. Do tak uzyskanych wyników zostają włączane d odatkowe informacje z sensorów inercyjnych, przekazywane za pośrednictwem modułów bezprzewodowych. Informacje te są dalej przekazane do programu komputerowego. Dodatkowo za pośrednictwem modułów bezprzewodowych do programu komputerowego trafiają też informacje o zmianach stanu przycisku 25 i rolki z enkoderem 36, które mogą wpływać na przebieg działania aplikacji użytkowej i stan obiektów 39. Aplikacja użytkowa na podstawie informacji zebranych przez program komputerowy, na podstawie obrazu z kamer i na podstawie stanu wewnętrznego, generuje obraz, który następnie jest przekazany do wyświetlenia w okularach RR 37.

Claims (4)

Zastrzeżenia patentowe

1. Urządzenie do interakcji z obiektami przestrzennymi wykorzystujące układ optyczny z markerami i czujnikami inercyjnymi znamienne tym, że zbudowane jest z prostokątnej podstawy (1), na której powierzchni (1a) oraz spodzie (1b) rozmieszczone są dookoła markery małe (2-13) i (14-25) z symbolami, a w środku podstawy (1) wycięty jest otwór (26) z ościeżnicą (27) i ścięciami (28) na marker główny (29) przy czym na rogach otworu (26) umieszczone są magnesy (31), natomiast z obu stron markera (29) znajdują się symbole (32) pozwalające na jego identyfikację, a wewnątrz marker ma wbudowane ferromagnetyki (33), tworząc z magnesami (31) zatrzask magnetyczny, a na jednym końcu podstawy (1) zamontowany jest uchwyt (34), który zawiera przycisk monostabilny (35), rolkę (36) z enkoderem, a wewnątrz zawiera źródło zasilania, czujniki inercyjne - akcelerometr, żyroskop i magnetometr oraz elementy elektroniczne pozwalające na komunikację bezprzewodową.

2. Urządzenie według zastrz. 1 znamienne tym, że marker główny (29)ma po bokach wcięcia (30).

3. Urządzenie według zastrz. 1 znamienne tym, że rolka (36) z enkoderem i przycisk (35) są umieszczone pod kątem 45°±15° do brzegów podstawy (1).

4. Urządzenie według zastrz. 1 i 3 znamienne tym, że rolka (36) z enkoderem częściowo wystaje nad górną powierzchnię podstawy (1) i umieszczona jest w takiej odległości od wierzchołka podstawy (1) by możliwe było wygodne obracanie go za pomocą kciuka tj. 50 ± 5 mm od najbliższego wierzchołka podstawy.