PL227128B1 - Interaktywne urzadzenie projekcyjne - Google Patents

Description

Przedmiotem wynalazku jest interaktywne urządzenie projekcyjne służące do interaktywnego prezentowania treści, mające swoje zastosowanie zwłaszcza w edukacji.

Znane są urządzenia projekcyjne wyposażone w płaskie powierzchnie służące do prezentowania treści takich jak obrazy, tekst czy filmy.

W tym celu wykorzystuje się zwłaszcza tablicę multimedialną, która współdziała z podłączonym do niej komputerem oraz projektorem multimedialnym. Działanie tych trzech urządzeń polega na przekazywaniu do komputera przez moduł elektroniczny danych na temat położenia względem osi X i Y tablicy specjalnego pisaka. Dane te są następnie obrazowane w postaci położenia kursora myszy na tablicy. W zależności od miejsca w którym znajduje się wskaźnik, trybu pracy tablicy oraz zdarzenia wywołanego wskaźnikiem następuje określone działanie, które dzięki projektorowi multimedialnemu, wizualizowane jest na tablicy.

W zależności od technologii, w której tablica została wykonana, można używać specjalnego pióra, każdego innego przedmiotu lub dłoni. Osoba korzystająca z tablicy może za jej pomocą obsługiwać dowolny program uruchomiony w komputerze.

Interaktywna tablica zazwyczaj dysponuje też własnym specjalistycznym oprogramowaniem, które umożliwia przygotowanie zasobów do wykorzystania podczas wykładu, lekcji czy prezentacji.

Oprogramowanie tablicy obejmuje specjalnie opracowany zestaw elementów graficznych oraz szablonów.

Znany jest patent amerykański nr 7058204 pod nazwą wielokamerowy system śledzący, sprzężony z programem aplikacyjnym pracującym na komputerze, który składa się z dwóch lub więcej kamer video ustawionych tak, aby zapewniały różny obraz interesującego nas obszaru i dostarczały ciąg obrazów wideo. Procesor obsługuje otrzymywanie serii obrazów wideo i wykrywa obiekty pojawiające się w interesującym nas rejonie. Procesor na podstawie obrazów video wykonuje proces generowania zestawu danych tła, dla każdego odebranego obrazu wideo generuje zestaw danych obrazu, poró wnuje zestaw danych każdego obrazu z zestawem danych tła aby stworzyć mapę różnic dla zestawu danych każdego obrazu, wykrywa pozycję względną interesującego nas obiektu w ramach każdej mapy różnic, tworzy bezwzględną pozycję interesującego nas obiektu z pozycji względnych interesującego nas obiektu i mapuje pozycję bezwzględną do wskaźnika pozycji związanego z programem aplikacyjnym.

W znanych rozwiązaniach brak jest sterowania urządzeniem za pomocą pilota zdalnego sterowania działającego na zasadzie podczerwieni czyli IR, a ponadto nie ma możliwości pracy urządzeń w dwóch trybach. Pierwszy tryb polega na pracy ze specjalnym wskaźnikiem IR, tj. nadajnikiem sygnału IR odbitego od powierzchni zdefiniowanej uprzednio jako obszar roboczy, przekazującym informację o aktualnym położeniu wskaźnika w układzie współrzędnych obszaru roboczego. Użyteczny sygnał IR odebrany przez unikatowy detektor pozycji, który przekazuje informację o położeniu wskaźnika z wysoką rozdzielczością, sięgającą 4096 x 4096 punktów na obszarze roboczym. Natomiast drugi tryb dotyczy wykrywania ruchów obiektów w obszarze roboczym. Ruch obiektu w obszarze roboczym to zmiana położenia fizycznych obiektów, takich jak ręka, noga, piłka itp., zamienianych na odpowiadającą im chmurę punktów o obliczonym środku ciężkości, wielkości i wektorze ruchu badanych w krótkich odstępach czasu na płaszczyźnie zdefiniowanej uprzednio jako obszar roboczy.

Urządzenie według wynalazku eliminuje te niedogodności.

Interaktywne urządzenie projekcyjne zawierające: mikrokomputer z oprogramowaniem w postaci przemysłowej płyty głównej w formacie mITX, wyposażonej w interfejsy: RS232, USB i HDMI; projektor wideo z szerokokątnym obiektywem, wyposażony w interfejsy: RS232 i HDMI; moduł optyczny; moduł sterujący, wyposażony w interfejsy: RS232 i USB oraz detektor IR pozycji i ruchu charakteryzuje się tym, że moduł optyczny zawiera lustra wraz z prowadnicami i napędem elektrycznym sterowanym przez mikrokontroler z oprogramowaniem, filtry IR, zaś moduł sterujący zawiera płytki drukowane oparte o mikrokontroler z oprogramowaniem i wyposażone w interfejsy oraz czujnik IR, natomiast detektor IR pozycji i ruchu zawiera płytki drukowane oparte o mikrokontroler z oprogramowaniem, sensor, kamerę CCD, filtry IR, obiektywy, video grabber, oświetlacz IR, zbudowany z diod nadawczych IR, posiada ponadto dedykowany wskaźnik IR oraz pilot.

Wynalazek w przykładzie wykonania został przedstawiony na rysunku, na którym fig. 1-5 uwidaczniają wynalazek w postaci schematów blokowych.

PL 227 128 B1

Fig. 1 pokazuje mikrokomputer wraz z oprogramowaniem 1, projektor wideo 2, moduł optyczny 3, moduł sterujący 4 oraz detektor IR pozycji i ruchu 5.

Fig. 2 przedstawia schemat blokowy modułu optycznego 3, w którym uwidoczniono lustra 6 wraz z prowadnicami 7 i napędem elektrycznym 8 sterowanym przez mikrokontroler z oprogramowaniem 9A, filtry IR 10A oraz płytkę drukowaną 11A.

Fig. 3 przedstawia schemat blokowy modułu sterującego 4, który zawiera płytki drukowane 11B oparte o mikrokontroler z oprogramowaniem 9B, wyposażone w interfejsy RS232 i USB, wzmacniacz audio 12 wraz z głośnikiem 12G oraz czujnik IR 13.

Fig. 4 przedstawia schemat blokowy detektora IR pozycji i ruchu 5, który zawiera płytki drukowane 11C oparte o mikrokontroler z oprogramowaniem 9C, sensor 14, kamerę CCD 16, filtry IR 10B, obiektywy 15, video grabber 17 oświetlacz IR 18, zbudowany z diod nadawczych IR 19.

Fig. 5 uwidacznia wynalazek w ujęciu poglądowym, gdzie zaznaczono pilot zdalnego sterowania 20 stół 21, podłogę 22, ścianę 23 oraz wskaźnik IR 24.

Domyślnym trybem pracy urządzenia według wynalazku jest tryb detekcji ruchu w płaszczyźnie poziomej. Płaszczyzną poziomą jest obszar roboczy zdefiniowany jako podłoga interaktywna 22.

Urządzenie uruchamiane jest za pośrednictwem pilota zdalnego sterowania 20, z którego sygnał IR trafia do czujnika IR 13 znajdującego się w module sterującym 4. Sygnał ten jest interpretowany przez mikrokontroler z oprogramowaniem 9B i jeśli jest kodem włączania, to następuje uruchomienie procedury włączenia urządzenia.

Mikrokontroler z oprogramowaniem 9B poprzez interfejs RS232 przekazuje komendy uruchomienia do podzespołów: mikrokomputera z oprogramowaniem 1, projektora video 2, detektora IR pozycji i ruchu 5. Procedura włączania kończy się w momencie, gdy mikrokomputer z oprogramowaniem 1 uruchomił oprogramowanie narzędziowe i zgłosił swój stan do modułu sterującego 4, detektor IR pozycji i ruchu 5 zainicjował pracę swoich komponentów i zgłosił ich gotowość na interfejsie USB oraz projektor video 2 wyświetlił obraz z mikrokomputera z oprogramowaniem 1 za pośrednictwem interfejsu HDMI na płaszczyźnie roboczej wynikającej z ustawienia modułu optycznego 3 i zakomunikował swój stan do modułu sterującego 4 za pośrednictwem interfejsu RS232 a moduł sterujący 4 przekazał tym samym kanałem parametry pracy projektora video 2.

Na tym etapie urządzenie według wynalazku jest gotowe do pracy.

Następnym etapem jest wybór konkretnej aplikacji poprzez poruszanie się po wyświetlonym na obszarze roboczym menu oprogramowania narzędziowego zainstalowanego na mikrokomputerze z oprogramowaniem 1.

Wyboru dokonuje się przez użycie pilota zdalnego sterowania 20, który wysyła zakodowany sygnał IR do czujnika IR 13 w module sterującym 4, który je interpretuje za pośrednictwem mikrokontrolera z oprogramowaniem 9B i wysyła odpowiednie komendy do mikrokomputera z oprogramowaniem 1 za pośrednictwem interfejsu RS232.

Oprogramowanie narzędziowe zainstalowane na mikrokomputerze z oprogramowaniem 1 interpretuje te komendy i uruchamia wybrane przez użytkownika aplikacje.

Po wyborze aplikacji, jeśli urządzenie pracuje w domyślnym trybie detekcji ruchu na płaszczyźnie poziomej, następuje faza kalibracji użytkowej, polegająca na pomiarze poziomu światła podczerwonego emitowanego w obszarze roboczym. Pomiar ten dokonuje się przez wyświetlenie przez oprogramowanie narzędziowe zainstalowane na mikrokomputerze oprogramowaniem 1 za pośrednictwem projektora video 2 specjalnego obrazu, który odbierany przez detektor IR pozycji i ruchu 5 i przesłany z powrotem do mikrokomputera oprogramowaniem 1 przekazuje informacje o poziomach sygnału IR odebranych w poszczególnych częściach obszaru roboczego.

Na podstawie tej informacji oprogramowanie narzędziowe zainstalowane w mikrokomputerze z oprogramowaniem 1 ustawia poziom czułości na sygnał IR i wysyła za pośrednictwem interfejsu RS232 do modułu sterującego 4 komendy ustalające warunki pracy oświetlacza IR 18.

Faza kalibracji odbywa się iteracyjnie w przedziale kilku sekund. Po jej zakończeniu urządzenie zaczyna wykrywać ruch w obszarze roboczym, który jest tożsamy z wyświetlanym obrazem z projektora video 2.

Wykrywanie ruchu oznacza, że detektor IR pozycji i ruchu 5 zaczyna przesyłać za pośrednictwem interfejsu USB do mikrokomputera oprogramowaniem 1 obrazy zarejestrowane w świetle IR poprzez kamerę CCD 16 i zamienione przez video grabber 17 na format ramek czytelnych dla mikrokomputera oprogramowaniem 1. Aby detekcja ruchu obiektów w obszarze roboczym nie była zaburzana przez obraz wyświetlany przez projektor video 2 zastosowano oświetlacz IR 18, który w połą4

PL 227 128 B1 czeniu z filtrami IR 10B powoduje, że matryca światłoczuła w kamerze CCD 16 jest wrażliwa na ograniczone pasmo światła, tj. podczerwień. Parametry pracy oświetlacza IR 18 są ustalane w fazie kalibracji użytkowej.

Oprogramowanie narzędziowe zainstalowane na mikrokomputerze z oprogramowaniem 1 stosuje algorytm porównania między sobą przesłanych przez detektor IR pozycji i ruchu 5 ramek z obrazami metodą różnicową.

Na podstawie tego algorytmu oprogramowanie narzędziowe zainstalowane na mikrokomputerze wraz z oprogramowaniem 1 zamienia wykryte zmiany natężenia światła IR w obszarze roboczym na chmurę punktów poruszających się w układzie współrzędnych reprezentujących obszar roboczy.

Następnie stosowany jest algorytm obliczania środka ciężkości tej chmury punktów, który traktowany jest jako ośrodek ruchu. Parametry tego ruchu, tj. prędkość, wielkość i kierunek, są wykorzystywane przez algorytmy aplikacji edukacyjnych lub rehabilitacyjnych w celu zainicjowania zamian w wyświetlanym aktualnie obrazie z mikrokomputera oprogramowaniem 1 za pośrednictwem projektora video 2.

W zależności od zastosowanego algorytmu zmiany w wyświetlanym obrazie następują w czasie rzeczywistym (z dokładnością do percepcji ludzkiego oka, czyli nie wolniej niż 12 klatek na sekundę) lub są odroczone w czasie, jeśli wymaga tego sposób działania aplikacji. W ten sposób następuje interakcja obiektu poruszającego się w obszarze roboczym z aktualnie wyświetlonym obrazem.

Zmiana trybu pracy interaktywnego urządzenia projekcyjnego z domyślnego trybu detekcji ruchu w świetle IR na płaszczyźnie poziomej (podłoga interaktywna 22) na tryb pracy z dedykowanym wskaźnikiem IR 24 tj. stół interaktywny 21 lub tablica interaktywna 23 jest możliwa po uruchomieniu urządzenia i zgłoszeniu gotowości, o czym mowa była powyżej.

Zmiana trybu pracy odbywa się również za pośrednictwem pilota zdalnego sterowania 20 emitującego zakodowany sygnał IR i detekowanego przez czujnik IR 13 wbudowany w moduł sterujący 4. Wybór tego trybu pracy jest dokonywany przez wybór stosownego elementu menu oprogramowania narzędziowego zainstalowanego na mikrokomputerze z oprogramowaniem 1.

Przejście urządzenia w tryb pracy z dedykowanym wskaźnikiem IR 24 powoduje następujące zmiany inicjowane przez mikrokontroler z oprogramowaniem 9B za pośrednictwem interfejsów RS232 i USB, znajdujących się w module sterującym 4: wyłączenie wszelkich wewnętrznych źródeł światła podczerwonego tj. oświetlacza IR 18, zmianę ustawienia luster 6 poprzez wysłanie komendy do mikrokontrolera z oprogramowaniem 9A, który steruje napędem elektrycznym 8 przestawiającym prowadnice 7, wbudowane w moduł optyczny 3 w celu uzyskania obszaru roboczego na płaszczyźnie pionowej (tablica interaktywna 23), inicjalizacji mikrokontrolera z oprogramowaniem 9C i sensora 14 stanowiących detektor pozycji punktowego źródła światła w zakresie IR wbudowany w detektor IR pozycji i ruchu 5, przestawienia parametrów pracy projektora video 2, uruchomienia stosownej aplikacji z oprogramowania narzędziowego zainstalowanego na z mikrokomputerze z oprogramowaniem 1.

Proces ten trwa kilkanaście sekund. Przełączenie w tryb pracy z dedykowanym wskaźnikiem IR 24 nie wymaga dodatkowej kalibracji urządzenia, ponieważ kalibracja wykonana na etapie produkcji i instalacji trwale ustawia warunki pracy dopasowane do dostarczanego wraz z urządzeniem wskaźnika IR 24 o ustalonej mocy sygnału użytecznego. W związku z tym po dokonaniu zmian w urządzeniu opisanych powyżej jest ono gotowe do pracy w nowym trybie.

Dzięki zastosowaniu specjalnych obiektywów 15 i filtrów IR 10B oraz specjalizowanego sensora 14 detektor IR pozycji i ruchu 5 odczytuje pozycję wskaźnika IR 24 przez zwrócenie współrzędnych punktowego źródła światła IR, którym jest dioda nadawcza wbudowana w wskaźnik IR 24.

Algorytm precyzyjnego ustalania pozycji nadajnika IR zaszyty w pamięci mikrokontrolera z oprogramowaniem 9C polega na bardzo szybkim i wielokrotnym odczytaniu współrzędnych z sensora 14 wraz z eliminacją wszelkiego rodzaju zakłóceń i artefaktów w paśmie IR mogących zafałszować odczyt, poprzez procedurę uśredniania odczytów oraz odjęcia obrazu światła zastanego.

Algorytm ten pozwala również na precyzyjne określenie pozycji wskaźnika IR 24 w obszarze roboczym z rozdzielczością 4096 x 4096 punktów, dzięki zastosowaniu 4-bitowej procedury interpolacji współrzędnych zwróconych przez sensor 14 i śledzeniu tej pozycji w czasie rzeczywistym, jeśli wskaźnik IR 24 porusza się w obszarze roboczym z prędkością do 2 m/s. Aktualna pozycja wskaźnika IR 24 (współrzędne względne) przekazywana jest do mikrokomputera z oprogramowaniem 1 za pośrednictwem interfejsu USB. Posługiwanie się wskaźnikiem IR 24 w tym trybie pracy urządzenia przypomina pracę z myszką komputerową. W związku z tym interakcja z obrazem wyświetlanym z mikrokomputera z oprogramowaniem 1 za pośrednictwem projektora video 2 jest intuicyjna i pozwala na

PL 227 128 B1 stosowanie wszelkiego rodzaju oprogramowania użytkowego, które może być obsługiwane za pomocą myszki komputerowej.

Interaktywne urządzenie projekcyjne znajdzie swoje zastosowanie do interaktywnego procesu kształcenia łączącego w sobie dużą motorykę wykorzystywaną w trybie detekcji ruchu na płaszczyźnie poziomej oraz małą motorykę w trybie pracy z wskaźnikiem IR. Takie połączenie jest szczególnie istotne na wstępnym etapie kształcenia młodzieży.

Dodatkowo urządzenie to daje szerokie możliwości w zakresie rehabilitacji osób z ograniczeniami układu ruchu a także z dysfunkcjami centralnego ośrodka nerwowego.

Oprócz tego nadaje się do interaktywnego prezentowania treści, zwłaszcza w edukacji szkolnej i akademickiej, gdzie nauczyciele i wykładowcy oraz uczniowie lub studenci mogą wyświetlać dowolną zawartość komputera, dokonywać notatek, pracować jak na zwykłej tablicy czy stole a następnie zapisać i wydrukować zawartość ekranu, notatek, obrazów itd. zastępstwo tradycyjnych tablic suchościeralnych albo flipchartów. Interaktywne urządzenie projekcyjne pozwalają pokazać wszystko co może być wyświetlone na ekranie komputera.

Wynalazek daje możliwość prowadzenia na żywo pokazów i eksperymentów na lekcjach biologii, przyrody, chemii, fizyki oraz omawiania wyników w oparciu o widoczne wykresy, tabele, zestawienia, do których na bieżąco można wprowadzać dane. Ponadto interaktywne urządzenie projekcyjne znajdzie swoje zastosowanie w działalności biznesowej np. jako narzędzie do prezentacji i analizy wyników firmy.

Claims (1)

1. Interaktywne urządzenie projekcyjne zawierające mikrokomputer z oprogramowaniem (1) w postaci przemysłowej płyty głównej w formacie mITX, wyposażonej w interfejsy: RS232, USB i HDMI, projektor wideo (2) z szerokokątnym obiektywem, wyposażony w interfejsy: RS232 i HDMI, moduł optyczny (3), moduł sterujący (4) oraz detektor IR pozycji i ruchu (5), znamienne tym, że moduł optyczny (3) zawiera lustra (6) wraz z prowadnicami (7) i napędem elektrycznym (8) sterowanym przez mikrokontroler z oprogramowaniem (9A), filtry IR (10A), zaś moduł sterujący (4) zawiera płytki drukowane (11B) oparte o mikrokontroler z oprogramowaniem (9B) i wyposażone w interfejsy RS232 i USB oraz czujnik IR (13), natomiast detektor IR pozycji i ruchu (5) zawiera płytki drukowane (11C) oparte o mikrokontroler z oprogramowaniem (9C), sensor (14), kamerę CCD (16), filtry IR (10B), obiektywy (15), video grabber (17), oświetlacz IR (18), zbudowany z diod nadawczych IR (19), posiada ponadto dedykowany wskaźnik IR (24) oraz pilot zdalnego sterowania (20).