PL208403B1 - Ruchome urządzenie wyświetlające i wskazujące - Google Patents

Description

Opis wynalazku

Wynalazek dotyczy ruchomego urządzenia wyświetlającego i wskazującego, zwłaszcza optycznego urządzenia wskazującego.

Znane urządzenie wskazujące, takie jak mysz, umożliwia użytkownikowi wskazanie miejsca na ekranie dla interaktywnego ustawiania kursora lub wybierania położenia na powierzchni obrazowania, takiej jak ekran wyświetlacza lub inna tego rodzaju powierzchnia. Urządzenia wskazujące są stosowane w komputerach biurkowych, urządzeniach ruchomych, komputerach podręcznych, telefonach komórkowych, osobistych asystentach cyfrowych, urządzeniach internetowych i innych. Wskazanie na wyświetlaczu może być tekstowe, na przykład podświetlony tekst, lub graficzne, na przykład kursor.

Interfejsy użytkownika w przenośnych elektronicznych urządzeniach użytkowych stają się coraz bardziej skomplikowane, co zwykle wymaga zastosowania wielu elementów sterowania, którymi musi manipulować użytkownik. Jednak odbiorca zwykle wymaga urządzeń, które są małe i zwarte. Wprowadzenie wystarczającej liczby elementów sterowania i zachowanie wystarczająco małych wymiarów urządzenia jest trudne do wykonania w celu akceptacji przez odbiorcę. Ponadto istnieje praktyczne ograniczenie rozmieszczenia małych elementów sterowania, takich jak przyciski, względem siebie dla obsługi palcami przeciętnego użytkownika.

Znane są dwa główne rodzaje urządzeń wskazujących w przenośnych elektronicznych urządzeniach użytkowych, mianowicie jednowymiarowe i dwuwymiarowe. Jednowymiarowe urządzenia wskazujące zawierają na przykład przełączniki tarczowe, pokrętła, suwaki, wielopozycyjne przełączniki dwustabilne i przełączniki wahliwe. Urządzenia wskazujące są używane do wybierania ruchu w jednym kierunku w interfejsie użytkownika, na przykład w graficznym interfejsie użytkownika. Ruch w jednym kierunku jest zwykle interpretowany jako ruch do góry/do dołu, do przodu/do tyłu i następny/poprzedni w zależności od urządzenia.

Jednowymiarowe urządzenia wskazujące, takie jak pokrętła, są skonstruowane tak, aby zajmowały bardzo mały, ściśle ograniczony obszar powierzchni urządzenia użytkowego. Na przykład krawędź pokrętła wystaje poprzez szczelinowy otwór w obudowie urządzenia i umożliwia użytkownikowi obracanie pokrętłem w obu kierunkach przez pociąganie palcem wzdłuż krawędzi pokrętła stycznie do jego obwodu. Jednak szczelinowe otwory w obudowie umożliwiają dostawanie się zanieczyszczeń do wnętrza urządzenia.

Przełączniki tarczowe i wahliwe są zwykle większe niż pokrętła i wymagają użycia wystarczająco dużego obszaru powierzchni na przyjęcie końca palca użytkownika. W niektórych przypadkach przełączniki wahliwe są realizowane jako dwa sąsiednie przyciski połączone wspólnym drążkiem. Urządzenia takie są skonstruowane na przykład tak, aby obudowa urządzenia była uszczelniona względem otoczenia. Jednak urządzenia te mają części ruchome i mogą zajmować większe obszary powierzchni urządzenia w porównaniu z innymi jednowymiarowymi urządzeniami wymienionymi poprzednio.

Dwuwymiarowe urządzenia wskazujące obejmują na przykład manipulatory dotykowe, manipulatory kulkowe, myszy i manipulatory drążkowe. Urządzenia wskazujące są zwykle używane do wybierania ruchu w dwóch kierunkach równocześnie w interfejsie użytkownika. Dowolne dwuwymiarowe urządzenie wskazujące może być również stosowane jako jednowymiarowe urządzenie wskazujące poprzez trywialne ignorowanie jednego z wymiarów obsługiwanych przez urządzenie. Dwuwymiarowe urządzenia wskazujące są bardziej wszechstronne niż jednowymiarowe urządzenia wskazujące i są zwykle stosowane do wybierania informacji i manipulowania nimi na dwuwymiarowym wyświetlaczu przez wskazywanie położenia X, Y, które jest związane z daną funkcją poprzez graficzny interfejs użytkownika. Inne dwuwymiarowe urządzenie wskazujące jest stosowane do sterowania dwiema niezależnymi cechami urządzenia, takimi jak wysokość tonu w funkcji barwy dźwięku, kąt wychylenia lotek w funkcji kąta wychylenia steru czy stopa procentowa w funkcji terminu.

Manipulatory dotykowe są to płaskie obszary powierzchni, które wyczuwają bezwzględne miejsce dotknięcia końcem palca użytkownika tego obszaru. Minimalne wymiary manipulatora dotykowego muszą więc być nieco większe niż koniec palca użytkownika, aby urządzenie było skuteczne, a praktyczne wymiary są kilkakrotnie większe. Manipulatory dotykowe zwykle wymagają zastosowania bardzo małej głębokości w obudowie urządzenia w stosunku do wymaganego przez nie obszaru powierzchni i są uszczelniane względem otoczenia. Jednak ze względu na wielkość obszaru powierzchni wymaganego przez manipulatory dotykowe, nie są one powszechnie stosowane w mniejszych urządzeniach, takich jak urządzenia ręczne.

PL 208 403 B1

Manipulatory kulkowe wykorzystują toczenie kulki dla uzyskania sygnału wyjściowego wskazania względnego ruchu dla interfejsu użytkownika. Użytkownik dotyka kulkę i powoduje jej toczenie się. Kąt toczenia kulki jest badany w celu określenia informacji dwuwymiarowego wskazania. Minimalna średnica manipulatora kulkowego jest ograniczona na przykład przez wielkość urządzenia czujnikowego, używanego do określania obrotu. Manipulatory kulkowe wymagają zastosowania wewnątrz obudowy głębokości tego samego rzędu, jak średnica kulki manipulatora. Jednak wiele przenośnych elektronicznych urządzeń użytkowych nie ma głębokości wystarczającej do pomieszczenia urządzenia wskazującego z manipulatorem kulkowym i związanych z nim mechanizmów czujnikowych. Ponadto manipulator kulkowy nie jest uszczelniony względem otoczenia, a więc pozwala na przedostawanie się zanieczyszczeń do wnętrza urządzenia.

Manipulatory drążkowe nie są zwykle stosowane w przenośnych elektronicznych urządzeniach użytkowych przeważnie z tego powodu, że muszą wystawać ponad powierzchnię urządzenia i zwykle wymagają zastosowania znacznej objętości lub głębokości w urządzeniu, aby pomieścić mechanizmy czujnikowe. Manipulator drążkowy w postaci manipulatora przyciskowego lub manipulatora grzybkowego jest zwykle realizowany jako dwuwymiarowy przełącznik wahliwy. Manipulator przyciskowy i manipulator grzybkowy zwykle nie mogą wskazywać prędkości lub odległo ści, a jedynie kierunek.

Najbardziej powszechnym urządzeniem wskazującym jest mysz, która działa zasadniczo jak odwrócony manipulator kulkowy. Zamiast dotykać bezpośrednio kulki i toczyć ją, użytkownik porusza całą obudowę, zawierającą odwrócony manipulator kulkowy, po pomocniczej płaskiej powierzchni -podkładce pod mysz, oddzielonej od obudowy. Ta pomocnicza płaska powierzchnia ma minimalne wymiary określone przez wymiary obudowy myszy, a w praktyce minimalne wymiary podkładki pod mysz są znacznie większe niż dłoń użytkownika. Podczas pracy tarcie pomiędzy kulką a podkładką myszy powoduje obracanie się kulki wewnątrz obudowy, a dalsze działanie jest podobne do działania manipulatora kulkowego. Oprócz wymagań stawianych przez manipulator kulkowy, znana mysz wymaga zastosowania płaskiej powierzchni pomocniczej, a wyczuwanie ruchu jest przeprowadzane przy dnie obudowy.

Inne znane wykonanie myszy wymaga zastosowania drobnego, regularnie powtarzającego się wzoru optycznego lub siatki wydrukowanej na powierzchni podkładki pod mysz, po której użytkownik przesuwa mysz optyczną. Tego rodzaju mysz optyczna wykorzystuje czujniki na dolnej powierzchni obudowy, które są umieszczone z określoną podziałką względem siatki na powierzchni podkładki pod mysz, a zatem wyczuwa względny ruch znanej siatki pod spodem i wykorzystuje tę informację do wyczuwania kierunku i prędkości. Dodatkowa powierzchnia siatkowa stwarza konieczność stosowania samej podkładki pod mysz, która to podkładka jest twarda dla ułatwienia jej czyszczenia i zapobiegania uszkodzeniom, przy czym podkładka pod mysz jest zwykle kilkakrotnie większa niż dłoń użytkownika, a użytkownik musi starać się utrzymywać orientację myszy optycznej zgodną z orientacją siatki na podkładce pod mysz.

Znana jest inteligentna mysz optyczna, która wykorzystuje czujniki optyczne i techniki przetwarzania obrazu do określania ruchu względnego. Podobnie, jak w przypadku innych znanych wykonań myszy, wymaga ona zastosowania powierzchni pomocniczej, na której mysz działa. Urządzenie to różni się od poprzednio opisanej optycznej myszy siatkowej tym, że nie wymaga zastosowania oddzielnej podkładki z powtarzającą się siatką optyczną i wykorzystuje wiele obszarów czujnikowych oraz procesor obrazu do określania prędkości i kierunku ruchu płaskiej, gładkiej powierzchni znajdującej się pod nią. Obszary czujnikowe są zatem usytuowane na dolnej powierzchni myszy optycznej. Płaskie okno czujnikowe na spodzie myszy odbiera światło dla obszarów czujników optycznych. Podczas działania do pracy myszy potrzebny jest płaski obszar, taki jak pulpit biurka. Minimalne wymiary płaskiego obszaru są przynajmniej tak duże, jak obudowa myszy, to znaczy są to w przybliżeniu wymiary dłoni użytkownika, a w praktyce wymagany płaski obszar jest kilkakrotnie większy niż dłoń użytkownika.

Znane jest z opisu patentowego USA 5 463 725 ruchome urządzenie zawierające element obwodu czujnika tekstury powierzchni, przy czym obwód wykrywania ruchu tekstury powierzchni, funkcjonalnie dołączony do obwodu czujnika tekstury powierzchni, jest stosowany do określania kierunku ruchu i/lub prędkości ruchu tekstury i do wytwarzania wyjściowych danych wskazujących dla wyświetlacza.

Znane jest także z opisu patentowego USA nr 5 966 122 urządzenie zawierające obszar urządzeń ze sprzężeniem ładunkowym CCD, pamięć do przechowywania co najmniej jednego obrazu oraz element obwodu czujnika tekstury powierzchni i wyświetlacz z wieloma przemieszczonymi obrazami.

PL 208 403 B1

Znane są także urządzenia do kodowania w systemie MPEG, wraz z korelowaniem i blokową oceną ruchu, przedstawione na przykład w opisach patentowych USA nr 5 608 656, USA nr 5 157 732, USA nr 5 247 586 i USA nr 5 461 423.

Według wynalazku w ruchomym urządzeniu wyświetlającym i wskazującym okno czujnikowe jest częścią obwodu czujnika tekstury powierzchni i naciskany przycisk z oknem czujnikowym jest jednym z wielu klawiszy klawiatury w ruchomym urządzeniu, a do obwodu czujnika tekstury powierzchni jest dołączony operacyjnie obwód czujnika ruchu tekstury powierzchni dla określania kierunku ruchu i prędkości ruchu tekstury powierzchni, reprezentowanych przez sygnały obrazu tekstury powierzchni, w oknie czujnikowym niezależnie od nacisku naciskanego przycisku, przy czym obwód czujnika ruchu tekstury powierzchni ma wyjście danych wyjściowych dołączone do wyświetlacza poprzez interfejs użytkownika i drugie wyjście dołączone do pamięci.

Korzystnie obwód czujnika tekstury powierzchni zawiera obszar czujnikowy złożony z co najmniej jednego spośród wielu urządzeń ze sprzężeniem ładunkowym i wielu czujników cieplnych.

Korzystnie obwód czujnika tekstury powierzchni zawiera źródło światła do oświetlania tekstury powierzchni dla wykrywania tekstury powierzchni.

Korzystnie obwód czujnika tekstury powierzchni zawiera soczewkę skupiającą dołączoną operacyjnie do urządzeń ze sprzężeniem ładunkowym dla wykrywania tekstury powierzchni.

Korzystnie obwód czujnika tekstury powierzchni zawiera filtr światła widzialnego, umieszczony między teksturą powierzchni i urządzeniami ze sprzężeniem ładunkowym.

Korzystnie obwód czujnika tekstury powierzchni jest dołączony do pamięci dla pamiętania jednego lub wielu obrazów, przy czym do obwodu czujnika tekstury powierzchni jest dołączony obwód czujnika ruchu tekstury powierzchni dla wytwarzania obrazu ruchu tekstury powierzchni, reprezentowanego przez dane obrazu, przez porównanie obrazu z jednym lub wieloma poprzednio zapamiętanymi obrazami.

Korzystnie naciskany przycisk ma usytuowane na nim okno czujnikowe mające tę samą wysokość, jak górna powierzchnia przycisku.

Zaletą wynalazku jest zapewnienie urządzenia wyświetlającego i wskazującego o prostej budowie, bez żadnych ruchomych części, co ułatwia jego produkcję, eksploatację, konserwację i naprawy. Urządzenie według wynalazku jest mniej podatne na fałszywe wyzwalanie przez obiekty poruszające się względem niego, ze względu na wymaganie ścisłej bliskości w obszarze ogniska i wymaganie przetwarzania grzbietów i bruzd tekstury skóry.

Przedmiot wynalazku jest przedstawiony w przykładach wykonania na rysunku, na którym:

fig. 1 przedstawia schemat blokowy urządzenia wyświetlającego i wskazującego według wynalazku, fig. 2 - sieć działań dla sposobu podawania informacji wskazywania na wyświetlacz według wynalazku, fig. 3 - bardziej szczegółowo sieć działań przy określaniu kierunku ruchu i/lub prędkości ruchu tekstury powierzchni, takiej jak linie papilarne lub inna tekstura powierzchni, według wynalazku, fig. 4 - schemat urządzenia ruchomego, zawierającego urządzenie wyświetlające i wskazujące według wynalazku, fig. 5 - schemat blokowy czujnika tekstury powierzchni według wynalazku, fig. 6 - przekrój przycisku, zawierającego osadzony w nim obwód czujnika tekstury powierzchni według wynalazku oraz fig. 7 - schemat struktury danych reprezentujących ramki do iteracji próbek według sposobu z fig. 3.

Fig. 1 przedstawia przykład wykonania urządzenia wyświetlającego i wskazującego 10, zastosowanego w urządzeniu zawierającym wyświetlacz 12, interfejs 14 użytkownika i pamięć 16. Urządzenie wyświetlające i wskazujące 10 zawiera obwód czujnika 18 tekstury powierzchni, na przykład obwód optyczny odczytu linii papilarnych, oraz obwód czujnika 20 ruchu tekstury powierzchni. Pamięć 16 stanowi część obwodu czujnika tekstury powierzchni i/lub obwodu czujnika ruchu tekstury powierzchni. Przez linie papilarne rozumie się tutaj dowolną część tekstury skóry lub innej tekstury, a nie cały odcisk palca. Obwód czujnika 18 tekstury powierzchni jest przeznaczony do wykrywania przynajmniej części linii papilarnych lub innego wzoru skóry albo innej powierzchni, takiej jak rękawiczka umieszczona w pobliżu okna czujnikowego obwodu czujnika 18 tekstury powierzchni.

Obwód czujnika 18 tekstury powierzchni dostarcza na wyjściu sygnały obrazu 22 reprezentujące jeden lub wiele obrazów wykrytej tekstury skóry, podawane na obwód czujnika 20 ruchu tekstury powierzchni. Obwód czujnika 18 tekstury powierzchni zawiera czujnik optyczny, który tworzą na przykład obszary urządzeń ze sprzężeniem ładunkowym CCD, czujniki termiczne, układ odbijania związaPL 208 403 B1 ny ze źródłem światła, takim jak nadajnik światła, lub na przykład prostokątny układ czujników temperatury. Obwód czujnika 18 tekstury powierzchni zawiera nadajnik światła, taki jak zwykła dioda elektroluminescencyjna, do oświetlania tekstury skóry na końcu palca lub innej części skóry, aby ułatwić badanie tekstury skóry, przy czym stosowane diody elektroluminescencyjne emitują światło o różnych długościach fal, na przykład światło widzialne czy podczerwone.

Oświetlenie za pomocą diod elektroluminescencyjnych różni się od oświetlenia uzyskanego ze spójnej interferometrii opartej na laserach, takiej jak pomiar translacji optycznej, pod wieloma względami, wliczając to, że źródło światła według wynalazku nie musi być źródłem światła spójnego i wynalazek nie wymaga zastosowania siatki blisko powierzchni. W przypadku, gdy stosuje się czujnik oparty na aktywnym nadajniku światła, wówczas aktywny nadajnik światła widzialnego i/lub podczerwieni jest wykorzystywany do miejscowego oświetlania końca palca użytkownika. Moc wyjściowa światła z nadajnika może być bardzo mała ze względu na mały obszar powierzchni, który jest oświetlany i ze względu na znaczne zbliżenie palca użytkownika do okna czujnikowego.

Obwód czujnika 18 tekstury powierzchni przetwarza dane odebrane z czujników optycznych, aby wytworzyć obraz linii papilarnych, taki jak część obrazu odcisku palca lub innej tekstury skóry, który to obraz przedstawia na przykład grzbiety i bruzdy końca palca użytkownika albo inną teksturę powierzchni jako pewnego rodzaju wzór optyczny. Obwód czujnika 20 ruchu tekstury powierzchni wykorzystuje grzbiety i bruzdy w teksturze skóry jako wzór optyczny do wykrywania ruchu i prędkości ruchu tekstury skóry, gdy palec jest przemieszczany nad oknem czujnikowym.

Obwód czujnika 20 ruchu tekstury powierzchni stanowi mikrosterownik, dyskretny układ logiczny, mikroprocesor, maszyna stanu lub kombinacja sprzętu, oprogramowania lub programu firmowego. Obwód czujnika 20 ruchu tekstury powierzchni jest dołączony funkcjonalnie do obwodu czujnika 18 tekstury powierzchni, aby odbierać jeden lub wiele sygnałów obrazu 22 tekstury skóry i określać przynajmniej jeden kierunek ruchu i/lub prędkość ruchu tekstury skóry badanej przez obwód czujnika 18 tekstury powierzchni. Korzystnie określany jest zarówno kierunek ruchu jak i prędkość ruchu. Obwód czujnika 20 ruchu tekstury powierzchni wytwarza dane wyjściowe 24 wskazywania dla wyświetlacza 12. Dane wyjściowe 24 wskazywania reprezentują położenie na wyświetlaczu, wskazywane przez koniec palca użytkownika, stosowane przez interfejs 14 użytkownika, taki jak graficzny interfejs użytkownika lub inny interfejs, który zapewnia wizualne wskazywanie położenia na wyświetlaczu 12. Interfejs 14 użytkownika dostarcza na przykład sygnał położenia kursora 26 wyświetlanego na wyświetlaczu 12. Dane wyjściowe 24 wskazywania są dowolnymi danymi reprezentującymi wizualne wskazywanie położenia na wyświetlaczu, na przykład są podświetlonym lub wybranym tekstem.

Pamięć 16 jest częścią urządzenia lub stanowi część obwodu czujnika 20 ruchu tekstury powierzchni albo obwodu czujnika 18 tekstury powierzchni. Część obwodu czujnika 18 tekstury powierzchni może być wykorzystywana w obwodzie czujnika 20 ruchu tekstury powierzchni i odwrotnie. Obwód czujnika 20 ruchu tekstury powierzchni zapisuje w pamięci 16 obraz odebrany z obwodu czujnika 18 tekstury powierzchni. Następnie jest określana prędkość i kierunek ruchu tekstury powierzchni przez porównanie zapisanego obrazu z jednym lub wieloma poprzednio zapisanymi obrazami odebranymi z obwodu czujnika 18 tekstury powierzchni.

Fig. 2 przedstawia sieć działań dla sposobu dostarczania informacji wskazującej dla wyświetlacza, takiego jak sposób przeprowadzany przez urządzenie wyświetlające i wskazujące 10 z fig. 1. Sposób rozpoczyna się w bloku 200 przez badanie tekstury powierzchni, przeprowadzane przez mechanizm czujnika tekstury powierzchni. W bloku 202 następuje określanie kierunku ruchu i/lub prędkości ruchu tekstury powierzchni, gdy jest ona przemieszczana wzdłuż okna czujnikowego, związanego z urządzeniem wyświetlającym i wskazującym 10. W bloku 204 następuje wytwarzanie sygnału wyjściowego wskazania dla wyświetlacza na podstawie określonego kierunku ruchu i/lub prędkości ruchu tekstury powierzchni. Powracając do bloku 200, badanie tekstury powierzchni obejmuje w tym przykładzie przetwarzanie odbieranych danych optycznych z czujnika tekstury powierzchni, takiego jak szereg obszarów urządzeń ze sprzężeniem ładunkowym, układ czujników cieplnych lub czujnik światła, jak również generowanie danych reprezentujących obraz badanej tekstury powierzchni.

Fig. 3 przedstawia sieć działań dla sposobu określania kierunku ruchu i/lub prędkości ruchu linii papilarnych według wynalazku, a struktury danych reprezentujące ramki do szczególnej iteracji próbkującej sieci działań z fig. 3 są przedstawione na fig. 7. W bloku 300 następuje zapisywanie obrazu, mianowicie jednego lub wielu obrazów odebranych z czujnika tekstury powierzchni, takiego jak czujnik linii papilarnych. W bloku 302 następuje porównywanie odebranego obrazu 710 z jednym lub wieloma poprzednio badanymi obrazami 760 linii papilarnych. W bloku 304 następuje odpowiedź na pytanie,

PL 208 403 B1 czy wystąpił ruch obrazu. Gdy ruch nie wystąpił, odebrany obraz 710 jest zasadniczo zgodny z zapisanym obrazem 700. Gdy dwa obrazy są zasadniczo zgodne, mówi siej, że mają wysoką korelację. Sposobem opisania tej zgodności jest obliczenie wyniku korelacji, przy czym większy wynik oznacza lepszą korelację. Gdy ruch wystąpił, w bloku 306 następuje określenie kierunku ruchu.

Każdy obraz 710 odebrany z obwodu czujnika 18 tekstury powierzchni jest na przykład zbiorem pikseli odebranych w danym okresie czasu i może być traktowany jako ramka informacji. Obwód czujnika 20 ruchu palca realizuje algorytmy wykrywania ruchu, na przykład generowanie wektorów ruchu dla części obrazu lub całego obrazu, tak jak przy kodowaniu ruchomych obrazów i kompresji w standardzie MPEG, lub realizuje inne techniki wykrywania ruchu.

Powracając do fig. 3 i 7, w przypadku gdy wystąpił ruch, odebrany obraz 710 i zapisany obraz 700 mają istotne różnice, a algorytm wykrywania ruchu jest wykorzystywany do określenia kierunku i wielkości ruchu. Zapisany obraz 700 jest poddawany przynajmniej jednej z następujących transformacji obrazu: przesunięciu, obrotowi i skalowaniu, aby wytworzyć wiele dopuszczalnych obrazów 715, 720, 725, 730, 735, 740, 745, 750, które są zapisywane w pamięci 760. Na fig. 7 dopuszczalny obraz 715 jest przesunięty do góry i na lewo względem zapisanego obrazu 700, dopuszczalny obraz 720 jest przesunięty do góry względem zapisanego obrazu 700, dopuszczalny obraz 725 jest przesunięty do góry i na prawo względem zapisanego obrazu 700, dopuszczalny obraz 730 jest przesunięty na lewo względem zapisanego obrazu 700, dopuszczalny obraz 735 jest przesunięty na prawo względem zapisanego obrazu 700, dopuszczalny obraz 740 jest przesunięty do dołu i na lewo względem zapisanego obrazu 700, dopuszczalny obraz 745 jest przesunięty do dołu względem zapisanego obrazu 700 i dopuszczalny obraz 750 jest przesunięty do dołu i na prawo względem zapisanego obrazu 700. Dopuszczalne obrazy 715, 720, 725, 730, 735, 740, 745, 750 są następnie porównywane z odebranym obrazem 710 i jeżeli są zasadniczo zgodne, wówczas transformacja obrazu stosowana do wytworzenia dopuszczalnego obrazu reprezentuje ruch tekstury skóry. Jeżeli dopuszczalny obraz nie jest zgodny, wówczas przeprowadzana jest inna próba transformacji lub zbiór transformacji, na przykład przesunięcie zapisanego obrazu lub przekształconego obrazu na lewo w znacznym stopniu lub przesunięcie na prawo. Pierwsza próba przesunięcia jest wybierana z wykorzystaniem historii ostatnich, poprzednio określonych kierunków i wielkości lub innych środków, takich jak wektory blokowe przemieszczenia w standardzie MPEG.

Przez powtarzalne próby porównania lub skorelowania odebranego obrazu 710 z różnymi dopuszczalnymi transformacjami obrazów 715, 720, 725, 730, 735, 740, 745, 750 jest możliwe uzyskanie jednego z dwóch wyników. Pierwszy wynik polega na tym, że ewentualnie część przekształconego dopuszczalnego obrazu 735 jest zasadniczo zgodna z odpowiednią częścią odebranego obrazu 710, w którym to przypadku ruch tekstury skóry jest określany na podstawie przesunięcia zastosowanego wobec zapisanego obrazu 700, dającego dopuszczalny obraz 735, w wyniku czego w bloku 204 jest generowany wskazujący sygnał wyjściowy. Drugi wynik polega na tym, że żadna dopuszczalna transformacja nie ma wystarczającej korelacji z odebranym obrazem, aby celowo zidentyfikować ruch. Ten drugi wynik zwykle oznacza, że ruch tekstury skóry był tak duży, że nie mógł zostać dokładnie zmierzony, na przykład całkiem inna część tekstury skóry z różnymi grzbietami i bruzdami jest reprezentowana w odebranym obrazie w porównaniu z zapisanym obrazem. W tym drugim wyniku wynalazek wykorzystuje historię poprzednich określeń kierunku i prędkości dla stwierdzenia, czy istniało prawdopodobieństwo znacznego przemieszczenia. Jeżeli historia wskazuje na dokładne określenie zgodnego kierunku i rosnące przemieszczenie, wynalazek przywraca kierunek zgodny z poprzednimi kierunkami i prędkość ruchu odpowiadającą maksymalnej prędkości ruchu, jaka byłaby w innym przypadku wykrywalna, tworząc przez to funkcję ograniczającą prędkość w przypadku dużych przemieszczeń tekstury skóry. Jeżeli historia nie wskazuje zgodnego kierunku i rosnącego przemieszczenia, wówczas zapewniane są kierunek i prędkość zgodne z nieruchomą teksturą skóry.

W innym przykładzie wykonania odebrany obraz jest poddawany przynajmniej jednej z transformacji obrazu: przesunięciu, obrotowi i skalowaniu, na przykład przesunięciu obrazu na lewo o mały odstęp, aby wytworzyć dopuszczalny obraz, który może zostać zapisany. Dopuszczalny obraz jest następnie porównywany z zapisanym obrazem i jeżeli są one zasadniczo zgodne, wówczas transformacja obrazu wykorzystywana do wytworzenia dopuszczalnego obrazu reprezentuje odwrotność ruchu tekstury skóry. Jeżeli dopuszczalny obraz nie jest dopasowany, wówczas próbuje się przeprowadzić inną transformację, na przykład przesunięcie odebranego obrazu lub przetworzonego obrazu na lewo o większy odstęp albo przesunięcie na prawo. Transformacja jest przeprowadzana w tym przykładzie wykonania na odebranym obrazie, a nie na zapisanym obrazie, a porównanie jest przeprowaPL 208 403 B1 dzane pomiędzy dopuszczalnymi, transformowalnymi, odebranymi obrazami a zapisanym obrazem, zamiast porównania pomiędzy dopuszczalnym, transformowanym, zapisanym obrazem a odebranym obrazem, przy czym otrzymany kierunek jest odwrotnością transformacji zastosowanej wobec odebranego obrazu.

Wynalazek wymaga zastosowania co najmniej jednego zapisanego obrazu i jednego odebranego obrazu dla umożliwienia porównania pomiędzy dwoma obrazami, a podczas porównania tylko jeden z tych obrazów musi być zapisany. W korzystnym przykładzie wykonania wiele obrazów z poprzednich iteracji algorytmu jest zapisywanych, aby potencjalnie zmniejszyć przeciętne obciążenie obliczeniowe na iterację. W innym wykonaniu odebrany obraz jest przetwarzany w wiele dopuszczalnych obrazów równolegle lub odebrany obraz jest przetwarzany w wiele dopuszczalnych obrazów w ukł adzie szeregowym.

W innym przykł adzie wykonania algorytm wykrywania ruchu jest wykorzystywany na jednym lub wielu podzbiorach odebranego obrazu i jednym lub wielu podzbiorach zapisanego obrazu analogicznie do sposobu blokowej oceny ruchu w standardzie MPEG. W celu wspierania stosowania składowych w standardzie MPEG, podzbiory są wybierane jako bloki i makrobloki związane z blokowymi algorytmami wektorów ruchu w standardzie MPEG. Alternatywnie podzbiory reprezentują specyficzne, rozpoznawalne cechy odcisku palca, takie jak spiralne linie papilarne, połączenia, równoległe grzbiety i bruzdy, blizny lub inne cechy wyróżniające. Całkowity ruch podzbiorów można uśredniać w celu określenia kierunku i wielkości ruchu tekstury skóry. Alternatywnie taka średnia jest stosowana jako początkowa dopuszczalna transformacja przy przeprowadzaniu korelowania całego obrazu, jak to opisano powyżej.

Powracając do bloku 304, jeżeli nie wystąpił żaden ruch, sposób obejmuje kontynuację zapisywania obrazów i analizowania dochodzących obrazów w celu stwierdzenia, czy wystąpił ruch. Przykładowo, działanie przedstawione w blokach 202 i 204 jest przeprowadzane na przykład za pomocą obwodu czujnika 20 ruchu tekstury powierzchni.

W przykładzie wykonania każdy zapisany obraz i odebrany obraz ma związany z nim znacznik czasu będący miarą czasu, który upłynął od chwili odniesienia. Przykłady zwykłych znaczników czasu obejmują daty, czas w ciągu dnia, wartość licznika wytwarzaną zgodnie z zegarem systemowym lub wzorcem częstotliwości oraz licznik upływu czasu. Różnica czasu jest obliczana przez odjęcie wartości znacznika czasu związanego z zapisanym obrazem od wartości znacznika czasu odbieranego obrazu. Kierunek i wielkość ruchu tekstury skóry są określane, jak to opisano wcześniej, przez porównanie odebranego obrazu z jednym lub wieloma zapisanymi obrazami. Wielkość ruchu tekstury skóry podzielona przez różnicę czasu jest prędkością ruchu tekstury skóry. Prędkość ruchu i kierunek ruchu stanowią razem pełną informację o wektorze ruchu związanym z teksturą skóry.

W innym przykładzie wykonania licznik upływającego czasu jest uruchamiany po każdym określeniu kierunku i prędkości oraz jest zatrzymywany i sprawdzany na początku każdego określania kierunku i prędkości, podaje zatem bezpośrednio różnicę czasu bez konieczności stosowania etapu odejmowania.

Fig. 4 przedstawia urządzenie ruchome 400, takie jak, bez ograniczenia, telefon komórkowy, osobisty asystent cyfrowy, urządzenie internetowe, zegarek naręczny, telefon, osobisty organizator informacji lub inne urządzenie ruchome. Urządzenie ruchome 400 w postaci telefonu komórkowego ma wyświetlacz 12, na którym są wyświetlane obrazy graficzne 402 i kursor 404 sterowany na podstawie danych wyjściowych 24 wskazywania. Urządzenie ruchome 400 ma obudowę 406 z wyświetlaczem 12, który jest dołączony funkcjonalnie do obudowy 406 i jest wyświetlaczem przerzutnikowym lub innym wyświetlaczem. Urządzenie ruchome 400 zawiera podsystem radiotelefoniczny 408, który zawiera wiele przycisków 412 do aktywacji dla ułatwiania łączności za pomocą telefonu komórkowego. Przyciski 412 tworzą blok naciskanych klawiszy, klawisze wirtualne przedstawiane jako obrazy graficzne 402 lub inne przyciski. Urządzenie ruchome 400 zawiera również urządzenie wyświetlające i wskazujące 10 z oknem czujnikowym 410 tekstury powierzchni jako częścią obwodu czujnika 18 tekstury powierzchni. Obwód czujnika 20 ruchu tekstury powierzchni jest programowanym procesorem lub procesorami w urządzeniu ruchomym 400 albo inną strukturą. Okno czujnikowe 410 tekstury powierzchni jest usytuowane na powierzchni, która nie jest dolną powierzchnią obudowy 406. Na fig. 4 okno czujnikowe 410 tekstury powierzchni jest usytuowane na górnej powierzchni urządzenia ruchomego 400, ale może być usytuowane także na bocznej powierzchni lub innej powierzchni zgodnie z wymaganiami konstrukcji urządzenia ruchomego 400. Ze względu na to, że urządzenie wyświetlające i wskazujące 10 według wynalazku nie wymaga użycia podkładki zewnętrznej lub powierzchni dol8

PL 208 403 B1 nej, okno czujnikowe 410 tekstury powierzchni nie jest usytuowane na powierzchni dolnej. Okno czujnikowe 410 tekstury powierzchni jest stosunkowo małe, ponieważ musi wykrywać jedynie mały ruch części odcisku palca. Okno czujnikowe 410 odcisku palca jest tak małe, że obejmuje tylko kilka rzędów grzbietów i bruzd w teksturze skóry. Ze względu na to, że tekstura skóry jest różna u różnych użytkowników, praktycznie najmniejsza powierzchnia ma wymiary rzędu 2,5 mm x 2,5 mm (6,25 mm²). W korzystnym przykładzie wykonania okno czujnikowe 410 tekstury powierzchni ma powierzchnię rzędu 20 mm² i w przybliżeniu kształt kwadratu. Okno czujnikowe 410 tekstury powierzchni nie musi mieć kształtu prostokątnego i może zawierać nieciągłe obszary o dowolnym obrysie. Obszary czujnikowe są usytuowane poza lub wewnątrz okna czujnikowego 410 tekstury powierzchni. Rzędy obszarów czujnikowych są usytuowane dostatecznie blisko siebie, aby wykrywać przestrzenną reprezentację przynajmniej jednej energii świetlnej odbitej od palca i/lub energii podczerwieni emitowanej z palca, w zależności od rodzaju zastosowanego obwodu czujnika tekstury powierzchni. Obszar czujnikowy może być skonstruowany tak, aby wykorzystywać bardzo mały obszar powierzchni urządzenia ruchomego. Zwykle nie jest konieczne badanie lub przetwarzanie obrazu dużego obszaru końca palca użytkownika. Okno czujnikowe 410 jest na przykład powierzchnią, która umożliwia przechodzenie przez nią energii i jest korzystnie uszczelniona, aby zapobiegać przedostawaniu się zanieczyszczeń fizycznych do wnętrza obudowy urządzenia.

Fig. 5 przedstawia schemat blokowy obwodu czujnika 18 tekstury powierzchni z wykorzystaniem obszaru czujnikowego opartego na obszarach urządzeń ze sprzężeniem ładunkowym CCD. Obwód czujnika 20 ruchu odcisku palca stanowi sterownik lub inny sterujący układ logiczny, który odbiera sygnały obrazu 22 z obszaru urządzeń 500 ze sprzężeniem ładunkowym. Soczewka skupiająca 502, której wierzch służy jako okno czujnikowe 410 lub jego część, skupia światło na obszarze urządzeń 500 ze sprzężeniem ładunkowym. Korzystnie soczewka skupiająca 502 jest skonstruowana tak, że energia światła widzialnego lub energia emitowanego promieniowania podczerwonego na wysokości w przybliżeniu 5 mm od górnej powierzchni okna czujnikowego jest skupiana na obszarze urządzeń 500 ze sprzężeniem ładunkowym, lecz światło pochodzące z obszaru poza 5 mm od górnej powierzchni jest rozpraszane. Bezpośredni styk z oknem czujnikowym nie jest konieczny. Filtr 504 światła widzialnego, taki jak folia filtrująca światło widzialne, jest umieszczany pomiędzy soczewką skupiającą 502, a obszarem urządzeń 500 ze sprzężeniem ładunkowym w celu odfiltrowania światła widzialnego i przechodzenia energii promieniowania podczerwonego do obszaru urządzeń 500 ze sprzężeniem ładunkowym. Filtr 504 światła widzialnego służy jako filtr optyczny, który jest w stanie odfiltrować światło widzialne, aby nie padało na obszar urządzeń 500 ze sprzężeniem ładunkowym. Sygnały obrazu 22 mają postać analogową lub postać cyfrową, w zależności od stopnia złożoności obszaru urządzeń 500 ze sprzężeniem ładunkowym.

Fig. 6 przedstawia przekrój poprzeczny osadzonego urządzenia wyświetlającego i wskazującego. Klawisz czy przycisk 600 mieści w sobie obwód czujnika 18 odcisku palca, a zatem okno czujnikowe 410. W przycisku 600 jest wykonany otwór 602 do przeprowadzenia przewodów 604 lub łączników potrzebnych do połączenia płytki z układem drukowanym lub interfejsu. Przycisk sterujący, zwykle używany jako klawisz „enter” albo inny klawisz, może również mieścić w sobie obwód czujnika 18 odcisku palca, przez co zmniejsza się do minimum obszar linii papilarnych, który ma być odbierany przez urządzenie wyświetlające i wskazujące. Okno czujnikowe jest również umieszczane na przycisku lub klawiszu. Użytkownik ustawia kursor lub tekst na interfejsie graficznym użytkownika, stosując urządzenie wyświetlające i wskazujące oraz może zastosować sam przycisk do wyboru i aktywacji działania związanego z urządzeniem ruchomym.

Podczas pracy urządzenie wyświetlające i wskazujące bada, za pomocą obwodu czujnika tekstury powierzchni, na przykład części powierzchni, takie jak palec czy tekstura skóry, a za pomocą obwodu wykrywania ruchu tekstury powierzchni określa kierunek ruchu i prędkość ruchu tekstury badanej skóry w celu wytworzenia danych wyjściowych dla wyświetlacza. Te dane wyjściowe są na przykład danymi reprezentującymi wskazanie wizualne położenia na ekranie wyświetlacza, takiego jak położenie kursora lub podświetlonego tekstu albo inne położenie. Sposób podawania informacji wskazywania na wyświetlacz obejmuje wyczuwanie tekstury powierzchni, określanie kierunku ruchu i prędkości ruchu tekstury powierzchni oraz wytwarzanie sygnału wyjściowego wskazywania dla wyświetlacza na podstawie określonego kierunku ruchu i prędkości ruchu badanej tekstury powierzchni. W przykładzie wykonania sposób ten obejmuje przetwarzanie danych odbieranych z obwodu czujnika tekstury powierzchni, aby wytworzyć pierwszy obraz, zapisanie pierwszego obrazu i porównanie

PL 208 403 B1 pierwszego obrazu z jednym lub wieloma poprzednio zapisanymi obrazami, aby określić, czy ruch tekstury powierzchni wystąpił, a jeżeli tak, to następuje określenie prędkości i kierunku ruchu.

W innym przykładzie wykonania urządzenie ruchome, takie jak urządzenie podręczne, urządzenie przenośne lub inne zawiera obwód czujnika tekstury powierzchni z małym obszarem powierzchni, nazywanym oknem czujnikowym, który wykrywa obrazy tekstury skóry, takie jak grzbiety i bruzdy na końcu palca użytkownika, co jest wykorzystywane jako pewien rodzaj obrazu optycznego do wyczuwania ruchu poprzez okno czujnikowe. Nie jest konieczne, aby wzór optyczny końca palca użytkownika był równomierny. W jednym przykładzie jest stosowanych wiele obszarów urządzeń ze sprzężeniem ładunkowym CCD w połączeniu z filtrem światła widzialnego, aby promieniowanie podczerwone przechodziło do obszarów urządzeń ze sprzężeniem ładunkowym. Ponadto w razie potrzeby, jako okno czujnikowe jest stosowana soczewka skupiająca lub inny mechanizm ogniskujący, który skupia energię promieniowania podczerwonego, występującą powyżej okna czujnikowego, na przykład w odległości 0,7 mm lub innej, tak że koniec palca użytkownika, tekstura skóry lub tekstura innej powierzchni nie musi stykać się z powierzchnią czujnika, aby była wykryta. Obszary urządzeń ze sprzężeniem ładunkowym są wykonane, jako układ czujnikowy. Stosowane są również układy czujników termicznych, które reagują na promieniowanie niewidzialne, tak że zastosowanie filtra nie jest konieczne.

W jednym przykładzie wykonania obwód czujnika tekstury powierzchni jest osadzony w naciskanym przycisku w urządzeniu, tak że przycisk jest stosowany zarówno jako obszar powierzchni mieszczący okno czujnikowe, jaki i obszar powierzchni do naciskania w celu uruchomienia przycisku po aktywacji przez użytkownika. Okno czujnikowe jest umieszczane w przycisku lub innej powierzchni sterującej albo pomiędzy klawiszami lub przyciskami i w dowolnym obszarze oddzielonym od klawiszy lub przycisków sterujących. Okno czujnikowe jest usytuowane na powierzchni, która nie jest powierzchnią dolną urządzenia ruchomego, jak powierzchnia boczna czy powierzchnia górna. Zastosowany niewielki obszar powierzchni ułatwia sterowania kursorem lub innym mechanizmem interfejsu użytkownika. Stosowanie fal podczerwieni umożliwia przechodzenie przez osady brudu lub warstwę, która potencjalnie utrudnia działanie czujników czysto optycznych, takich jak czujniki, które stosują techniki emitowania widzialnego promieniowania laserowego.

Zastosowanie urządzenia wyświetlającego i wskazującego według wynalazku jest rozszerzone z urządzenia ruchomego na urządzenia nieruchome, takie jak drukarki, kopiarki, telefaksy, komputery biurkowe, zespoły nawigacyjne lub inne urządzenia.

Claims (7)

1. Ruchome urządzenie wyświetlające i wskazujące, zawierające wyświetlacz i naciskany przycisk, na którym jest usytuowane okno czujnikowe, znamienne tym, że okno czujnikowe (410) jest częścią obwodu czujnika (18) tekstury powierzchni i naciskany przycisk z oknem czujnikowym (410) jest jednym z wielu klawiszy klawiatury w ruchomym urządzeniu, a do obwodu czujnika (18) tekstury powierzchni jest dołączony operacyjnie obwód czujnika (20) ruchu tekstury powierzchni dla określania kierunku ruchu i prędkości ruchu tekstury powierzchni, reprezentowanych przez sygnały obrazu (22) tekstury powierzchni, w oknie czujnikowym (410) niezależnie od nacisku naciskanego przycisku, przy czym obwód czujnika (20) ruchu tekstury powierzchni ma wyjście danych wyjściowych (24) dołączone do wyświetlacza (12) poprzez interfejs (14) użytkownika i drugie wyjście dołączone do pamięci (16).

2. Urządzenie według zastrz. 1, znamienne tym, że obwód czujnika (18) tekstury powierzchni zawiera obszar czujnikowy złożony z co najmniej jednego spośród wielu urządzeń (500) ze sprzężeniem ładunkowym i wielu czujników cieplnych.

3. Urządzenie według zastrz. 1, znamienne tym, że obwód czujnika (18) tekstury powierzchni zawiera źródło światła do oświetlania tekstury powierzchni dla wykrywania tekstury powierzchni

4. Urządzenie według zastrz. 1, znamienne tym, że obwód czujnika (18) tekstury powierzchni zawiera soczewkę skupiającą (502) dołączoną operacyjnie do urządzeń (500) ze sprzężeniem ładunkowym dla wykrywania tekstury powierzchni.

5. Urządzenie według zastrz. 4, znamienne tym, że obwód czujnika (18) tekstury powierzchni zawiera filtr (504) światła widzialnego, umieszczony między teksturą powierzchni i urządzeniami (500) ze sprzężeniem ładunkowym.

PL 208 403 B1

6. Urządzenie według zastrz. 1, znamienne tym, że obwód czujnika (18) tekstury powierzchni jest dołączony do pamięci (16) dla pamiętania jednego lub wielu obrazów, przy czym do obwodu czujnika (18) tekstury powierzchni jest dołączony obwód czujnika (20) ruchu tekstury powierzchni dla wytwarzania obrazu (710) ruchu tekstury powierzchni, reprezentowanego przez dane obrazu (22), przez porównanie obrazu (710) z jednym lub wieloma poprzednio zapamiętanymi obrazami (715 - 750).

7. Urządzenie według zastrz. 1, znamienne tym, że naciskany przycisk (600) ma usytuowane na nim okno czujnikowe (410) mające tę samą wysokość, jak górna powierzchnia przycisku (600).