PL232436B1

PL232436B1 - Method for reading colours of images with assistance of sounds

Info

Publication number: PL232436B1
Application number: PL422268A
Authority: PL
Inventors: Radosław Bednarski; Rafał Szrajber; Patryk Kubiak; Damian Jóźwiak; Agnieszka Wróblewska
Original assignee: Politechnika Lodzka
Priority date: 2017-07-19
Filing date: 2017-07-19
Publication date: 2019-06-28
Also published as: PL422268A1

Description

Opis wynalazkuDescription of the invention

Przedmiotem wynalazku jest sposób odczytywania barw obrazów za pomocą dźwięku, umożliwiający percepcję obrazów, w tym dzieł sztuki, za pomocą zmysłów innych niż wzrok, zwłaszcza osobom z dysfunkcjami wzroku.The subject of the invention is a method of reading the colors of images by means of sound, enabling the perception of images, including works of art, with the senses other than sight, especially for people with visual impairments.

Barierą w kontakcie osób z dysfunkcjami wzroku z dziełem sztuki w postaci obrazu, jest brak możliwości poznania i zrozumienia struktury i zawartości tego obrazu, w jego rzeczywistej formie, za pomocą innych zmysłów, na przykład zmysłu dotyku. Własne doświadczanie z poznania oryginału pozwala nawiązać pełniejszy kontakt z dziełem sztuki, niż z jego audiodeskrypcją czy przestrzenną interpretacją w postaci na przykład mapy wypukłości, która często jest prezentowana w innej niż oryginał skali. Wykorzystanie map tyflograficznych pozwala przybliżyć złożoność struktury prezentowanego dzieła, jednak wyklucza możliwość obcowania z oryginałem, a co za tym idzie zwiększa wykluczenie społeczne i marginalizację sposobów udostępniania dzieł sztuki dla osób z różnego typu dysfunkcjami wzroku.A barrier in the contact of visually impaired people with a work of art in the form of an image is the inability to learn and understand the structure and content of the image, in its actual form, using other senses, for example the sense of touch. Own experience of getting to know the original allows you to establish a fuller contact with a work of art than with its audio description or spatial interpretation in the form of, for example, a bump map, which is often presented in a scale other than the original. The use of typhlographic maps allows you to approximate the complexity of the structure of the presented work, but excludes the possibility of communing with the original, and thus increases social exclusion and marginalization of the methods of making works of art available to people with various types of visual impairments.

Znany jest, zaproponowany przez laboratorium Philips Research z Holandii, system vOICe umożliwiający konwersję obrazu na dźwięk. Na system ten składa się specjalny zestaw kamer i słuchawek montowany na głowie użytkownika, sprzężony z przenośnym komputerem wyposażonym w program konwertujący obraz przekazany z kamer na dźwięk. Rozwiązanie to wymusza na jego użytkowniku korzystanie ze specjalnego sprzętu oraz stały dostęp do komputera - nie jest intuicyjnym i posiada ograniczenia wynikającego z faktu, iż przy korzystaniu z tego systemu przez grupę odbiorców konieczna jest instalacja wielu takich systemów. Nadto korzystanie z tego systemu ogranicza swobodne poruszanie się oraz powoduje wyróżnianie osób z niego korzystających i zwrócenie uwagi na ich dysfunkcje.We know the vOICe system proposed by the Philips Research laboratory from the Netherlands, which enables image-to-sound conversion. This system consists of a special set of cameras and headphones mounted on the user's head, coupled with a portable computer equipped with a program that converts the image transmitted from the cameras into sound. This solution forces its user to use special equipment and constant access to a computer - it is not intuitive and has limitations resulting from the fact that when using this system by a group of recipients it is necessary to install many such systems. Moreover, the use of this system limits the freedom of movement and causes highlighting people using it and drawing attention to their dysfunctions.

W Internecie ujawniono także informację o pracy doktorskiej Roberta Świty pt. „System wspomagania orientacji przestrzennej osób niewidomych oparty na konwersji obrazów 2D do postaci dźwięku przestrzennego”, która dotyczy wspomagania orientacji w przestrzeni oraz rozpoznawania kształtu przedmiotów i odległości od nich za pomocą dźwięku, nie porusza jednak zagadnień związanych z odczytywaniem kolorów i ich konwersją na dźwięk.Information about Robert Świta's doctoral thesis entitled "System for assisting spatial orientation of the blind based on the conversion of 2D images to the form of spatial sound", which supports orientation in space and the recognition of the shape of objects and their distance from them by means of sound, but does not address the issues related to reading colors and their conversion into sound.

Sposób odczytywania barw obrazów za pomocą dźwięku, z wykorzystaniem techniki cyfryzacji oryginalnego obrazu w drodze wykonania jego fotografii lub skanu, według wynalazku polega na tym, że dokonuje się cyfryzacji obrazu, po czym za pomocą aplikacji komputerowej umożliwiającej mapowanie kolorów na dźwięk dokonuje się mapowania przestrzeni kolorów obrazu na przestrzeń dźwiękową. Aplikacja ta zintegrowana jest z sensorem ruchu umieszczonym nad obrazem oraz ze źródłem dźwięków. Informuje się oglądającego obraz, jakie dźwięki są przypisane poszczególnym barwom obrazu i po ustawieniu się oglądającego w wyznaczonej przestrzeni przed obrazem, w której sensor przechwytuje ruch i umieszczeniu przez niego dłoni jako markera odczytu na tle dowolnego obszaru obrazu, za pośrednictwem sensora ruchu rejestrującego położenie markera ruchu na tle obrazu, uruchamia się obszar przestrzeni dźwiękowej odpowiadający położeniu markera ruchu na tle obrazu i powoduje emitowanie dźwięku odpowiadającego barwie obszaru obrazu wskazanego przez oglądającego. Zmiana położenia dłoni zmienia pozycję markera na tle obrazu, a źródło dźwięku emituje przypisany do wskazanej pozycji dźwięk. Brak sygnału dźwiękowego oznacza, iż oglądający umieścił dłoń poza obszarem rejestrowanym przez sensor ruchu.The method of reading the colors of images with sound, using the technique of digitizing the original image by taking a photo or scan of it, according to the invention, is based on the digitization of the image, and then using a computer application that allows mapping colors to sound, mapping the color space image to sound space. This application is integrated with the motion sensor located above the image and the sound source. It informs the viewer of the image what sounds are assigned to the individual colors of the image and after the viewer stands in the designated space in front of the image, where the sensor captures the movement and places his hand as a reading marker against any area of the image, via a motion sensor recording the position of the movement marker against the background of the image, the area of the sound space corresponding to the position of the marker of movement in the background of the image is triggered and causes the emission of a sound corresponding to the color of the area of the image indicated by the viewer. Changing the position of the hand changes the position of the marker in the background of the image, and the sound source emits the sound assigned to the indicated position. No sound signal means that the viewer has placed his hand outside the area captured by the motion sensor.

Po rozpoznaniu przez sensor ruchu użytkownika w wyznaczonej przestrzeni przed obrazem, użytkownik informowany jest za pomocą dźwięku o możliwości interakcji.After the sensor recognizes the user's movement in the designated space in front of the image, the user is informed by sound about the possibility of interaction.

Po aktywowaniu przez użytkownika procesu, poprzez zgodne z komendą dźwiękową ustawienie dłoni przed obrazem, dłoń staje się dla systemu markerem wskazującym pozycje na obrazie. Wskazanie to uruchamia dźwięk odpowiadający barwie obszaru wskazanego przez oglądającego.After activating the process by the user, by positioning the hand in front of the image in accordance with the sound command, the hand becomes a marker for the system indicating positions in the image. This indication activates the sound corresponding to the color of the area indicated by the viewer.

W sposobie według wynalazku wykorzystuje się sensor ruchu umożliwiający odczytanie położenia dłoni względem obrazu, a zatem indywidualną eksplorację obrazu cyfrowego przez oglądającego (wskazywanie jego obszarów) oraz aplikację przetwarzającą barwę na dźwięk. Istotną składową sposobu jest dodatkowe zasygnalizowanie oglądającemu aktywnego obszaru interakcji z dziełem sztuki w przestrzeni rzeczywistej, poprzez znaczniki na podłodze definiujące położeniu obrazu i możliwość interakcji, a przez to określenie strefy funkcjonalności sposobu (potwierdzenie poprawnego ustawienia oglądającego jest także weryfikowane poprzez sensor ruchu i źródło dźwięku - informacja o możliwości interakcji).In the method according to the invention, a motion sensor is used that allows to read the position of the hand in relation to the image, and thus individual exploration of the digital image by the viewer (indicating its areas) and an application that processes color into sound. An important component of the method is additional signaling to the viewer of the active area of interaction with a work of art in real space, by means of markers on the floor defining the position of the image and the possibility of interaction, and thus determining the functionality zone of the method (confirmation of the correct setting of the viewer is also verified by the motion sensor and sound source - information about the possibility of interaction).

Sposób według wynalazku umożliwia zintegrowanie osób z dysfunkcjami wzroku z oryginałem prezentowanego dzieła (obrazu) oraz indywidualny odbiór tego dzieła za pomocą innego zmysłu - w tymThe method according to the invention makes it possible to integrate visually impaired people with the original of the presented work (painting) and individual perception of this work using a different sense - including

PL 232 436 B1 przypadku słuchu, poprzez mapowanie barw na dźwięk i udostępnienie w ten sposób informacji o barwach i ich rozkładzie na obrazie.In the case of hearing, by mapping colors to sound, thus providing information about the colors and their distribution in the image.

Głównym elementem jest tu indywidualna interakcja, w której korzystający ze sposobu jest kontrolerem - jego dłoń pozwala wirtualnie „dotykać obraz”. Indywidualna interakcja oglądającego obraz jest powiązana z przestrzenią prezentacji obrazu, a nie z oglądającym czyli ze sprzętem czy oprogramowaniem, który winien on posiadać. Sposób według wynalazku zapewnia więc komfort osoby z niego korzystającej oraz nie podkreśla dysfunkcji tej osoby. Mogą z niego korzystać także osoby w pełni sprawne, co wzbogaca ich odbiór i odczuwanie prezentowanego dzieła.The main element here is an individual interaction in which the user of the method is the controller - his hand allows to virtually "touch the image". The individual interaction of the viewer is related to the space of the image presentation, and not to the viewer, i.e. with the hardware or software that he should have. Thus, the method according to the invention ensures the comfort of the person using it and does not emphasize the dysfunction of this person. It can also be used by non-disabled people, which enriches their perception and perception of the presented work.

Sposób według wynalazku ilustruje poniższy przykład z powołaniem się na rysunek przedstawiający schemat układu do realizacji tego sposobu.The method according to the invention is illustrated in the following example with reference to a drawing showing a diagram of a system for carrying out the method.

Przy pomocy metody skanowania obrazu dokonano cyfryzacji oryginalnego obrazu 1 znajdującego się w muzeum i wprowadzono do pamięci komputera, po czym, za pomocą stworzonej aplikacji umieszczonej na dysku komputera 2 umożliwiającej mapowanie kolorów na dźwięk, dokonano konwersji kolorów obrazu z przestrzeni kolorów RGB na przestrzeń kolorów HSV. Następnie wyjście komputera 2 połączono ze źródłem dźwięków 3 generowanych przez aplikację, która dźwięki fortepianu wyrażone w Hz, zapisane w aplikacji, przypisała do odpowiednich wartości (wartości koloru) uzyskiwanych z przestrzeni HSV, zaś wejście komputera 2 połączono z sensorem ruchu 4 umieszczonym nad obrazem 1. Następnie poinformowano oglądającego obraz jakie dźwięki są przypisane poszczególnym barwom obrazu. Oglądający obraz stanął przed obrazem w obszarze 5 wyznaczonym przez znaczniki na podłodze, pozycjonującym go w przestrzeni przed obrazem 1, w której sensor ruchu 4 przechwytywał ruch, po czym umieścił dłoń (jako marker odczytu) 6 na tle dowolnego obszaru obrazu 1. Położenie dłoni (markera odczytu) 6 względem obrazu 1, zarejestrowane przez sensor ruchu 4 spowodowało odtworzenie dźwięku odpowiadającego wskazanej barwie na obszarze obrazu 1.Using the image scanning method, the original image 1 located in the museum was digitized and entered into the computer memory, and then, using a created application located on a computer disk 2 enabling color-to-sound mapping, the image colors were converted from the RGB color space to the HSV color space . Then the computer 2 output was connected to the source of sounds 3 generated by the application, which the piano sounds expressed in Hz, stored in the application, were assigned to the appropriate values (color values) obtained from the HSV space, and the computer 2 input was connected to the motion sensor 4 located above the image 1 Next, the viewer of the painting was informed what sounds are assigned to each color of the painting. The viewer stood in front of the image in an area 5 defined by markers on the floor, positioning him in the space in front of the image 1, where the motion sensor 4 was capturing movement, and then placed his hand (as a reading marker) 6 against any area of the image 1. Hand position ( of the reading marker) 6 in relation to the image 1, recorded by the motion sensor 4, resulted in the reproduction of a sound corresponding to the indicated color in the image area 1.

Claims

Patent claim

1. A method of reading the colors of images with sound, using the technique of digitizing the original image by taking a photograph or scan of it, characterized by the digitization of the image and then mapping the image color space to the sound space using a computer application that allows this mapping, the result of this mapping is saved to the computer memory, the input of which connects to the moss sensor located above the image, and the output to a sound source, each sound of which is assigned a different value of the color space, then the viewer is informed which sounds are assigned to which colors of the image, by which the viewer places himself in front of the image in the space where the sensor registers movement, marked with markers placed on the floor, defining this space, places his hand as a reading marker against any area of the image and after sending an electronic message from the sensor to the computer program position of the marker in the background of the image, a sound is emitted corresponding to the color of the image area indicated by the viewer, while the lack of a sound signal means that the viewer has placed his hand outside the area recorded by the motion sensor.