WO2014184646A1 - Verfahren zum auffinden eines objekts - Google Patents

Verfahren zum auffinden eines objekts Download PDF

Info

Publication number
WO2014184646A1
WO2014184646A1 PCT/IB2014/000746 IB2014000746W WO2014184646A1 WO 2014184646 A1 WO2014184646 A1 WO 2014184646A1 IB 2014000746 W IB2014000746 W IB 2014000746W WO 2014184646 A1 WO2014184646 A1 WO 2014184646A1
Authority
WO
WIPO (PCT)
Prior art keywords
phase
image sensor
image
signal
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/IB2014/000746
Other languages
English (en)
French (fr)
Inventor
Richard G. HOPF
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MOORECROFT LLP
Original Assignee
MOORECROFT LLP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MOORECROFT LLP filed Critical MOORECROFT LLP
Priority to EP14733689.5A priority Critical patent/EP2997519B1/de
Publication of WO2014184646A1 publication Critical patent/WO2014184646A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/01—Details
    • G06K7/015—Aligning or centering of the sensing device with respect to the record carrier
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/01—Details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2207/00—Other aspects
    • G06K2207/1011—Aiming
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/007—Teaching or communicating with blind persons using both tactile and audible presentation of the information

Definitions

  • the invention relates to a method for finding an object, in particular a surface provided with an optically scannable code, by means of a mobile electronic device having an image sensor and for aligning the mobile device with the object.
  • CONFIRMATION COPY phabets blind people or people who do not speak the local language.
  • the present invention therefore seeks to provide a method which facilitates the user to bring an object, such as a graphic code in the detection range of the image sensor of a mobile device.
  • the method comprises substantially in a search phase, the movement of the mobile device while the image sensor images of the environment detected and the Vorneh ⁇ men an electronic image evaluation in order charac ⁇ specific characteristics of the to-find object to identify reindeer, wherein upon identification of the Object is an optical, acoustic and / or tactile signal is generated, in an approximation phase, the detection by means of the image sensor of images and making an electronic see image analysis to the extent to which the identified object is within the detection range of the image sensor, wherein depending on the result of the image evaluation optical, acoustic and / or tactile signals are generated, which signal the user an approaching movement, until the entire object itself located within the detection range of the image sensor, and
  • the detection by means of the image sensor of images of the object and the taking of an electronic image analysis as to whether the object is within a predefined portion of the detection range of the image sensor, wherein depending on the result of the image evaluation optical, acoustic and / or tactile signals are generated, which signal the user an adjustment movement until the entire object is within the predefined subarea of the detection area.
  • the inventive method is preferably to be found as a software application on a mobile electronic device such as a mobile phone implemented and allows a user on the basis of the three-step procedure, even with a ⁇ of set sensor a physical object efficiently and reliably.
  • the user is redu ⁇ sheet by the Invention ⁇ proper sequence of search steps to the holder of the device, since the application can decide to what extent the spatial relationship between the mobile device and the réelle ⁇ place physical object is given. The user decides to what extent the spatial reference is given not itself, but is guided by the application.
  • the communication between the application and the user is made depending on the user's availability Sens ' orik (sense of hearing, sense of sight, sense of touch) by optical, acoustic and / or tactile signals.
  • Sens ' orik sense of hearing, sense of sight, sense of touch
  • a preferred embodiment provides that the type of signal generation (optical, acoustic and / or tactile) is adjustable as a function of the functionality and the environmental impairments of the sensor of the user.
  • a blind person can better concentrate on his or her remaining senses and come close to the same application result as a person without impairment.
  • a sighted person can focus more on his or her sense of sight rather than on acoustic signals.
  • the structuring of the search procedure into three sections allows an efficient and fast retrieval of an object, since first (search phase) only a rough and thus fast localization of the object and only in the subsequent steps (approach phase, adjustment phase) a more detailed position evaluation. As a result, the usually limited computing capacity of the mobile device can be optimally utilized.
  • the Auftei- development of the process into three sections makes it further to better inform the user by choosing specific for each phase signals in which the individual phases it is located, so the user can adjust his Suchbewegun ⁇ gen.
  • the advantage is further achieved, the operation of the first coarse search through to fine tuning when approaching different perception levels to realisie ⁇ ren.
  • the communication with the user in the first search phase by means of an acoustic signal eg a continuous tone suc ⁇ gene
  • the volume is modulated depending on the spatial relationship between the object and the mobile device. ever the louder the tone, the more the spatial reference is given.
  • the signaling can take place by means of voice reproduction in the subsequent approach phase. Prompts such as "right” already provide the user with the location of the object to the device. Shifts and rotations of the mobile device with respect to the object can be done very accurately and understandably by voice instructions.
  • the movement of the mobile device relative to the object can be supported, for example, by means of a combination of modulated sound sequences, visual representations and vibrations.
  • the recording of environmental images by means of an image sensor provided in the method according to the invention and the electronic evaluation of the recorded images can be easily realized with conventional mobile devices such as mobile phones ("smartphones")
  • the image analysis can preferably be carried out by means of a software application, the skilled person being familiar with the suitable program instructions and depending on which target the image evaluation is pursuing a Sobel algorithm, a Laplacian filter, or a Canny algorithm, which are algorithms familiar to those skilled in the art that can be readily implemented in software, with the computational capabilities of conventional mobile phones are sufficient to achieve a real-time evaluation.
  • a Sobel algorithm e.g., a Laplacian filter, or a Canny algorithm
  • the object to be found such as the applied code
  • an optimization preferably succeeds in that the images are acquired in the search phase with a higher frame rate and / or with a lower image resolution than in the approximation phase.
  • a higher frame rate is advantageous to account for faster movement of the mobile device.
  • the resolution can be reduced to such an extent that the mentioned identification of the sought-after object is just possible, for example with the aid of an edge finding algorithm.
  • the image refresh rate can be lowered because the movements of the mobile device in these phases take place only to a lesser extent.
  • a higher image resolution is advantageous in order to allow the most detailed possible image analysis to determine whether the object is located in a precisely defined detection range of the image sensor.
  • the object to be found is in particular an area with an optically scannable code.
  • the code is formed for example as a QR code or a code 'according to the WO 2008/131470 Al.
  • a code of an array for example in the form of a square Mat ⁇ rix of black and white or .färbigen dots or dashes which represent the binary coded data.
  • the data are coded in color and pixels and applied the coded data with grid-, Farbkalibri mecanics- and / or key information on a support surface in optically readable form, wherein the color or Scanned pixels by means of an optoelectronic Sen ⁇ sors and using the raster, Farbkalibrie- decoded and / or key information.
  • the raster, color calibration and / or key information may be applied as frames surrounding the encoded data, such a frame being capable of forming a characteristic element that is particularly, easily identified in the context of edge finding.
  • the mobile device After the sought object or the code has been found, ie after completion of the three phases provided according to the invention, the mobile device is positioned so that the code can be scanned and decoded, for example, with the built-in image sensor.
  • This operation may be performed by, for example, depressing a key or by touching a predetermined area of a touch-sensitive display device ("touch-screen").
  • touch-screen a touch-sensitive display device
  • the user's press of a trigger button or the like is almost always affected by the movement of the human hand and his finger so that it can come to shake and thus variations of the captured image from the. in the adjustment phase is ⁇ deployed position. to avoid this, a preferred embodiment of the invention an automatic Mo ⁇ dus before.
  • the user can be instructed in various ways in order to carry out search, approach or adjustment movements, wherein the selection of the communication channel (optical, acoustic, tactile) is limited in particular to the perception restriction depends on the user.
  • the subdivision of the search process into three phases makes it possible, as is preferred, to carry out the signaling in each phase in a different way than in the respective other phases. In the following, various preferred procedures are explained that are particularly suitable for blind users.
  • the generation of an acoustic signal in the search phase comprises a change of a physical property, such as the volume or pitch, of a continuous tone.
  • the continuous tone indicates that the application is active and in search mode.
  • the user can search for the object by moving the device around and the continuous tone experiences a modulation (becomes lou ⁇ ter, for example) if the device has identified the object in the search phase.
  • a signal with binary information content is preferred (identified object / not identi fied ⁇ ) is usually not sufficient, but it would be a signaling of such advantageous that the user is instructed to approach defined movements.
  • a before ⁇ ferred procedure provides for this is that as an acoustic signal in the approach phase, a voice instruction is generated.
  • the elekt ⁇ tronic unit does separate voice prompts for different degrees of freedom of movement and that proximity ⁇ the stored voice instructions are signaled separately from each other. For example, translational movements in three mutually perpendicular spatial directions and tilting movements about three tilt axes extending in mutually perpendicular spatial directions are to be understood as degrees of freedom.
  • the signaling is preferably not done by discrete signal values, but by a continuously variable gradation of the signals, the change may depend in particular on the deviation of the current position of the device from the target position.
  • the method is preferably carried out in such a way that the adjusting movements in the adjustment phase are signaled by means of a change in an acoustic signal.
  • the change in the acoustic signal comprises a change in a sound parameter, such as a sound parameter. the frequency, the volume, the duration, the distortion and / or the flank of a sound.
  • each degree of freedom of the adjustment movement here is associated with a different parameter of the sound change.
  • the images taken by the image sensor during the search phase, the approach phase and / or the adjustment phase are displayed in real time on a display of the device.
  • this is useful only for sighted users.
  • Fig.l is a mobile device in the form of a mobile phone ("smartphone") designated 1 and has a large electronic
  • a display sensor eg, a two-dimensional CCD array sensor
  • the device 1 has a mode which can be activated by software. in that the images recorded by the image sensor are displayed continuously and in real time as a moving image on the screen 2.
  • the device 1 has an acoustic signal device, namely a loudspeaker 3.
  • the device 1 has installed a software application which is suitable for the execution
  • the function required by the method according to the invention provides, in particular the image acquisition, the image evaluation and the generation of signals as a function of the result of the image evaluation, denoting the object to be found which, in the present embodiment, is a grid-like arrangement surrounded by a frame 5 is formed in colored pixels In Fig.l state shown, there is no relation between the device 1 and the object 4.
  • the user is signaled by a continuous tone 6 that the search phase is activated.
  • the search phase searches for specific object features that only match the searched object.
  • the specific look object feature can be for example a special color Fully ⁇ staltung the frame 5 of the object.
  • the search is carried out with a high image refresh rate of the image sensor (in particular 5-10 images per second) and a low resolution (in particular 400-800 pixels vertically and 500-1000 pixels horizontally).
  • the continuously recorded by the image sensor images are subjected in real time an image evaluation that includes an Al ⁇ rithm for edge determination such as Sobel, Canny or Laplacian to determine the presence of the specific object feature within the detection range of the image sensor.
  • This signal is generated by the software application as soon as the specific object feature of the object to be found is identified during image evaluation. From this moment the object is "found" and the approach phase begins.
  • the approach phase is shown in FIGS. 3 and 4.
  • the object In the starting position (FIG. 3), the object is at least partially in the detection area of the image sensor.
  • the refresh rate can be reduced and the image resolution increased, since the movements by the human hand compared to the search phase are already minor.
  • Algorithms for finding edges as well as for the search phase can also be used in the image analysis, whereby the direction and angular position of the object is now calculated in particular.
  • the evaluation is similar to a "fill level determination", ie a determination of what proportion of the identified object is within the detection range of the image sensor If, as in the present example, an object has a circumferential rectangular frame 5, it is determined which part of the frame and how much to be ⁇ find the entire object in the visible range.
  • the decision as to whether a shift instruction or a twist instruction is generated is made each time based on a predetermined algorithm. For example, it is possible to proceed in such a way that the position error is determined in comparison to the target position which occurs after execution of a shift instruction and after execution of a rotational instruction. The movement that results in a lesser position error will be given preference in the sequence. As a rule, user rotations are made coarser than shifts. In addition, it may be preferred to proceed in such a way that precedence is given with displacement of approximately the same magnitude by displacement and rotation of the displacement. It could in fact happen that the user gets into an endless loop of permanent twisting movements (turn right - turn left - turn right - turn left).
  • the appli ⁇ dung a hysteresis algorithm can defuse "overreacting" of Be ⁇ user by a damping is imposed on a physically correct sequence of movements in order to meet the user's inertness. Only when all parts belonging to the object are in the detection range of the image sensor or in the area displayed on the screen (FIG. 4), is the next phase (adjustment phase) proceeded.
  • An adjustment movement may be required for various reasons. For example, if the object has relatively small dimensions, the mobile device must be brought relatively close to the object. This also reduces the size of the "sweet spot", which is why it is necessary to perform the last movements of the human hand very sensitively, and to achieve this, a combination of optical and acoustic signals has proved to be the optimum to reflect any deviation from the sweet spot in small value changes.
  • the sound modulation in frequency, volume, duration, distortion and flank is used. Each deviation is decomposed into the 6 degrees of freedom and assigned to each degree of freedom of a given modulation. So the user can learn after a few exercises how to move the mobile device due to the sound modulation.
  • a predefined signal eg a voice instruction
  • tactile feedback (vibration) signaling that the device is being held
  • the application automatically initiates the recording of the object, finally decoding the captured image and decoding the data to a media player, such as an audio and / or video player Device supplied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

Bei einem Verfahren zum Auffinden eines Objekts (4), insbesondere einer mit einem optisch abtastbaren Code versehenen Fläche, mittels eines einen Bildsensor aufweisenden mobilen elektronischen Geräts (1) und zum Ausrichten des mobilen Geräts (1) an dem Objekt (4), ist eine Suchphase vorgesehen, in der bei Identifizierung des Objekts (4) ein optisches, akustisches und/oder taktiles Signal generiert wird, weiters eine Annäherungsphase, in der Signale generiert werden, die dem Benutzer eine Annäherungsbewegung signalisieren, bis das gesamte Objekt (4) sich innerhalb des Erfassungsbereichs des Bildsensors befindet, und weiters eine Justierphase, in der Signale generiert werden, die dem Benutzer eine Justierbewegung signalisieren, bis das gesamte Objekt (4) sich innerhalb des vordefinierten Teilbereichs des Erfassungsbereichs befindet.

Description

Verfahren zum Auffinden eines Objekts
Die Erfindung betrifft ein Verfahren zum Auffinden eines Objekts, insbesondere einer mit einem optisch abtastbaren Code versehenen Fläche, mittels eines einen Bildsensor aufweisenden mobilen elektronischen Geräts und zum Ausrichten des mobilen Geräts an dem Objekt.
Mobile Geräte mit Bildsensor, grafischem Display, Lautsprecher und Vibrationsmodul ermöglichen Anwendungen, bei denen die Notwendigkeit besteht, physische Objekte zu erkennen. Eine klassische Anwendung ist das Scannen von graphischen Codes, wie z.B. Barcodes oder QR-Codes. Solche Codes bestehen aus einer Anordnung, z.B. in Form einer quadratischen Matrix aus schwarzen und weißen Punkten oder Strichen, welche die codierten Daten binär darstellen. Wenn solche Codes mittels eines Bildsensors eines mobilen Geräts aufgenommen werden, können sie im Gerät decodiert und weiterverarbeitet werden. Auf Grund der begrenzten Darstellungsdichte der graphischen Codes repräsentieren die codierten Daten meist lediglich einen Verweis, wie z.B. Internet-Link, auf die eigentlichen Daten, die in der Folge über eine Telekommunikationsverbindung abgerufen und so auf das mo¬ bile Geräte gebracht werden müssen. Es sind aber auch schon graphische Codes bekannt geworden, die eine wesentlich höhere Darstellungsdichte bzw. Auflösung ermög¬ lichen, beispielsweise durch Erweiterung des Farbspektrums von schwarz/weiß auf eine Vielzahl von Farben. Hierzu wird auf die WO 2008/131470 AI verwiesen. Solche Codes sind in der Lage Au- dio- und/oder Videoinhalte zu codieren, die unmittelbar am mo¬ bilen Gerät wiedergegeben werden können ohne dass es einer Kom¬ munikationsverbindung zu einem Server oder dgl. bedarf. Mögli¬ che Anwendungen sind das Codieren von Sprachinhalten für Anal-
BESTÄTIGUNGSKOPIE phabeten, Blinde oder Menschen, die die jeweilige Landessprache nicht beherrschen.
Um solche Anwendungen realisieren zu können, ist es notwendig, den Benutzer in die Lage zu versetzen, das mobile Gerät in einen räumlichen Bezug zum physischen Objekt zu bringen, und zwar derart, dass das Objekt in den Erfassungsbereich des Bildsensors gelangt. Dies stellt unter normalen Umständen keine Schwierigkeit dar, weil die herkömmlichen Geräte derart konfi- guriert sind, dass das vom Bildsensor aufgenommene Bild in Echtzeit auf einer Anzeige des Geräts dargestellt wird, sodass der Benutzer die Position des Geräts samt Bildsensor so lange verändern kann, bis sich das Objekt bzw. der graphische Code im Erfassungsbereich oder in einem vordefinierten Ausschnitt des Erfassungsbereichs befindet, worauf der graphische Code gescannt werden kann. Bei eingeschränkter Sensorik des Benutzers, wie z.B. bei Sehschwäche oder Blindheit ist dies jedoch nicht ohne weiteres möglich. Die vorliegende Erfindung zielt daher darauf ab, ein Verfahren zu schaffen, welches es dem Benutzer erleichtert, ein Objekt, wie z.B. einen graphischen Code in den Erfassungsbereich des Bildsensors eines mobilen Geräts zu bringen. Zur. Lösung dieser Aufgabe umfasst das Verfahren im Wesentlichen in einer Suchphase, das Bewegen des mobilen Geräts während der Bildsensor Bilder der Umgebung erfasst und das Vorneh¬ men einer elektronischen Bildauswertung, um charakteristi¬ sche Merkmale des aufzufindenden Objekts zu identifizie- ren, wobei bei Identifizierung des Objekts ein optisches, akustisches und/oder taktiles Signal generiert wird, in einer Annäherungsphase, das Erfassen mittels des Bildsensors von Bildern und das Vornehmen einer elektroni- sehen Bildauswertung dahingehend, zu welchem Anteil sich das identifizierte Objekt innerhalb des Erfassungsbereichs des Bildsensors befindet, wobei in Abhängigkeit vom Ergebnis der Bildauswertung optische, akustische und/oder tak- tile Signale generiert werden, die dem Benutzer eine Annäherungsbewegung signalisieren, bis das gesamte Objekt sich innerhalb des Erfassungsbereichs des Bildsensors befindet, und
in einer Justierphase, das Erfassen mittels des Bildsensors von Bildern des Objekts und das Vornehmen einer elektronischen Bildauswertung dahingehend, ob sich das Objekt innerhalb eines vordefinierten Teilbereichs des Erfassungsbereichs des Bildsensors befindet, wobei in Abhängigkeit vom Ergebnis der Bildauswertung optische, akustische und/oder taktile Signale generiert werden, die dem Benutzer eine Justierbewegung signalisieren, bis das gesamte Objekt sich innerhalb des vordefinierten Teilbereichs des Erfassungsbereichs befindet. Das erfindungsgemäße Verfahren ist dabei bevorzugt als Software-Applikation auf einem mobilen elektronischen Gerät, wie z.B. einem Mobiltelefon implementiert und erlaubt es einem Benutzer auf Grund der dreistufigen Vorgehensweise auch bei ein¬ geschränkter Sensorik ein physisches Objekt effizient und zu- verlässig aufzufinden. Der Benutzer wird durch die erfindungs¬ gemäße Abfolge von Suchschritten zum Halter des Gerätes redu¬ ziert, da die Applikation selbst entscheiden kann, inwieweit der räumliche Bezug zwischen dem mobilem Gerät und dem aufzu¬ findenden physischen Objekt gegeben ist. Der Benutzer trifft die Entscheidung, inwieweit der räumliche Bezug gegeben ist nicht selbst, sondern wird durch die Anwendung geführt. Die Kommunikation zwischen der Anwendung und dem Benutzer erfolgt in Abhängigkeit von der dem Benutzer zur Verfügung stehenden Sens'orik (Hörsinn, Sehsinn, Tastsinn) durch optische, akustische und/oder taktile Signale. Eine bevorzugte Ausführung sieht hierbei vor, dass die Art der Signalgenerierung (optisch, akustisch und/oder taktil) in Abhängigkeit von der Funktionsfähig- keit und der Umgebungsbeeinträchtigungen der Sensorik des Benutzers einstellbar ist. So kann z.B. ein blinder Mensch sich besser auf seine restlichen Sinne konzentrieren und annähernd zum gleichen Anwendungsergebnis kommen wie ein Mensch ohne Beeinträchtigung. In Umgebungen mit starkem Lärmaufkommen, kann sich ein sehender Mensch vermehrt auf seinen Sehsinn anstatt auf akustische Signale konzentrieren.
Die Strukturierung des Suchverfahrens in drei Abschnitte erlaubt ein effizientes und schnelles Auffinden eines Objekts, da zuerst (Suchphase) lediglich eine grobe und damit schnelle Lokalisierung des Objekts und erst in den nachfolgenden Schritten (Annäherungsphase, Justierphase) eine detailliertere Positionsauswertung erfolgt. Dadurch kann die meist begrenzte Rechenkapazität des mobilen Geräts optimal genützt werden. Die Auftei- lung des Verfahrens in drei Abschnitte erlaubt es weiters, dem Benutzer durch die Wahl von für die einzelnen Phasen spezifischen Signalen besser mitzuteilen, in welcher der einzelnen Phasen er sich befindet, sodass der Benutzer seine Suchbewegun¬ gen anpassen kann. Dadurch wird weiters der Vorteil erreicht, den Vorgang der ersten Grobsuche bis hin zur Feinabstimmung bei Annäherung in unterschiedlichen Wahrnehmungsstufen zu realisie¬ ren. Auf diese Art und Weise kann der Umstand ausgenützt wer¬ den, dass der Mensch auf optische und akustische Reize schnel¬ ler und genauer reagiert als auf ein gesprochenes Wort. So kann z.B. die Kommunikation mit dem Benutzer in der ersten Suchphase mittels eines akustischen Signals, z.B. einem Dauerton erfol¬ gen, wobei die Lautstärke in Abhängigkeit vom räumlichen Bezug zwischen dem Objekt und dem mobilen Gerät moduliert wird. Je lauter der Ton ist, umso mehr ist der räumliche Bezug gegeben. Sollte der räumliche Bezug grob gegeben sein, so kann in der nachfolgenden Annäherungsphase die Signalisierung mittels Sprachwiedergabe erfolgen. Aufforderungen wie "nach rechts" vermitteln dem Benutzer hierbei bereits die Lage des Objektes zum Gerät. Verschiebungen und Verdrehungen des mobilen Gerätes in Bezug zum Objekt können durch Sprachanweisungen sehr genau und verständlich erfolgen. In der anschließenden Justierphase kann das Bewegen des mobilen Gerätes relativ zum Objekt z.B. mittels einer Kombination von modulierten Tonfolgen, optischen Darstellungen und Vibrationen unterstützt werden.
Das beim erfindungsgemäßen Verfahren vorgesehene Aufnehmen von Umgebungsbildern mittels eines Bildsensors und die elektronische Auswertung der aufgenommenen Bilder kann mit herkömmlichen mobilen Geräten, wie z.B. Mobiltelefonen („Smartphones" ) ohne weiteres realisiert werden. Die meisten Mobiltelefone verfügen ohnehin über einen Bildsensor, der das Aufnehmen von stehenden oder bewegten Bildern ermöglicht. Die Bildauswertung kann bevorzugt mittels einer Softwareanwendung vorgenommen werden, wobei dem Fachmann die geeigneten Programmanweisungen grundsätzlich bekannt sind und davon abhängen, welches Ziel die Bildauswertung verfolgt. So umfasst. die Bildauswertung in der Suchphase bevorzugt einen Algorithmus zur Kantenfindung, insbesondere einen Sobel-Algorithmus , einen Laplace-Filter oder einen Canny-Algorithmus . Dabei handelt es sich um dem Fachmann geläufige Algorithmen, die ohne weiteres in Software implementiert werden können, wobei die Rechenkapazitäten von herkömmlichen Mobiltelefonen ausreichen, um eine Echtzeit-Auswertung zu erzielen. Um die Kantenfindung zu erleichtern, kann vorgesehen sein, dass das aufzufindende Objekt, wie z.B. der aufgebrachte Code, von einem charakteristischen, sich von der Umgebungsfläche optisch abhebenden Rahmen umgeben ist oder diesen aufweist. Die Qualität und die Geschwindigkeit der Bildauswertung hängen naturgemäß von dem auszuwertenden Datenumfang ab. In diesem Zusammenhang gelingt eine Optimierung bevorzugt dadurch, dass die Bilder in der Suchphase mit höherer Bildwiederholrate und/oder mit niedrigerer Bildauflösung erfasst werden als in der Annäherungsphase. In der Suchphase ist eine höhere Bildwiederholrate vorteilhaft, um einer schnelleren Bewegung des mobilen Geräts Rechnung zu tragen. Die Auflösung kann hingegen so- weit reduziert werden, dass die erwähnte Identifizierung des gesuchten Objekts z.B. mit Hilfe eines Kantenfindungsalgorith- mus gerade noch möglich ist. In der Annäherungs- und/oder der Justierphase kann die Bildwiederholrate erniedrigt werden, da die Bewegungen des mobilen Geräts in diesen Phasen nur mehr in geringerem Ausmaß erfolgen. Allerdings ist in diesen Phasen eine höhere Bildauflösung vorteilhaft, um eine möglichst detaillierte Bildauswertung dahingehend zu ermöglichen, ob sich das Objekt in einem genau bestimmten Erfassungsbereich des Bildsensors befindet.
Bei dem aufzufindenden Objekt handelt es sich insbesondere um eine Fläche mit einem optisch abtastbaren Code. Der Code ist beispielsweise als QR-Code oder als Code ' gemäß der WO 2008/131470 AI ausgebildet. Insbesondere besteht ein solcher Code aus einer Anordnung, z.B. in Form einer quadratischen Mat¬ rix aus schwarzen und weißen oder aus .färbigen Punkten oder Strichen, welche die codierten Daten binär darstellen. Im Falle der Ausbildung gemäß der WO 2008/131470 AI sind die Daten in Färb- und Bildpunkte kodiert und die kodierten Daten mit Ras- ter-, Farbkalibrierungs- und/oder Schlüsselinformationen auf einer Trägerfläche in optisch lesbarer Form aufgebracht, wobei die Färb- bzw. Bildpunkte mittels eines optoelektronischen Sen¬ sors abgetastet und unter Verwendung der Raster-, Farbkalibrie- rungs- und/oder Schlüsselinformationen dekodiert werden. Dadurch, dass nun zusätzlich zu den Färb- und Bildpunkten Raster-, Farbkalibrierungs- und/oder Schlüsselinformationen bereitgestellt werden, wird die Möglichkeit geschaffen, eine we- sentlich größere Zahl unterschiedlicher Farben sicher unterscheidbar zu machen und auf diese Weise die Datendichte auf einer Anzeigefläche zu erhöhen. Vorteilhafterweise könne die Raster-, Farbkalibrierungs- und/oder Schlüsselinformationen als die codierten Daten umgebender Rahmen aufgebracht sein, wobei ein solcher Rahmen ein charakteristisches Element bilden kann, das im Rahmen der Kantenfindung besonders, leicht identifiziert werden kann.
Nachdem das gesuchte Objekt bzw. der Code aufgefunden worden ist, d.h. nach Beendigung der drei erfindungsgemäß vorgesehenen Phasen, ist das mobile Gerät so positioniert, dass der Code z.B. mit dem eingebauten Bildsensor abgetastet und decodiert werden kann. Dieser Vorgang kann beispielsweise durch Drücken einer Taste oder durch Berühren eines vorbestimmten Bereichs einer berührungsempfindlichen Anzeigevorrichtung („touch- screen") erfolgen. Das Drücken eines Auslöseknopfes oder dgl . durch den Benutzer unterliegen jedoch fast immer der Beeinträchtigung durch die Bewegung der menschlichen Hand und ihrer Finger, sodass es zu Verwackelungen und damit zu Abweichungen des aufgenommenen Bildes von der . in der Justierphase einge¬ stellten Position kommen kann. Um dies zu vermeiden sieht eine bevorzugte Weiterbildung der Erfindung einen automatischen Mo¬ dus vor. Hierbei wird nach Beendigung der Justierphase automa¬ tisch ein digitales Bild des Objekts aufgenommen, und die Bild- daten werden unter Verwendung einer Decodierungsvorschrift im elektronischen Gerät decodiert und die decodierten Daten einer Medien-Abspieleinrichtung, wie z.B. einer Audio- und/oder Vide¬ oabspieleinrichtung des Geräts zugeführt. Wie bereits erwähnt kann der Benutzer in den drei Phasen des erfindungsgemäßen Verfahrens auf verschiedene Art und Weise angeleitet werden, um Such-, Annäherungs- bzw. Justierbewegungen durchzuführen, wobei die Auswahl des Kommunikationskanals (optisch, akustisch, taktil) insbesondere von der Perzeptions- einschränkung des jeweiligen Benutzers abhängt. Die Unterteilung des Suchvorgangs in drei Phasen erlaubt es, wie dies bevorzugt vorgesehen ist, die Signalisierung in jeder Phase auf eine andere Art vorzunehmen als in den jeweils anderen Phasen. Im folgenden werden verschiedene bevorzugte Verfahrensweisen erläutert, die sich für blinde Benutzer besonders gut eignen.
Bevorzugt ist hierbei vorgesehen, dass die Generierung eines akustischen Signals in der Suchphase eine Änderung einer physikalischen Eigenschaft, wie z.B. der Lautstärke oder der Tonhöhe, eines Dauertons umfasst. Der Dauerton signalisiert dabei, dass die Anwendung aktiv ist und sich im Suchmodus befindet. Der Benutzer kann durch Herumbewegen des Geräts das Objekt suchen und der Dauerton erfährt eine Modulation (wird z.B. lau¬ ter) , wenn das Gerät das Objekt in der Suchphase identifiziert hat.
In der Annäherungsphase hingegen ist bevorzugt ein Signal mit binärem Informationsgehalt (Objekt identifiziert /nicht identi¬ fiziert) in der Regel nicht ausreichend, sondern es wäre eine Signalisierung solcherart vorteilhaft, dass der Benutzer zu definierten Annäherungsbewegungen angeleitet wird. Eine bevor¬ zugte Verfahrensweise sieht hierbei vor, dass als akustisches Signal in der Annäherungsphase eine Sprachanweisung generiert wird. Insbesondere kann dabei vorgesehen sein, dass das elekt¬ ronische Gerät für verschiedene Freiheitsgrade der Annäherungs¬ bewegung gesonderte Sprachanweisungen gespeichert hat und dass die gespeicherten Sprachanweisungen gesondert voneinander signalisiert werden. Als Freiheitsgrade sind zum Beispiel Translationsbewegungen in drei zueinander senkrechte Raumrichtungen und Kippbewegungen um drei in zueinander senkrechten Raumrichtungen verlaufende Kippachsen zu verstehen.
In der Justierphase erfolgt die Signalisierung bevorzugt nicht durch diskrete Signalwerte, sondern durch eine kontinuierlich veränderbare Abstufung der Signale, wobei die Veränderung insbesondere von der Abweichung der aktuellen Position des Geräts von der Zielposition abhängen kann. Das Verfahren wird in diesem Zusammenhang bevorzugt derart durchgeführt., dass die Justierbewegungen in der Justierphase mittels einer Veränderung eines akustischen Signals signalisiert werden. Insbesondere umfasst die Veränderung des akustischen Signals eine Änderung eines Tonparameters, wie z.B. der Frequenz, der Lautstärke, der Dauer, der Distortion und/oder der Flanke eines Tons. Besonders bevorzugt ist jedem Freiheitsgrad der Justierbewegung hierbei ein unterschiedlicher Parameter der Tonänderung zugeordnet.
Zur weiteren Erleichterung des Auffindens der Zielposition kann vorgesehen sein, dass die vom Bildsensor während der Suchphase, der Annäherungsphase und/oder der Justierphase aufgenommenen Bilder in Echtzeit auf einer Anzeige des Geräts dargestellt werden. Dies ist jedoch nur für sehende Benutzer von Nutzen.
Die Erfindung wird nachfolgend anhand eines in der Zeichnung dargestellten Prozessablaufs näher erläutert. In dieser zeigen Fig.l und Fig.2 die Suchphase, Fig.3 und Fig. die Annäherungs¬ phase und Fig.5 und Fig.6 die Justierphase.
In Fig.l ist ein mobiles Gerät in der Form eines Mobiltelefons („Smartphone" ) mit 1 bezeichnet und weist eine große elektroni- sehe Anzeigevorrichtung 2 z.B. in der Form eines „touchscreens" auf. Ein Bildsensor (z.B. ein zweidimensionaler CCD-Array- Sensor) ist auf der Rückseite des Geräts 1 angeordnet und daher nicht sichtbar. Das Gerät 1 hat einen softwaremäßig zu aktivie- renden Modus, in dem die von dem Bildsensor aufgenommenen Bilder kontinuierlich und in Echtzeit auf dem Bildschirm 2 als bewegtes Bild angezeigt werden. Weiters weist das Gerät 1 eine akustische Signaleinrichtung, nämlich einen Lautsprecher 3 auf. Das Gerät 1 hat eine Softwareanwendung installiert, welche die für die Ausführung des erfindungsgemäßen Verfahrens erforderlichen Funktionen zur Verfügung stellt, insbesondere die Bildaufnahme, die Bildauswertung und die Generierung von Signalen in Abhängigkeit vom Ergebnis der Bildauswertung. Mit 4 ist das aufzufindende Objekt bezeichnet, das in dem vorliegenden Ausführungsbeispiel als von einem Rahmen 5 umgebene, rasterartige Anordnung von farbigen Bildpunkten ausgebildet ist . Im in Fig.l dargestellten Zustand besteht noch kein Bezug zwischen dem Gerät 1 und dem Objekt 4. Dem Benutzer wird durch einen Dauerton 6 signalisiert, dass die Suchphase aktiviert ist. In der Suchphase wird nach spezifischen Objektmerkmalen gesucht, die nur dem gesuchten Objekt entsprechen. Das spezifi- sehe Objektmerkmal kann z.B. eine besondere farbliche Ausge¬ staltung des Rahmens 5 des Objekts 4 sein. Die Suche erfolgt mit hoher Bildwiederholrate des Bildsensors (insbesondere 5-10 Bilder pro Sekunde) und einer niedrigen Auflösung (insbesondere 400-800 Bildpunkte vertikal und 500-1000 Bildpunkte horizon- tal) . Die laufend von dem Bildsensor aufgenommenen Bilder werden in Echtzeit einer Bildauswertung unterzogen, die einen Al¬ gorithmus zur Kantenfindung wie z.B. nach Sobel, Canny oder Laplace umfasst, um die Anwesenheit des spezifischen Objekt- merkmals innerhalb des Erfassungsbereichs des Bildsensors zu ermitteln.
Der Benutzer nimmt die Lautstärke des Dauertons 6 wahr und be- wegt das Gerat 1 solange bis das Signal eine Änderung, insbesondere eine Erhöhung der Lautstärke erfährt (Fig.2). Dieses Signal wird von der Softwareanwendung generiert, sobald im Rahmen der Bildauswertung das spezifische Objektmerkmal des aufzufindenden Objekts identifiziert wird. Ab diesem Moment ist das Objekt gleichsam "gefunden" und es beginnt die Annäherungsphase .
Die Annäherungsphase ist in Fig.3 und 4 dargestellt. In der Ausgangslage (Fig.3) ist das Objekt zumindest zum Teil im Er- fassungsbereich des Bildsensors. Zu diesem Zeitpunkt kann die Bildwiederholrate reduziert und die Bildauflösung erhöht werden, da die Bewegungen durch die menschliche Hand gegenüber der Suchphase bereits geringfügiger sind. Hier können im Rahmen der Bildauswertung ebenfalls Algorithmen zur Kantenfindung wie in der Suchphase verwendet werden, wobei jetzt speziell die Richtung und Winkellage des Objekts berechnet wird. Die Auswertung gleicht einer „Füllstandsermittlung", d.h. einer Ermittlung, zu welchem Anteil sich das identifizierte Objekt innerhalb des Erfassungsbereichs des Bildsensors befindet. Wenn wie im vor- liegenden Beispiel ein Objekt einen umlaufenden rechteckigem Rahmen 5 aufweist, so wird ermittelt, welcher Teil des Rahmens und wieviel vom gesamten Objekt sich im sichtbaren Bereich be¬ finden . Damit der Benutzer Annäherungsbewegungen ausführen kann, um das gesamte Objekt in den Erfassungsbereich des Bildsensors zu bringen, sind räumliche Angaben notwendig, die durch eindeutige Signalisierung , erfolgen müssen. Eine Sprachausgabe hat sich am besten bewährt, da das Vermitteln von sechs Freiheitsgraden (3 Verschiebungen dx/dy/dz, 3 Verdrehungen rx/ry/rz) über eine reine Tonmodulation komplex ist und eine längere Lernkurve bedingt. Eine optische Signalisierung könnte zusätzlich unterstützend erfolgen, da die Wahrnehmung von räumlichen Darstellungen ebenfalls ein Lernen erfordert. Es hat sich herausgestellt, dass eine alternierende Abfolge von Verschiebungsanweisungen (z.B. „nach links schieben") und Verdrehungsanweisungen (z.B. „dreh links") gute Ergebnisse bringt. Anstelle einer streng alternierenden Abfolge von Verschiebungsanweisungen und Verdrehungsanweisungen kann die Entscheidung, ob eine Verschiebungsanweisung oder eine Verdrehungsanweisung generiert wird, jedes Mal auf Grund eines vorgegebenen Algorithmus getroffen werden. Beispielsweise kann so vorgegangen werden, dass der Positionsfehler im Vergleich zur Zielposition ermittelt wird, der nach Ausführung einer Verschiebungsanweisung und nach Ausführung einer Verdrehungsanweisung auftritt. Derjenigen Bewegung, aus der ein geringerer Positionsfehler resultiert, wird in der Folge der Vorzug gegeben. In der Regel werden Verdrehungen vom Benutzer gröber ausgeführt als Verschiebungen. Außerdem kann bevorzugt so vorgegangen werden, dass bei etwa gleichgroßem Fehler durch Verschiebung und Verdrehung der Verschiebung Vorrang gegeben wird. Es könnte nämlich der Fall eintreten, dass der Benutzer in eine Endlosschleife von permanenten Verdrehungsbewegungen (Dreh rechts - Dreh links - Dreh rechts - Dreh links) gerät. Mit einer vernünftigen Gewichtung kann der Benutzer aus einer solchen Endlosschleife herausgeholt werden, indem man Verschiebungen einführt, auch wenn der tatsächliche Positionsfehler eher eine Verdrehung anraten würde. Die Anwen¬ dung eines Hysterese-Algorithmus kann "Überreaktionen" des Be¬ nutzers entschärfen, indem einer physikalisch korrekten Abfolge von Bewegungsabläufen eine Dämpfung aufgezwungen wird, um der Reaktionsträgheit des Anwenders entgegenzukommen. Erst wenn sich alle zum Objekt gehörenden Teile im Erfassungsbereich des Bildsensors bzw. im auf dem Bildschirm angezeigten Bereich befinden (Fig.4), wird zur nächsten Phase (Justierphase) übergegangen.
Die Justierphase ist in Fig.5 und 6 dargestellt. Sobald sich das mobile Gerät 1 in räumlichem Bezug zum Objekt 4 befindet, ist eine Feinabstimmung notwendig, um das Gerät zum „sweet spot" zu bringen, also die räumliche Lage des Gerätes, bei dem die Anwendung das bestmögliche Ergebnis erzielen kann. Hier kann weniger gut auf Sprachkommandos reagiert werden, da diese grobmotorische Bewegungen auslösen würden. Daher hat sich eine Tonmodulation als am günstigsten erwiesen, wobei der Ton wiederum nach Frequenz, aber auch nach Lautstärke, Dauer, Distortion und Flanke moduliert werden kann. Auch optische und taktile Signale sind hier zweckmäßig.
Eine Justierbewegung kann aus verschiedenen Gründen erforderlich sein. Wenn das Objekt beispielsweise relativ kleine Ausmaße hat, so muss das mobile Gerät relativ nahe an das Objekt herangebracht werden. Dadurch reduziert sich auch die Größe des „sweet spots". Daher ist es erforderlich die letzten Bewegungsabläufe der menschlichen Hand sehr feinfühlig ausführen zu lassen. Um das zu realisieren, hat sich eine Kombination von optischen und akustischen Signalen als Optimum erwiesen. Damit ist es vorteilhaft, jede Abweichung vom „sweet spot" in kleinen Wertänderungen wiederzugeben. Hier kommt vor allem die Ton- Modulation in Frequenz, Lautstärke, Dauer, Distortion und Flanke zum Einsatz. Jede Abweichung wird in die 6 Freiheitsgrade zerlegt und jedem Freiheitsgrad einer bestimmten Modulation zugeordnet. So kann der Benutzer nach einigen Übungen lernen, wie das mobile Gerät aufgrund der Ton-Modulation zu bewegen ist .
Sobald der „sweet spot" zwischen den beiden parallelen Ausrich- tungslinien 7 erreicht ist (Fig.6), wird ein vordefiniertes Signal, z.B. eine Sprachanweisung, generiert oder ein taktiles Feedback (Vibration), das ein Halten des Geräts signalisiert. Weiters kann auch eine Farbänderung von Ausrichtungslinien 7 auf dem Bildschirm erfolgen. Danach löst die Anwendung selb- ständig die Aufnahme des Objektes aus. Schließlich wird das aufgenommene Bild decodiert und die decodierten Daten werden einer Medien-Abspieleinrichtung, wie z.B. einer Audio- und/oder Videoabspieleinrichtung, des Geräts zugeführt.

Claims

Patentansprüche :
1. Verfahren zum Auffinden eines Objekts, insbesondere einer mit einem optisch abtastbaren Code versehenen Fläche, mittels eines einen Bildsensor aufweisenden mobilen elektronischen Geräts und zum Ausrichten des mobilen Geräts an dem Objekt, umfassend,
in einer Suchphase, das Bewegen des mobilen Geräts (1) während der Bildsensor Bilder der Umgebung erfasst und das
Vornehmen einer elektronischen Bildauswertung, um charakteristische Merkmale des aufzufindenden Objekts (4) zu identifizieren, wobei bei Identifizierung des Objekts (4) ein optisches, akustisches und/oder taktiles Signal gene- riert wird,
in einer Annäherungsphase, das .Erfassen mittels des Bildsensors von Bildern und das Vornehmen einer elektronischen Bildauswertung dahingehend, zu welchem Anteil sich das identifizierte Objekt (4) innerhalb des Erfassungsbe- reichs des Bildsensors befindet, wobei in Abhängigkeit vom
Ergebnis der Bildauswertung optische, akustische und/oder taktile Signale generiert werden, die dem Benutzer eine Annäherungsbewegung signalisieren, bis das gesamte Objekt (4) sich innerhalb des Erfassungsbereichs des Bildsensors befindet, und
in einer Justierphase, das Erfassen mittels des Bildsensors von Bildern des Objekts (4) und das Vornehmen einer elektronischen Bildauswertung dahingehend, ob sich das Objekt (4) innerhalb eines vordefinierten Teilbereichs des Erfassungsbereichs des Bildsensors befindet, wobei in
Abhängigkeit vom Ergebnis der Bildauswertung optische, akustische und/oder taktile Signale generiert werden, die dem Benutzer eine Justierbewegung signalisieren, bis das gesamte Objekt (4) sich innerhalb des vordefinierten Teilbereichs des Erfassungsbereichs befindet.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Generierung eines akustischen Signals in der Suchphase eine Änderung einer physikalischen Eigenschaft, wie z.B. der Lautstärke oder der Tonhöhe, eines Dauertons (6) umfasst.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als akustisches Signal in der Annäherungsphase eine Sprachanweisung generiert wird.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das elektronische Gerät für verschiedene Freiheitsgrade der Annäherungsbewegung gesonderte Sprachanweisungen gespeichert hat und dass die gespeicherten Sprachanweisungen gesondert voneinander signalisiert werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Justierbewegungen in der Justierphase mittels einer Veränderung eines akustischen Signals signalisiert werden.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Veränderung des akustischen Signals eine Änderung eines Tonparameters, wie z.B. der Frequenz, der Lautstärke, der Dauer, der Distortion und/oder der Flanke eines Tons umfasst.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass jedem Freiheitsgrad der Justierbewegung ein unterschiedlicher Parameter der Tonänderung zugeordnet ist.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass nach Beendigung der Justierphase automatisch ein digitales Bild des Objekts (4) aufgenommen wird, die Bilddaten unter Verwendung einer Decodierungsvorschrift im elektro- nischen Gerät (1) decodiert werden und die decodierten Daten einer Medien-Abspieleinrichtung, wie z.B. einer Audio- und/oder Videoabspieleinrichtung, des Geräts (1) zugeführt werden.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch ge- kennzeichnet, dass die vom Bildsensor während der Suchphase, der Annäherungsphase und/oder der Justierphase aufgenommenen Bilder in Echtzeit auf einer Anzeige (2) des Geräts (1) dargestellt werden.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Bilder in der Suchphase mit höherer Bildwiederholrate und/oder mit niedrigerer Bildauflösung er- fasst werden als in der Annäherungsphase.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Bildauswertung in der Suchphase einen Algorithmus zur Kantenfindung, insbesondere einen Sobel- Algorithmus, einen Laplace-Filter oder einen Canny-Algorithmus , umfasst .
PCT/IB2014/000746 2013-05-17 2014-05-16 Verfahren zum auffinden eines objekts Ceased WO2014184646A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP14733689.5A EP2997519B1 (de) 2013-05-17 2014-05-16 Verfahren zum auffinden eines objekts

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA412/2013A AT514398B1 (de) 2013-05-17 2013-05-17 Verfahren zum Auffinden eines Objekts
ATA412/2013 2013-05-17

Publications (1)

Publication Number Publication Date
WO2014184646A1 true WO2014184646A1 (de) 2014-11-20

Family

ID=51022904

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2014/000746 Ceased WO2014184646A1 (de) 2013-05-17 2014-05-16 Verfahren zum auffinden eines objekts

Country Status (3)

Country Link
EP (1) EP2997519B1 (de)
AT (1) AT514398B1 (de)
WO (1) WO2014184646A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3156780A1 (de) * 2015-10-13 2017-04-19 Fluke Corporation Prüfspitzen für intelligente inspektion

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018219394B4 (de) * 2018-11-14 2024-07-18 Robert Bosch Gmbh Auswertevorrichtung und Schätzverfahren für eine benachbart zu einem mobilen Gerät auftretende Strömung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207085A (ja) * 2006-02-03 2007-08-16 Denso Wave Inc 光学情報読取装置
WO2008131470A1 (de) 2007-04-26 2008-11-06 Moorecroft Llp Verfahren zum bereitstellen von daten für die anzeige bzw. das abspielen auf mobilen anzeige- bzw. abspielgeräten sowie datenträger für die verwendung mit einem derartigen verfahren
US20090108073A1 (en) * 2007-10-31 2009-04-30 Gerst Carl W Method and apparatus for aligning a code and a reader without displaying a background image

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2834632A1 (fr) * 2002-01-15 2003-07-18 Oleg Tretiakoff Machine a lire portative pour les aveugles
FI118065B (fi) * 2004-10-26 2007-06-15 Valtion Teknillinen Menetelmä ja päätelaite tuotteisiin liitettävien tuotekuvausten esittämiseksi puhemuodossa
US8648716B2 (en) * 2005-10-07 2014-02-11 Barcoding, Inc. Apparatus, method, device and computer program product for audibly communicating medicine identity, dosage and intake instruction
EP2333695B1 (de) * 2009-12-10 2017-08-02 beyo GmbH Verfahren zur optimierten Kamerapositionsfindung für Systeme mit optischer Zeichenerkennung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207085A (ja) * 2006-02-03 2007-08-16 Denso Wave Inc 光学情報読取装置
WO2008131470A1 (de) 2007-04-26 2008-11-06 Moorecroft Llp Verfahren zum bereitstellen von daten für die anzeige bzw. das abspielen auf mobilen anzeige- bzw. abspielgeräten sowie datenträger für die verwendung mit einem derartigen verfahren
US20090108073A1 (en) * 2007-10-31 2009-04-30 Gerst Carl W Method and apparatus for aligning a code and a reader without displaying a background image

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3156780A1 (de) * 2015-10-13 2017-04-19 Fluke Corporation Prüfspitzen für intelligente inspektion
CN107040307A (zh) * 2015-10-13 2017-08-11 弗兰克公司 用于智能检查的测试探针
US10090914B2 (en) 2015-10-13 2018-10-02 Fluke Corporation Test probes for smart inspection
CN107040307B (zh) * 2015-10-13 2021-07-20 弗兰克公司 用于智能检查的测试探针

Also Published As

Publication number Publication date
EP2997519B1 (de) 2018-08-01
AT514398A1 (de) 2014-12-15
AT514398B1 (de) 2020-11-15
EP2997519A1 (de) 2016-03-23

Similar Documents

Publication Publication Date Title
DE112006002954B4 (de) Virtuelles Schnittstellensystem
US8239032B2 (en) Audiotactile vision substitution system
DE102007061993B4 (de) Mobiles Endgerät mit einer Anzeigeeinheit sowie Anzeigeverfahren für ein mobiles Endgerät
DE10255926B4 (de) Verarbeitungssystem zum Herstellen von Indikatoren mit einer Verarbeitungsvorrichtung und einer Ausgabevorrichtung, das die Indikatoren verwendet
DE102007055912A1 (de) Augenliderfassungsvorrichtung, Augenliderfassungsverfahren und zugehöriges Programm
DE4023318A1 (de) Verfahren zur durchfuehrung eines variablen dialogs mit technischen geraeten
DE102005020971A1 (de) Eingabevorrichtung und Verfahren zum Steuern einer Eingabevorrichtung
EP2711869A2 (de) Verfahren und Vorrichtung zur Aufnahme von Fingerabdrücken auf Basis von Fingerabdruckscannern in zuverlässig hoher Qualität
DE212011100023U1 (de) Automatische Ableitung von analogen Berührungsgesten von einer Benutzerdefinierten Geste
DE10338694A1 (de) Wiedergabeeinrichtung, umfassend wenigstens einen Bildschirm zur Darstellung von Informationen
DE112013005599B4 (de) Bildaufnahmevorrichtung
DE69834971T2 (de) Zeichenerkennungsvorrichtung
EP3123393B1 (de) Verfahren zur optischen erkennung von zeichen
DE10012629B4 (de) Ferngesteuertes Schwenkkopfsystem
DE102016113995A1 (de) Eingabegerät, Anzeigegerät, Verfahren zur Steuerung des Eingabegerätes und Programm
EP2997519B1 (de) Verfahren zum auffinden eines objekts
WO2021052660A1 (de) Verfahren und vorrichtung zum verarbeiten eines durch eine kamera aufgenommenen bildes
DE112013005142T5 (de) Bildaufnahmevorrichtung und zugehöriges Fokussiersteuerverfahren
WO2016046123A1 (de) Anzeigevorrichtung, die auf den kopf eines benutzers aufsetzbar ist, und verfahren zum steuern einer solchen anzeigevorrichtung
WO2014206394A2 (de) Computerimplementierter digitaler unschärfefilter zur erzeugung eines einem falsch fokussierten linsensystem entsprechenden unschärfeeindrucks in einem digital in einem bild-speicher ursprünglich vorliegenden bild
DE112021003749T5 (de) Bildgebungsassistenz-steuervorrichtung, bildgebungsassistenz-steuerverfahren und bildgebungsassistenzsystem
DE202018006634U1 (de) Vorrichtung zum schnellen Dimensionieren eines Objekts
EP4591294A1 (de) Verfahren und vorrichtung zur ermittlung einer brillenpose einer datenbrille mithilfe eines outside-in tracking
WO2023117499A1 (de) Verfahren zum betreiben einer anzeigevorrichtung, bildschirmanpassungseinrichtung, speichermedium, mobiles gerät, servervorrichtung, und kraftfahrzeug
DE102006004248A1 (de) Testverfahren für ein eine Benutzerschnittstelle aufweisendes technisches Gerät

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14733689

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014733689

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE