WO2015024031A1 - Brille und verfahren zur bestimmung von pupillenmittelpunkten beider augen eines menschen - Google Patents

Brille und verfahren zur bestimmung von pupillenmittelpunkten beider augen eines menschen Download PDF

Info

Publication number
WO2015024031A1
WO2015024031A1 PCT/AT2014/000107 AT2014000107W WO2015024031A1 WO 2015024031 A1 WO2015024031 A1 WO 2015024031A1 AT 2014000107 W AT2014000107 W AT 2014000107W WO 2015024031 A1 WO2015024031 A1 WO 2015024031A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
spectacles
frame
glasses
detection camera
Prior art date
Application number
PCT/AT2014/000107
Other languages
English (en)
French (fr)
Inventor
Ernst Pfleger
Christoph Pfleger
Original Assignee
Ernst Pfleger
Christoph Pfleger
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ernst Pfleger, Christoph Pfleger filed Critical Ernst Pfleger
Priority to RU2016110406A priority Critical patent/RU2016110406A/ru
Priority to US14/913,633 priority patent/US9668648B2/en
Priority to EP14742450.1A priority patent/EP3036580A1/de
Priority to AU2014308570A priority patent/AU2014308570B2/en
Priority to SG11201601286SA priority patent/SG11201601286SA/en
Priority to CN201480052409.6A priority patent/CN105579884B/zh
Priority to CA2959078A priority patent/CA2959078C/en
Publication of WO2015024031A1 publication Critical patent/WO2015024031A1/de
Priority to IL244230A priority patent/IL244230A0/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091—Fixation targets for viewing direction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00—Assembling; Repairing; Cleaning
    • G02C13/003—Measuring during assembly or fitting of spectacles
    • G02C13/005—Measuring geometric parameters required to locate ophtalmic lenses in spectacles frames
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C5/00—Constructions of non-optical parts
    • G02C5/02—Bridges; Browbars; Intermediate bars
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C5/00—Constructions of non-optical parts
    • G02C5/12—Nose pads; Nose-engaging surfaces of bridges or rims
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C5/00—Constructions of non-optical parts
    • G02C5/12—Nose pads; Nose-engaging surfaces of bridges or rims
    • G02C5/126—Nose pads; Nose-engaging surfaces of bridges or rims exchangeable or otherwise fitted to the shape of the nose
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G02C7/081—Ophthalmic lenses with variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • the invention relates to a pair of spectacles according to the preamble of claim 1.
  • Glasses which have a camera which is directed to an eye of the relevant spectacle wearer. By recording an eye video, the coordinates of the pupil and the viewing direction of the eye can be determined with such spectacles. Together with a so-called. Field of view video, which further arranged from one in the direction of a user on the glasses
  • Field of view camera is created, can be determined with such glasses on which point the user looks.
  • a disadvantage of such known glasses is that the arrangement of the cameras can lead to an impairment of the behavior of the user himself.
  • Such glasses are usually designed as a measuring device or research utensil and as such also clearly visible.
  • test persons accept the glasses concerned in areas that are separated from the public, such as a vehicle or a special test environment, these lead, above all, in environments in which the test subject in question is not shielded from the surrounding environment
  • Such known glasses take the eye of the subject from the bottom front. It has been shown that this camera position can have negative effects on the accuracy and quality of the measurement results obtained.
  • These known glasses also have the disadvantage that the protruding parts, such as cameras and cables, limit the possible uses of such known glasses on research missions. For example, such goggles pose a significant risk of accident in the vicinity of high-speed rotating machinery. Garments or body-worn garments with loops or protruding parts are useful in many work environments
  • the object of the invention is therefore to provide a pair of spectacles of the type mentioned, with which the disadvantages mentioned can be avoided, which has a high accuracy in the detection of the pupils of a subject, with which the influence of the glasses are reduced even to the gaze behavior of the subject and which can be used in accident-prone environments.
  • Eye detection camera are visible, done with unprecedented accuracy, and at the same time in so-called. Lateral position of the eyes, therefore, in situations in which the subject so to speak "out of the corner of the eye", only a measurement made by the detection of both eyes from the area of the nose pad or nasal subframe out, at any time at least one of the eyes can be taken from an advantageous angle for the measurement accuracy, whereby good measurement results can be achieved.
  • Focusing distance are determined, therefore, the distance to which the subject in question focuses.
  • Eye deformities are detected. For this purpose, it may be necessary to individually calibrate the respective glasses on the eyes of the subject. Furthermore, measurements can be carried out on individual eyes with the objective glasses, for example, in which the other eye is covered.
  • darkened environment can also be done with the objective glasses analysis of the retina or other parts of the auger.
  • spectacles By arranging the eye detection cameras in the nose subframes, spectacles can be provided which have a high measuring accuracy with respect to the viewing direction of the eyes of a user, and which can be carried inconspicuously, so that no influence on the behavior of the user due to wearing the spectacles is given. As a result, significantly improved results can be achieved, especially in public use of the spectacles, since both the measurement accuracy is increased, and the measuring apparatus is now improved by the
  • this can be used to monitor the ability to guide a machine, as it can be concluded on the basis of the eye movements on the physical and mental state of the person concerned, such as whether he is overtired or is under the influence of psychotropic substances.
  • the invention further relates to a method for the determination of PupiUen centers of both eyes of a person according to the preamble of claim 11.
  • the object of the invention is therefore to provide a method of the aforementioned type, with which the aforementioned disadvantages can be avoided, with which with high accuracy, the viewing direction, the
  • Focusing or the focusing distance of the eyes of the person concerned are determined. This makes it possible to detect a blink of the eye as a spontaneous blink of the eye, which can safely distinguish between different states of the person concerned, for example between a state of high concentration and a state of tiredness.
  • FIG. 1 shows a preferred embodiment of an objective glasses in elevation
  • FIG. 2 shows the spectacles according to FIG. 1 in plan view
  • FIG. Fig. 3 the glasses of Figure 1 in side elevation.
  • FIG. 4 shows the spectacles according to FIG. 1 in a first axonometric representation
  • FIG. FIG. 5 shows the spectacles according to FIG. 1 in a second axonometric view
  • FIG. FIG. 6 shows the spectacles according to FIG. 1 in a third axonometric view
  • Fig. 7 is a block diagram of a preferred embodiment of a
  • FIG. 8 shows a detail of a pair of spectacles according to FIG. 1 in plan view
  • FIG. 9 shows a detail of a pair of spectacles according to FIG. 1 in side elevation; FIG. and
  • Fig. 10 shows a detail of a pair of spectacles according to FIG. 1 in a fourth axonometric representation.
  • FIG. 1 to 10 show a pair of glasses 1 with a frame 2, wherein the frame 2 has at least one Scheibenauf receiving opening 3 for a disc, and wherein the frame 2 has a right nose frame 5 and a left nose frame 6, wherein in the right nose frame 5 a right
  • Eye detection camera 7 is arranged, and that in the left nose sub-frame 6, a left eye detection camera 8 is arranged.
  • Eye detection camera 7, 8 are visible, done with unprecedented accuracy, and at the same time in so-called. Sides of the eyes 24, therefore, in situations in which the subject so to speak "out of the corner of the eye", only a measurement made., By the detection of both eyes 24 out of the area of the nose pad or nose sub-frame 5, 6, at any time at least one of the eyes 24 can be taken from an advantageous angle for the measurement accuracy, whereby good measurement results can be achieved.
  • the arrangement of the eye detection cameras 7, 8 in the nose sub-frame 5, 6 can influence the pupil detection by, the eye 24 surrounding eyelashes are reduced. Furthermore, the influence can be more disturbing Reflections on the pupils are diminished. Also, the detection of both eyes 24 of a subject can be recognized more accurately than previously the blink of the subject.
  • Focusing distance are determined, therefore, the distance to which the subject in question focuses.
  • Focusing distance are determined, therefore, the distance to which the subject in question focuses.
  • each eyeglass to calibrate individually on the eyes 24 of the subject. Furthermore, with the objective spectacles 1 measurements on individual eyes 24 can be carried out, for example by covering the respective other eye 24.
  • the glasses 1 has no protruding parts, and is therefore suitable to be worn as safety glasses or goggles.
  • the eye movements of a worker or of a person operating a machine can not only be monitored and evaluated, but used directly to control the machine.
  • this can be used to monitor the ability to drive a machine, as it can be concluded from the eye movements on the physical and psychological state of the person concerned, such as whether he is overtired or is under the influence of psychotropic substances.
  • the information "right” or "left” are based on the intended carrying the glasses 1 by a human.
  • the subject invention relates to glasses 1 for wearing on the head of a human.
  • the glasses 1 has a frame 2, which may also be referred to as a middle part. Furthermore, the glasses 1 on a first bracket 15 and a second bracket 16, which are connected to the frame 2.
  • the two brackets 15, 16 are preferably integrally formed on the central part, approximately below
  • bracket 15, 16 Forming a flexible area, which allows a bending of the bracket 15, 16. It can also be provided that the two brackets 15, 16 are connected by means of a hinge to the central part.
  • the brackets 15, 16 are provided, as is known, to hold the glasses 1 on the head of the wearer, such as these are designed to engage behind the ears of the person wearing the glasses 1.
  • the frame 2 and the two brackets 15, 16 are preferably comprising one
  • the frame 2 has at least one disc receiving opening 3, in which preferably a disc is arranged, which disc colloquially and regardless of their material is also referred to as glass or spectacle lens.
  • the glasses 1 has two disc receiving openings 3, and that in each of the two Scheibenauf openings 3 a disc is arranged.
  • the discs may also be optical and / or tinted discs. Through the subject glasses 1 also such look analyzes in carriers of optical glasses are possible.
  • the frame 2 has, in a conventional manner, a U-shaped
  • Nasenabilityaussparung which is provided for the arrangement of the glasses 1 on the nose of a human.
  • right and left nasal sub-frames 5, 6 are preferably areas of the frame 2 surrounding the disc-receiving openings 3, which frame directly and / or integrally into the frame 2 pass over other areas of the frame 2.
  • the nose sub-frames 5, 6 may also be referred to as nose-piece frames 5, 6.
  • the frame 2 the at least one
  • Disk receiving opening 3 does not surround all sides, and the
  • Disk receiving opening 3 is therefore designed as open-edged recess.
  • Nasenetzlagef laugh 20 The surfaces which are intended for direct contact with the nose of the spectacle-wearing man is referred to as Nasenetzlagef laugh 20. It can be provided that these Nasenauf bearing surfaces 20 are formed as one-piece components of the frame 2. It is preferably provided that the spectacles 1 at least one Nasenstegauf wouldme 11 has, for receiving at least one nose bridge 12th
  • the Nasenstegiere 11 is in or on the U-shaped
  • Nasenermoreaussparung the frame 2 arranged. It is preferably provided that the Nasenstegititor 11 has a portion of a snap-in connection, and that the provided for arrangement in the Nasenstegor 11 nose ridges 12 have the corresponding other part of such a locking connection.
  • the spectacles as shown in the figures, only a single nose bridge recording 11, in which an integral U-shaped nose bridge 12 is arranged, which is also referred to as saddle bridge.
  • a nose bridge holder 11 is arranged on each of the two nose piece frames 5, 6, each for receiving a nosepiece 12.
  • the nosepiece holder 11 can have different shapes
  • the shaped nose pieces 12 are inserted into the glasses 1, which can be adapted to different nose geometries thereby, whereby the glasses 1 can be adapted to different people with simple means, in particular, can also be provided to adapt appropriate nose pads 12 targeted to individual individuals. It can be provided to provide the spectacles 1 in a set or system together with differently shaped nosepieces 12 for the predefinable adaptation of the spectacles 1 to different persons by replacement of the nosepieces 12.
  • the at least one nosepiece 12 is preferred comprising silicone and / or an elastomer formed.
  • Eye detection camera 7 is arranged, and that in the left nose sub-frame 6, a left eye detection camera 8 is arranged.
  • Eye detection cameras 7, 8 are arranged in the parts of the frame 2, which are arranged next to the Nasenholz receiving recess. The two
  • Eye detection cameras 7, 8 are designed as digital cameras and have a lens.
  • the two eye-detection cameras 7, 8 are each intended to film one eye of the person wearing the respective spectacles 1, and in each case to create an eye video consisting of individual eye images or individual images.
  • a main purpose of the eye detection cameras 7, 8 is to detect the pupil of the person wearing the glasses 1. It may therefore be sufficient if the entire eye is not or can not be detected by the respective eye detection camera 7, 8, but only an area around the pupil of the respective eye.
  • the eye detection cameras 7, 8 can also be used as
  • the eye detection cameras 7, 8 have a suitable focal length to detect the corresponding areas of the eye from the position in the nose subframe.
  • the focal length and the detectable with a focal opening angle are dependent on the sensor size of the camera and easily selectable by the executing professional with the subject information.
  • the right eye detection camera 7 is directed to a right area 9, in which, when the glasses 1 are arranged on the head of a human being, in a plurality of people at least partially, the right eye 24 of this
  • the left eye detection camera 8 is directed to a left area, in which, in a plurality of people at least partially, the left eye of this person is arranged.
  • Viewing direction of the two eye detection cameras 7, 8 are individual
  • the right-hand region 9 is between 20 mm and 40 mm, in particular between 25 mm and 35 mm, to the right of a spectacle center 10, the corresponding distance 25 is shown in FIG. 8, and between 10 mm and 25 mm
  • spectacles 1 are generally constructed symmetrically, they also have a clearly defined center.
  • the distance from the eye detection cameras 7, 8 is to be measured in the direction of extension of the brackets 15, 16 or of the head receiving region of the spectacles 1. The given values can be used to achieve a good basic fit to the head shape in Europe and North America. Eyewear for Asian, African,
  • FIGS. 8, 9 and 10 respectively show detailed views of the subject spectacles 1.
  • a coordinate system is shown. This was, based on the symmetry of the respective glasses 1, chosen such that the spanned by the Y-axis and the Z-axis YZ plane on the right and left sides of the glasses respectively gegen Eisene or symmetrically arranged areas intersects. Normal and parallel to the YZ plane
  • Symmetry plane of the glasses is arranged by the X-axis and the Z-axis spanned XZ plane. Normal to the YZ plane and the XZ plane is the XY plane arranged.
  • Eye detection camera 8 are each inclined relative to these planes or axes. It is according to a preferred embodiment
  • Eye detection cameras 7, 8 at a first angle 21 with respect to the Y-axis are arranged, and that the first angle 21 is between 30 and 50 1 .
  • each optical axis 23 of the two eye detection cameras 7, 8 are arranged at a second angle 22 with respect to the X axis, and that the second angle 22 is between 25 and 35 '.
  • the right eye detection camera 7 and / or the left eye detection camera 8 at least about an axis, in particular about 2 axes, pivotable in the right nose sub-frame 5 and the left
  • Nasenteilteilen 6 are arranged. Thereby, the viewing direction of the right and left eye detection cameras 7, 8 can be adjusted. As a result, an adaptation of the glasses 1 to different head shapes is possible.
  • At least one field of view camera 13 is arranged on the frame 2.
  • the field of view camera 13 is intended to record existing field of view video consisting of individual and successive field of view images.
  • the respective viewpoint can be entered in the field of view video.
  • the field of view camera 13 is explicitly indicated only in FIG. 1 on the spectacles 1.
  • the at least one field of view camera 13 is arranged in a region or web between the right nose part frame 5 and the left nose part frame 6. It can also be provided to arrange a larger number of field of view cameras 13 in the spectacles 1, wherein in particular one left and one right field of view camera in the frame 2 is provided in the region of the transition to the first or second bracket 15, 16.
  • the spectacles 1 have a data processing unit 17 and a data interface 18, that the data processing unit 17 is connected to the right eye detection camera 7 and the left eye detection camera 8, that the spectacles 1 further an energy storage 19 for Power supply of the right eye detection camera 7 and the left eye detection camera 8 and the data processing unit 17 and the
  • Data interface 18 has.
  • first bracket 15 in the first bracket 15, the data processing unit 17 and the data interface 18 are arranged, and that in the second bracket 16 of the energy storage 19 is arranged.
  • the first bracket 15 may be either the right or the left bracket, and vice versa. This allows the entire
  • Fig. 7 shows a block diagram of a correspondingly formed glasses 1, wherein the outer contours of the block diagram to symbolize the glasses 1.
  • the three cameras, the field of view camera 13, the right eye detection camera 7 and the left eye detection camera 8 are arranged. These are each connected to the arranged in the second bracket 16 energy storage 19, which is preferably designed as an accumulator, circuit technology, at least indirectly connected.
  • a data processing unit 17 is arranged, which includes a data memory. This is preferred as a combination of a microcontroller or DSP together with a RAM
  • the data processing unit 17 is connected to a data interface 18 by signal conductors. It can also be provided that the
  • Data interface 18 and the data processing unit 17 are formed in hardware together, such as an ASIC or an FPGA.
  • the interface is designed as a wireless interface, such as the Bluetooth standard or IEEE 802.x, or as a wired interface, such as the USB standard, in which case the glasses 1 a corresponding outlet, such as Micro-USB , having.
  • the data processing unit 17 and the data interface 18 are circuitry at least indirectly connected to the energy storage 19, and signal conductor technology with the three cameras, the field of view camera 13, the right eye detection camera 7 and the left
  • the spectacles 1 described above are particularly suitable for carrying out a method for the determination of
  • Eye detection camera 7 is detected, wherein the right eye detection camera 7, consisting of successive right frames existing right
  • Eye video is created, wherein right pupil coordinates are determined within the right eye images of the - right pupil center - right eye pupil of the right eye images, wherein the left pupil of the human is detected by the left eye detection camera 8, the left eye detection camera 8 a from each other existing left eye images existing left eye video created, with pupil coordinates within the left eye images of a - the left
  • Pupil center corresponding to the center of gravity of the left pupil are determined from the left eye images, and wherein the right pupil center and / or the left pupil center is stored and / or output.
  • a detection of the viewing direction of both eyes 24 of a human can be detected.
  • the viewing direction of a person can be determined with high accuracy.
  • the focus distance or the focusing distance of the eyes of the relevant person can be determined. This makes it possible to detect a blink of the eye as a spontaneous blink of the eye, which can safely distinguish between different states of the person concerned, for example between a state of high concentration and a state of tiredness.
  • a computational lens equalization is performed to the two eye detection cameras 7, 8 and the field of view camera 13, as well as a correction of perspective distortions.
  • the two eye videos and the field of view video are recorded synchronized in time, which is controlled by the data processing unit 17.
  • the exact pupil coordinates of the pupil center in the eye video are determined by an image recognition program.
  • the pupil coordinates are determined for each frame of the eye video.
  • the determination of the pupil coordinates preferably takes place automatically with an image recognition program.
  • the contrasts of the pupil to the environment are registered for each individual image of the eye video, and all points of the individual image that are darker than a set darkness level are searched for. These points fully capture and delineate a dark area, and then automatically determine the center of gravity of that dark area. Since the dark area corresponds to the pupil of the subject, the center of gravity of the dark area represents the pupil center.
  • the image recognition program provides
  • the gray level threshold is that value which is e.g.
  • digitized form is between 1 and 256, and defines the percentage of black and white on a pixel.
  • the highest achievable value corresponds to a full black, the lowest value to the white. Since the pupil is unlikely to reach the full black level during recording, a value must be defined which, at least for this image, corresponds to the pupil gray actually present.
  • the threshold eliminates all pixels that are lighter than the defined gray, all darker areas are used to find the center of gravity. Three parameters make it possible to optimize the threshold definition. Since during the experiments within a sequence the
  • Pupillenstoff is calibrated using a predetermined visual sequence.
  • a sample look sequence is a look sequence that is recorded for calibration only and that the subject looks for given pass points.
  • a particular control point may be marked on a wall.
  • a black mark on an otherwise white surface can be selected as a control point.
  • the control point is usually a cross or a glowing point or similar. The subject is instructed to fix this point of control, with the subject's field of vision and eye being captured by the two eye detection cameras and the field of view camera.
  • the control points to be targeted are also preferably arranged at different defined intervals.
  • the front side of the spectacles 1 is the wearer of the spectacles 1 side facing away.
  • Data processing unit 17 is activated.
  • Illuminant By specifiable changing the position of the head with constant fixation of the light source image in the mirror, the positions of the pupils with respect to the glasses 1 and the eye detection cameras 7, 8 change. Since the wavelength or color of the light bulb 26 is known, this can by the field of view camera 13th and the data processing unit 17 can be easily recognized.
  • the center of the pupil is hidden and in a single image of the eye a left eyelid obscures the left pupil center producing a message of a spontaneous blink and issuing and / or storing it.
  • the respective right and left frames which are listed in the stated condition, are each time substantially simultaneously recorded frames.
  • Pattern recognition makes it easily possible to recognize the pupil as such constantly moving from one image to the next and to distinguish it from a highlight. In this way, a partial covering of the respective pupil can be easily and reliably attributed to a blink.
  • a visual failure time between the beginning of a spontaneous eyelid strike and the end of the same spontaneous eyelid strike is measured, and that generates a warning message when a time limit is exceeded by the visual failure time and / or issued becomes.
  • the glasses 1 Cooperating with a machine to monitor whether the person operating the machine is paying attention to what is considered necessary for the job.
  • the glasses 1 based on the eyelid activities of the concerned
  • the glasses 1 can then give, for example, a warning message, turn off the relevant machine or other
  • Focus distance determined and preferably stored and / or output.
  • switching pulses or switching commands can be generated and output.
  • the interpupillary distance forms the basis of a fictitious triangle, with the viewing angles of the two eyes representing the angles which the two sides occupy towards the base. From this, the height of the triangle in question can be determined simply as the focus distance or the eye setting distance, which makes it possible to determine even more precisely the point at which a person actually looks.
  • Disc lenses to be adjusted or controlled to accommodate openings 3 or lenses with variable or predeterminable variable geometry. It is preferably provided that the at least one lens with the
  • Data processing unit 17 is connected.
  • the memory associated with the data processing unit 17 In order to set the relevant geometric parameters on the respective lens, it is necessary for the memory associated with the data processing unit 17 to be stored in each case at specific focal distances or distance intervals.
  • the respective parameters can contain several variables for each focus distance.
  • To adjust the geometry of the respective lenses it is preferably provided that at least one value assigned to the determined focus distance is taken from the data memory for geometrically determining the lens with a predeterminable variable geometry, and that the geometry of the lens is adjusted on the basis of the value.
  • a pair of glasses 1 can be created, which can provide a reliable remedy even in complicated eyesight.
  • anomalies preceding the pupil and / or iris can be recognized from the images of the two eyes.
  • the navigational structures or patterns of the eyes can be recorded in connection with predeterminable examination procedures.
  • these can be analyzed and compared so that real eye medical recordings are possible.

Abstract

Bei einer Brille (1) mit einem Rahmen (2), wobei der Rahmen (2) wenigstens eine Scheibenaufnahmeöffnung (3) für eine Scheibe aufweist, und wobei der Rahmen (2) einen rechten Nasenteilrahmen (5) und einen linken Nasenteilrahmen (6) aufweist, wird vorgeschlagen, dass in dem rechten Nasenteilrahmen (5) eine rechte Augenerfassungskamera (7) angeordnet ist, und dass in dem linken Nasenteilrahmen (6) eine linke Augenerfassungskamera (8) angeordnet ist.

Description

Brille und Verfahren zur Bestimmung von Pupillenmittelpunkten beider Äugen
eines Menschen
Die Erfindung betrifft eine Brille gemäß dem Oberbegriff des Patentanspruches 1.
Es sind Brillen bekannt, welche eine Kamera aufweisen, welche auf ein Auge des betreffenden Brillenträgers gerichtet ist. Durch Aufnahme eines Augenvideos können mit einer solchen Brille die Koordinaten der Pupille und die Blickrichtung des Auges ermittelt werden. Zusammen mit einem sog. Blickfeldvideo, welches von einer in Blickrichtung eines Benutzers auf der Brille weiters angeordneten
Blickfeldkamera erstellt wird, kann mit derartigen Brillen ermittelt werden auf welchen Punkt der Benutzer blickt.
Nachteilig an derartigen bekannten Brillen ist, dass die Anordnung der Kameras zu einer Beeinträchtigung des Verhaltens des Benutzers selbst führen kann. Derartige Brillen sind in der Regel als Messgerät bzw. Forschungsutensil konzipiert und als solche auch klar erkennbar. Zwar akzeptieren Testpersonen die betreffenden Brillen in von der Öffentlichkeit abgetrennten Bereichen, etwa einem Fahrzeug oder einer speziellen Testumgebung, diese führen jedoch vor allem in Umgebungen in denen die betreffende Testperson nicht abgeschirmt von umgebenden
Mitmenschen agieren muss, zu einer Beeinflussung des Verhaltens der Testperson und der Personen im Umfeld. Die Rückmeldungen die ein Mensch aus den
Reaktionen seines Umfeldes auf die eigene Erscheinung erhält haben oftmals einen unmittelbaren Einfluss auf das Verhalten des betreffenden Menschen. Dieser Einfluss führt über das Unbewusste und entzieht sich daher der unmittelbaren Kontrolle durch die betreffende Person. Das öffentliche Tragen einer deutlich erkennbaren und auffälligen Apparatur auf dem Kopf hat Reaktionen des Umfelds zur Folge, welche wiederum direkten Einfluss auf das Verhalten, auch das
Blickverhalten, der betreffenden Testperson haben können. Dies kann in
diesbezüglich schwierigen Testsituationen zu einer hohen Beeinflussung des Testergebnisses durch die Mittel des Tests selbst führen.
Derartige bekannte Brillen nehmen das Auge der Testperson von vorne unten auf. Es hat sich gezeigt, dass diese Kameraposition negative Auswirkungen auf die Genauigkeit und Qualität der erzielten Messergebnisse haben kann. Diese bekannten Brillen weisen zudem den Nachteil auf, dass die vorstehenden Teile, wie etwa Kameras und Kabel, die Einsatzmöglichkeiten derartige bekannter Brillen auf Forschungseinsätze beschränken. Beispielsweise stellen derartige Brillen in der Umgebung schnell rotierender Maschinen ein erhebliches Unfallrisiko dar. Kleidungsstücke bzw. am Körper getragene Ausrüstungsgegenstände mit Schlaufen oder vorstehenden Teilen sind in zahlreichen Arbeitsumgebungen aus
Sicherheitsgründen verboten.
Aufgabe der Erfindung ist es daher eine Brille der eingangs genannten Art anzugeben, mit welcher die genannten Nachteile vermieden werden können, welche eine hohe Messgenauigkeit bei der Detektion der Pupillen eines Probanden aufweist, mit welcher der Einfluss der Brille selbst auf das Blickverhalten des Probanden verringert werden kann, und welche in unfallgefährlichen Umgebungen einsetzbar ist.
Erfindungsgemäß wird dies durch die Merkmale des Patentanspruches 1 erreicht.
Dadurch kann eine Detektion der Blickrichtung beider Augen eines Probanden erfolgen, wobei dieser weitestgehend durch den Messaufbau unbeeinflusst bleibt. Dadurch kann eine bessere Detektion der Blickrichtung eines Probanden erfolgen als bei Aufnahme lediglich eines Auges. Durch die sog. binokulare Messung kann zum einen die Messung im Mitten bereich, daher in einem Bereich der Augenstellung in dem beiden Augen durch die dem jeweiligen Auge zugeordnete
Augenerfassungskamera sichtbar sind, mit bislang unerreichter Genauigkeit erfolgen, und gleichzeitig bei sog. Seitenlage der Augen, daher in Situationen in welchen der Proband sozusagen„aus den Augenwinkeln" blickt, überhaupt erst eine Messung erfolgen. Durch die Detektion beider Augen aus dem Bereich der Nasenauflage bzw. Nasenteilrahmen heraus, kann jederzeit zumindest eines der Augen aus einem für die Messgenauigkeit vorteilhaften Winkel aufgenommen werden, wodurch gute Messergebisse erzielt werden können.
Durch die Anordnung der Augenerfassungskameras in den Nasenteilrahmen kann eine Beeinflussung der Pupillendetektion durch, das Auge umgebende Wimpern reduziert werden. Weiters kann dadurch der Einfluss störender Reflexionen auf den Pupillen vermindert werden. Auch kann durch die Detektion beider Augen eines Probanden exakter als bislang der Lidschlag des Probanden erkannt werden.
Durch die Detektion beider Pupillen eines Probanden kann auch die
Fokusentfernung bestimmt werden, daher die Entfernung auf welche der betreffende Proband fokussiert. Dabei können durch Vergleich der Messung der zu den einzelnen Augen ermittelten Messwerte, auch schnell und einfach
Augenfehlstellungen erkannt werden. Dazu kann es erforderlich sein, die betreffende Brille jeweils einzeln auf die Augen des Probanden zu kalibrieren. Weiterhin können mit der gegenständlichen Brille Messungen an einzelnen Augen durchgeführt werden, etwa in dem das jeweils andere Auge abgedeckt wird.
Durch Beleuchten der Augen mit einer Infrarotstrahlungsquelle in einer
abgedunkelten Umgebung kann mit der gegenständlichen Brille zudem eine Analyse der Netzhaut oder anderer Teile des Augers erfolgen.
Durch die Anordnung der Augenerfassungskameras in den Nasenteilrahmen kann eine Brille geschaffen werden, welche eine hohe Messgenauigkeit hinsichtlich der Blickrichtung der Augen eines Benutzers aufweist, und welche unauffällig getragen werden kann, sodass keine Beeinflussung des Verhaltens des Benutzers aufgrund des Tragens der Brille gegeben ist. Dadurch können vor allem bei öffentlichem Einsatz der Brille deutlich verbesserte Ergebnisse erzielt werden, da sowohl die Messgenauigkeit gesteigert ist, und die Messapparatur nunmehr durch die
Umgebung nicht mehr wahrgenommen werden kann und folglich auch zu keinen negativen Beeinflussungen der Testperson führt. Durch die Integration der
Augenerfassungskameras in die Nasenteilrahmen weist die Brille keine
vorstehenden Teile auf, und ist daher geeignet als Arbeitsbrille bzw. Schutzbrille getragen zu werden. Dadurch können die Blickbewegungen eines Arbeiters bzw. eines eine Maschine bedienenden Menschen nicht nur überwacht und ausgewertet werden, sondern unmittelbar zur Steuerung der Maschine eingesetzt werden.
Zudem kann dadurch die Befähigung zum Führen einer Maschine überwacht werden, da aufgrund der Augenbewegungen auf den physischen und psychischen Zustand des betreffenden Menschen geschlossen werden kann, etwa ob dieser Übermüdet ist bzw. unter dem Einfluss psychotroper Substanzen steht.
Die Erfindung betrifft weiters ein Verfahren zur Bestimmung von PupiUenmittelpunkten beider Augen eines Menschen gemäß dem Oberbegriff des Patentanspruches 11.
Aufgabe der Erfindung ist es daher ein Verfahren der vorstehend genannten Art anzugeben, mit welchem die eingangs genannten Nachteile vermieden werden können, mit welchem mit hoher Messgenauigkeit die Blickrichtung, die
Einstellentfernung und der Lidschlag eines Menschen detektiert werden kann.
Erfindungsgemäß wird dies durch die Merkmale des Patentanspruches 11 erreicht.
Dadurch kann eine Detektion der Blickrichtung beider Augen eines Menschen erfasst werden. Dadurch kann mit hoher Genauigkeit die Blickrichtung eines Menschen bestimmt werden. Dadurch kann zusätzlich bzw. alternativ auch die
Fokusentfernung bzw. die Scharfstellentfernung der Augen des betreffenden Menschen ermittelt werden. Dadurch kann ein Lidschlag als spontaner Lidschlag erkannt werden, wodurch sicher zwischen unterschiedlichen Zuständen des betreffenden Menschen unterschieden werden kann, etwa zwischen einem Zustand hoher Konzentration und einem Zustand der Müdigkeit.
Die Unteransprüche betreffen weitere vorteilhafte Ausgestaltungen der Erfindung.
Ausdrücklich wird hiermit auf den Wortlaut der Patentansprüche Bezug genommen, wodurch die Ansprüche an dieser Stelle durch Bezugnahme in die Beschreibung eingefügt sind und als wörtlich wiedergegeben gelten.
Die Erfindung wird unter Bezugnahme auf die beigeschlossenen Zeichnungen, in welchen eine lediglich bevorzugte Ausführungsform beispielhaft dargestellt ist, näher beschrieben. Dabei zeigt:
Fig. 1 eine bevorzugte Ausführungsform einer gegenständlichen Brille im Aufriss; Fig. 2 die Brille gemäß Fig. 1 im Grundriss; Fig. 3 die Brille gemäß Fig. 1 im Seitenriss;
Fig. 4 die Brille gemäß Fig. 1 in einer ersten axonometrischen Darstellung; Fig. 5 die Brille gemäß Fig. 1 in einer zweiten axonometrischen Darstellung; Fig. 6 die Brille gemäß Fig. 1 in einer dritten axonometrischen Darstellung;
Fig. 7 ein Blockschaltbild einer bevorzugten Ausführungsform einer
gegenständlichen Brille
Fig. 8 ein Ausschnitt einer Brille gemäß Fig. 1 im Grundriss;
Fig. 9 ein Ausschnitt einer Brille gemäß Fig. 1 im Seitenriss; und
Fig. 10 ein Ausschnitt einer Brille gemäß Fig. 1 in einer vierten axonometrischen Darstellung.
Die Fig. 1 bis 10 zeigen eine Brille 1 mit einem Rahmen 2, wobei der Rahmen 2 wenigstens eine Scheibenauf nahmeöffnung 3 für eine Scheibe aufweist, und wobei der Rahmen 2 einen rechten Nasenteilrahmen 5 und einen linken Nasenteilrahmen 6 aufweist, wobei in dem rechten Nasenteilrahmen 5 eine rechte
Augenerfassungskamera 7 angeordnet ist, und dass in dem linken Nasenteilrahmen 6 eine linke Augenerfassungskamera 8 angeordnet ist.
Dadurch kann eine Detektion der Blickrichtung beider Augen 24 eines Probanden erfolgen, wobei dieser weitestgehend durch den Messaufbau unbeeinflusst bleibt. Dadurch kann eine bessere Detektion der Blickrichtung eines Probanden erfolgen als bei Aufnahme lediglich eines Auges 24. Durch die sog. binokulare Messung kann zum einen die Messung im Mittenbereich, daher in einem Bereich der Augenstellung in dem beiden Augen 24 durch die dem jeweiligen Auge 24 zugeordnete
Augenerfassungskamera 7, 8 sichtbar sind, mit bislang unerreichter Genauigkeit erfolgen, und gleichzeitig bei sog. Seiten läge der Augen 24, daher in Situationen in welchen der Proband sozusagen„aus den Augenwinkeln" blickt, überhaupt erst eine Messung erfolgen. Durch die Detektion beider Augen 24 aus dem Bereich der Nasenauflage bzw. Nasenteilrahmen 5, 6 heraus, kann jederzeit zumindest eines der Augen 24 aus einem für die Messgenauigkeit vorteilhaften Winkel aufgenommen werden, wodurch gute Messergebisse erzielt werden können.
Durch die Anordnung der Augenerfassungskameras 7, 8 in den Nasenteilrahmen 5, 6 kann eine Beeinflussung der Pupillendetektion durch, das Auge 24 umgebende Wimpern reduziert werden. Weiters kann dadurch der Einfluss störender Reflexionen auf den Pupillen vermindert werden. Auch kann durch die Detektion beider Augen 24 eines Probanden exakter als bislang der Lidschlag des Probanden erkannt werden.
Durch die Detektion beider Pupillen eines Probanden kann auch die
Fokusentfernung bestimmt werden, daher die Entfernung auf welche der betreffende Proband fokussiert. Dabei können durch Vergleich der Messung der zu den einzelnen Augen 24 ermittelten Messwerte, auch schnell und einfach
Augenfehlstellungen erkannt werden. Dazu kann es erforderlich sein, die
betreffende Brille jeweils einzeln auf die Augen 24 des Probanden zu kalibrieren. Weiterhin können mit der gegenständlichen Brille 1 Messungen an einzelnen Augen 24 durchgeführt werden, etwa indem das jeweils andere Auge 24 abgedeckt wird.
Durch Beleuchten der Augen 24 mit einer Infrarotstrahlungsquelle in einer abgedunkelten Umgebung kann mit der gegenständlichen Brille 1 zudem eine Analyse der Netzhaut erfolgen.
Durch die Anordnung der Augenerfassungskameras 7, 8 in den Nasenteilrahmen 5, 6 kann eine Brille 1 geschaffen werden, welche eine hohe Messgenauigkeit
hinsichtlich der Blickrichtung der Augen 24 eines Benutzers aufweist, und welche unauffällig getragen werden kann, sodass keine Beeinflussung des Verhaltens des Benutzers aufgrund des Tragens der Brille 1 gegeben ist. Dadurch können vor allem bei öffentlichem Einsatz der Brille 1 deutlich verbesserte Ergebnisse erzielt werden, da sowohl die Messgenauigkeit gesteigert ist, und die Messapparatur nunmehr durch die Umgebung nicht mehr wahrgenommen werden kann und folglich auch zu keinen negativen Beeinflussungen der Testperson führt. Durch die
Integration der Augenerfassungskameras 7, 8 in die Nasenteilrahmen 5, 6 weist die Brille 1 keine vorstehenden Teile auf, und ist daher geeignet als Arbeitsbrille bzw. Schutzbrille getragen zu werden. Dadurch können die Blickbewegungen eines Arbeiters bzw. eines, eine Maschine bedienenden Menschen nicht nur überwacht und ausgewertet werden, sondern unmittelbar zur Steuerung der Maschine eingesetzt werden. Zudem kann dadurch die Befähigung zum Führen einer Maschine überwacht werden, da aufgrund der Augenbewegungen auf den physischen und psychischen Zustand des betreffenden Menschen geschlossen werden kann, etwa ob dieser übermüdet ist bzw. unter dem Einfluss psychotroper Substanzen steht. Die Angaben„rechts" bzw.„links" sind auf die bestimmungsgemäße Tragweise der Brille 1 durch einen Menschen bezogen.
Die gegenständliche Erfindung betrifft eine Brille 1 zum Tragen auf dem Kopf eines Menschen. Die Brille 1 weist einen Rahmen 2 auf, welcher auch als Mittelteil bezeichnet sein kann. Weiters weist die Brille 1 einen ersten Bügel 15 und einen zweiten Bügel 16 auf, welche mit dem Rahmen 2 verbunden sind. Die beiden Bügel 15, 16 sind bevorzugt einstückig an den Mittelteil angeformt, etwa unter
Ausbildung eines flexiblen Bereichs, welcher ein Abbiegen der Bügel 15, 16 ermöglicht. Es kann auch vorgesehen sein, dass die beiden Bügel 15, 16 mittels eines Scharniers mit dem Mittelteil verbunden sind. Die Bügel 15, 16 sind dazu vorgesehen, wie an sich bekannt, die Brille 1 am Kopf des Trägers zu halten, etwa indem diese dazu ausgebildet sind, die Ohren des die Brille 1 tragenden Menschen zu hintergreifen.
Der Rahmen 2 und die beiden Bügel 15, 16 sind bevorzugt umfassend einem
Kunststoff ausgebildet.
Der Rahmen 2 weist zumindest eine Scheibenaufnahmeöffnung 3 auf, in welcher bevorzugt eine Scheibe angeordnet ist, welche Scheibe umgangssprachlich und unabhängig von deren Material auch als Glas bzw. Brillenglas bezeichnet wird. Gemäß der dargestellten bevorzugten Ausführungsform ist vorgesehen, dass die Brille 1 zwei Scheibenaufnahmeöffnungen 3 aufweist, und dass in den beiden Scheibenauf nahmeöffnungen 3 jeweils eine Scheibe angeordnet ist. Bei den Scheiben kann es sich auch um optische und/oder getönte Scheiben handeln. Durch die gegenständliche Brille 1 werden auch derartige Blickanalysen bei Trägern optischer Brillen möglich.
Der Rahmen 2 weist, in an sich bekannter Weise, eine U -förmige
Nasenaufnahmeaussparung auf, welche zur Anordnung der Brille 1 auf der Nase eines Menschen vorgesehen ist. Die Bereiche des Rahmens 2, welche diese
Aussparung seitlich beranden werden als rechter Nasenteilrahmen 5 und linker Nasenteilrahmen 6 bezeichnet. Bei dem rechten und dem linken Nasenteilrahmen 5, 6 handelt es sich bevorzugt um Bereiche des, die Scheibenaufnahmeöffnungen 3 umschließenden, Rahmens 2 welche unmittelbar und/oder einstückig in die weiteren Bereiche des Rahmens 2 übergehen. Die Nasenteilrahmen 5, 6 können auch als Nasenteil-Rahmen 5, 6 bezeichnet werden.
Es kann auch vorgesehen sein, dass der Rahmen 2 die wenigstens eine
Scheibenaufnahmeöffnung 3 nicht allseitig umschließt, und die
Scheibenaufnahmeöffnung 3 daher als randoffene Ausnehmung ausgebildet ist.
Die Flächen, welche zum unmittelbaren Kontakt mit der Nase des Brille-tragenden Menschen vorgesehen ist, wird als Nasenauflagef lache 20 bezeichnet. Es kann vorgesehen sein, dass diese Nasenauf lageflächen 20 als einstückige Bestandteile des Rahmens 2 ausgebildet sind. Bevorzugt ist vorgesehen, dass die Brille 1 wenigstens eine Nasenstegauf nähme 11 aufweist, zur Aufnahme wenigstens eines Nasenstegs 12.
Die Nasenstegaufnahme 11 ist dabei in bzw. an der U-förmigen
Nasenaufnahmeaussparung des Rahmens 2 angeordnet. Dabei ist bevorzugt vorgesehen, dass die Nasenstegaufnahme 11 einen Teil einer Rastverbindung aufweist, und dass die zur Anordnung in der Nasenstegaufnahme 11 vorgesehenen Nasenstege 12 den entsprechenden anderen Teil einer solchen Rastverbindung aufweisen.
Bevorzugt ist vorgesehen, dass die Brille, wie in den Figuren dargestellt, lediglich eine einzige Nasenstegaufnahme 11 aufweist, in welcher ein einstückiger U- förmiger Nasensteg 12 angeordnet ist, welcher auch als Sattelsteg bezeichnet wird. Es kann aber auch vorgesehen sein, dass an jedem der beiden Nasenteilrahmen 5, 6 jeweils eine Nasenstegaufnahme 11 angeordnet ist, zur Aufnahme jeweils eines Nasenstegs 12. Durch die Nasenstegaufnahme 11 können unterschiedlich
ausgeformte Nasenstege 12 in die Brille 1 eingesetzt werden, welche dadurch an unterschiedliche Nasengeometrien angepasst werden kann, wodurch die Brille 1 mit einfachen Mitteln an unterschiedliche Menschen angepasst werden kann, wobei insbesondere auch vorgesehen sein kann, entsprechende Nasenstege 12 gezielt an Einzelindividuen anzupassen. Es kann vorgesehen sein, die Brille 1 in einem Set bzw. System zusammen mit unterschiedlich geformten Nasenstegen 12 bereit zu stellen, zur vorgebbaren Anpassung der Brille 1 an unterschiedliche Personen durch Austausch der Nasenstege 12. Bevorzugt ist der wenigstens eine Nasensteg 12 umfassend Silikon und/oder einem Elastomer ausgebildet.
Es ist vorgesehen, dass in dem rechten Nasenteilrahmen 5 eine rechte
Augenerfassungskamera 7 angeordnet ist, und dass in dem linken Nasenteilrahmen 6 eine linke Augenerfassungskamera 8 angeordnet ist. Die beiden
Augenerfassungskameras 7, 8 sind dabei in den Teilen des Rahmens 2 angeordnet, welche nächst der Nasenauf nahmeaussparung angeordnet sind. Die beiden
Augenerfassungskameras 7, 8 sind als Digitalkameras ausgebildet und weisen ein Objektiv auf. Die beiden Augenerfassungskameras 7, 8 sind dazu vorgesehen jeweils ein Auge des, die betreffende Brille 1 tragenden Menschen zu filmen, und dabei jeweils ein aus einzelnen Augenbildern bzw. Einzelbildern bestehendes Augenvideo zu erstellen.
Ein hauptsächlicher Zweck der Augenerfassungskameras 7, 8 ist es die Pupille des, die Brille 1 tragenden Menschen zu erfassen. Es kann daher ausreichend sein, wenn nicht das gesamte Auge durch die jeweilige Augenerfassungskamera 7, 8 erfasst wird bzw. werden kann, sondern lediglich ein Bereich um die Pupille des jeweiligen Auges. Die Augenerfassungskameras 7, 8 können auch als
Pupillenerfassungskameras bezeichnet werden. Die Augenerfassungskameras 7, 8 haben eine geeignete Brennweite um aus der Position in den Nasenteilrahmen die entsprechenden Bereiche des Auges zu erfassen. Die Brennweite und der mit einer Brennweite erfassbare Öffnungswinkel sind abhängig von der Sensorgröße der Kamera und durch den ausführenden Fachmann mit den gegenständlichen Angaben problemlos auswählbar.
Die rechte Augenerfassungskamera 7 ist auf einen rechten Bereich 9 gerichtet, in welchem, wenn die Brille 1 auf dem Kopf eines Menschen angeordnet ist, bei einer Vielzahl von Menschen zumindest bereichsweise das rechte Auge 24 dieses
Menschen angeordnet ist. Entsprechend ist die linke Augenerfassungskamera 8 auf einen linken Bereich gerichtet, in welchem, bei einer Vielzahl von Menschen zumindest bereichsweise das linke Auge dieses Menschen angeordnet ist. Die Position des rechten Bereichs 9 und des linken Bereichs, und damit die
Blickrichtung der beiden Augenerfassungskameras 7, 8 sind individuell
unterschiedlich. Jedoch gibt es je nach Geschlecht und ethnischer Zugehörigkeit statistische Häufigkeiten hinsichtlich der Position der Augen als auch der Nasengeometrie, welche es ermöglicht die Blickrichtung der beiden
Augenfassungskameras 7, 8, wenigstens für einzelne Gebiete bzw. Länder, derart vorzugeben, dass die betreffend ausgebildete Brille für eine große Anzahl an Menschen in dem betreffenden Gebiet passend ist.
Gemäß einer bevorzugten Ausführungsform einer gegenständlichen Brille ist vorgesehen, dass der rechte Bereich 9 zwischen 20 mm und 40 mm, insbesondere zwischen 25 mm und 35 mm, rechts einer Brillenmitte 10, der entsprechende Abstand 25 ist in Fig. 8 eingezeichnet, und zwischen 10 mm und 25 mm
beabstandet von der rechten Augenerfassungskamera 7 angeordnet ist, und der linke Bereich zwischen 20 mm und 40 mm, insbesondere zwischen 25 mm und 35 mm, links der Brillenmitte 10 und zwischen 10 mm und 25 mm beabstandet von der linken Augenerfassungskamera 8 angeordnet ist. Da Brillen 1 in der Regel symmetrisch aufgebaut sind, weisen diese auch eine eindeutig definierte Mitte auf. Der Abstand von den Augenerfassungskameras 7, 8 ist in Richtung der Erstreckung der Bügel 15, 16 bzw. des Kopfaufnahmebereichs der Brille 1 zu messen. Durch die angegebenen Werte kann eine gute Grundanpassung an die Kopfform in Europa und Nordamerika erzielt werden. Brillen für den asiatischen, afrikanischen,
lateinamerikanischen oder pazifischen Raum sind entsprechend mit anderen Werten auszubilden, unter Berücksichtigung der gegenständlichen Angaben.
Die Fig. 8, 9 und 10 zeigen jeweils Detailansichten der gegenständlichen Brille 1. In den betreffenden Figuren 8, 9 und 10 ist ein Koordinatensystem eingezeichnet. Dieses wurde, ausgehend von der Symmetrie der betreffenden Brille 1 , derart gewählt, dass die durch die Y-Achse und die Z-Achse aufgespannte YZ-Ebene auf der rechten und der linken Seite der Brille jeweils gegengleiche bzw. symmetrisch angeordnete Bereiche schneidet. Auf die YZ-Ebene normal und parallel zur
Symmetrieebene der Brille ist die durch die X-Achse und die Z-Achse aufgespannte XZ-Ebene angeordnet. Normal auf die YZ-Ebene und die XZ-Ebene ist die XY-Ebene angeordnet. Die rechte Augenerfassungskamera 7 und die linke
Augenerfassungskamera 8 sind jeweils gegenüber diesen Ebenen bzw. Achsen geneigt angeordnet. Dabei ist gemäß einer bevorzugten Ausführungsform
vorgesehen, dass jeweils eine optische Achse 23 der beiden
Augenerfassungskameras 7, 8 unter einem ersten Winkel 21 gegenüber der Y-Achse angeordnet sind, und dass der erste Winkel 21 zwischen 30 und 501 beträgt.
Weiters ist gemäß der bevorzugten Ausführungsform vorgesehen, dass jeweils eine optische Achse 23 der beiden Augenerfassungskameras 7, 8 unter einem zweiten Winkel 22 gegenüber der X-Achse angeordnet sind, und dass der zweite Winkel 22 zwischen 25 und 35 ' beträgt.
Zur Anpassung der Brillen 1 können, wie bereits beschrieben, unterschiedliche Nasenstege 12 verwendet werden. Alternativ und/oder zusätzlich hiezu kann vorgesehen sein, dass die rechte Augenerfassungskamera 7 und/oder die linke Augenerfassungskamera 8 wenigstens um eine Achse, insbesondere um 2 Achsen, verschwenkbar in dem rechten Nasenteilrahmen 5 bzw. dem linken
Nasenteilrahmen 6 angeordnet sind. Dadurch kann die Blickrichtung der rechten bzw. linken Augenerfassungskamera 7, 8 eingestellt werden. Dadurch ist eine Anpassung der Brille 1 an unterschiedliche Kopfformen möglich.
Gemäß einer bevorzugten Ausführungsform einer gegenständlichen Brille 1 ist vorgesehen, dass an dem Rahmen 2 wenigstens eine Blickfeldkamera 13 angeordnet ist. Die Blickfeldkamera 13 ist dazu vorgesehen ein, aus einzelnen und aufeinander folgenden Blickfeldbildern bestehendes Blickfeldvideo zu aufzunehmen. Dadurch kann in Korrelation der Aufnahmen der beiden Augenerfassungskameras 7, 8 und der wenigstens einen Blickfeldkamera 13, in dem Blickfeldvideo der jeweilige Blickpunkt eingetragen werden. Die Blickfeldkamera 13 ist lediglich in Fig. 1 an der Brille 1 explizit eingezeichnet.
Bevorzugt ist vorgesehen, dass die wenigstens eine Blickfeldkamera 13 in einem Bereich bzw. Steg zwischen dem rechten Nasenteilrahmen 5 und dem linken Nasenteilrahmen 6 angeordnet ist. Es kann auch vorgesehen sein eine größere Anzahl an Blickfeldkameras 13 in der Brille 1 anzuordnen, wobei insbesondere je eine linke und eine rechte Blickfeldkamera im Rahmen 2 im Bereich des Übergangs zum ersten bzw. zweiten Bügel 15, 16 vorgesehen ist.
Bevorzugt ist vorgesehen, dass die Brille 1 eine Datenverarbeitungseinheit 17 und eine Datenschnittstelle 18 aufweist, dass die Datenverarbeitungseinheit 17 mit der rechten Augenerfassungskamera 7 und der linken Augenerfassungskamera 8 verbunden ist, dass die Brille 1 weiters einen Energiespeicher 19 zur Energieversorgung der rechten Augenerfassungskamera 7 und der linken Augenerfassungskamera 8 sowie der Datenverarbeitungseinheit 17 und der
Datenschnittstelle 18 aufweist.
Es ist gemäß einer besonders bevorzugten Ausführungsform gegenständlicher Brille 1 vorgesehen, dass in dem ersten Bügel 15 die Datenverarbeitungseinheit 17 und die Datenschnittstelle 18 angeordnet sind, und dass in dem zweiten Bügel 16 der Energiespeicher 19 angeordnet ist. Dabei kann der erste Bügel 15 entweder der rechte oder der linke Bügel sein, und vice versa. Dadurch kann die gesamte
Aufnahme, Erstauswertung und Speicherung der aufgenommenen Videos in bzw. durch die Brille 1 selbst erfolgen. Dadurch kann auf störende Verbindungen verzichtet werden.
Fig. 7 zeigt ein Blockschaltbild einer entsprechend ausgebildeten Brille 1 , wobei die Außenkonturen des Blockschaltbildes die Brille 1 symbolisieren sollen. Im Mittelteil bzw. Rahmen 2 sind die drei Kameras, die Blickfeldkamera 13, die rechte Augenerfassungskamera 7 und die linke Augenerfassungskamera 8 angeordnet. Diese sind jeweils mit dem im zweiten Bügel 16 angeordneten Energiespeicher 19, welcher bevorzugt als Akkumulator ausgebildet ist, schaltungstechnisch zumindest mittelbar verbunden. In dem ersten Bügel 15 ist eine Datenverarbeitungseinheit 17 angeordnet, welche einen Datenspeicher mitumfasst. Bevorzugt ist diese als Kombination eines Mikrokontrollers oder DSP zusammen mit einem RAM
ausgebildet. Die Datenverarbeitungseinheit 17 ist signalleitertechnisch mit einer Datenschnittstelle 18verbunden. Es kann auch vorgesehen sein, dass die
Datenschnittstelle 18 und die Datenverarbeitungseinheit 17 hardwaremäßig gemeinsam ausgebildet sind, etwa durch ein ASIC oder ein FPGA. Bevorzugt ist die Schnittstelle als drahtlose Schnittstelle, etwa zufolge dem Bluetooth-Standard oder IEEE 802.x, ausgebildet, oder als leitungsgebunde Schnittstelle, etwa zufolge dem USB-Standard, wobei in diesem Fall die Brille 1 eine entsprechende Steckdose, etwa zufolge Micro-USB, aufweist. Die Datenverarbeitungseinheit 17 und die Datenschnittstelle 18 sind schaltungstechnisch wenigstens mittelbar mit dem Energiespeicher 19 verbunden, und signalleitertechnisch mit den drei Kameras, der Blickfeldkamera 13, der rechten Augenerfassungskamera 7 und der linken
Augenerfassungskamera 8. Wie bereits dargelegt eignet sich die gegenständlich beschriebene Brille 1 besonders gut zur Durchführung eines Verfahrens zur Bestimmung von
Pupillenmittelpunkten beider Augen eines Menschen geeignet. Dabei ist
vorgesehen, dass die rechte Pupille des Menschen von der rechten
Augenerfassungskamera 7 erfasst wird, wobei die rechte Augenerfassungskamera 7 ein aus aufeinander folgenden rechten Einzelbildern bestehendes rechtes
Augenvideo erstellt, wobei rechte Pupillenkoordinaten innerhalb der rechten Augenbilder eines - dem rechten Pupillenmittelpunkt entsprechenden - Schwerpunkts der rechten Pupille aus den rechten Augenbildern ermittelt werden, wobei die linke Pupille des Menschen von der linken Augenerfassungskamera 8 erfasst wird, wobei die linke Augenerfassungskamera 8 ein aus aufeinander folgenden linken Einzelbildern bestehendes linkes Augenvideo erstellt, wobei Pupillenkoordinaten innerhalb der linken Augenbilder eines - dem linken
Pupillenmittelpunkt entsprechenden - Schwerpunkts der linken Pupille aus den linken Augenbildern ermittelt werden, und wobei der rechte Pupillenmittelpunkt und/oder der linke Pupillenmittelpunkt gespeichert und/oder ausgegeben wird.
Dadurch kann eine Detektion der Blickrichtung beider Augen 24 eines Menschen erfasst werden. Dadurch kann mit hoher Genauigkeit die Blickrichtung eines Menschen bestimmt werden. Dadurch kann zusätzlich bzw. alternativ auch die Fokusentfernung bzw. die Scharfstellentfernung der Augen des betreffenden Menschen ermittelt werden. Dadurch kann ein Lidschlag als spontaner Lidschlag erkannt werden, wodurch sicher zwischen unterschiedlichen Zuständen des betreffenden Menschen unterschieden werden kann, etwa zwischen einem Zustand hoher Konzentration und einem Zustand der Müdigkeit.
Bevorzugt ist vorgesehen, dass jeweils zu den beiden Augenerfassungskameras 7, 8 sowie die Blickfeldkamera 13 eine rechnerische Objektiventzerrung durchgeführt wird, sowie eine Korrektur perspektivischer Verzerrungen.
Die beiden Augenvideos und das Blickfeldvideo werden zeitlich synchronisiert aufgenommen, was von der Datenverarbeitungseinheit 17 gesteuert wird.
Die Ermittlung der Pupillenkoordinaten sowie die Korrelation mit einem
Blickfeldvideo, wie dies auch bei gegenständlicher Brille 1 bzw. gegenständlichem Verfahren bevorzugt vorgesehen ist, ist in der EP 1 300 018 B1 beschrieben.
Bei dem bevorzugten Verfahren werden die genauen Pupillenkoordinaten des Pupillenmittelpunktes im Augenvideo durch ein Bilderkennungsprogramm ermittelt. Hierbei werden die Pupillenkoordinaten für jedes Einzelbild des Augenvideos ermittelt. Die Ermittlung der Pupillenkoordinaten erfolgt vorzugsweise automatisch mit einem Bilderkennungsprogramm. Hierfür werden für jedes Einzelbild des Augenvideos die Kontraste der Pupille zum Umfeld registriert und alle Punkte des Einzelbilds, die dunkler als ein eingestellter Dunkelheitsgrad sind, gesucht. Mit diesen Punkten wird eine Dunkelfläche voll erfasst und abgegrenzt, und daraufhin automatisch der Schwerpunkt dieser Dunkelfläche ermittelt. Da die Dunkelfläche der Pupille der Testperson entspricht, stellt der Schwerpunkt der Dunkelfläche den Pupillenmittelpunkt dar. Vorzugsweise bietet das Bilderkennungsprogramm
Einstellungsvarianten für die entsprechenden Kontraste und den Dunkelheitsgrad, sodass eine besonders hohe Genauigkeitsstufe für alle Einzelbilder erreicht werden kann. Wie vorstehend bereits ausgeführt kann auch zusätzlich vorgesehen sein Punkte am Rand der Pupille auszuwählen, welche aufgrund des Kontrasts zur Umgebung besonders gut und sicher identifiziert werden können, und dass diese Punkte als Teil einer Ellipse angenommen werden, woraufhin der Schwerpunkt bzw. der Mittelpunkt einer Ellipse berechnet wird, auf deren Umfang auch die vorgebbare Anzahl an Punkten liegen. Für jedes Einzelbild kann somit für unterschiedliche Belichtungsverhältnisse der jeweils beste Kontrast in Form einer Grauwertschwelle sichergestellt werden, was insgesamt eine sichere Bestimmung der Pupillenkoordinaten möglich macht. Die Grauwertschwelle ist jener Wert, der z.B. bei digitalisierter Form zwischen 1 und 256 liegt, und den prozentuellen Anteil von Schwarz bzw. Weiß an einem Bildpunkt definiert. Der höchste erreichbare Wert entspricht einem vollen Schwarz, der niedrigste Wert dem Weiß. Da die Pupille bei der Aufzeichnung voraussichtlich nie den vollen Schwarzwert erreicht, ist ein Wert zu definieren, der - zumindest für dieses Bild - dem real vorhandenen Pupillengrau entspricht. Der Schwellwert scheidet alle Bildpunkte aus, die heller als der definierte Grau wert sind, alle dunkleren Bereiche werden zur Schwerpunktsfindung herangezogen. Drei Parameter ermöglichen es, die Schwellendefinition zu optimieren. Da sich bei den Versuchen innerhalb einer Sequenz die
Belichtungsverhältnisse oft sehr stark verändern, ist diese Schwellwertdefinition vorzugsweise auch für jedes Bild einzeln möglich. Alle Einstellungen können entsprechend den hohen Anforderungen für jedes Bild der Sequenz in einer Datei abgelegt werden.
Ausgehend von den ermittelten Pupillenkoordinaten können dies unterschiedlich weiterverarbeitet werden, beispielsweise durch die in der EP 1 300 018 B1 beschriebene Korrelation mit einem Blickfeldvideo, welches von der
Blickfeldkamera erstellt wird.
Es ist bevorzugt vorgesehen, dass die Brille 1 vor Ermittlung der
Pupillenmittelpunkte anhand einer vorgebbaren Blicksequenz kalibriert wird.
Hierfür werden zunächst eine oder mehrere Musterblicksequenzen der Testperson auf einen oder mehrere bestimmte vorgegebene Passpunkte aufgenommen. Unter Musterblicksequenz ist eine Blicksequenz zu verstehen, welche lediglich für die Kalibrierung aufgenommen wird, und bei der die Testperson auf vorgegebene Passpunkte blickt. Beispielsweise kann ein bestimmter Passpunkt auf einer Wand markiert sein. Um einen bestmöglichen Kontrast zu erhalten, kann beispielsweise eine schwarze Markierung auf einer sonst weißen Oberfläche als Passpunkt gewählt werden. Der Passpunkt ist in der Regel ein Kreuz oder ein Leuchtpunkt oder ähnliches. Die Testperson wird angewiesen, diesen Passpunkt zu fixieren, wobei das Blickfeld und das Auge der Testperson durch die beiden Augenerfassungskameras und die Blickfeldkamera aufgenommen werden. Die anzuvisierenden Passpunkte sind zudem bevorzugt in unterschiedlichen definierten Abständen angeordnet.
Gemäß einer bevorzugten Weiterbildung der gegenständlichen Brille ist
vorgesehen, dass an einer Frontseite der Brille 1 wenigstens ein Leuchtmittel 26, insbesondere eine LED, angeordnet ist, und dass das Leuchtmittel 26 mit der Datenverarbeitungseinheit 17 sowie dem Energiespeicher 19 verbunden ist. Als Frontseite der Brille 1 ist dabei die dem Träger der Brille 1 abgewandte Seite bezeichnet. Durch das Leuchtmittel 26 ist eine einfache und automatisierbare Kalibrierung der Brille 1 möglich. Das Leuchtmittel ist hiezu durch die
Datenverarbeitungseinheit 17 angesteuert.
Bevorzugt ist dabei vorgesehen, dass gegenüber dem, die Brille tragenden
Menschen eine reflektierende Oberfläche, insbesondere ein Spiegel, angeordnet wird bzw. sich der betreffende Mensch vor einen Spiegel platziert, und dass zum Kalibrieren der Brille 1 das Leuchtmittel 26 aktiviert wird. Der betreffende Mensch betrachtet nun sein Abbild in dem Spiegel und fixiert dabei das Abbild des
Leuchtmittels. Durch vorgebbares Verändern der Position des Kopfes unter ständiger Fixierung des Leuchtmittelabbildes im Spiegel ändern sich die Positionen der Pupillen gegenüber der Brille 1 bzw. den Augenerfassungskameras 7, 8. Da die Wellenlänge bzw. Farbe des Leuchtmittels 26 bekannt ist, kann dieses durch die Blickfeldkamera 13 und die Datenverarbeitungseinheit 17 einfach erkannt werden.
Wie bereits erwähnt, ist es mit der gegenständlichen Brille 1 sowie dem vorstehend beschriebenen Verfahren in dessen Weiterbildung möglich einen spontanen
Lidschlag als solchen zu erkennen, im Unterscheid etwa zu den Lidbewegungen, wie diese etwa durch einen in ein Auge gelangenden Fremdkörper ausgelöst werden. Dabei ist vorgesehen, dass weiters in den aufeinander folgenden rechten Einzelbildern die rechten Augenlider detektiert werden, wobei in den aufeinander folgenden linken Einzelbildern die linken Augenlider detektiert werden, und wobei wenn in einem rechten Einzelbildern ein rechtes Augenlid den rechten
Pupillenmittelpunkt verdeckt und in einem Einzelbildern Augenbild ein linkes Augenlid den linken Pupillenmittelpunkt verdeckt eine Meldung eines spontanen Lidschlags erzeug und ausgegeben und/oder gespeichert wird. Die betreffenden rechten und linken Einzelbilder, welche in der genannten Bedingung angeführt sind, sind jeweils zeitlich im Wesentlichen gleichzeitig aufgenommene Einzelbilder.
Zur Detektion der Augenlider ist vorgesehen, dass zuerst die jeweiligen Pupillen voll erfasst werden. Mittels eines Bildverarbeitungsprogrammes mit
Mustererkennung ist es einfach möglich, die sich von einem Bild zum nächsten stetig fortbewegende Verdeckung der Pupille als solche zu erkennen und von einem Glanzpunkt zu unterscheiden. Derart ist eine bereichsweise Verdeckung der jeweiligen Pupillen einfach und sicher einem Lidschlag zuordenbar.
In Weiterbildung des betreffenden Verfahrens zur Verfahren zum Erkennen eines spontanen Lidschlags, ist weiters vorgesehen, dass eine visuelle Ausfallszeit zwischen dem Beginn eines spontanen Lidschlags und dem Ende desselben spontanen Lidschlags gemessen wird, und dass bei Überschreiten einer Grenzzeit durch die visuelle Ausfallszeit eine Warnmeldung erzeugt und/oder ausgegeben wird. Dadurch kann der physische und/oder psychische Zustand eines Menschen einfach überwacht werden. Dadurch kann eine gegenständliche Brille 1 in
Zusammenwirken mit einer Maschine überwachen, ob der die Maschine bedienende Mensch die für diese Tätigkeit als erforderlich erachtete Aufmerksamkeit aufbringt. So kann etwa die Brille 1 anhand der Lidschlagaktivitäten der betreffenden
Bedienperson auswerten, ob dieser übermüdet ist, und ein sicherer weiterer Betrieb der Maschine gefährdet ist. Die Brille 1 kann dann beispielsweise eine Warnmeldung abgeben, die betreffende Maschine abschalten oder sonstige
Schaltvorgänge auslösen.
In Weiterbildung des Verfahrens zur Bestimmung der Pupillenmittelpunkte beider Augen eines Menschen, ist vorgesehen, weiters die Fokusentfernung eines
Menschen zu ermitteln, wobei aus den Pupillenkoordinaten in den Einzelbildern der Blickfeldvideos ein Augenabstand ermittelt wird, wobei den rechten
Pupillenkoordinaten ein rechter Blickwinkel zugeordnet wird, wobei den linken Pupillenkoordinaten ein linker Blickwinkel zugeordnet wird, und wobei aus dem Augenabstand, dem rechten Blickwinkel und dem linken Blickwinkel die
Fokusentfernung ermittelt, und vorzugsweise gespeichert und/oder ausgegeben wird. Insbesondere können dabei Schaltimpulse bzw. Schaltbefehle erzeugt und ausgegeben werden.
Dabei wird zur Ermittlung der Fokusentfernung der Augenabstand und die
jeweiligen Blickwinkel der beiden Augen ermittelt. Der Augenabstand bildet die Basis eines fiktiven Dreiecks, wobei die Blickwinkel der beiden Augen die Winkel darstellen, welche die beiden Seiten zur Basis einnehmen. Daraus kann einfach die Höhe des betreffenden Dreiecks als Fokusentfernung bzw. Augeneinstellentfernung ermittelt werden, wodurch noch genauer festgestellt werden kann, auf welchen Punkt ein Mensch tatsächlich blickt.
Durch Einzelmessungen an den beiden Augen eines Probanden können zudem Fehlstellungen der Augen einfach und sicher erkannt werden, dabei kann es erforderlich sein, die Augenerfassungskameras 7, 8 jeweils für die beiden Augen separat zu kalibrieren, etwa in dem ein Auge abgedeckt wird.
Gemäß einer vorteilhaften Weiterbildung der Erfindung kann vorgesehen sein, dass die ermittelte Fokusentfernung genutzt wird, um in den
Scheibenauf nahmeöffnungen 3 angeordnete Gläser bzw. Linsen mit variabler bzw. vorgebbar veränderbarer Geometrie einzustellen bzw. zu steuern. Dabei ist bevorzugt vorgesehen, dass die wenigstens eine Linse mit der
Datenverarbeitungseinheit 17 verbunden ist. Zur Einstellung der betreffenden geometrischen Parameter an der betreffenden Linse, ist es erforderlich, dass in dem, der Datenverarbeitungseinheit 17 zugeordneten Speicher die jeweils zu bestimmten Fokusentfernungen bzw. Entfernungsintervallen abgelegt sind. Die betreffenden Parameter können dabei jeweils zu jeder Fokusentfernung mehrere Variablen enthalten. Zur Einstellung der Geometrie der betreffenden Linsen ist bevorzugt vorgesehen, dass dem Datenspeicher wenigstens ein, der ermittelten Fokusentfernung zugeordneter, Wert zur geometrischen Bestimmung der Linse mit vorgebbar veränderbarer Geometrie entnommen wird, und dass die Geometrie der Linse aufgrund des Wertes eingestellt wird. Dadurch kann eine Brille 1 geschaffen werden, welche auch bei komplizierten Sehschwächen sicher Abhilfe schaffen kann.
Darüber hinaus können aus den Bildern der beiden Augen Anomalien, voranging im Pupillen und/oder Irisbereich, erkannt werden.
In Zusammenhang mit vorgebbar durchzuführenden Untersuchungsabläufen können gleichzeitig die Navigationsstrukturen bzw. -muster der Augen aufgenommen werden. Darüber hinaus können diese Analysiert und Verglichen werden, sodass reale Augenmedizinische Befundaufnahmen möglich sind.

Claims

P A T E N T A N S P R Ü C H E
1 . Brille (1 ) mit einem Rahmen (2), wobei der Rahmen (2) wenigstens eine Scheibenaufnahmeöffnung (3) für eine Scheibe aufweist, und wobei der Rahmen (2) einen rechten Nasenteilrahmen (5) und einen linken Nasenteilrahmen (6) aufweist, dadurch gekennzeichnet, dass in dem rechten Nasenteilrahmen (5) eine rechte Augenerfassungskamera (7) angeordnet ist, und dass in dem linken
Nasenteilrahmen (6) eine linke Augenerfassungskamera (8) angeordnet ist.
2. Brille (1 ) nach Anspruch 1 , dadurch gekennzeichnet, dass die rechte Augenerfassungskamera (7) auf einen rechten Bereich (9) gerichtet ist, welcher rechte Bereich (9) zwischen 20 mm und 40 mm, insbesondere zwischen 25 mm und 35 mm, rechts einer Brillenmitte (10) und zwischen 10 mm und 20 mm beabstandet von der rechten Augenerfassungskamera (7) angeordnet ist, und dass die linke Augenerfassungskamera (8) auf einen linken Bereich gerichtet ist, welcher linke Bereich zwischen 20 mm und 40 mm, insbesondere zwischen 25 mm und 35 mm, links der Brillenmitte (10) und zwischen 10 mm und 20 mm beabstandet von der linken Augenerfassungskamera (8) angeordnet ist.
3. Brille (1 ) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die rechte Augenerfassungskamera (7) und/oder die linke Augenerfassungskamera (8) wenigstens um eine Achse, insbesondere um 2 Achsen, verschwenkbar in dem rechten Nasenteilrahmen (5) bzw. dem linken Nasenteilrahmen (6) angeordnet sind.
4. Brille (1 ) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Brille (1 ) wenigstens eine Nasenstegaufnahme (11 ) aufweist, zur Aufnahme wenigstens eines, insbesondere als Sattelsteg ausgebildeten, Nasenstegs (12).
5. Brille (1 ) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass an dem Rahmen (2) wenigstens eine Blickfeldkamera (13) angeordnet ist.
6. Brille (1 ) nach Anspruch 5, dadurch gekennzeichnet, dass die wenigstens eine Blickfeldkamera (13) in einem Bereich zwischen dem rechten Nasenteilrahmen (5) und dem linken Nasenteilrahmen (6) angeordnet ist.
7. Brille (1 ) nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Brille (1 ) eine Datenverarbeitungseinheit (17) und eine Datenschnittstelle (18) aufweist, dass die Datenverarbeitungseinheit (17) mit der rechten
Augenerfassungskamera (7) und der linken Augenerfassungskamera (8) verbunden ist, dass die Brille (1 ) weiters einen Energiespeicher (19) zur Energieversorgung der rechten Augenerfassungskamera (7) und der linken Augenerfassungskamera (8) sowie der Datenverarbeitungseinheit (17) und der Datensch m'ttsteüe (18) aufweist, wobei vorzugsweise die Datenverarbeitungseinheit (17) und die Datenschnittstelle (18) in einem, mit dem Rahmen (2) verbundenen ersten Bügel (15) angeordnet sind, und wobei vorzugsweise der Energiespeicher (19) in einem, mit dem Rahmen (2) verbundenen zweiten Bügel (16) angeordnet ist.
8. Brille (1 ) nach Anspruch 7, dadurch gekennzeichnet, dass an einer Frontseite der Brille (1 ) wenigstens ein Leuchtmittel (26), insbesondere eine LED, angeordnet ist, und dass das Leuchtmittel (26) mit der Datenverarbeitungseinheit (17) sowie dem Energiespeicher (19) verbunden ist.
9. Brille (1 ) nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass in der wenigstens einen Scheibenauf nahmeöffnung (3) eine Linse mit vorgebbar
veränderbarer Geometrie angeordnet ist, und dass die Linse mit der
Datenverarbeitungseinheit (17) verbunden ist.
10. System bestehend aus einer Brille (1 ) nach einem der Ansprüche 4 bis 9, sowie einer vorgebbaren Anzahl unterschiedlich geformter Nasenstege (12), zur vorgebbaren Anpassung der Brille (1 ) an unterschiedliche Personen durch Austausch der Nasenstege (12).
11. Verfahren zur Bestimmung von Pupillenmittelpunkten beider Augen eines Menschen, wobei der Mensch eine Brille (1 ) nach einem der Ansprüche 1 bis 9 trägt, wobei die rechte Pupille des Menschen von der rechten Augenerfassungskamera (7) erfasst wird, wobei die rechte Augenerfassungskamera (7) ein aus aufeinander folgenden rechten Einzelbildern bestehendes rechtes Augenvideo erstellt, wobei rechte Pupillenkoordinaten eines - dem rechten Pupillenmittelpunkt
entsprechenden - Schwerpunkts der rechten Pupille aus den rechten Einzelbildern ermittelt werden, wobei die linke Pupille des Menschen von der linken
Augenerfassungskamera (8) erfasst wird, wobei die linke Augenerfassungskamera (8) ein aus aufeinander folgenden linken Augenbildern bestehendes linkes
Augenvideo erstellt, wobei Pupillenkoordinaten eines - dem linken
Pupillenmittelpunkt entsprechenden - Schwerpunkts der linken Pupille aus den linken Augenbildern ermittelt werden, und wobei der rechte Pupillenmittelpunkt und/oder der linke Pupillenmittelpunkt gespeichert und/oder ausgegeben wird.
12. Verfahren nach Anspruch 11 , dadurch gekennzeichnet, dass die Brille (1 ) vor Ermittlung der Pupillenmittelpunkte anhand einer vorgebbaren Blicksequenz kalibriert wird.
13. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass gegenüber dem, die Brille tragenden Menschen eine reflektierende Oberfläche angeordnet wird, dass zum Kalibrieren der Brille (1 ) ein, an einer Frontseite der Brille (26) angeordnetes Leuchtmittel (26) aktiviert wird, dass der Mensch das Abbild des Leuchtmittels auf der reflektierenden Oberfläche betrachtet, und dabei, unter Fixierung des Abbilds des Leuchtmittels, seinen Kopf in vorgebbare
Positionen bringt.
14. Verfahren nach Anspruch 11 , 12 oder 13, dadurch gekennzeichnet, dass zur Ermittlung der Pupillenkoordinaten für jedes Einzelbild des Augenvideos mit einem Bilderkennungsprogramm automatisch
- die Kontraste der Pupille zum Umfeld registriert werden,
- alle Punkte des Einzelbilds, die dunkler als ein eingestellter Dunkelheitsgrad sind, gesucht werden,
- mit diesen Punkten eine der Pupille entsprechende Dunkelfläche voll erfasst und abgegrenzt wird, und der dem Pupillenmittelpunkt mit den Pupillenkoordinaten entsprechende Schwerpunkt der Dunkelfläche ermittelt wird.
15. Verfahren zum Erkennen eines spontanen Lidschlags eines Menschen, wobei die Pupillenmittelpunkte beider Augen des Menschen zufolge eines
Verfahrens nach einem der Ansprüche 1 1 bis 14 ermittelt werden, wobei in den aufeinander folgenden rechten Augenbildern die rechten Augenlider detektiert werden, wobei in den aufeinander folgenden linken Augenbildern die linken Augenlider detektiert werden, und wobei wenn in einem rechten Augenbild ein rechtes Augenlid den rechten Pupillenmittelpunkt verdeckt und in einem linken Augenbild ein linkes Augenlid den linken Pupillenmittelpunkt verdeckt eine
Meldung eines spontanen Lidschlags erzeugt und ausgegeben und/oder gespeichert wird.
16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass eine visuelle Ausfallszeit zwischen dem Beginn eines spontanen Lidschlags und dem Ende desselben spontanen Lidschlags gemessen wird, und dass bei Überschreiten einer Grenzzeit durch die visuelle Ausfallszeit eine Warnmeldung erzeugt und/oder ausgegeben wird.
17. Verfahren zur Ermittlung einer Fokusentfernung eines Menschen, wobei die Pupillenmittelpunkte beider Augen des Menschen zufolge eines Verfahrens nach einem der Ansprüche 11 bis 14 ermittelt werden, wobei aus den
Pupillenkoordinaten ein Augenabstand ermittelt wird, wobei den rechten
Pupillenkoordinaten ein rechter Blickwinkel zugeordnet wird, wobei den linken Pupillenkoordinaten ein linker Blickwinkel zugeordnet wird, und wobei aus dem Augenabstand, dem rechten Blickwinkel und dem linken Blickwinkel die
Fokusentfernung ermittelt, und vorzugsweise gespeichert und/oder , insbesondere als Schaltimpuls, ausgegeben wird.
18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass einem Datenspeicher einer Datenverarbeitungseinheit wenigstens ein, der ermittelten Fokusentfernung zugeordneter, Wert zur geometrischen Bestimmung einer in der Scheibenauf nahmeöffnung angeordneten Linse mit vorgebbar veränderbarer Geometrie entnommen wird, und dass die Geometrie der Linse aufgrund des Wertes eingestellt wird.
PCT/AT2014/000107 2013-08-23 2014-05-05 Brille und verfahren zur bestimmung von pupillenmittelpunkten beider augen eines menschen WO2015024031A1 (de)

Priority Applications (8)

Application Number Priority Date Filing Date Title
RU2016110406A RU2016110406A (ru) 2013-08-23 2014-05-05 Очки и способ определения центров зрачков обоих глаз человека
US14/913,633 US9668648B2 (en) 2013-08-23 2014-05-05 Spectacles and method for determining the pupil center of both of the wearer's eyes
EP14742450.1A EP3036580A1 (de) 2013-08-23 2014-05-05 Brille und verfahren zur bestimmung von pupillenmittelpunkten beider augen eines menschen
AU2014308570A AU2014308570B2 (en) 2013-08-23 2014-05-05 Spectacles and method for determining the centre of the pupil of both of the wearer's eyes
SG11201601286SA SG11201601286SA (en) 2013-08-23 2014-05-05 Spectacles and method for determining the centre of the pupil of both of the wearer's eyes
CN201480052409.6A CN105579884B (zh) 2013-08-23 2014-05-05 用于确定人的两个眼睛的瞳孔中间点的方法和眼镜
CA2959078A CA2959078C (en) 2013-08-23 2014-05-05 Spectacles and method for determining the centre of the pupil center of both of the wearer's eyes
IL244230A IL244230A0 (en) 2013-08-23 2016-02-22 Spectacles and a method for determining the center of the pupil of the two eyes of the member

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA657/2013A AT513987B1 (de) 2013-08-23 2013-08-23 Brille und Verfahren zur Bestimmung von Pupillenmittelpunkten beider Augen eines Menschen
ATA657/2013 2013-08-23

Publications (1)

Publication Number Publication Date
WO2015024031A1 true WO2015024031A1 (de) 2015-02-26

Family

ID=51224634

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/AT2014/000107 WO2015024031A1 (de) 2013-08-23 2014-05-05 Brille und verfahren zur bestimmung von pupillenmittelpunkten beider augen eines menschen

Country Status (10)

Country Link
US (1) US9668648B2 (de)
EP (1) EP3036580A1 (de)
CN (1) CN105579884B (de)
AT (1) AT513987B1 (de)
AU (1) AU2014308570B2 (de)
CA (1) CA2959078C (de)
IL (1) IL244230A0 (de)
RU (1) RU2016110406A (de)
SG (1) SG11201601286SA (de)
WO (1) WO2015024031A1 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT520705A1 (de) * 2017-11-16 2019-06-15 Viewpointsystem Gmbh Brillenglashalter
WO2020127732A1 (de) * 2018-12-19 2020-06-25 Viewpointsystem Gmbh Verfahren zum erzeugen und anzeigen eines virtuellen objektes durch ein optisches system
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150055121A (ko) * 2013-11-06 2015-05-21 한국전자통신연구원 동공 추적을 이용한 홀로그램 이미지 표시 장치 및 방법
US20150331260A1 (en) * 2014-05-15 2015-11-19 Kessler Foundation Inc. Wearable systems and methods for treatment of a neurocognitive condition
CN106019588A (zh) * 2016-06-23 2016-10-12 深圳市虚拟现实科技有限公司 一种可以自动测量瞳距的近眼显示装置及方法
CN106054386A (zh) * 2016-06-25 2016-10-26 深圳市虚拟现实科技有限公司 一种自适应近眼显示装置
CN108572450B (zh) * 2017-03-09 2021-01-29 宏碁股份有限公司 头戴式显示器、其视野校正方法以及混合现实显示系统
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
CN108257091B (zh) * 2018-01-16 2022-08-05 北京小米移动软件有限公司 用于智能镜子的成像处理方法和智能镜子
AT521860B1 (de) 2018-11-09 2021-02-15 Viewpointsystem Gmbh Verfahren zur herstellung wenigstens einer nasenauflage
WO2020253949A1 (en) * 2019-06-18 2020-12-24 Pupil Labs Gmbh Systems and methods for determining one or more parameters of a user's eye
JP6808808B1 (ja) * 2019-12-24 2021-01-06 湯田 秋夫 眼鏡内のａｉアシスタント、画像認識機能の記憶補助装置。
WO2021228399A1 (en) 2020-05-14 2021-11-18 Viewpoint Sicherheitsforschung-Blickforschung Gmbh Spectacles and method for determining the pupil center
WO2022069018A1 (en) 2020-09-29 2022-04-07 Viewpointsystem Gmbh Additively manufactured eye tracking spectacles
WO2022122117A1 (en) 2020-12-07 2022-06-16 Viewpointsystem Gmbh Method for implementing a zooming function in an eye tracking system
JP2023554490A (ja) 2020-12-21 2023-12-27 ヴューポイントシステム ゲー・エム・ベー・ハー 眼鏡に適応可能な視線追跡キット
WO2022237954A1 (en) 2021-05-10 2022-11-17 Viewpointsystem Gmbh Eye tracking module wearable by a human being
WO2022262936A1 (en) 2021-06-14 2022-12-22 Viewpointsystem Gmbh Gaze based method for triggering actions on an operable device
WO2023036414A1 (en) 2021-09-09 2023-03-16 Viewpointsystem Gmbh Nose pad eye/gaze tracking module applicable to smart glasses

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4300818A (en) * 1978-03-13 1981-11-17 Schachar Ronald A Multifocal ophthalmic lens
EP1300018A1 (de) 2000-03-15 2003-04-09 Next Level Communications, Inc. Verfahren und vorrichtung zum übertragen draht-loser signale über medien
EP2499960A1 (de) * 2011-03-18 2012-09-19 SensoMotoric Instruments GmbH Verfahren zur Bestimmung von mindestens einem Parameter aus zwei Augen durch Einstellen der Datenraten und optische Messvorrichtung
WO2013067230A1 (en) * 2011-11-04 2013-05-10 Balan Alexandru O See-through display brightness control

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3436133A1 (de) * 1984-10-02 1986-04-10 Wilhelm St. Moritz Anger Verfahren zur herstellung einer brille
US6997556B2 (en) 2001-10-01 2006-02-14 Ernst Pfleger Method for detecting, evaluating, and analyzing look sequences
JP4580678B2 (ja) * 2004-04-28 2010-11-17 株式会社ディテクト 注視点位置表示装置
AT505338B1 (de) 2007-06-12 2009-03-15 Ernst Dipl Ing Dr Pfleger Verfahren zur wahrnehmungsmessung
CN202057914U (zh) * 2011-04-29 2011-11-30 许骅 一种摄像眼镜
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
GB2496064B (en) * 2012-12-31 2015-03-11 Nicholas Jamie Marston Video camera shooting glasses

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4300818A (en) * 1978-03-13 1981-11-17 Schachar Ronald A Multifocal ophthalmic lens
EP1300018A1 (de) 2000-03-15 2003-04-09 Next Level Communications, Inc. Verfahren und vorrichtung zum übertragen draht-loser signale über medien
EP2499960A1 (de) * 2011-03-18 2012-09-19 SensoMotoric Instruments GmbH Verfahren zur Bestimmung von mindestens einem Parameter aus zwei Augen durch Einstellen der Datenraten und optische Messvorrichtung
WO2013067230A1 (en) * 2011-11-04 2013-05-10 Balan Alexandru O See-through display brightness control

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT520705A1 (de) * 2017-11-16 2019-06-15 Viewpointsystem Gmbh Brillenglashalter
AT520705B1 (de) * 2017-11-16 2021-06-15 Viewpointsystem Gmbh Brillenglashalter
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11340461B2 (en) 2018-02-09 2022-05-24 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
WO2020127732A1 (de) * 2018-12-19 2020-06-25 Viewpointsystem Gmbh Verfahren zum erzeugen und anzeigen eines virtuellen objektes durch ein optisches system
US11561392B2 (en) 2018-12-19 2023-01-24 Viewpointsystem Gmbh Method for generating and displaying a virtual object by an optical system
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters

Also Published As

Publication number Publication date
CA2959078C (en) 2017-10-10
AT513987A4 (de) 2014-09-15
AU2014308570A1 (en) 2016-03-24
SG11201601286SA (en) 2016-03-30
CA2959078A1 (en) 2015-02-26
RU2016110406A (ru) 2017-09-28
IL244230A0 (en) 2016-04-21
AT513987B1 (de) 2014-09-15
CN105579884A (zh) 2016-05-11
AU2014308570B2 (en) 2017-02-02
CN105579884B (zh) 2019-12-17
US9668648B2 (en) 2017-06-06
US20160206196A1 (en) 2016-07-21
EP3036580A1 (de) 2016-06-29

Similar Documents

Publication Publication Date Title
AT513987B1 (de) Brille und Verfahren zur Bestimmung von Pupillenmittelpunkten beider Augen eines Menschen
EP2157903B1 (de) Verfahren zur wahrnehmungsmessung
EP3355104B2 (de) Verfahren und vorrichtung sowie computerprogramm zum ermitteln einer repräsentation eines brillenglasrands
DE69906139T2 (de) Vorrichtung zum verfolgen von augenbewegungen
EP2582284B1 (de) Verfahren und vorrichtung zur bestimmung der augenposition
EP3956721B1 (de) Bestimmung mindestens eines optischen parameters eines brillenglases
EP3958726B1 (de) Bestimmung eines refraktionsfehlers eines auges
EP3235422A1 (de) Verfahren und vorrichtung zur bestimmung der augendrehpunktlage
EP3210071B1 (de) Vorrichtung und verfahren zum bestimmen von optischen parametern
DE102016201531A1 (de) Verfahren und Vorrichtung zum Erkennen von Müdigkeit eines Fahrers
EP3195052B1 (de) Verfahren zur messgenauen bestimmung von zentriertdaten eines probanden zur anpassung einer brille an den probanden und immobiles videozentriersystem
DE102013021974B3 (de) Vorrichtung zur Bestimmung einer Ametropie eines Auges
WO2020216789A1 (de) Bestimmung eines refraktionsfehlers eines auges
EP3972478B1 (de) Gemeinsame bestimmung von akkommodation und vergenz
DE102011018331A1 (de) Videozentriersystem mit Gesichtsfeldbewertung und Verfhren zur Gesichtsfeldbewertung
JP2023524884A (ja) 眼鏡および瞳孔中心を決定する方法
WO2017220667A1 (de) Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers
DE102011009261B4 (de) Bestimmung der Rotationsparameter der Augen
DE102004020356A1 (de) Verfahren und Vorrichtung zur Erfassung von mehrdimensionalen Augenbewegungen mit einem optoelektronischen Sensor
DE10138158A1 (de) Verfaren und Vorrichtung zur kontaktlosen Gewinnung von Bildern der Kornea
DE102020109982A1 (de) Verfahren zum Vermessen einer Pupille und Vorrichtung zum Durchführen des Verfahrens
DE102010021346B4 (de) Ophthalmologisches Untersuchungsgerät
EP4360536A1 (de) Kopfgetragene vorrichtung zur aufzeichnung einer augenbewegung
DE102014015345A1 (de) Verfahren zur messgenauen Bestimmung von optisch-physiognomischen Parametern eines Probanden zur Anpassung von Brillengläsern an den Probanden für die Nahsichtsituation
DE102014208966A1 (de) System zur Erkennung der Blickrichtung

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480052409.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14742450

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 139450140003013519

Country of ref document: IR

WWE Wipo information: entry into national phase

Ref document number: 244230

Country of ref document: IL

Ref document number: 14913633

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: P191/2016

Country of ref document: AE

WWE Wipo information: entry into national phase

Ref document number: 2014742450

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016110406

Country of ref document: RU

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2014308570

Country of ref document: AU

Date of ref document: 20140505

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2959078

Country of ref document: CA