WO2019081829A1 - Dispositif d'affichage à écran fixé à une partie d'un système pour rendre transparent un élément masquant. - Google Patents

Dispositif d'affichage à écran fixé à une partie d'un système pour rendre transparent un élément masquant.

Info

Publication number
WO2019081829A1
WO2019081829A1 PCT/FR2018/052474 FR2018052474W WO2019081829A1 WO 2019081829 A1 WO2019081829 A1 WO 2019081829A1 FR 2018052474 W FR2018052474 W FR 2018052474W WO 2019081829 A1 WO2019081829 A1 WO 2019081829A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
masking element
person
acquisition means
orientation
Prior art date
Application number
PCT/FR2018/052474
Other languages
English (en)
Inventor
Stephane Delalande
Philippe PORRAL
Dieu Sang LY
Philippe Fuchs
Original Assignee
Psa Automobiles Sa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Psa Automobiles Sa filed Critical Psa Automobiles Sa
Publication of WO2019081829A1 publication Critical patent/WO2019081829A1/fr

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B60K35/223—Flexible displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/333—Lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/777—Instrument locations other than the dashboard on or in sun visors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/797—Instrument locations other than the dashboard at the vehicle exterior

Definitions

  • the invention relates to systems which comprise a reception area of person (s) having in its environment a masking element that can hinder the observation of the environment by a person present in this reception area.
  • the term “masking element” means an element (possibly structural) installed inclined or vertical next to a window (or ice) or an open zone of a system, and likely to hinder the observation of the environment located behind the window or open area by a person who is present in a reception area (such as a seat).
  • the masking element may for example be a bayonet which is secured to one of the two lateral sides of the windshield, or an amount (or foot) medium between two side windows, or a rear post located next to a rear window.
  • the masking element may for example be an amount located between two windows or a building obscuring an area of the runways of an airport.
  • the masking element may for example be a pillar of a building partially blocking the view of a watchman watching an outside area (such as for example a car park or an access gate ).
  • Certain systems for example certain vehicles, generally of the automotive type, comprise a seat dedicated to their driver and near which at least one masking element is installed, such as for example a bay post, which hides (or obscures) the driver a driver. part of the external environment, which can be dangerous.
  • a display device comprising a display screen, secured to the inner face of the bay post (neighbor driver seat), and processing means.
  • the latter are responsible for determining in first representative images at least one outer zone located behind the bay upright and acquired by first onboard acquisition means, a sub-area which is hidden by this amount of bay driver to the driver's viewing direction, determined from second images of at least its head, acquired by second acquisition means installed in the passenger compartment.
  • the processing means are also responsible for generating third images of the sub-area determined so that they are immediately displayed (in "real time”) by the display screen.
  • This type of display device is intended to give the impression to the driver that the amount of bay is transparent.
  • it has a disadvantage that is likely to disturb the driver. Indeed, it does not take into account the distance separating the driver's eyes from the outer zone observed by the first acquisition means.
  • the portion of the outer zone that is effectively obscured (or hidden) to the driver by the amount of bay is greater or smaller. Therefore, it frequently happens that the sub-area determined in the first images is smaller or larger than the portion of the outer area that is actually obscured (or obscured) by the bay amount.
  • the determined sub-zone When the determined sub-zone is smaller than the aforesaid portion, it appears enlarged, when displayed, relative to the rest of the outer zone which surrounds it and which is directly observed by the driver, and a small masked part of this outside area is not observable by the driver.
  • the determined sub-zone When the determined sub-zone is larger than the aforesaid portion, it appears, when displayed, reduced in proportion to the rest of the outer zone which surrounds it and which is directly observed by the driver, and in addition partly redundant with a small unmasked part of this outer area and therefore observable by the driver. In both cases, there is a lack of continuity between what is observed by the driver directly (outside the display screen) and what is observed by the same driver indirectly (on the display screen) .
  • the invention is therefore particularly intended to improve the situation. It proposes for this purpose a display device, on the one hand, intended to equip a system comprising a reception area of person (s) own to have in its environment a masking element that can hinder the observation of the environment by a person present in this reception area, first acquiring means acquiring first representative images of at least one external area located behind this masking element, and second acquiring means acquiring second images of least one head of the person, and, on the other hand, including processing means determining in these first images a sub-area which is masked by the masking element to the person according to a direction of observation of his determined look from the second images, and generating third images of this sub-area, and a display screen intended to be secured to an internal face of a part of the ystem intercepting this direction of observation and responsible for displaying the third images generated.
  • the determined sub-zone corresponds precisely to the portion of the outer zone that is actually masked by the masking element, and thus we obtain an effective continuity of what is observed directly and indirectly. by the person in the reception area, which makes the masking element transparent.
  • the display device may comprise other characteristics that can be taken separately or in combination, and in particular: its processing means can use data which are representative of second distances determined by third acquisition means secured to the system;
  • its processing means can choose the data which is representative of the second distances as a function of a current geographical position of the system and / or of at least one parameter representing a current dynamic of the system;
  • its processing means may use technical characteristics comprising at least first and second focal lengths respectively first and second acquisition means, a center and dimensions of each first image, and a center and dimensions of each second image, and that possible distortion parameters of the first and second images;
  • the processing means can determine the sub-zone also as a function of first position and orientation of a camera which is part of the first acquisition means with respect to a selected reference frame attached to the system, second position and orientation of a camera which is part of the second acquisition means with respect to this selected reference frame, and third position and orientation of the display screen with respect to this selected reference frame;
  • the first position and orientation, the second position and orientation, and the third position and orientation can be determined by means of at least one test pattern in a preliminary calibration phase, as well as possible distortion parameters of the acquisition means;
  • this display screen can be flexible type.
  • this display screen may comprise a flexible slab, possibly with flexible organic light-emitting diodes, so that its shape may be non-planar, for example in order to match the shape of a rack amount;
  • it can comprise the first acquisition means and / or the second acquisition means and / or the third acquisition means.
  • the invention also proposes a system comprising: - a space of reception of person own to have in its environment a masking element which can hinder the observation of the environment by a person present in this space of reception,
  • first acquisition means acquiring first representative images of at least one external zone located behind this masking element
  • second acquisition means acquiring second images of at least the eyes of the person
  • this system may comprise the masking element, and the first acquisition means may be at least partially secured to an outer face of the masking element.
  • this system can be arranged in the form of a vehicle, possibly of automobile type.
  • the second acquisition means may be at least partially secured to a dashboard or a rearview mirror that is oriented towards the person.
  • FIG. 1 schematically illustrates, in a side view, a part of an example of a motor vehicle comprising a driver's seat, situated next to a bay upright and on which a driver is sitting, and an exemplary embodiment of a motor vehicle.
  • a display device according to the invention
  • FIGS. 2 and 3 schematically illustrate, in respectively side and top views, the relative position of a driver's head (seated on a driver's seat) with respect to an indoor camera, an outdoor camera and a display screen. display (secured to a bay post and forming part of a display device according to the invention), and
  • FIG. 4 schematically illustrates, in a perspective view, the marks associated respectively with the indoor camera, outdoor camera and display screen of FIGS. 2 and 3, and with a calibration chart used during a calibration phase.
  • the object of the invention is in particular to propose a display device DA intended, firstly, to equip a system VA comprising a reception area of person (s) SC, able to have in its environment a masking element EM which can hinder the observation of the environment by a CV person present in this reception area SC, and, secondly, to make this EM transparent masking element for this person CV.
  • the VA system is a vehicle of the automotive type, such as a car.
  • the invention is not limited to this type of system. It concerns indeed any type of system comprising at least a reception area of a person who may have in his environment a masking element that may hinder the observation of the environment by a person present in this reception area. Consequently, it concerns in particular vehicles (land, sea (or fluvial) and air), and buildings (including air traffic control towers).
  • the reception space SC is a seat, for example that of the CV conductor, and the masking element EM may be a bay upright to which one of the two sides is secured. side windshield, or an amount (or foot) medium between two side windows, or a rear upright located next to a rear window.
  • the reception area SC may be an air traffic controller seat or any other predefined space located inside the air traffic control tower, and the masking element EM may for example be an amount located between two windows or a building obscuring an area of the runways of an airport.
  • the reception area SC may be a watch seat or any other predefined observation space located inside this building
  • the masking element EM may for example be a pillar of a building partially blocking the view of a watchman watching an outside area (such as parking or an access gate).
  • a masking element EM is an element (possibly structural) installed inclined or vertical next to a window (or ice) or an open area of a system, and likely to interfere with the observation of the environment behind the window or open area by a person who is present in a reception area SC (such as a seat).
  • a masking element EM is possibly part of the VA system. This is particularly the case when this VA system is a vehicle.
  • FIG. 1 diagrammatically shows a non-limiting example of a VA system (here a vehicle) comprising, on the one hand, a reception area SC (here a driver's seat on which a person CV is seated (here a driver) and associated with a wheel W), and, secondly, a display device DA according to the invention.
  • the seat SC is installed next to a masking element EM (here a left rack amount installed in a front part of a cabin H of the vehicle VA).
  • EM here a left rack amount installed in a front part of a cabin H of the vehicle VA.
  • the VA system (here a vehicle) illustrated in Figure 1 also comprises a windshield PB secured to the amount of EM bay and which is secured to a rearview mirror RI and / or a dashboard, first acquisition means MA1, and second acquisition means MA2.
  • the first acquisition means MA1 are arranged to acquire first images 11 which are representative of at least one outer zone ZE located behind the masking element EM.
  • these first acquisition means MA1 may be at least partly securely fixed to the external face of the bay pillar EM. More precisely, and as illustrated in FIGS. 2 and 3, they may, for example, comprise an external camera C ex [ of the digital type and fixedly affixed to the external face of the EM bay pillar.
  • the first acquisition means MA1 may possibly be part of the display device DA. But this is not obligatory. Indeed, they could acquire images of the environment of the VA system (here at least on one of its longitudinal sides) for at least one other device embedded in the VA system, such as a device driver assistance when it comes to a vehicle.
  • the second acquisition means MA2 are arranged so as to acquire second images i2 of at least the eyes YC of the person CV (here the driver).
  • these second acquisition means MA2 may be at least partially securely fixed to the interior rearview mirror R1 which is installed in the passenger compartment while being oriented towards the driver CV. More specifically, and as illustrated in Figures 2 and 3, they may, for example, include an internal camera Have digital type fixedly secured to the rearview mirror RI.
  • the second acquisition means MA2 may optionally be part of the display device DA. But this is not obligatory. Indeed, they could acquire images of the interior of the cabin H for at least one other device embedded in the VA system, such as for example a passenger detection device in the case of a vehicle, or only images of the person's face CV for another device embedded in the VA system and responsible for analyzing the YC eyes of that person CV, for example to detect a loss of vigilance and / or ensure control of the respective positions of the different mirrors in the case of a vehicle.
  • a passenger detection device in the case of a vehicle
  • only images of the person's face CV for another device embedded in the VA system and responsible for analyzing the YC eyes of that person CV, for example to detect a loss of vigilance and / or ensure control of the respective positions of the different mirrors in the case of a vehicle.
  • a display device DA comprises at least processing means MT and a display screen EA.
  • the EA display screen is intended to be secured to an internal face FI of a portion of the VA system that intercepts the viewing direction of the gaze of the person CV. It is responsible for displaying third images i3 which are generated by the processing means MT, as will be seen later.
  • the EA display screen is secured to the inner face FI of the masking element EM, which is oriented towards the inside (here of the passenger compartment H).
  • this EA display screen can be rigid or flexible type.
  • it can advantageously take the form of a portion of the internal face FI of the part of the VA system (here the element masking EM).
  • the element masking EM can, for example, include a flexible slab, optionally flexible organic light emitting diodes.
  • this display screen EA may mask (or cover) either the whole of this internal face FI (here of the masking element EM), or a part of this internal face FI (as in the example illustrated in a non-limiting manner on the face
  • the processing means MT are in particular arranged so as to determine in the first images it (determined by the first acquisition means MA1) a subzone SZ of the external zone ZE, which is masked by the masking element EM at the person CV (here the driver), according to the direction of observation of his gaze (defined by his eyes YC), which is determined from the second images i2, and a first distance d1 estimated that separates this sub -Zone SZ eyes YC.
  • processing means MT which estimate this first distance d1 as a function of technical characteristics of the first MA1 and second MA2 acquisition means, data which are representative of second distances d2 which separate objects detected in the outer zone ZE of a predefined place of the system (here a vehicle) VA, and a third distance d3 which separates this predefined place from the eyes YC.
  • the display device DA (and, for example, its processing means MT) may optionally be arranged in such a way as to determine the observation direction of the person's gaz from the second person. i2 images.
  • this determination can be done as follows. We can first start by detecting the face, possibly using the method called "Boost Cascade" developed by Viola and Jones. Then, the YC eye area can be detected in the face thanks to the anthropometric relationship between the face and the YC eyes. Then the iris and their centers can be detected in YC eyes, for example using the image gradient. Finally, we can rebuild irises in three-dimensional space assuming that their characteristics (for example their rays) are known, then we can consider that the direction of observation is the normal to the irises.
  • Boost Cascade developed by Viola and Jones.
  • the processing means MT are also arranged to generate third images i3 of the subzone SZ of the external zone ZE which must be displayed by the display screen EA. It will be understood that these third images i3 are defined from the digital data files which define the first images il, since they constitute subparts of the latter (II) adapted to a display in the format of the display screen. EA.
  • the first distance d1 separating the eyes YC of the person CV from the outer zone ZE observed by the first acquisition means MA1 is now taken into account in the determination of the subarea SZ (to be displayed), it is now certain that the latter corresponds precisely to the portion of the outer zone ZE which is effectively obscured (or masked) by the masking element EM. Therefore, there is an effective continuity between what is observed by the CV person directly (outside the EA display screen) and what is observed by that same CV person indirectly (on the EA display screen (ie subzone SZ)), without enlargement and without reduction, which avoids disturbing the person CV.
  • the display screen EA is secured to the inner face FI of a part of the system VA which intercepts the observation direction do.
  • This means that this EA display screen is placed in the VA system between the YC eyes of the CV person and the EM masking element which masks the ZS subfield.
  • the masking element EM left bay amount which intercepts the observation direction do.
  • Determining the data representative of the second distances d2 can be done in at least two ways.
  • these representative data of second distances d2 can be determined by third acquisition means MA3 which are joined to the VA system, and used by the MT processing means.
  • These third acquisition means MA3 may, for example, comprise at least one scanning laser (or three-dimensional rangefinder (or 3D)) or at least one radar or lidar or at least one ultrasound sensor or at least one 3D camera or stereoscopic cameras.
  • the third acquisition means MA3 may be at least partly installed on the longitudinal side of the vehicle VA, which is next to the driver CV. Thus, they can be at least partly installed next to the external camera C ex [ on the outer face of the amount of EM bay or on the outside rearview mirror placed next to the latter (EM).
  • the predefined place of the system VA can, for example, be the place where the element of the third acquisition means MA3 is installed, which detects the objects present in the outer zone ZE and deduces the second distances d2, or a second predefined place whose distance to the aforementioned element is known.
  • the third acquisition means MA3 may possibly be part of the display device DA. But this is not obligatory. Indeed, they could acquire data representative of the environment of the VA system (at least on one of its longitudinal sides when it is a vehicle) for at least one other device embedded in the VA system, such as a driver assistance device.
  • the processing means MT can choose the data that is representative of the second distances d2 according to the current geographical position of the VA system and / or at least one parameter representative of the current dynamics of the VA system, such as its speed or acceleration.
  • the processing means MT can choose second distances d2 equal to 5 meters.
  • the processing means MT may, for example, use technical characteristics comprising at least first and second focal lengths respectively of the first MA1 and second MA2 acquisition means, the center and the dimensions of each first image II, and the center and the dimensions of each second image i2, as well as possible distortion parameters of the first and second i2 images.
  • an outdoor camera Ce * having a 1/1 .2 "or 10.67 mm x 8 mm sensor and a focal length of 6 mm, an indoor camera having a 1/2" or 6.4 sensor may be used.
  • the center and dimensions of a first or second image can be determined during a preliminary calibration phase at the factory.
  • the processing means MT can, for example, determine the sub-zone SZ also as a function of the first position and orientation of the external camera Ce * (part of the first acquisition means MA1) with respect to a reference frame chosen to be attached to the VA system, of second position and orientation of the inner camera Ont (part of the second acquisition means MA2) with respect to this selected reference frame, and third position and orientation of the display screen EA relative to to this chosen reference system.
  • the first position and orientation, the second position and orientation, and the third position and orientation, as well as possibly the focal lengths and dimensions and center of the images il and i2 can be determined by means of at least a calibration chart MC in a preliminary calibration phase.
  • the repository (Xc e *, Yc e *, Zcext) is associated with the external camera Ce *
  • the repository (Xam, Yam, Zant) is associated with the inner camera Ont
  • the reference frame S (Xs, Ys, Zs) is associated with the display screen EA
  • the repository W (X w , Yw, Z w ) is associated with the calibration target MC whose position is precisely known with respect to the chosen reference system attached to the VA system.
  • this selected reference system attached to the VA system may be one that is associated with the EA display screen.
  • the calibration chart MC can be placed in several different positions (for example ten), in order to acquire with each camera u ext, Cint images of this calibration target MC.
  • Numerous reference points of the calibration chart MC can be detected in each image and then used as three-dimensional information to estimate the focal length, the center of the image, the dimensions of the image, the position and the disorientation (or rotation) between the camera and the calibration chart MC (in each position), and the possible distortion coefficients.
  • the calibration chart MC may be exposed in the field of the outdoor camera C exl to calculate the position and the orientation of the latter in the W mark associated with this calibration chart MC.
  • the position is defined by a translation T and the orientation is defined by a rotation R. Since this calibration target MC is not initially in the field of the inner camera Ont, the position and orientation of the latter are calculated. in the reference W associated with this calibration chart MC using a mirror Ml. In other words, the inner camera observed the calibration pattern MC reflected by the mirror Ml. Then, the relative position and orientation between the exterior camera C exl and the inner camera Ont can be deduced from their respective position and orientation with respect to the reference frame W associated with the calibration chart MC using, for example, the following equations:
  • R (Cint) cext is the rotation of Cint with respect to the reference associated with Ce *
  • R (Cint) w is the rotation of Cint with respect to the reference W associated with the calibration target MC
  • R (W) cext is the rotation of the calibration target MC with respect to the reference associated with Ce *
  • T (Cint) cext is the translation of Ont with respect to the reference associated with Ce *
  • T (Cint) w is the translation of Q n t by compared to the reference frame W associated with the calibration chart MC
  • T (C e xi) w is the translation of C ex [ with respect to the reference frame W associated with the calibration chart MC.
  • processing means MT can be made in the form of software modules (or computer or "software”), or a combination of electronic circuits (or “hardware”) and software modules. Consequently, they can be part of an AC computer of the VA system (as illustrated in FIG. 1) or else constitute a computer dedicated to the determination and the generation of the third images i3.
  • the display screen EA is flexible and takes the form of a part of the inner face FI (here of the masking element EM), it can have at least one curvature.
  • the third images i3 it displays are preferably generated by taking into account each curvature so as not to introduce deformation.
  • the processing means MT can carry out a filtering so as to generate the third images i3 according to a period which is greater that the period of acquisition of the first images there.
  • the system VA when the system VA is a vehicle, it may be necessary, when traveling at a speed greater than a threshold, to take into account the time difference between the moments of acquisition of the first images by the first means.
  • MA1 acquisition and times of display of the third images i3 on the EA display screen For this purpose, it is possible to perform image processing taking into account the speed of the vehicle VA.
  • Such treatments are well known to those skilled in the art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Un dispositif d'affichage (DA) équipe un système (VA) comprenant un espace d'accueil (SC),des premiers moyens d'acquisition (MA1) acquérant des premières images d'une zone extérieure située derrière un élément masquant (EM), et des deuxièmes moyens d'acquisition (MA2) acquérant des deuxièmes images des yeux d'une personne (CV) présente dans l'espace d'accueil(SC). Ce dispositif (DA) comprend: -un écran d'affichage (EA) solidarisé à l'élément masquant(EM), -des moyens de traitement (MT) estimant une première distance d'une sous- zone masquée à la personne (CV) par l'élément masquant (EM)en fonction des premiers (MA1) et deuxièmes (MA2) moyens d'acquisition,de deuxièmes distances séparant la zone extérieure d'un endroit du système (VA) et d'une troisième distance séparant cet endroit des yeux, déterminant dans les premières images cette sous-zone en fonction de la direction d'observation du regard et de la première distance, et générant des troisièmes images de cette sous-zone.

Description

DISPOSITIF D'AFFICHAGE À ÉCRAN FIXÉ À UNE PARTIE D'UN SYSTÈME POUR RENDRE TRANSPARENT UN ÉLÉMENT MASQUANT
L'invention concerne les systèmes qui comprennent un espace d'accueil de personne(s) ayant dans son environnement un élément masquant pouvant gêner l'observation de l'environnement par une personne présente dans cet espace d'accueil.
On entend ici par « élément masquant » un élément (éventuellement structurel) installé de façon inclinée ou verticale à côté d'une vitre (ou glace) ou d'une zone ouverte d'un système, et susceptible de gêner l'observation de l'environnement situé derrière cette vitre ou zone ouverte par une personne qui est présente dans un espace d'accueil (comme par exemple un siège). Dans le cas non limitatif d'un véhicule automobile, l'élément masquant pourra par exemple être un montant de baie auquel est solidarisé l'un des deux côtés latéraux du pare- brise, ou d'un montant (ou pied) milieu situé entre deux vitres latérales, ou encore d'un montant arrière situé à côté d'une lunette arrière. Dans le cas non limitatif d'une tour de contrôle aérien, l'élément masquant pourra par exemple être un montant situé entre deux vitres ou un bâtiment occultant une zone des pistes d'un aéroport. Dans le cas non limitatif d'un espace de surveillance, l'élément masquant pourra par exemple être un pilier d'un bâtiment bloquant partiellement la vue d'un vigile surveillant une zone extérieure (comme par exemple un parking ou une grille d'accès).
Certains systèmes, comme par exemple certains véhicules, généralement de type automobile, comprennent un siège dédié à leur conducteur et à proximité duquel est installé au moins un élément masquant, comme par exemple un montant de baie, qui masque (ou occulte) au conducteur une partie de l'environnement extérieur, ce qui peut s'avérer dangereux.
Pour éviter un tel masquage, il a été proposé, notamment dans le document brevet WO 2013/055513, d'adjoindre à un véhicule un dispositif d'affichage comprenant un écran d'affichage, solidarisé à la face interne du montant de baie (voisin du siège conducteur), et des moyens de traitement. Ces derniers sont chargés de déterminer dans des premières images, représentatives d'au moins une zone extérieure située derrière le montant de baie et acquises par des premiers moyens d'acquisition embarqués, une sous-zone qui est masquée par ce montant de baie au conducteur compte tenu de la direction d'observation de son regard, déterminée à partir de deuxièmes images d'au moins sa tête, acquises par des deuxièmes moyens d'acquisition installés dans l'habitacle. Les moyens de traitement sont également chargés de générer des troisièmes images de la sous- zone déterminée afin qu'elles soient immédiatement affichées (en « temps réel ») par l'écran d'affichage.
Ce type de dispositif d'affichage est donc destiné à donner l'impression au conducteur que le montant de baie est transparent. Cependant, il présente un inconvénient qui est de nature à perturber le conducteur. En effet, il ne prend pas en compte la distance qui sépare les yeux du conducteur de la zone extérieure observée par les premiers moyens d'acquisition. Or, selon cette distance la portion de la zone extérieure qui est effectivement occultée (ou masquée) au conducteur par le montant de baie est plus ou moins grande. Par conséquent, il arrive fréquemment que la sous-zone déterminée dans les premières images soit plus petite ou plus grande que la portion de la zone extérieure qui est effectivement occultée (ou masquée) par le montant de baie.
Lorsque la sous-zone déterminée est plus petite que la portion précitée, elle apparaît agrandit, une fois affichée, par rapport au reste de la zone extérieure qui l'entoure et qui est directement observé par le conducteur, et une petite partie masquée de cette zone extérieure n'est pas observable par le conducteur. Lorsque la sous-zone déterminée est plus grande que la portion précitée, elle apparaît, une fois affichée, réduite en proportion par rapport au reste de la zone extérieure qui l'entoure et qui est directement observé par le conducteur, et de surcroît en partie redondante avec une petite partie non masquée de cette zone extérieure et donc observable par le conducteur. Dans les deux cas, il existe une absence de continuité entre ce qui est observé par le conducteur directement (en dehors de l'écran d'affichage) et ce qui est observé par ce même conducteur indirectement (sur l'écran d'affichage).
L'invention a donc notamment pour but d'améliorer la situation. Elle propose notamment à cet effet un dispositif d'affichage, d'une part, destiné à équiper un système comprenant un espace d'accueil de personne(s) propre à avoir dans son environnement un élément masquant pouvant gêner l'observation de l'environnement par une personne présente dans cet espace d'accueil, des premiers moyens d'acquisition acquérant des premières images représentatives d'au moins une zone extérieure située derrière cet élément masquant, et des deuxièmes moyens d'acquisition acquérant des deuxièmes images d'au moins une tête de la personne, et, d'autre part, comprenant des moyens de traitement déterminant dans ces premières images une sous-zone qui est masquée par l'élément masquant à la personne en fonction d'une direction d'observation de son regard déterminée à partir des deuxièmes images, et générant des troisièmes images de cette sous-zone, et un écran d'affichage destiné à être solidarisé à une face interne d'une partie du système interceptant cette direction d'observation et chargé d'afficher les troisièmes images générées.
Ce dispositif d'affichage se caractérise par le fait que ses moyens de traitement :
- estiment une première distance séparant des yeux de la personne de la sous- zone en fonction de caractéristiques techniques des premiers et deuxièmes moyens d'acquisition et de données représentatives de deuxièmes distances séparant des objets détectés dans la zone extérieure d'un endroit prédéfini du système et d'une troisième distance séparant cet endroit prédéfini des yeux, et
- déterminent la sous-zone en fonction également de cette première distance estimée.
Grâce à l'invention, on est désormais sûr que la sous-zone déterminée correspond précisément à la portion de la zone extérieure qui est effectivement masquée par l'élément masquant, et donc on obtient une continuité effective de ce qui est observé directement et indirectement par la personne présente dans l'espace d'accueil, ce qui rend l'élément masquant transparent.
Le dispositif d'affichage selon l'invention peut comporter d'autres caractéristiques qui peuvent être prises séparément ou en combinaison, et notamment : - ses moyens de traitement peuvent utiliser des données qui sont représentatives de deuxièmes distances déterminées par des troisièmes moyens d'acquisition solidarisés au système ;
- en variante, ses moyens de traitement peuvent choisir les données qui sont représentatives des deuxièmes distances en fonction d'une position géographique en cours du système et/ou d'au moins un paramètre représentatif d'une dynamique en cours du système ;
- ses moyens de traitement peuvent utiliser des caractéristiques techniques comprenant au moins des première et seconde focales respectivement des premiers et deuxièmes moyens d'acquisition, un centre et des dimensions de chaque première image, et un centre et des dimensions de chaque deuxième image, ainsi que d'éventuels paramètres de distorsion des première et deuxième images ;
- ses moyens de traitement peuvent déterminer la sous-zone en fonction également de premières position et orientation d'une caméra qui fait partie des premiers moyens d'acquisition par rapport à un référentiel choisi rattaché au système, de deuxièmes position et orientation d'une caméra qui fait partie des deuxièmes moyens d'acquisition par rapport à ce référentiel choisi, et de troisièmes position et orientation de l'écran d'affichage par rapport à ce référentiel choisi ;
les premières position et orientation, les deuxièmes position et orientation, et les troisièmes position et orientation peuvent être déterminées au moyen d'au moins une mire dans une phase de calibration préliminaire, ainsi que d'éventuels paramètres de distorsion des moyens d'acquisition ;
- son écran d'affichage peut être de type flexible. Par exemple, cet écran d'affichage peut comprendre une dalle flexible, éventuellement à diodes électroluminescentes organiques flexibles, afin que sa forme puisse être non plane, par exemple dans le but d'épouser la forme d'un montant de baie ;
- il peut comprendre les premiers moyens d'acquisition et/ou les deuxièmes moyens d'acquisition et/ou les troisièmes moyens d'acquisition.
L'invention propose également un système comprenant : - un espace d'accueil de personne propre à avoir dans son environnement un élément masquant pouvant gêner l'observation de l'environnement par une personne présente dans cet espace d'accueil,
- des premiers moyens d'acquisition acquérant des premières images représentatives d'au moins une zone extérieure située derrière cet élément masquant,
- des deuxièmes moyens d'acquisition acquérant des deuxièmes images d'au moins des yeux de la personne, et
- un dispositif d'affichage du type de celui présenté ci-avant.
Par exemple, ce système peut comprendre l'élément masquant, et les premiers moyens d'acquisition peuvent être au moins en partie solidarisés fixement à une face externe de l'élément masquant.
Egalement par exemple, ce système peut être agencé sous la forme d'un véhicule, éventuellement de type automobile. Dans ce cas, les deuxièmes moyens d'acquisition peuvent être au moins en partie solidarisés fixement à une planche de bord ou à un rétroviseur intérieur qui est orienté vers la personne.
D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et des dessins annexés, sur lesquels :
- la figure 1 illustre schématiquement, dans une vue de côté, une partie d'un exemple de véhicule automobile comprenant un siège conducteur, situé à côté d'un montant de baie et sur lequel est assis un conducteur, et un exemple de réalisation d'un dispositif d'affichage selon l'invention,
- les figures 2 et 3 illustrent schématiquement, dans des vues respectivement de côté et du dessus, la position relative de la tête d'un conducteur (assis sur un siège conducteur) par rapport à une caméra intérieure, une caméra extérieure et un écran d'affichage (solidarisé à un montant de baie et faisant partie d'un dispositif d'affichage selon l'invention), et
- la figure 4 illustre schématiquement, dans une vue en perspective, les repères associés respectivement aux caméra intérieure, caméra extérieure et écran d'affichage des figures 2 et 3, et à une mire de calibration utilisée pendant une phase de calibration.
L'invention a notamment pour but de proposer un dispositif d'affichage DA destiné, d'une part, à équiper un système VA comprenant un espace d'accueil de personne(s) SC, propre à avoir dans son environnement un élément masquant EM pouvant gêner l'observation de l'environnement par une personne CV présente dans cet espace d'accueil SC, et, d'autre part, à rendre cet élément masquant EM transparent pour cette personne CV.
Dans ce qui suit, on considère, à titre d'exemple non limitatif, que le système VA est un véhicule de type automobile, comme par exemple une voiture. Mais l'invention n'est pas limitée à ce type de système. Elle concerne en effet tout type de système comportant au moins un espace d'accueil de personne pouvant avoir dans son environnement un élément masquant pouvant gêner l'observation de l'environnement par une personne présente dans cet espace d'accueil. Par conséquent, elle concerne notamment les véhicules (terrestres, maritimes (ou fluviaux) et aériens), et les bâtiments (notamment les tours de contrôle aérien).
Dans le cas d'un véhicule VA de type automobile l'espace d'accueil SC est un siège, par exemple celui du conducteur CV, et l'élément masquant EM peut être un montant de baie auquel est solidarisé l'un des deux côtés latéraux du pare- brise, ou un montant (ou pied) milieu situé entre deux vitres latérales, ou encore un montant arrière situé à côté d'une lunette arrière.
Dans le cas non limitatif d'une tour de contrôle aérien, l'espace d'accueil SC peut être un siège de contrôleur aérien ou tout autre espace prédéfini situé à l'intérieur de la tour de contrôle aérien, et l'élément masquant EM pourra par exemple être un montant situé entre deux vitres ou un bâtiment occultant une zone des pistes d'un aéroport.
Dans le cas non limitatif d'un bâtiment, l'espace d'accueil SC peut être un siège de vigile ou tout autre espace d'observation prédéfini situé à l'intérieur de ce bâtiment, et l'élément masquant EM pourra par exemple être un pilier d'un bâtiment bloquant partiellement la vue d'un vigile surveillant une zone extérieure (comme par exemple un parking ou une grille d'accès).
D'une manière générale, un élément masquant EM est un élément (éventuellement structurel) installé de façon inclinée ou verticale à côté d'une vitre (ou glace) ou d'une zone ouverte d'un système, et susceptible de gêner l'observation de l'environnement situé derrière cette vitre ou zone ouverte par une personne qui est présente dans un espace d'accueil SC (comme par exemple un siège). Un tel élément masquant EM fait éventuellement partie du système VA. C'est notamment le cas lorsque ce système VA est un véhicule.
On a schématiquement représenté sur la figure 1 un exemple non limitatif de système VA (ici un véhicule) comprenant, d'une part, un espace d'accueil SC (ici un siège conducteur sur lequel est assise une personne CV (ici un conducteur) et associé à un volant W), et, d'autre part, un dispositif d'affichage DA selon l'invention. Dans l'exemple illustré, le siège SC est installé à côté d'un élément masquant EM (ici un montant de baie gauche installé dans une partie avant d'un habitacle H du véhicule VA).
Le système VA (ici un véhicule) illustré sur la figure 1 comprend également un pare-brise PB solidarisé au montant de baie EM et auquel est solidarisé un rétroviseur intérieur RI et/ou une planche de bord, des premiers moyens d'acquisition MA1 , et des deuxièmes moyens d'acquisition MA2.
Les premiers moyens d'acquisition MA1 sont agencés de manière à acquérir des premières images il qui sont représentatives d'au moins une zone extérieure ZE située derrière l'élément masquant EM.
Par exemple, et comme illustré non limitativement sur les figures 1 à 3, ces premiers moyens d'acquisition MA1 peuvent être au moins en partie solidarisés fixement à la face externe du montant de baie EM. Plus précisément, et comme illustré sur les figures 2 et 3, ils peuvent, par exemple, comprendre une caméra externe Cex[ de type numérique et solidarisée fixement à la face externe du montant de baie EM.
On notera que les premiers moyens d'acquisition MA1 peuvent éventuellement faire partie du dispositif d'affichage DA. Mais cela n'est pas obligatoire. En effet, ils pourraient acquérir des images de l'environnement du système VA (ici au moins sur l'un de ses côtés longitudinaux) pour au moins un autre dispositif embarqué dans le système VA, comme par exemple un dispositif d'assistance à la conduite lorsqu'il s'agit d'un véhicule.
Les deuxièmes moyens d'acquisition MA2 sont agencés de manière à acquérir des deuxièmes images i2 d'au moins les yeux YC de la personne CV (ici le conducteur).
Par exemple, et comme illustré non limitativement sur les figures 1 à 3, ces deuxièmes moyens d'acquisition MA2 peuvent être au moins en partie solidarisés fixement au rétroviseur intérieur RI qui est installé dans l'habitacle en étant orienté vers le conducteur CV. Plus précisément, et comme illustré sur les figures 2 et 3, ils peuvent, par exemple, comprendre une caméra interne Ont de type numérique et solidarisée fixement au rétroviseur intérieur RI.
On notera que les deuxièmes moyens d'acquisition MA2 peuvent éventuellement faire partie du dispositif d'affichage DA. Mais cela n'est pas obligatoire. En effet, ils pourraient acquérir des images de l'intérieur de l'habitacle H pour au moins un autre dispositif embarqué dans le système VA, comme par exemple un dispositif de détection de passagers dans le cas d'un véhicule, ou bien seulement des images du visage de la personne CV pour un autre dispositif embarqué dans le système VA et chargé d'analyser les yeux YC de cette personne CV, par exemple pour détecter une perte de vigilance et/ou assurer un contrôle des positions respectives des différents rétroviseurs dans le cas d'un véhicule.
Comme illustré sur la figure 1 , un dispositif d'affichage DA selon l'invention comprend au moins des moyens de traitement MT et un écran d'affichage EA.
L'écran d'affichage EA est destiné à être solidarisé à une face interne FI d'une partie du système VA qui intercepte la direction d'observation do du regard de la personne CV. Il est chargé d'afficher des troisièmes images i3 qui sont générées par les moyens de traitement MT, comme on le verra plus loin.
Dans l'exemple qui est ici décrit, l'écran d'affichage EA est solidarisé à la face interne FI de l'élément masquant EM, qui est orientée vers l'intérieur (ici de l'habitacle H).
On notera que cet écran d'affichage EA peut être rigide ou bien de type flexible. Dans cette dernière alternative il peut avantageusement épouser la forme d'une portion de la face interne FI de la partie du système VA (ici l'élément masquant EM). Pour ce faire il peut, par exemple, comprendre une dalle flexible, éventuellement à diodes électroluminescentes organiques flexibles.
Par ailleurs, cet écran d'affichage EA peut masquer (ou recouvrir) soit la totalité de cette face interne FI (ici de l'élément masquant EM), soit une partie de cette face interne FI (comme dans l'exemple illustré non limitativement sur la figure
1 )-
Les moyens de traitement MT sont notamment agencés de manière à déterminer dans les premières images il (déterminées par les premiers moyens d'acquisition MA1 ) une sous-zone SZ de la zone externe ZE, qui est masquée par l'élément masquant EM à la personne CV (ici le conducteur), en fonction de la direction d'observation do de son regard (définie par ses yeux YC), laquelle est déterminée à partir des deuxièmes images i2, et d'une première distance d1 estimée qui sépare cette sous-zone SZ des yeux YC.
Ce sont les moyens de traitement MT qui estiment cette première distance d1 en fonction de caractéristiques techniques des premiers MA1 et deuxièmes MA2 moyens d'acquisition, de données qui sont représentatives de deuxièmes distances d2 qui séparent des objets détectés dans la zone extérieure ZE d'un endroit prédéfini du système (ici un véhicule) VA, et d'une troisième distance d3 qui sépare cet endroit prédéfini des yeux YC.
On notera que le dispositif d'affichage DA (et par exemple ses moyens de traitement MT) peu(ven)t être éventuellement agencé(s) de manière à déterminer la direction d'observation do du regard de la personne CV à partir des deuxièmes images i2.
Toute technique connue de l'homme de l'art peut être mise en œuvre pour effectuer cette détermination de la direction d'observation do. A titre d'exemple non limitatif, cette détermination peut se faire comme suit. On peut tout d'abord commencer par détecter le visage, éventuellement au moyen de la méthode dite de « Boost Cascade » développée par Viola et Jones. Puis, on peut détecter dans le visage la région des yeux YC grâce à la relation anthropométrique entre le visage et les yeux YC. Puis, on peut détecter dans les yeux YC les iris et leurs centres, par exemple en utilisant le gradient d'image. Enfin, on peut reconstruire les iris dans l'espace tridimensionnelle en supposant que leurs caractéristiques (par exemple leurs rayons) sont connues, puis on peut considérer que la direction d'observation do est la normale aux iris.
Comme évoqué plus haut, les moyens de traitement MT sont également agencés de manière à générer des troisièmes images i3 de la sous-zone SZ de la zone externe ZE qui doivent être affichées par l'écran d'affichage EA. On comprendra que ces troisièmes images i3 sont définies à partir des fichiers de données numériques qui définissent les premières images il , puisqu'elles constituent des sous-parties de ces dernières (il ) adaptées à un affichage au format de l'écran d'affichage EA.
La première distance d1 séparant les yeux YC de la personne CV de la zone extérieure ZE observée par les premiers moyens d'acquisition MA1 étant désormais prise en compte dans la détermination de la sous-zone SZ (à afficher), on est désormais sûr que cette dernière correspond précisément à la portion de la zone extérieure ZE qui est effectivement occultée (ou masquée) par l'élément masquant EM. Par conséquent, il existe une continuité effective entre ce qui est observé par la personne CV directement (en dehors de l'écran d'affichage EA) et ce qui est observé par cette même personne CV indirectement (sur l'écran d'affichage EA (c'est-à-dire la sous-zone SZ)), sans agrandissement et sans réduction, ce qui évite de perturber la personne CV.
Dans ce qui précède il a été indiqué que l'écran d'affichage EA est solidarisé à la face interne FI d'une partie du système VA qui intercepte la direction d'observation do. Cela signifie que cet écran d'affichage EA est placé dans le système VA entre les yeux YC de la personne CV et l'élément masquant EM qui masque la sous-zone ZS. Ici, c'est l'élément masquant EM (montant de baie gauche) qui intercepte la direction d'observation do.
La détermination des données représentatives des deuxièmes distances d2 (séparant des objets détectés dans la zone extérieure ZE d'un endroit prédéfini du système VA) peut se faire d'au moins deux façons.
Dans une première façon, ces données représentatives de deuxièmes distances d2 peuvent être déterminées par des troisièmes moyens d'acquisition MA3 qui sont solidarisés au système VA, et utilisées par les moyens de traitement MT.
Ces troisièmes moyens d'acquisition MA3 peuvent, par exemple, comprendre au moins un laser de balayage (ou télémètre tridimensionnelle (ou 3D)) ou au moins un radar ou lidar ou au moins un capteur d'ultrasons ou au moins une caméra 3D ou des caméras stéréoscopiques. Lorsque le système VA est un véhicule, les troisièmes moyens d'acquisition MA3 peuvent être au moins en partie installés sur le côté longitudinal de ce véhicule VA à côté duquel est assis le conducteur CV. Ainsi, ils peuvent être au moins en partie installés à côté de la caméra externe Cex[ sur la face externe du montant de baie EM ou sur le rétroviseur extérieur placé à côté de ce dernier (EM).
L'endroit prédéfini du système VA peut, par exemple, être le lieu où est installé l'élément des troisièmes moyens d'acquisition MA3 qui effectue la détection des objets présents dans la zone extérieure ZE et déduit les deuxièmes distances d2, ou bien un lieu prédéfini dont la distance à l'élément précité est connue. Dans l'exemple illustré non limitativement sur la figure 2, on considère que l'endroit prédéfini est le lieu où sont installés les premiers moyens d'acquisition MA1 (on a donc ici d1 = d2 + d3 à titre d'exemple).
On notera que les troisièmes moyens d'acquisition MA3 peuvent éventuellement faire partie du dispositif d'affichage DA. Mais cela n'est pas obligatoire. En effet, ils pourraient acquérir des données représentatives de l'environnement du système VA (au moins sur l'un de ses côtés longitudinaux lorsqu'il s'agit d'un véhicule) pour au moins un autre dispositif embarqué dans le système VA, comme par exemple un dispositif d'assistance à la conduite.
Dans une seconde façon applicable aux systèmes pouvant se déplacer, les moyens de traitement MT peuvent choisir les données qui sont représentatives des deuxièmes distances d2 en fonction de la position géographique en cours du système VA et/ou d'au moins un paramètre représentatif de la dynamique en cours du système VA, comme par exemple sa vitesse ou son accélération. A titre d'exemple purement illustratif, lorsque le véhicule VA est en ville, les moyens de traitement MT peuvent choisir des deuxièmes distances d2 égales à 5 mètres. On notera que les moyens de traitement MT peuvent, par exemple, utiliser des caractéristiques techniques comprenant au moins des première et seconde focales respectivement des premiers MA1 et deuxièmes MA2 moyens d'acquisition, le centre et les dimensions de chaque première image il , et le centre et les dimensions de chaque deuxième image i2, ainsi que d'éventuels paramètres de distorsion des première il et deuxième i2 images.
Par exemple, on peut utiliser une caméra extérieure Ce* ayant un capteur 1/1 .2" ou 10,67 mm x 8 mm et une focale de 6 mm, une caméra intérieure Ont ayant un capteur 1/2" ou 6,4 mm x 4,8 mm et une focale de 4 mm, et un écran d'affichage EA de 498 mm x 121 mm.
Le centre et les dimensions d'une première il ou seconde i2 image peuvent être déterminés pendant une phase de calibration préliminaire en usine.
On notera également que les moyens de traitement MT peuvent, par exemple, déterminer la sous-zone SZ en fonction également de premières position et orientation de la caméra extérieure Ce* (faisant partie des premiers moyens d'acquisition MA1 ) par rapport à un référentiel choisi rattaché au système VA, de deuxièmes position et orientation de la caméra intérieure Ont (faisant partie des deuxièmes moyens d'acquisition MA2) par rapport à ce référentiel choisi, et de troisièmes position et orientation de l'écran d'affichage EA par rapport à ce référentiel choisi.
Par exemple, les premières position et orientation, les deuxièmes position et orientation, et les troisièmes position et orientation, ainsi qu'éventuellement les focales et dimensions et centre des images il et i2 peuvent être déterminé(e)s au moyen d'au moins une mire de calibration MC dans une phase de calibration préliminaire.
Pour ce faire, on peut, comme illustré schématiquement sur la figure 4, associer des référentiels respectivement aux caméra extérieure Ce*, caméra intérieure Ont et écran d'affichage EA. Sur cette figure 4, le référentiel (Xce*, Yce*, Zcext) est associé à la caméra extérieure Ce*, le référentiel (Xam, Yam, Zant) est associé à la caméra intérieure Ont, le référentiel S (Xs, Ys, Zs) est associé à l'écran d'affichage EA, et le référentiel W (Xw, Yw, Zw) est associé à la mire de calibration MC dont la position est précisément connue par rapport au référentiel choisi rattaché au système VA. A titre d'exemple, ce référentiel choisi rattaché au système VA peut être celui qui est associé à l'écran d'affichage EA.
Pendant la phase de calibration, on peut placer la mire de calibration MC dans plusieurs positions différentes (par exemple dix), afin d'acquérir avec chaque caméra u ext, Cint des images de cette mire de calibration MC. De nombreux points de référence de la mire de calibration MC peuvent être détectés dans chaque image puis utilisés comme informations tridimensionnelles pour estimer la focale, le centre de l'image, les dimensions de l'image, la position et la désorientation (ou rotation) entre la caméra et la mire de calibration MC (dans chaque position), et les éventuels coefficients de distorsion.
A titre d'exemple, la mire de calibration MC peut être exposée dans le champ de la caméra extérieure Cexl pour calculer la position et l'orientation de cette dernière dans le repère W associé à cette mire de calibration MC. La position est définie par une translation T et l'orientation est définie par une rotation R. Comme cette mire de calibration MC n'est pas initialement dans le champ da la caméra intérieure Ont, on calcule la position et l'orientation de cette dernière dans le repère W associé à cette mire de calibration MC en utilisant un miroir Ml. Autrement dit, la caméra intérieure Ont observe la mire de calibration MC réfléchie par le miroir Ml. Ensuite, la position et l'orientation relatives entre les caméra extérieure Cexl et caméra intérieure Ont peuvent être déduite de leurs position et orientation respectives par rapport au référentiel W associé à la mire de calibration MC en utilisant, par exemple, les équations suivantes :
R(Cint)cext = R(Cint)w * R(W)cext et T(Cint)cext = T(Cint)w— (R(Cint)cext * T(Cexl)w.
Dans ces deux équations R(Cint)cext est la rotation de Cint par rapport au référentiel associé à Ce*, R(Cint)w est la rotation de Cint par rapport au référentiel W associé à la mire de calibration MC, R(W)cext est la rotation de la mire de calibration MC par rapport au référentiel associé à Ce*, T(Cint)cext est la translation de Ont par rapport au référentiel associé à Ce*, T(Cint)w est la translation de Qnt par rapport au référentiel W associé à la mire de calibration MC, et T(Cexi)w est la translation de Cex[ par rapport au référentiel W associé à la mire de calibration MC.
On notera également que les moyens de traitement MT peuvent être réalisés sous la forme de modules logiciels (ou informatiques ou encore « software »), ou bien d'une combinaison de circuits électroniques (ou « hardware ») et de modules logiciels. Par conséquent, ils peuvent faire partie d'un calculateur CA du système VA (comme illustré sur la figure 1 ) ou bien constituer un calculateur dédié à la détermination et la génération des troisièmes images i3.
On notera également que lorsque l'écran d'affichage EA est flexible et épouse la forme d'une partie de la face interne FI (ici de l'élément masquant EM), il peut présenter au moins une courbure. Dans ce cas, les troisièmes images i3 qu'il affiche sont préférentiellement générées en prenant en compte chaque courbure de manière à ne pas introduire de déformation.
On notera également qu'afin d'éviter un rafraîchissement trop fréquent des troisièmes images i3, potentiellement perturbant pour la personne assise CV, les moyens de traitement MT peuvent effectuer un filtrage de manière à générer les troisièmes images i3 selon une période qui est plus grande que la période d'acquisition des premières images il .
On notera également que lorsque le système VA est un véhicule, on peut être amené, lorsqu'il se déplace à une vitesse supérieure à un seuil, à tenir compte du décalage temporel entre les instants d'acquisition des premières images il par les premiers moyens d'acquisition MA1 et les instants d'affichage des troisièmes images i3 sur l'écran d'affichage EA. A cet effet, on peut effectuer des traitements d'images prenant en compte la vitesse du véhicule VA. De tels traitements sont bien connus de l'homme de l'art.

Claims

REVENDICATIONS
1. Dispositif d'affichage (DA) pour un système (VA) comprenant i) un espace d'accueil de personne(s) (SC) propre à avoir dans son environnement un élément masquant (EM) pouvant gêner l'observation de l'environnement par une personne présente dans ledit espace d'accueil (SC), ii) des premiers moyens d'acquisition (MA1 ) acquérant des premières images représentatives d'au moins une zone extérieure (ZE) située derrière ledit élément masquant (EM), et iii) des deuxièmes moyens d'acquisition (MA2) acquérant des deuxièmes images d'au moins des yeux de ladite personne (CV), ledit dispositif (DA) comprenant a) des moyens de traitement (MT) déterminant dans lesdites premières images une sous- zone (SZ) masquée par ledit élément masquant (EM) à ladite personne (CV) en fonction d'une direction d'observation de son regard déterminée à partir desdites deuxièmes images, et générant des troisièmes images de cette sous-zone (SZ), et b) un écran d'affichage (EA) destiné à être solidarisé à une face interne (FI) d'une partie dudit système (VA) interceptant ladite direction d'observation et chargé d'afficher lesdites troisièmes images générées, caractérisé en ce que lesdits moyens de traitement (MT) estiment une première distance séparant ladite sous- zone (SZ) des yeux de ladite personne (CV) en fonction de caractéristiques techniques desdits premiers (MA1 ) et deuxièmes (MA2) moyens d'acquisition et de données représentatives de deuxièmes distances séparant des objets détectés dans ladite zone extérieure (ZE) d'un endroit prédéfini dudit système (VA) et d'une troisième distance séparant ledit endroit prédéfini desdits yeux, et déterminent ladite sous-zone (SZ) en fonction en outre de ladite première distance estimée.
2. Dispositif selon la revendication 1 , caractérisé en ce que lesdits moyens de traitement (MT) utilisent des données représentatives de deuxièmes distances déterminées par des troisièmes moyens d'acquisition (MA3) solidarisés audit système (VA).
3. Dispositif selon la revendication 1 , caractérisé en ce que lesdits moyens de traitement (MT) choisissent lesdites données représentatives de deuxièmes distances en fonction d'une position géographique en cours dudit système (VA) et/ou d'au moins un paramètre représentatif d'une dynamique en cours dudit système (VA).
4. Dispositif selon l'une des revendications 1 à 3, caractérisé en ce que lesdits moyens de traitement (MT) utilisent des caractéristiques techniques comprenant au moins des première et seconde focales respectivement desdits premiers (MA1 ) et deuxièmes (MA2) moyens d'acquisition, un centre et des dimensions de chaque première image, et un centre et des dimensions de chaque deuxième image.
5. Dispositif selon l'une des revendications 1 à 4, caractérisé en ce que lesdits moyens de traitement (MT) déterminent ladite sous-zone (SZ) en fonction en outre de premières position et orientation d'une caméra (Ce*), faisant partie desdits premiers moyens d'acquisition (MA1 ), par rapport à un référentiel choisi rattaché audit système (VA), de deuxièmes position et orientation d'une caméra (Ont), faisant partie desdits deuxièmes moyens d'acquisition (MA2), par rapport à ce référentiel choisi, et de troisièmes position et orientation dudit écran d'affichage (EA) par rapport à ce référentiel choisi.
6. Dispositif selon la revendication 5, caractérisé en ce que lesdites premières position et orientation, lesdites deuxièmes position et orientation, et lesdites troisièmes position et orientation sont déterminées au moyen d'au moins une mire (MC) dans une phase de calibration préliminaire.
7. Dispositif selon l'une des revendications 1 à 6, caractérisé en ce que ledit écran d'affichage (EA) est de type flexible.
8. Système (VA) comprenant i) un espace d'accueil de personne(s) (SC) propre à avoir dans son environnement un élément masquant (EM) pouvant gêner l'observation de l'environnement par une personne présente dans ledit espace d'accueil (SC), ii) des premiers moyens d'acquisition (MA1 ) acquérant des premières images représentatives d'au moins une zone extérieure (ZE) située derrière ledit élément masquant (EM), et iii) des deuxièmes moyens d'acquisition (MA2) acquérant des deuxièmes images d'au moins des yeux de ladite personne (CV), caractérisé en ce qu'il comprend en outre un dispositif d'affichage (DA) selon l'une des revendications 1 à 7.
9. Système selon la revendication 8, caractérisé en ce qu'il comprend ledit élément masquant (EM), et en ce que lesdits premiers moyens d'acquisition (MA1 ) sont au moins en partie solidarisés fixement à une face externe dudit élément masquant (EM).
10. Système selon la revendication 8 ou 9, caractérisé en ce qu'il est agencé sous la forme d'un véhicule.
PCT/FR2018/052474 2017-10-27 2018-10-08 Dispositif d'affichage à écran fixé à une partie d'un système pour rendre transparent un élément masquant. WO2019081829A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1760178 2017-10-27
FR1760178A FR3072932B1 (fr) 2017-10-27 2017-10-27 Dispositif d’affichage a ecran fixe a une partie d’un systeme pour rendre transparent un element masquant.

Publications (1)

Publication Number Publication Date
WO2019081829A1 true WO2019081829A1 (fr) 2019-05-02

Family

ID=61187425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2018/052474 WO2019081829A1 (fr) 2017-10-27 2018-10-08 Dispositif d'affichage à écran fixé à une partie d'un système pour rendre transparent un élément masquant.

Country Status (2)

Country Link
FR (1) FR3072932B1 (fr)
WO (1) WO2019081829A1 (fr)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6809704B2 (en) * 2002-02-08 2004-10-26 Charles J. Kulas Reduction of blind spots by using display screens
US20070081262A1 (en) * 2005-10-07 2007-04-12 Nissan Motor Co., Ltd. Blind spot image display apparatus and method thereof for vehicle
JP2008213649A (ja) * 2007-03-02 2008-09-18 Toyota Motor Corp 車両用周辺監視装置
WO2013055513A1 (fr) 2011-10-14 2013-04-18 Continental Automotive Systems, Inc. Système d'affichage virtuel pour un véhicule
DE102015204745A1 (de) * 2015-03-17 2016-09-22 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6809704B2 (en) * 2002-02-08 2004-10-26 Charles J. Kulas Reduction of blind spots by using display screens
US20070081262A1 (en) * 2005-10-07 2007-04-12 Nissan Motor Co., Ltd. Blind spot image display apparatus and method thereof for vehicle
JP2008213649A (ja) * 2007-03-02 2008-09-18 Toyota Motor Corp 車両用周辺監視装置
WO2013055513A1 (fr) 2011-10-14 2013-04-18 Continental Automotive Systems, Inc. Système d'affichage virtuel pour un véhicule
DE102015204745A1 (de) * 2015-03-17 2016-09-22 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität

Also Published As

Publication number Publication date
FR3072932A1 (fr) 2019-05-03
FR3072932B1 (fr) 2021-08-06

Similar Documents

Publication Publication Date Title
FR2993509A1 (fr) Dispositif electronique de protection contre l'eblouissement d'un pilote ou d'un conducteur.
WO2018158163A1 (fr) Dispositf de détermination de l'état d'attention d'un conducteur de véhicule, système embarqué comprenant un tel dispositif, et procédé associé
WO2016128654A1 (fr) Dispositif et procede de stationnement automatique d'un vehicule automobile
FR3039812A1 (fr) Dispositif et procede de detection de place de stationnement libre pour un vehicule automobile.
EP3717956B1 (fr) Dispositif de vision pour pilote d'aeronef
FR2942064A1 (fr) Procede et systeme pour alerter un conducteur de vehicule
WO2013030480A1 (fr) Dispositif pour estimer une trajectoire future d'un véhicule et associer à des parties qu'elle comprend des aspects différents selon leurs positions par rapport à un obstacle, pour un système d'aide à la conduite
EP2729328B1 (fr) Dispositif d'aide pour mettre à la disposition d'un conducteur, de façon anticipée, une image de synthèse représentative d'une zone choisie entourant son véhicule
FR2902381A1 (fr) Fusion d'images entre un systeme de navigation et un systeme de vision de nuit
WO2019081829A1 (fr) Dispositif d'affichage à écran fixé à une partie d'un système pour rendre transparent un élément masquant.
EP3263406B1 (fr) Système d'aide à la conduite pour un véhicule, véhicule ferroviaire et procédé d'utilisation associés
FR3054356A1 (fr) Procede de determination d'un niveau d'eblouissement d'un conducteur de vehicule automobile
FR3056537A1 (fr) Systeme d'aide a la conduite d'un vehicule automobile
EP2648963A1 (fr) Dispositif d'aide permettant au conducteur d'un vehicule de verifier une zone de stationnement quittee
EP3867126B1 (fr) Procédé et dispositif d'aide à la conduite d'un véhicule automobile en phase de recul
EP4077016B1 (fr) Systeme et procede d'assistance visuelle a un individu souffrant de cinetose
FR2941307A1 (fr) Systeme d'affichage d'informations notamment pour vehicule automobile et vehicule automobile comportant un tel systeme d'affichage.
EP3418121B1 (fr) Dispositif pour afficher un débattement d'une portière d'un véhicule et procédé associé
FR3039918A1 (fr) Dispositif et procede d'aide au stationnement pour un vehicule automobile.
FR3061978A1 (fr) Dispositif d'aide a l'observation de la zone situee derriere un vehicule
FR3122391A1 (fr) Procédé et dispositif de détermination d’un état d’attention d’un conducteur d’un véhicule autonome
FR3061780A1 (fr) Procede de pilotage d'un afficheur de vehicule automobile, et afficheur correspondant
FR3098620A1 (fr) Procédé de génération d’une représentation visuelle de l’environnement de conduite d’un véhicule
FR3111464A1 (fr) Procédé de calibration d’une caméra et dispositif associé
FR3082485A1 (fr) Dispositif d'affichage pour l'aide a la conduite d'un conducteur d'un vehicule

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18796085

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18796085

Country of ref document: EP

Kind code of ref document: A1