WO2007063262A2 - Procede d'extraction d'un objet sur un fond projete - Google Patents

Procede d'extraction d'un objet sur un fond projete Download PDF

Info

Publication number
WO2007063262A2
WO2007063262A2 PCT/FR2006/051276 FR2006051276W WO2007063262A2 WO 2007063262 A2 WO2007063262 A2 WO 2007063262A2 FR 2006051276 W FR2006051276 W FR 2006051276W WO 2007063262 A2 WO2007063262 A2 WO 2007063262A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
function
background
geometric transformation
projected
Prior art date
Application number
PCT/FR2006/051276
Other languages
English (en)
Other versions
WO2007063262A3 (fr
Inventor
Francois Coldefy
Michel Collobert
Mohamed Ali Ben Salah
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Priority to US12/085,976 priority Critical patent/US9036911B2/en
Priority to EP06842087A priority patent/EP1964057A2/fr
Publication of WO2007063262A2 publication Critical patent/WO2007063262A2/fr
Publication of WO2007063262A3 publication Critical patent/WO2007063262A3/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Definitions

  • the present invention relates to a method of extracting, in a recorded image, an object situated in the foreground of a projected background. It also relates to an extraction module and a computer program for implementing said method.
  • the invention finds a particularly advantageous application in the field of the automatic extraction of objects on the background of projected images, shared between an interlocutor and a remote assembly, for viewing by the remote assembly of the gestures of the interlocutor around projected images.
  • the fields of application of the invention are therefore multiple. Examples include videoconferencing, distance learning, television presentations, and so on.
  • the invention relates more particularly to situations where it is desired to retransmit to remote persons a scene constituted by a speaker who, during a presentation for example, designates with his hands areas of interest, such as a formula, a diagram, a map, located on a digital image projected on a monitor, a video projection screen or rear projection.
  • areas of interest such as a formula, a diagram, a map, located on a digital image projected on a monitor, a video projection screen or rear projection.
  • the visualization of the gestures of a distant interlocutor is also essential to promote the mutual awareness of users of remote collaborative platforms. It can be seen that starting from three users the coordination of the actions of the different actors becomes problematic. Visualization of the gestures of each remote user makes it possible to better identify the author of an action in progress and also to become aware of the intentionalities of each one.
  • the invention therefore also extends to gestural interfaces on screens, monitors or graphic tables.
  • the extraction of the arm and His hand from the user is essential for the identification of the gesture and the associated interaction.
  • a first way to transmit to distant people a scene of a speaker speaking in front of a projected background is to record it with a video camera and retransmit to remote people through a telecommunication network.
  • one solution consists in sharing between the speaker and the remote assembly the same digital images forming the projected background, extracting from the recorded image the gestures of the user, to transmit them to the remote persons and to insert them into the shared images.
  • This known method is based on an analysis of local characteristics extracted from the background image, in particular by the discrete cosine transform (DCT) method (Discrete Cosine Transform).
  • DCT discrete cosine transform
  • the background model is estimated as a block of pixels per block of pixels, by learning on a sequence of background images, according to a hypothesis of Gaussian distributions independent of the local characteristics. These characteristics are then estimated on the current image, and the pixels, or groups of pixels, which do not satisfy the model learned, according to a given thresholding criterion, are considered as belonging to the objects of the foreground.
  • a progressive temporal update of the bottom model is carried out by means of a linear weighting of the learning parameter between the local characteristics of the background model and those from the current image.
  • the technical problem to be solved by the object of the present invention is to propose a method of extracting, in a recorded image, an object situated in the foreground of a projected background, which would make it possible to obtain a object extracted reliable and insensitive to fluctuations in position, lighting and composition of the background due to changes in projected images that may occur during the recording of the scene.
  • said object as the set of elements of the recorded image having a deviation from said correspondence law.
  • the invention is based on the fact that the projected background is known a priori as a digital image stored for example in a personal computer.
  • the recorded image of the entire scene consisting of the background in the background and the object to be extracted in the foreground is also known in digitized form, so that a very close comparison can be made between the background projected and the recorded background, allowing to establish the law of correspondence sought with a lot of precision, which guarantees a great robustness to the extraction carried out.
  • the method according to the invention is insensitive to the bottom of the position variations and the variations in illumination, the latter being automatically taken into account.
  • the projected background can be any and modified during the time, such as a videogram, a graphical user interface, etc.
  • said correspondence law is described by a geometric transformation function H and a light transfer function T by means of the relation;
  • a real-time update is performed of the geometric transformation function H and the light transfer function T.
  • the updating of the function H is however not necessary if the mechanical device coupling the projection surface to the recording camera is rigid.
  • the light transfer function T can be limited to intensity only in terms of gray levels s with the advantage of a low computing load, or extended to each of the three color channels whatever the representation (RGB, Lab “ Luv, Yuv, IHS “ StC) 8 or any other focal characteristics such as those associated with a Gabor filter bank to account for its texture of images (HG Feissoninger and T. Strohmer, "Gabor Analysis and Afgoritms, "Applied and Numericai Harmony Analysis, Birkhauser Boston Inc., Boston, MA 5 1998).
  • said method comprises an initialization step comprising:
  • said initialization step further comprises an estimation of the geometric transformation function H and the light transfer function T of minimizing the function F (H, T):
  • the quality of the image of the object obtained after the extraction step can be improved because, according to the invention, said method comprises a post-processing step of regularizing the extracted object. Regularization is understood to mean the operations of eliminating background areas still present in the extracted object and eliminating false detections of the extracted object appearing in the background.
  • the extraction step includes a preliminary step of adjusting the channel intensity bright f from the bottom.
  • the invention also relates to an extraction module, in a recorded image, of an object situated in the foreground of a projected background, remarkable in that said module comprises means for:
  • said object as the set of elements of the recorded image having a deviation from said correspondence law.
  • said module comprises means for calculating a geometric transformation function H and a light transfer function T minimizing the function F (H, T):
  • said module comprises post-processing means able to regulate the extracted object.
  • said module comprises channel adjustment means derived from the light intensity I of the bottom.
  • the invention further relates to a computer program comprising program code instructions for carrying out the steps of the method according to the invention when said program is executed on a computer.
  • Figure 1a is a diagram of a first embodiment of the invention.
  • Figure 1b is a diagram of a second embodiment of the invention.
  • Figure 2a shows a projected background constituting a background for a recorded image.
  • FIG. 2b shows a recorded image of an object in the foreground on the background of Figure 2a.
  • FIG. 2c represents the distant image obtained by applying the method according to the invention to the recorded image of FIG. 2b.
  • FIG. 3 is a general diagram of the extraction process according to the invention.
  • FIG. 4 is a diagram of the initialization step of the method of FIG. 3.
  • FIG. 5 is a diagram of the extraction step of the method of FIG.
  • FIG. 1a shows a first exemplary embodiment of a method for extracting automatically from an image recorded by a video camera 20 an object 1 situated in the foreground of a background 10 formed from images driven by a personal computer 30 and projected on a surface 10 by a device 11 of video projection or backprojection, as shown in Figures 1a and 1b.
  • the projection surface is a digital table 10 '.
  • the object to be extracted is the arm 1 of an intervener during a videoconference to which remote persons are present.
  • the video camera 20 is connected to a telecommunication network 2 capable of transmitting the digital image supplied at the output of the camera 20 by a module 40 responsible for extracting the object 1, in accordance with the method of the invention. 'invention.
  • Figure 2a shows an example of a background 10 projected on surfaces 10 or 10 * .
  • FIG. 2b The image of the interference recorded directly by the camera 20 is given in FIG. 2b. It can be seen in this figure that the background is of poor quality to the point of making it unreadable by a remote person receiving this image in the state.
  • remote persons have the same background images as the intervener " which does not poses no difficulty with regard to images that can be transmitted as digital files or when these images available on each of the remote stations are viewed synchronously. It then suffices to extract the object 1 from the image recorded by the camera 20 by means of the extraction module 40, to transmit to the remote persons the object 1 thus extracted and to superimpose it locally at the bottom 10. in this way the image of Figure 2c where the extracted object appears on a background of good quality.
  • the extraction in the foreground / background made by the module 40 is based on a priori knowledge of the background, which is an image projected on a flat surface, 10 or 10 '. This background image will be noted later.
  • the camera 20 records the scene constituted by the projected image and any objects 1 placed in the foreground. We call E the image recorded by the camera.
  • the image recorded by the camera 20 of the projected background is known to a geometric transformation function H and a near light transfer function T.
  • the geometric transformation function H is modeled in the general case by homography or affinity if the focal axis of the camera is substantially perpendicular to the projection surface.
  • the index i will be omitted when it will not be necessary.
  • the extraction method implemented by the module 40 is based on the construction of a correspondence faith between the pixels, or pixels, of the projected background and the rear of the image recorded by the camera.
  • FIG. 3 indicates the different steps of an extraction method according to the invention, namely an initialization step, an extraction step proper. and a post-processing step.
  • the object obtained at the end of all the steps of the method is transmitted for example to all remote participants in a videoconference.
  • the actual extraction step will now be described in detail with reference to FIG.
  • This step begins with the calculation of the analysis channels from the video signals.
  • These channels can be limited to the single intensity, or correspond to the three color channels (RGB, Lab, Luv, etc.) (G. Wyszecki and WS Stiles, Color Science: Concepts and Methods, John Wiley and Sons, 1982) and also local analyzes, such as averages, variances, Gabor filters, etc.
  • estimating the transfer function T on each of the channels requires sufficient data. Typically, this requires knowing for each channel the interval [Li n , ImaJ where i m i n and l max are the minimum and maximum values observed for! for this channel. Outside of these values, the transfer function can not be estimated because no data is available. Rather than modifying the starting set of the transfer function according to the original image, it is preferable to impose a transformation of [Q, 255] to [Emin, E max
  • the next step is to estimate the H and T functions.
  • the geometric transformation function H can be represented in the general case of planar projection surface by a homography defined by 8 parameters denoted a.b ⁇ .d ⁇ .f.g and h according to the usual definition:
  • the geometric transformation H can be defined by 6 parameters a, b, c, d, e and f according to the following definition: ax + by + c dx + ey + f
  • the transfer function T is modeled by a decomposition on the basis of generating functions that can be indifferently wavelets (S. Mallat, “Wavelet Tour of Signal Processing", Academy Press, 2nd Edition, 1999) or splines (B. Chatmond, “Modeling and Inverse Problem in Image Analysis,” Applied Mathematics, Springer Verlag, Vol.155, Chap.3, pp.53-57, 2003).
  • functions can be indifferently wavelets (S. Mallat, "Wavelet Tour of Signal Processing", Academy Press, 2nd Edition, 1999) or splines (B. Chatmond, “Modeling and Inverse Problem in Image Analysis,” Applied Mathematics, Springer Verlag, Vol.155, Chap.3, pp.53-57, 2003).
  • IRLS Intelligent Least Square Algorithm
  • h ⁇ represents the ith parameter of H and r the number of parameters of H.
  • step t we denote by Ht the estimate of H: * we minimize F ° H t in ⁇ , at fixed Ht: linear in ⁇ , the function F ° H t allows minimization according to the IRLS;
  • a stopping criterion chosen may be the following: iteration as long as the ratio (F 0 H 4 + 1 - F 0 H) / F ° H t is greater than a threshold.
  • Ht is the estimate of H:
  • the iteration is continued as long as the stopping criterion is not checked.
  • a stopping criterion retained may be the following: iteration as long as the ratio (F 0 H 1 + 1 - F 0 H 4 ) / F 0 H 1 is greater than a threshold.
  • the actual extraction implements the M-emitters whose interesting property is to offer a measure, called weight, of the adequacy between the observation and the law of correspondence.
  • This weight takes a value close to 0 when the error ⁇ s is large, in this case the pixel does not follow the law of correspondence.
  • the pixel is a foreground pixel if the weight ⁇ s estimated for at least one of the channels i used is less than 0.25.
  • the number of iterations of the IRLS per image can be increased to reduce this disadvantage, within the limit of 25Hz of refreshment.
  • Another possibility is to perform an iteration by image; given the small number of iterations, the update of the estimate will not last more than one second.
  • a final step can be performed to regularize the binary segmentation. This is to eliminate from the image provided by the module 40 the background elements present in the extracted object and, conversely, the background elements identified as to be extracted.
  • One possible method is to successively use a morphological erosion filter and then a dilation filter (CR Giardina and E. R. Dougherty, Morphological Methods in Image and Signal Processing, Englewood Cliffs, New Jersey: Prentice-Haff, 321, 1988).
  • the erosion and expansion range selected is 2,
  • a rough estimate of H is made manually by pointing to the image recorded four particular points of the projected image: the four corners for example if the recorded image contains the entire projected image, or other points in the image. opposite case.
  • the correspondence between the four points of the projected image and their projection on the recorded image provides eight linear equations making it possible to obtain an identification of the six or eight parameters of the geometric transformation either by inversion of a direct linear system in the case homography, or by least-squares minimization in the case of affinity.
  • the transfer function T or the transfer functions Ti are initialized with the identity function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Silver Salt Photography Or Processing Solution Therefor (AREA)

Abstract

Procédé d'extraction, dans une image enregistrée, d'un objet situé en avant-plan d'un fond projeté. Selon l'invention, ledit procédé comprend une étape d'extraction consistant à : - établir une loi de correspondance entre éléments d'image du fond projeté et de Panière-plan de l'image enregistrée, - définir ledit objet comme l'ensemble des éléments de l'image enregistrée présentant un écart à ladite loi de correspondance. Application à la visioconférence, au télé-enseignement, aux présentations télévisées.

Description

PROCEDE D'EXTRACTION D'UN OBJET SUR UN FOND PROJETE
La présente invention concerne un procédé d'extraction, dans une image enregistrée, d'un objet situé en avant-plan d'un fond projeté. Elle concerne également un module d'extraction ainsi qu'un programme d'ordinateur pour la mise en œuvre dudit procédé. L'invention trouve une application particulièrement avantageuse dans le domaine de l'extraction automatique d'objets sur fond d'images projetées, partagées entre un interlocuteur et une assemblée distante, pour la visualisation par l'assemblée distante des gestes de l'interlocuteur autour des images projetées. Les domaines d'application de l'invention sont donc multiples. On citera à titre d'exemples, la visioconférence, le télé-enseignement, les présentations télévisées, etc.
L'invention se rapporte plus spécialement aux situations où l'on souhaite retransmettre à des personnes distantes une scène constituée par un intervenant qui, au cours d'une présentation par exemple, désigne avec ses mains des zones d'intérêt, telles qu'une formule, un schéma, une carte, situées sur une image numérique projetée sur un moniteur, un écran de vidéoprojection ou de rétroprojection.
Par ailleurs, la visualisation des gestes d'un interlocuteur distant, telle que la fournit l'invention, est également primordiale pour favoriser la conscience mutuelle des utilisateurs de plateformes collaboratives distantes. On constate en effet qu'à partir de trois utilisateurs la coordination des actions des différents acteurs devient problématique. La visualisation des gestes de chacun des utilisateurs distants permet de mieux identifier l'auteur d'une action en cours et également de prendre conscience des intentionnalités de chacun.
L'invention s'étend donc aussi aux interfaces gestuelles sur écrans, moniteurs ou tables graphiques. L'extraction du bras et de Sa main de l'utilisateur est essentielle pour l'identification du geste et de l'interaction associée.
Un premier moyen pour transmettre à des personnes distantes une scène d'un intervenant s'exprimant devant un fond projeté est de l'enregistrer à l'aide d'une caméra vidéo et de la retransmettre aux personnes distantes à travers un réseau de télécommunication.
Toutefois, cette façon de procéder présente l'inconvénient que la résolution optique de la caméra vidéo est en général bien inférieure à la définition des images numériques projetées, de sorte que, si les gestes de l'intervenant sont correctement reçus, le fond de l'image enregistrée et transmise à l'assemblée distante devient pratiquement illisible, ce qui limite considérablement l'intérêt de ce type de télétransmission.
Pour remédier à cet inconvénient, une solution consiste à partager entre l'intervenant et l'assemblée distante les mêmes images numériques formant le fond projeté, à extraire de l'image enregistrée les gestes de l'utilisateur, à les transmettre aux personnes distantes et à les insérer dans les images partagées. On obtient ainsi une image du fond qui a conservé sa définition, mais augmentée des gestes de l'intervenant.
Pour extraire de l'image enregistrée un objet situé en avant-plan d'un fond, ici le bras et les mains de l'intervenant, divers procédés ont déjà été proposés, notamment celui décrit dans la demande internationale WO2005036456.
Ce procédé connu repose sur une analyse de caractéristiques locales extraites de l'image de fond, notamment par la méthode des transformées en cosinus discrets DCT (« Discrète Cosine Transform »). Le modèle de fond est estimé, bloc de pixels par bloc de pixels, par apprentissage sur une séquence d'images du fond, selon une hypothèse de distributions gaussiennes indépendantes des caractéristiques locales. Ces caractéristiques sont ensuite estimées sur l'image courante, et les pixels, ou !es groupes de pixels, ne satisfaisant pas le modèle appris, selon un critère de seuillage donné, sont considérés comme appartenant aux objets de l'avant-plan. Une mise à jour temporelle progressive du modèle de fond est réalisée au moyen d'une pondération linéaire du paramètre d'apprentissage entre les caractéristiques locales du modèle de fond et celles issues de l'image courante.
Cependant, la segmentation ainsi obtenue des objets de l'avant-plan est en général assez imprécise surtout si le fond est complexe. De plus, toute modification du fond ou de position de la caméra sont automatiquement identifiées comme faisant partie de l'avant-plan, ce qui bien entendu entraîne des erreurs importantes dans l'extraction de l'objet recherché.
Aussi, le problème technique à résoudre par l'objet de la présente invention est de proposer un procédé d'extraction, dans une image enregistrée, d'un objet situé en avant-plan d'un fond projeté, qui permettrait d'obtenir un objet extrait fiable et insensible aux fluctuations de position, d'éclairage et de composition du fond du fait de changements des images projetées, pouvant se produire lors de l'enregistrement de la scène.
La solution au problème technique posé consiste, selon la présente invention, en ce que ledit procédé comprend une étape d'extraction consistant à :
- établir une loi de correspondance entre éléments d'image du fond projeté et de Parrière-plan de l'image enregistrée,
- définir ledit objet comme l'ensemble des éléments de l'image enregistrée présentant un écart à ladite loi de correspondance.
Ainsi, l'invention repose sur le fait que le fond projeté est connu a priori en tant qu'image numérique stockée par exemple dans un ordinateur personnel. L'image enregistrée de l'ensemble de la scène constituée par le fond en arrière-plan et l'objet à extraire en avant-plan est également connue sous forme numérisée, de sorte qu'une comparaison très étroite peut être effectuée entre Ie fond projeté et l'arrière-plan enregistré, permettant d'établir la loi de correspondance recherchée avec beaucoup de précision, ce qui garantit une grande robustesse à l'extraction réalisée.
D'autre part» (a toi de correspondance étant mise à jour en temps réel, le procédé conforme à l'invention est insensible aux variations de position du fond et aux variations d'éclairage, celles-ci étant automatiquement prises en compte. Le fond projeté peut donc être quelconque et être modifié au cours du temps, comme un vidéogramme, une interface graphique en cours d'utilisation, etc.
Selon un mode de réalisation de l'invention, ladite loi de correspondance est décrite par une fonction H de transformation géométrique et une fonction T de transfert lumineuse au moyen de la relation ;
T(I(S)) = E(Hs)
exprimant l'égalité entre l'intensité lumineuse T(I(S)) à l'élément d'image s du fond projeté I, corrigée par la fonction T de transfert lumineuse, et l'intensité lumineuse observée E(Hs) de l'image enregistrée E à l'élément d'image Hs, image de l'élément d'image s par la fonction H de transformation géométrique. L'invention n'est pas limitée à la relation utilisée ci-dessus pour exprimer la loi de correspondance. Elle s'étend bien entendu à toute autre formulation équivalente telle que par exemple l(s) = T(E(Hs)), T1 étant une fonction de transfert lumineuse de l'image enregistrée vers le fond projeté.
Dans ce mode de réalisation, ledit écart à la loi de correspondance est représenté par un bruit εs observé en chaque élément d'image s : εs = T(I(S)) - E(Hs)
A partir du fond projeté et de l'image enregistrée, une mise à jour en temps réel, à une fréquence supérieure à 25 Hz, est effectuée de la fonction H de transformation géométrique et de la fonction T de transfert lumineuse. La mise à jour de la fonction H n'est toutefois pas nécessaire si le dispositif mécanique couplant la surface de projection à la caméra d'enregistrement est rigide.
La fonction T de transfert lumineuse peut être limitée à fa seule intensité en terme de niveaux de griss avec S'avantage d'une faible charge de calcul, ou étendue à chacun des trois canaux couleurs quelle qu'en soit la représentation (RGB, Lab» Luv, Yuv, IHS» StC)8 ou encore à tout autres caractéristiques focales comme par exemple celles associées à une batterie de filtres de Gabor pour rendre compte de Sa texture des images (H.G. Feîchtinger and T. Strohmer, « Gabor Analysis and Afgoritms », Applied and Numericai Harmonie Analysis, Birkhâuser Boston Inc., Boston» MA5 1998). La fonction de transfert lumineuse peut alors être considérée comme un vecteur T = où i représente un canal et n le nombre total de canaux.
L'estimation de la fonction H de transformation géométrique et de la fonction T de transfert lumineuse repose sur l'utilisation d'estimateurs robustes comme les M-estimateurs associés par exemple à la fonction de Tuckey (PJ. Huber, « Robust Statistics », New-York Wiley, 1981). Ce modèle permet de quantifier numériquement l'adéquation pour chaque pixel avec la loi de correspondance. A contrario, il permet de détecter les pixels faisant partie de l'avant-plan. Conformément à l'invention, ledit procédé comprend une étape d'initialisation comportant :
- une estimation de la fonction H de transformation géométrique à partir de la mise en correspondance d'éléments d'image particuliers de l'image de fond projeté et de l'image enregistrée dudit fond projeté, - une initialisation de la fonction T de transfert lumineuse par la fonction identité.
La précision de ces estimations préalables peut encore être augmentée si, comme le prévoit l'invention, ladite étape d'initialisation comporte en outre une estimation de la fonction H de transformation géométrique et de la fonction T de transfert lumineuse consistant à minimiser la fonction F(H, T) :
F(H, T) = ∑s P(T(I(S)) - E(Hs))
où p est une fonction de coût de l'erreur. De même, Ia qualité de l'image de l'objet obtenu après l'étape d'extraction peut être améliorée du fait que, selon l'invention, ledit procédé comprend une étape de post-traitement consistant à régulariser l'objet extrait. On entend par régularisation les opérations consistant aussi bien à éliminer des zones d'arrière-plan encore présentes dans l'objet extrait qu'à éliminer les fausses détections de l'objet extrait apparaissant dans i'arrière-plan.
Enfin, de manière à pouvoir mener à bien l'estimation de la fonction T sur fes n canaux, il est prévu» selon l'invention, que l'étape d'extraction comporte une étape préalable d'ajustement des canaux de l'intensité lumineuse f du fond. L'invention concerne également un module d'extraction, dans une image enregistrée, d'un objet situé en avant-plan d'un fond projeté, remarquable en ce que ledit module comprend des moyens pour :
- établir une loi de correspondance entre éléments d'image du fond projeté et de l'arrière-plan de l'image enregistrée,
- définir ledit objet comme l'ensemble des éléments de l'image enregistrée présentant un écart à ladite loi de correspondance.
Selon l'invention, ledit module comprend des moyens de calcul d'une fonction H de transformation géométrique et d'une fonction T de transfert lumineuse minimisant la fonction F(H, T) :
F(H, T) = ∑s P(T(I(S)) - E(Hs))
exprimant l'erreur cumulée sur l'ensemble des éléments d'image s entre l'intensité lumineuse T(l(s)) à l'élément d'image s du fond projeté, corrigée par une fonction T de transfert lumineuse, et l'intensité lumineuse E(Hs) de l'image enregistrée E à l'élément d'image Hs, image de l'élément d'image s par une fonction H de transformation géométrique, et p étant une fonction de coût de l'erreur. Selon l'invention, ledit module comprend des moyens de posttraitement aptes à régulariser l'objet extrait.
Selon l'invention, ledit module comprend des moyens d'ajustement de canaux issus de l'intensité lumineuse I du fond.
L'invention concerne en outre un programme d'ordinateur comprenant des instructions de code de programme pour mettre en oeuvre les étapes du procédé selon l'invention lorsque ledit programme est exécuté sur un ordinateur.
La description qui va suivre en regard des dessins annexés, donnés à titre d'exemples non limitatifs, fera bien comprendre en quoi consiste l'invention et comment elle peut être réalisée.
La figure 1a est un schéma d'un premier mode de réalisation de l'invention.
La figure 1b est un schéma d'un deuxième mode de réalisation de l'invention. La figure 2a représente un fond projeté constituant un arrière-plan pour une image enregistrée.
La figure 2b représente une image enregistrée d'un objet en avant-plan sur le fond de la figure 2a. La figure 2c représente l'image distante obtenue par application du procédé conforme à l'invention à l'image enregistrée de la figure 2b.
La figure 3 est un schéma général du procédé d'extraction conforme à l'invention.
La figure 4 est un schéma de l'étape d'initialisation du procédé de la figure 3.
La figure 5 est un schéma de l'étape d'extraction du procédé de la figure 3.
Sur la figure 1a est représenté un premier exemple de réalisation d'un procédé destiné à extraire automatiquement d'une image enregistrée par une caméra vidéo 20 un objet 1 situé en avant-plan d'un fond 10 formé à partir d'images pilotées par un ordinateur personnel 30 et projetées sur une surface 10 par un dispositif 11 de vidéoprojection ou de rétroprojection, comme indiqué sur les figures 1 a et 1 b. Sur la variante de la figure 1 b, la surface de projection est une table numérique 10'. Dans les deux exemples montrés aux figures 1 a et 1 b, l'objet à extraire est le bras 1 d'un intervenant au cours d'une visioconférence à laquelle assistent des personnes distantes. A cet effet, la caméra vidéo 20 est reliée à un réseau 2 de télécommunication apte à transmettre l'image numérique fournie en sortie de la caméra 20 par un module 40 chargé de l'extraction de l'objet 1 , conformément au procédé de l'invention.
La figure 2a donne un exemple de fond 10 projeté sur les surfaces 10 ou 10*.
L'image de i'ïnterveπant enregistrée directement par Ia caméra 20 est donnée sur Ia figure 2b. On peut constater sur cette figure que le fond est de mauvaise qualité au point de ie rendre illisible par une personne distante recevant cette image en l'état.
Pour remédier à cette situation, il est proposé que les personnes distantes disposent des mêmes images de fond que l'intervenant» ce qui ne pose aucune difficulté s'agissant d'images qui peuvent être transmises sous forme de fichiers numériques ou lorsque ces images disponibles sur chacun des postes distants sont visualisées de manière synchrone. Il suffit alors d'extraire l'objet 1 de l'image enregistrée par la caméra 20 au moyen du module 40 d'extraction, de transmettre aux personnes distantes l'objet 1 ainsi extrait et de le superposer localement au fond 10. On obtient de cette manière l'image de la figure 2c où l'objet extrait apparaît sur un fond de bonne qualité.
L'extraction en avant-plan/arrière plan réalisée par le module 40 repose sur la connaissance a priori du fond, lequel est une image projetée sur une surface plane, 10 ou 10'. Cette image de fond sera notée I par la suite. La caméra 20 enregistre la scène constituée par l'image projetée et par d'éventuels objets 1 placés en avant-plan. On appelle E l'image enregistrée par la caméra.
L'image enregistrée par la caméra 20 du fond projeté est connue à une fonction H de transformation géométrique et une fonction T de transfert lumineuse près.
Lorsque la surface de projection est plane, la fonction H de transformation géométrique est modélisée dans le cas général par une homographie ou par une affinité si l'axe focal de la caméra est pratiquement perpendiculaire à la surface de projection.
Comme cela a été mentionné plus haut, la fonction T de transfert lumineuse est en fait un vecteur T = (Ti)i=1 n dont les n composantes i représentent les canaux d'analyse retenus. Rappelons que dans le cas le plus simple où seule l'intensité est utilisée pour exprimer la fonction T de transfert, la charge de calcul est faible mais ceci au détriment de la précision de l'extraction avant-plan/arrière-plan.
Dans la suite, pour des raisons de lisibilité, i'indice i sera omis lorsqu'il ne sera pas nécessaire.
Le procédé d'extraction mis en œuvre par le module 40 repose sur la construction d'une foi de correspondance entre les éléments d'image, ou pixels, du fond projeté et de l'arrière-pian de l'image enregistrée par la caméra
20, Cette toi peut s'exprimer à partir des fonctions H et T au moyen de la relation : T(I(S)) - E(Hs) = 0
exprimant l'égalité entre l'intensité lumineuse T(I(S)) à l'élément d'image s du fond projeté, corrigée par la fonction T de transfert lumineuse, et l'intensité lumineuse E(Hs) à l'élément d'image Hs de l'image enregistrée, image de l'élément d'image s par la fonction H de transformation géométrique.
L'objet à extraire est alors défini comme l'ensemble des éléments de l'image enregistrée présentant un écart à la loi de correspondance T(I(S)) - E(Hs) = 0, à savoir εs = T(I(S)) - E(Hs) et εs ≠ 0. La figure 3 indique les différentes étapes d'un procédé d'extraction conforme à l'invention, à savoir une étape d'initialisation, une étape d'extraction proprement dite et une étape de post-traitement. L'objet obtenu à l'issue de l'ensemble des étapes du procédé est transmis par exemple à l'ensemble des participants distants à une visioconférence. L'étape d'extraction proprement dite va maintenant être décrite en détail en référence à la figure 5.
Cette étape débute par le calcul des canaux d'analyse à partir des signaux vidéo. Ces canaux peuvent être limités à la seule intensité, ou correspondre aux trois canaux couleurs (RGB, Lab, Luv, etc.) (G. Wyszecki and W. S. Stiles, Color Science : Concepts and Methods, John Wiley and Sons, 1982) et également à des analyses locales, telles que moyennes, variances, filtres de Gabor, etc.
Puis, est effectuée une étape de réajustement des canaux. En effet, l'estimation de la fonction T de transfert sur chacun des canaux nécessite de disposer de données suffisantes. Typiquement, cela exige de connaître pour chaque canal l'intervalle [Lin, ImaJ où îmin et lmax sont les valeurs minimales et maximales observées pour ! pour ce canal. En dehors de ces valeurs, on ne peut estimer la fonction de transfert car aucune donnée n'est disponible. Plutôt que de modifier l'ensemble de départ de la fonction de transfert en fonction de l'image originale, il est préférable d'imposer une transformation de [Q, 255] vers [Emin, Emax| où Emin et Emax sont les valeurs minimales et maximales observées pour E, en réalisant un rééchantilionnage iinéaire de I sur cette dynamique. Une autre possibilité serait d'identifier le lieu des données manquantes pour adapter les paramètres à estimer, notés plus loin 04, pour la détermination de la fonction T de transfert.
L'étape suivante consiste à estimer les fonctions H et T.
La fonction H de transformation géométrique peut être représentée dans le cas général de surface de projection plane par une homographie définie par 8 paramètres notés a.b^.d^.f.g et h selon la définition habituelle suivante :
X (ax+by+c)/gx+hy+1) Y (dx+ev+f)/(gχ+hy+1 )
où x,y désignent les coordonnées du pixel s de la grille S de l'image de fond et X, Y les coordonnées du pixel transformé par H.
Dans le cas où l'axe de la caméra est perpendiculaire à la surface de projection, la transformation géométrique H peut être définie par 6 paramètres a,b,c,d,e et f selon la définition suivante: ax+by+c dx+ey+f
La fonction T de transfert est modélisée par une décomposition sur une base de fonctions génératrices qui peuvent être indifféremment des ondelettes (S. Mallat, « A Wavelet Tour of Signal Processing », Académie Press, 2nd Edition, 1999) ou des splines (B. Chatmond, « Modeling and Inverse Problème in Image Analysis », Applied Mathematics, Springer Verlag, Vol.155, Chap.3, pp.53-57, 2003). Par exemple» une implémentation sur une base de décomposition spline d'ordre 2 (continuité Cm) conduit à l'expression suivante :
Figure imgf000011_0001
où Ok sont les q paramètres de la décomposition spϋne» p ie pas de la spline et β{x) est la fonction spline définie par ; β(t) ≈ ∑i≈o 3 (jp-t)+ 2 / π Ws (l-«f la fonction (.)+ représentant la fonction de Heaviside.
Dans Ie cas où T est défini sur 256 niveaux de gris, p est choisi comme puissance de 2, et q vérifie la contrainte q=(256/p)+2. Si on retient une implémentation avec p=32, on obtient q=10. La fonction F(H1T) de mesure de l'erreur cumulée entre l'image de fond projetée I et son enregistrement E est définie selon le modèle des M- estimateurs (voir article de PJ. Huber), à savoir :
F(H, T) = ∑ses P(T(I(S)) - E(Hs)) = ∑ses
Figure imgf000012_0001
αk.β(l(s) - kp) -E(Hs))
où p(.) est une fonction non négative prise ici égale à la fonction de Tukey (voir article de PJ. Huber). Bien entendu, d'autres fonctions pourraient être utilisées, comme celle de Huber. A ce stade, trois options d'estimation se présentent :
1. Estimation de la fonction T seule
C'est la version la plus simple à implémenter puisqu'alors F(H, T) est linéaire en ak. C'est aussi celle qui correspond à la situation fréquente où le dispositif mécanique est suffisamment rigide pour limiter les effets de bougé.
L'algorithme qui s'applique alors est l'algorithme connu sous le nom d'IRLS (« Itérative Least Square Algorithm »).
2. Estimation de la fonction H seule La fonctionnelle n'offre pas de linéarité par rapport aux paramètres de la transformation géométrique (homographie ou affinité). Le principe de minimisation (et d'estimation) consiste à linéariser au premier ordre l'expression E(Hs) par rapport aux paramètres de la transformation géométrique, an écrivant: I
E((H + dh)s) = E(Hs)) + ∑,=1 r (3E/3XJX/3H, + 3E/aYJY/3h,)dhι
où hι représente le iième paramètre de H et r Ie nombre de paramètres de H.
La fonction à minimiser devient alors, à H fixé : F°(dh, T)
Figure imgf000013_0001
αk.β(l(s) - kp) - E(Hs)) + ∑ι=i r (ÔEidX.dX/Ôh + dE/3Y.θY/3h|)dh|
On posera θ =
Figure imgf000013_0002
Le principe de l'algorithme utilisé a été décrit notamment dans J. M.
Odobez, P. Bouthemy, « Robust Multiresolution Estimation of Parametric Models, Journal of Visual Communication and Image Représentation, Vol.6, No.4, 1995 :
- à l'étape t, on note Ht l'estimation de H : * on minimise F°Ht en θ, à Ht fixé : linéaire en θ, la fonction F°Ht permet une minimisation selon i'IRLS;
*à la convergence de I'IRLS, on met à jour Ht+i selon Ht+i = Ht + Θ
- on passe à l'étape t+1
- on poursuit l'itération tant que le critère d'arrêt n'est pas vérifié. Un critère d'arrêt retenu peut-être est le suivant: itération tant que le rapport (F0H4+1 - F0H,)/ F°Ht est supérieur à un seuil.
3. Estimation conjointe des fonctions H et T
L'estimation conjointe de H et T est réalisée comme suit, en reprenant les notations ci-dessus :
- à l'étape t, on note Ht l'estimation de H :
* on minimise F0H4 en θ et α, à Ht fixé : linéaire en θ et α, la fonction F0H1 permet une minimisation selon I1IRLS;
* à la convergence de i'IRLS, on met à jour Hw selon Ht+i = Ht + θ, α conservant sa valeur courante
- on passe à l'étape t+1
- on poursuit l'itération tant que le critère d'arrêt n'est pas vérifié.
Un critère d'arrêt retenu peut être le suivant : itération tant que le rapport (F0H1+1 - F0H4)/ F0H1 est supérieur à un seuil.
L'extraction proprement dite met en oeuvre les M-estïmateurs dont une propriété intéressante est d'offrir une mesure, appelée poids, de l'adéquation entre l'observation et Ea loi de correspondance. Cette mesure, normalisée entre 0 et 1 est définie en chaque pixel s et donnée par ωs = p!(εs)/εSs p' est Ia dérivée de p (ici la fonction de Turkey) et εs = T(l(s)) - E(Hs). Ce poids prend une valeur proche de 0 lorsque l'erreur εs est grande, dans ce cas le pixel ne suit pas la loi de correspondance. De manière pratique, on peut considérer par exemple que le pixel est un pixel d'avant-plan si le poids ωs estimé pour l'un au moins des canaux i utilisé est inférieur à 0,25.
L'extraction et l'estimation des paramètres T ou H doivent être effectuées à chaque image, soit à plus de 25 Hz. Dans le cas général, les modifications d'une image à l'autre sont très faibles, voire inexistantes. A chaque étape, les valeurs des paramètres de H et T sont donc très proches des valeurs optimales. Une seule itération de l'IRLS peut alors être envisagée pour mettre à jour H et T, ce qui assure un fonctionnement du module 40 en temps réel avec les microprocesseurs actuellement disponibles sur le marché. Il est ainsi possible de suivre des changements de la lumière du jour, qui sont en général assez progressifs, et des petits bougés du dispositif de projection et d'enregistrement si celui-ci n'est pas rigide. Dans le cas de changement brusques, comme l'allumage de rampes électriques, on pourra observer un effet retard de l'adaptation de l'algorithme. Le nombre d'itérations de l'IRLS par image pourra être augmenté pour diminuer cet inconvénient, dans la limite des 25Hz de rafraîchissement. Une autre possibilité est d'effectuer une itération par image ; compte tenu du faible nombre d'itérations, la réactualisation de l'estimation ne durera pas plus d'une seconde environ.
Enfin, une ultime étape, dite de post-traitement, peut être réalisée afin de régulariser la segmentation binaire. Ii s'agit d'éliminer de l'image fournie par le module 40 les éléments de fond présents dans l'objet extrait et, inversement, les éléments de fond identifiés comme devant être extraits. Une méthode possible consiste à utiliser successivement un filtre d'érosion morphologique puis un filtre de dilatation (CR. Giardina and E. R. Dougherty, Morphological Methods in Image and Signal Processing, Englewood Cliffs, New Jersey : Prentice-Haff, 321, 1988). Pour des images en sous-résolution (194x120), le rayon d'érosion et de dilatation retenu est de 2,
Pour réaliser l'estimation de la fonction H de transformation géométrique et de ia fonction T de transfert lumineuse, i! est préférable de disposer d'une estimation préalable qui soit proche de la solution. C'est l'objet de l'étape d'initialisation représentée à la figure 4 effectuée sur le fond projeté et son enregistrement par la caméra 20.
Dans ce but, on cherche d'abord une valeur approchée de la transformation géométrique H.
Une estimation grossière de H est effectuée manuellement en pointant sur l'image enregistrée quatre points particuliers de l'image projetée: les quatre coins par exemple si l'image enregistrée contient la totalité de l'image projetée, ou d'autres points dans le cas contraire. La correspondance entre les quatre points de l'image projetée et leur projection sur l'image enregistrée fournit huit équations linéaires permettant d'obtenir une identification des six ou huit paramètres de la transformation géométrique soit par inversion d'un système linéaire directe dans le cas de l'homographie, soit par minimisation aux moindres carrés dans le cas de l'affinité. La fonction T de transfert ou les fonctions Ti de transfert sont initialisées avec ia fonction identité.
On peut procéder ensuite à une estimation fine de H et de T. Cette estimation est réalisée de manière analogue à l'étape d'estimation précédemment décrite en référence à la figure 5. Cependant, cette étape n'est cette fois affectée d'aucune contrainte de temps réel. L'estimation grossière initiale étant assez éloignée de la solution, surtout en ce qui concerne Ia fonction T de transfert, le nombre d'itérations peut être élevé. Afin d'optimiser toutefois le temps de calcul, un schéma multi-résolution utilisant trois niveaux de résolution est mis en œuvre (voir article de J. M. Odobez).

Claims

REVENDICATIONS
1. Procédé d'extraction, dans une image enregistrée, d'un objet situé en avant-plan d'un fond projeté, caractérisé en ce que ledit procédé comprend une étape d'extraction consistant à :
- établir une loi de correspondance entre éléments d'image du fond projeté et de Parrière-plan de l'image enregistrée, ladite loi de correspondance étant décrite par une fonction H de transformation géométrique et une fonction T de transfert lumineuse, ladite fonction H de transformation géométrique étant préalablement estimée à partir de la mise en correspondance d'éléments d'image particuliers de l'image de fond projeté et de l'image enregistrée dudit fond projeté,
- définir ledit objet comme l'ensemble des éléments de l'image enregistrée présentant un écart à ladite loi de correspondance.
2. Procédé selon la revendication 1, caractérisé en ce que ladite loi de correspondance est décrite par ladite fonction H de transformation géométrique et ladite fonction T de transfert lumineuse au moyen de la relation :
T(I(S)) = E(Hs)
exprimant l'égalité entre l'intensité lumineuse T(l(s)) à l'élément d'image s du fond projeté I, corrigée par la fonction T de transfert lumineuse, et l'intensité lumineuse observée E(Hs) de l'image enregistrée E à l'élément d'image Hs, image de l'élément d'image s par la fonction H de transformation géométrique.
3. Procédé selon la revendication 2, caractérisé en ce que ledit écart à la loi de correspondance est représenté par un bruit εs observé en chaque élément d'image s : εs = T(!(s)) - E(Hs)
4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que ledit procédé comprend une étape d'initialisation comportant :
- une estimation de la fonction H de transformation géométrique à partir de la mise en correspondance d'éléments d'image particuliers de l'image de fond projeté et de l'image enregistrée dudit fond projeté,
- une initialisation de la fonction T de transfert lumineuse par la fonction identité.
5. Procédé selon les revendications 3 et 4, caractérisé en ce que ladite étape d'initialisation comporte en outre une estimation de la fonction H de transformation géométrique et de la fonction T de transfert lumineuse consistant à minimiser la fonction F(H, T) :
F(H, T) = ∑s P(T(I(S)) - E(Hs))
où p est une fonction de coût de l'erreur.
6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que ledit procédé comprend une étape de post-traitement consistant à régulariser l'objet extrait.
7. Procédé selon l'une quelconque des revendications 1 à 6, caractérisé en ce que l'étape d'extraction comporte une étape préalable d'ajustement des canaux de l'intensité lumineuse ! du fond.
8. Module d'extraction, dans une image enregistrée, d'un objet situé en avant- plan d'un fond projeté, caractérisé en ce que ledit module (40) comprend des moyens pour : - établir une loi de correspondance entre éléments d'image du fond projeté et de l'arrière-pian de l'image enregistrée, ladite loi de correspondance étant décrite par une fonction H de transformation géométrique et une fonction T de transfert lumineuse, ladite fonction H de transformation géométrique étant préalablement estimée à partir de la mise en correspondance d'éléments d'image particulière de l'image de fond projeté et de limage enregistrée dudit fond projeté,
- définir ledit objet comme {'ensemble des éléments de l'image enregistrée présentant un écart à ladite loi de correspondance.
9. Module selon la revendication 8, caractérisé en ce que ledit module comprend des moyens de calcul de ladite fonction H de transformation géométrique et de ladite fonction T de transfert lumineuse minimisant la fonction F(H1 T) :
F(H1 T) = ∑s P(T(I(S)) - E(Hs))
exprimant l'erreur cumulée sur l'ensemble des éléments d'image s entre l'intensité lumineuse T(l(s)) à l'élément d'image s du fond projeté, corrigée par une fonction T de transfert lumineuse, et l'intensité lumineuse E(Hs) de l'image enregistrée E à l'élément d'image Hs, image de l'élément d'image s par une fonction H de transformation géométrique, et p étant une fonction de coût de l'erreur.
10. Module selon l'une des revendications 8 et 9, caractérisé en ce que ledit module comprend des moyens de post-traitement aptes à régulariser l'objet extrait.
11. Module selon l'une quelconque des revendications 8 à 10, caractérisé en ce que ledit module comprend des moyens d'ajustement de canaux issus de l'intensité lumineuse I du fond.
12. Programme d'ordinateur comprenant des instructions de code de programme pour mettre en oeuvre les étapes du procédé selon l'une quelconque des revendications 1 à 7 lorsque ledit programme est exécuté sur un ordinateur.
PCT/FR2006/051276 2005-12-02 2006-12-04 Procede d'extraction d'un objet sur un fond projete WO2007063262A2 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/085,976 US9036911B2 (en) 2005-12-02 2006-12-04 Method of extracting an object on a projected backdrop
EP06842087A EP1964057A2 (fr) 2005-12-02 2006-12-04 Procede d'extraction d'un objet sur un fond projete

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0553697 2005-12-02
FR0553697A FR2894353A1 (fr) 2005-12-02 2005-12-02 Procede d'exttraction d'un objet sur un fond projete

Publications (2)

Publication Number Publication Date
WO2007063262A2 true WO2007063262A2 (fr) 2007-06-07
WO2007063262A3 WO2007063262A3 (fr) 2008-06-26

Family

ID=37442055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2006/051276 WO2007063262A2 (fr) 2005-12-02 2006-12-04 Procede d'extraction d'un objet sur un fond projete

Country Status (4)

Country Link
US (1) US9036911B2 (fr)
EP (1) EP1964057A2 (fr)
FR (1) FR2894353A1 (fr)
WO (1) WO2007063262A2 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820665A (zh) * 2022-06-30 2022-07-29 中国人民解放军国防科技大学 一种星图背景抑制方法、装置、计算机设备和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363067B1 (en) * 2009-02-05 2013-01-29 Matrox Graphics, Inc. Processing multiple regions of an image in a graphics display system
KR20110094987A (ko) * 2010-02-18 2011-08-24 삼성전자주식회사 잠재적 불량의 정량적 평가에 기초한 제품 선별 방법
WO2013035308A2 (fr) 2011-09-05 2013-03-14 Panasonic Corporation Système de communication de télévision, terminal et procédé
CN105550655A (zh) * 2015-12-16 2016-05-04 Tcl集团股份有限公司 一种手势图像获取设备及其手势图像获取方法
CN110444082B (zh) * 2019-07-15 2021-08-20 郑州工程技术学院 基于计算机控制的远程工件实体教学展示方法和系统
CN112306436A (zh) * 2019-07-26 2021-02-02 上海博泰悦臻电子设备制造有限公司 投屏方法及移动终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005036456A2 (fr) 2003-05-12 2005-04-21 Princeton University Procede et dispositif pour la segmentation de premier plan de sequences video

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5793441A (en) * 1995-06-07 1998-08-11 Hughes-Jvc Technology Corporation Method and apparatus for measuring illumination uniformity of a liquid crystal light valve projector
US6388654B1 (en) * 1997-10-03 2002-05-14 Tegrity, Inc. Method and apparatus for processing, displaying and communicating images
FR2824689B1 (fr) * 2001-05-14 2004-12-17 Olivier Jean Marcel Boute Procede pour extraire les objets d'une image, sur un fond uniforme et incrustation de ces objets dans une scene
KR100540380B1 (ko) * 2004-01-06 2006-01-12 이디텍 주식회사 디인터레이서의 필드 내 보간 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005036456A2 (fr) 2003-05-12 2005-04-21 Princeton University Procede et dispositif pour la segmentation de premier plan de sequences video

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
B. CHALMOND: "Applied Mathematics", vol. 155, 2003, SPRINGER VERLAG, article "Modeling and Inverse Problems in Image Analysis", pages: 53 - 57
C.R. GIARDINA; E.R. DOUGHERTY: "Englewood Cliffs", vol. 321, 1988, PRENTICE-HALL, article "Morphological Methods in Image and Signal Processing"
G. WYSZECKI; W.S. STILES: "Color Science : Concepts and Methods", 1982, JOHN WILEY AND SONS
H.G. FEICHTINGER; T. STROHMER: "Applied and Numerical Harmonic Analysis", 1998, BIRKHÀUSER BOSTON INC., article "Gabor Analysis and Algoritms"
J.M. ODOBEZ; P. BOUTHEMY: "Robust Multiresolution Estimation of Parametric Models", JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION, vol. 6, no. 4, 1995
P.J. HUBER: "Robust Statistics", 1981, WILEY
S. MALLAT: "A Wavelet Tour of Signal Processing", 1999, ACADEMIC PRESS

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820665A (zh) * 2022-06-30 2022-07-29 中国人民解放军国防科技大学 一种星图背景抑制方法、装置、计算机设备和存储介质
CN114820665B (zh) * 2022-06-30 2022-09-02 中国人民解放军国防科技大学 一种星图背景抑制方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US9036911B2 (en) 2015-05-19
US20090136131A1 (en) 2009-05-28
WO2007063262A3 (fr) 2008-06-26
EP1964057A2 (fr) 2008-09-03
FR2894353A1 (fr) 2007-06-08

Similar Documents

Publication Publication Date Title
Tang et al. Investigating haze-relevant features in a learning framework for image dehazing
US8755628B2 (en) Image de-hazing by solving transmission value
US9275445B2 (en) High dynamic range and tone mapping imaging techniques
He et al. Single image haze removal using dark channel prior
US9479754B2 (en) Depth map generation
WO2007063262A2 (fr) Procede d'extraction d'un objet sur un fond projete
CN100431339C (zh) 有闪光扩展/无闪光扩展的数字摄影术
Fattal Single image dehazing
EP1410331B1 (fr) Procede et systeme pour modifier une image numerique en prenant en compte son bruit
FR3073311A1 (fr) Procede d'estimation de pose d'une camera dans le referentiel d'une scene tridimensionnelle, dispositif, systeme de realite augmentee et programme d'ordinateur associe
FR2775813A1 (fr) Procede et dispositif de remplacement de panneaux cibles dans une sequence video
Wan et al. Reflection scene separation from a single image
FR3027144A1 (fr) Procede et dispositif de determination de mouvement entre des images video successives
FR2860089A1 (fr) Procede et systeme pour modifier une image numerique de maniere differenciee et quasi reguliere par pixel
Singh et al. Visibility enhancement and dehazing: Research contribution challenges and direction
Zhang et al. Atmospheric scattering-based multiple images fog removal
WO2013063157A1 (fr) Amélioration automatique de la netteté d'images
Salamon et al. Computational light painting using a virtual exposure
Zhang et al. Nighttime haze removal with illumination correction
WO2005034035A1 (fr) Amelioration de cartes de profondeur
FR3083415A1 (fr) Traitement d'un bruit impulsionnel dans une sequence video
EP1847958A2 (fr) Segmentation d'image numérique d'une zone d'observation en temps réel
FR3026534B1 (fr) Generation d'un film d'animation personnalise
Gu et al. Single image dehazing via decomposition and enhancement
WO2019081587A1 (fr) Procede de restauration d'images

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 12085976

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2006842087

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006842087

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2006842087

Country of ref document: EP