WO2005125099A2 - Procede pour ameliorer la qualite d'utilisation de services en telephonie mobile - Google Patents

Procede pour ameliorer la qualite d'utilisation de services en telephonie mobile Download PDF

Info

Publication number
WO2005125099A2
WO2005125099A2 PCT/FR2005/050429 FR2005050429W WO2005125099A2 WO 2005125099 A2 WO2005125099 A2 WO 2005125099A2 FR 2005050429 W FR2005050429 W FR 2005050429W WO 2005125099 A2 WO2005125099 A2 WO 2005125099A2
Authority
WO
WIPO (PCT)
Prior art keywords
multimedia data
processing
service
server
fraction
Prior art date
Application number
PCT/FR2005/050429
Other languages
English (en)
Other versions
WO2005125099A3 (fr
Inventor
Frédéric Guichard
Bruno Liege
Jérôme MENIERE
Original Assignee
Dxo Labs
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dxo Labs filed Critical Dxo Labs
Priority to KR1020077000448A priority Critical patent/KR20070034048A/ko
Priority to EP05776418A priority patent/EP1757154A2/fr
Priority to JP2007526518A priority patent/JP2008502249A/ja
Priority to US11/628,987 priority patent/US20090116471A1/en
Publication of WO2005125099A2 publication Critical patent/WO2005125099A2/fr
Publication of WO2005125099A3 publication Critical patent/WO2005125099A3/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00318—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a multi-media apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0093—Facsimile machine

Definitions

  • the invention relates to a method for improving the quality of use of a service offered to users of mobile telephony terminals by a service provider and / or a telecommunications operator, this service being related to at least one piece of data. multimedia.
  • Multimedia data here means a photograph, a video, a sound file, an audiovisual file, a text file, a drawing file (s), and / or a program (s).
  • quality of use of a service relating to multimedia data here is meant the quality of multimedia data as perceived by a user, the response time of the service perceived by the user and / or the rate success of the service, for example the success of the delivery of multimedia data.
  • the invention aims to overcome the limitations resulting from at least one factor affecting the quality of use of the service relating to multimedia data. These factors affecting the quality of use are included in the group comprising:
  • multimedia data to be transmitted by a mobile phone must not exceed the size limit authorized by the network;
  • a photographic printing service can make visible defects in the multimedia data such as noise which are not visible by using a service for sending the photograph to another mobile.
  • the method according to the invention comprises the following steps:
  • a priori or in real time is determined, as a function of said factor, a first fraction of the multimedia data which must be processed in the mobile telephone, a second fraction of the multimedia data which must be processed in at least one remote server connected to the mobile telephone via the network, a first fraction of the processing to be carried out in the mobile telephone and a second fraction of the processing to be performed in at least one remote server, and [013] - each fraction of the processing thus determined is carried out and / or each fraction of multimedia data thus determined is processed in the mobile telephone and / or in the remote server. It is specified here that the fractions mentioned above can take any value between 0 and 1.
  • the processing can be shared between the mobile telephone and a server or the processing can be carried out in the server.
  • the method comprises the following steps:
  • the instructions may include:
  • the method further comprising the step for the server to transmit, to the beneficiary of the service, the result of the execution of the instructions relating to the processing.
  • the instructions relating to the processing to be carried out in the server are defined in the server, in particular following a communication with the mobile.
  • the remote processing fraction comprises at least one processing included in the group comprising: [030] - an improvement in the multimedia data, such as a processing for correcting acquisition faults associated with one or more type (s) of mobile telephone, [031] - a treatment intended to remove all or part of the faults of a restitution or recording means for which the data is intended such as a screen, in particular of mobile phone, or as another display, or as a means of printing,
  • a service supply processing for example the routing of a file to a printing service provider.
  • the method comprises, in the mobile telephone, a step of compressing the multimedia data, for example compression of the JPEG type, this compression step comprising a pre-processing to optimize the size of the multimedia data , the compression rate applied to it and its format, this preprocessing being a function of at least one of the parameters included in the group comprising: the type of service required, the network transmission characteristics, the optimal compression curve in depending on the size of the multimedia data and the type of compression of the multimedia data,
  • the method further comprising decompression in the remote server with, preferably, a treatment for eliminating artifacts or defects related to compression.
  • the size necessary for the final use of the data is determined; for example, in the case of a photograph, the size of use of the data is 2 mega pixels for printing in 10x15 cm format, 50 kilopixels for display on the screen of the mobile telephone terminal and 300,000 pixels for display on a computer screen; in the case where the service is not known, the usage size considered is the size of the original multimedia data, or, in another achievement, the maximum necessary for all known services,
  • the optimal sampling rate is determined using a previously defined abacus from a multimedia database (in particular representative images), the abacus providing a value of sampling rate as a function of a maximum file size,
  • the compression parameters are determined as a function of the content of the multimedia data item; for example, the compression of an image must be higher the more details there are. In one embodiment, we try various sets of compression parameters to obtain a file of size at most equal to the size necessary for the final use of the data.
  • the multimedia data is stored in the remote server without compression, or without additional compression, or at low compression, or at low additional compression, and is compressed for its transmission to the mobile telephone and it is subjected to processing.
  • the transmitted and compressed and processed data being assigned a marking linked to the original multimedia data stored without compression in the remote server in order to allow its subsequent use without compression or weaker compression than the transmitted compressed and processed data.
  • compression is meant in particular a reduction in the size of the data and / or a subsampling.
  • the remote server comprises a database of mobile telephone signatures in order to be able to recognize the origin and the multimedia data to be processed and to determine the type of processing for each multimedia data, the signatures being extracted from the multimedia data or being appended to the multimedia data.
  • Signatures can belong to one of the following categories:
  • the remote server is at a location included in the following group:
  • MMS-C an MMS center
  • the invention also relates to a mobile telephone terminal comprising: [060] means for improving the quality of use of a service relating to at least one multimedia datum, in particular relating to photos and / or video and / or audio and / or text, highlighting performs at least one processing of this data, this service being offered by a provider and / or a telecommunications operator in the mobile telephone,
  • [062] means for determining, a priori or in real time, as a function of at least one factor affecting the quality of use, a first fraction of the multimedia data to be processed in the mobile telephone, a second fraction of the data multimedia to be processed in at least one remote server connectable to the mobile telephone, a first fraction of the processing to be carried out in the mobile telephone and a second fraction of the processing to be carried out in a remote server,
  • [063] means for carrying out the treatment or treatments thus determined in the mobile telephone
  • [064] means for transmitting to the remote server the data or the fraction of multimedia data to be processed in this server.
  • the terminal comprises means for determining, in this mobile telephone, the fractions of the multimedia data to be processed and / or the fractions of the processing to be carried out, and / or means for receiving from a server remote information relating to said fractions.
  • the terminal comprises means for transmitting to the remote server instructions relating to the processing to be carried out in this server.
  • the terminal is such that the instructions include:
  • the means for determining the fraction of remote processing to be carried out in the server include means for selecting such remote processing when the processing is included in the group comprising:
  • the terminal comprises means for compressing the multimedia data, for example means of the JPEG type, these compression means comprising pre-processing means for optimizing the size of the multimedia data, the rate of compression applied to it and its format, this preprocessing being a function of at least one of the parameters included in the group comprising: the type of service required, the network transmission characteristics, the optimal curve of compression as a function of the size of multimedia data and the type of compression of multimedia data,
  • the compression of the multimedia data is preferably implemented in the frequency domain.
  • the invention also relates to a server of a mobile telephone telecommunications network comprising means for improving the quality of use of a service relating to at least one multimedia datum, in particular relating to photos and / or video and / or audio and / or text, implementing at least one processing of this data, the means of improving the quality of use comprising:
  • [085] means for determining, as a function of a factor affecting the quality of use of the service by the mobile telephone, a first fraction of the multimedia data which must be processed in the mobile telephone, a second fraction of the multimedia data which must be processed in at least one remote server connected to the mobile telephone via the network, a first fraction of the processing having to be performed in the mobile phone and a second fraction of the processing to be performed in at least one remote server,
  • [087] means for carrying out the fraction (s) of the processing of the multimedia data to be carried out in this server.
  • the server comprises means for carrying out at least one of the treatments included in the group comprising:
  • a processing operation intended to remove all or part of the faults of a restitution or recording means for which the data is intended, such as a screen, in particular a mobile telephone or another display, or a printing medium,
  • the server comprises means for storing multimedia data without compression, or without additional compression, or with little additional compression compared to the multimedia data received from a mobile telephone and for transmitting this data with compression to mobile phones and to assign a marking to this multimedia data.
  • the server comprises a database of mobile telephone signatures in order to be able to recognize the origin of the multimedia data to be processed and to determine the type of processing for each multimedia data,
  • the signatures being extracted from the multimedia data or being annexed to the data multimedia.
  • the signatures can belong to one of the following categories:
  • the server is located in a location included in the following group: [106] - an MMS center, called MMS-C,
  • Figures lb, 2a, 2b, 2c, 3, 4, 5, 6, 7 and 8 relate to an embodiment of the invention for a service for sending postcards
  • Figures 9, 10, 9a, 10a are charts illustrating a method according to the invention making it possible to adapt the sending of image data to the capacities of a transmission network.
  • the examples described relate mainly to a mobile telephone terminal equipped with a camera sometimes called a photophone or camcorder.
  • Image quality is limited by the constraints of space, power consumption and cost of mobile terminals. [125] The quality is variable depending on the type of terminal and requires specific image processing. The quality of an image depends on how you look at it. In particular on a small screen many defects are invisible while they become visible on a print or a larger screen. [126] The images are highly compressed to fit within the authorized bandwidth, which produces artifacts during decompression necessary to display or print the images. [127] These are particularly annoying drawbacks which hinder the development of the use of photo services with a mobile telephone terminal because these services are much less efficient than those linked to autonomous photographic cameras. [128] Architecture
  • the calculation time for improving the images is generally proportional to the size of the image, that is to say to the number of pixels.
  • Improving the quality of the image consumes a lot of computing time and therefore electrical energy.
  • the power of the processors embedded in the terminals increases more slowly than the number of pixels of the sensors.
  • the computing power is limited and variable depending on the type of terminal.
  • Access to computing power is variable depending on the type of terminal: some terminals are open to code written in C ++, others only to Java code (much slower for image processing than C ++ ), others are not open. [133] The size of the local storage is limited.
  • the invention improves the image quality and / or improves the ergonomics of use.
  • the method according to the invention takes place before the shooting and / or during the shooting and / or after the shooting.
  • FIG. 1 we start from an image 100, or, more generally, from multimedia data, and we determine a first fraction 102 of this data which must be processed in the mobile telephone 110 and a second fraction 104 of the image 100 which must be processed in a remote server 112.
  • the processing of the all of the multimedia data (or part of it) so that a first fraction of the processing is carried out in the terminal 110 and that a second fraction of the processing is carried out in the server 112.
  • the multimedia data 120 is stored without additional compression or at low additional compression in the remote server 112. It is compressed for its transmission to the mobile telephone 110. It is also subjected to a processing as a function of the service to be provided to this telephone 110 or requested by this telephone 110.
  • the data 120 is assigned a marking 122 linked to this data. This marking is transmitted with the data from the server to the terminal 110 in order to allow the subsequent use of the same original data 120 uncompressed when it is required by the mobile terminal or another mobile terminal.
  • a mobile terminal receives an image and wants to transmit it to another mobile terminal, to avoid the degradations due to compression and successive decompressions, thanks to the marking, it is possible to find the multimedia data with its quality d origin in server 112.
  • [162] we send via MMS, Wap, http ..., or directly from the terminal, to a fax machine if the processing is local.
  • [163] For sending a fax from a terminal, one can also proceed as follows: [164] - Shooting of a document containing text and / or drawings,
  • An identity photo service includes, in one embodiment, the following steps: [177] - Shooting with framing assistance.
  • This framing aid can be adapted to the country's standards for official documents. [179] - The framing aid makes it possible to segment the image to more easily carry out the checks below. [180] - Control of the respect of the rules: The rules which can be controlled are for example: the control of the uniformity of the background, the control of the color of the background, the control if the background is clear enough, the control of the presence of shadow on the background, control of the lighting of the face (which must not be too dark), control of the absence of a hat or veil, control of the absence of accessories, control of the proportions of the face, control that the face is in front and not in profile. [181] Control can be automatic and / or manual.
  • the correction is automatic, and / or the correction is carried out manually by an operator, for example cleaning the background, otherwise a message is returned to the user, preferably quickly so that he can resume the photo.
  • This message indicates for example how to take a photo without the defect.
  • This service can be adapted to the rules of a country for official documents.
  • [200] Practical Measurement Services. For example, one can measure the dimensions of a piece of furniture or other object to which an element having a determined dimension is juxtaposed, such as a credit card. Color: Calculation of assortment between the colors of two objects. For example the assortment of the color of pants with that of shoes, or the assortment between a tie and a shirt. [201] - Miscellaneous services Morpho astrology: every day the horoscope is calculated and personalized from the date of birth and the face. "Morpho matching": Evaluation of the rate of agreement between two people, this rate being based on the photos of the faces. Aura: add a colored "aura" to the person (or object) on the photo.
  • [202] - Security and identification or authentication Signature the written signature (added to a number generated by a server for example) can be used for authentication. The photo can also be used for authentication.
  • - Professional services Quotation: The seller coming to establish a quote sometimes needs to consult a specialist. The cameraphone provides a means of consulting the installer / supplier when drawing up the estimate. For example, an installer of roller shutter motors can consult an installer to determine the complexity of dismantling.
  • Metadata is understood a data associated with the multimedia data and corresponding to information relating to the format of the file containing the multimedia data, and / or information relating to the compression, and / or the origin of the data, and / or the acquisition characteristics. For example, in the case of a photograph, the acquisition parameters (such as focal length, aperture and exposure time), and / or the results of a calculation obtained from the multimedia data, by example the number of pixels.
  • Image processing can be done in various ways:
  • the layout can be done locally or remotely:
  • a method and system is thus obtained for improving the quality of use of a service, implementing at least one processing, relating to at least one multimedia data item, in particular relating to photos, and / or video. , and / or audio, and / or text, this service being offered by a telecommunications service provider and / or operator on a user's mobile phone via a network.
  • the method comprises the following steps:
  • This method can also comprise the following steps:
  • [248] - define by means of a format instructions relating to the remote processing
  • These instructions may include:
  • the method further comprises the step, for the server, of transmitting the result of the execution of the instructions to the beneficiary of the service.
  • Service means in particular:
  • IT resources is meant in particular:
  • [291] Remove or reduce all or part of the defects in the camera and / or the camera: exposure, lighting, geometric distortion, chromatic aberration, vignetting, blurring, astigmatism, white balance, saturation , demosaicing, noise, camera shake, focus blur, compression artifact, deblocking artifact, other processing artifact, aliasing artifact (aliasing).
  • This content can be transmitted in the form of an address and / or metadata.
  • the content can be described by a format.
  • This format can be open (standard and / or extensible); it can be an extension of the MMS smil format. It must be compatible with any type of transport protocol (MMS, http, wap, email %) and therefore compatible with existing networks.
  • MMS transport protocol
  • http http, wap, email
  • the remote server comprises a database of mobile telephone signatures in order to be able to recognize the origin and the multimedia data to be processed and to determine the type of processing for each multimedia data, the signatures being extracted from the multimedia data or being appended to the multimedia data.
  • an analysis of the multimedia signature is carried out, which makes it possible to apply the adapted processing.
  • the multimedia data is a photo.
  • the signature information present in the image can be used: jpeg comment, Exif, quantification table, or other metadata, to constitute a signature database with, for each signature, the type of correction to be made.
  • the automatic recognition of the image capture device can be carried out according to the following steps: [339] - A base of the possible signatures of each terminal forming part of a set of terminals is produced. [340] - The processing or the corrections to be made are determined for each signature, for example in terms of decompression, sharpness, color, contrast or noise artifacts.
  • corrections can be: corrections adapted to a type of terminal, if the signature only corresponds to a type of terminal; corrections adapted to several types of terminals; for example when several terminals have the same signature and these terminals have common characteristics; or corrections adapted to all types of terminals, for example in cases where there is ambiguity, and it is not possible, or not desired, to apply a correction adapted to this signature.
  • a signature of the terminal is determined from the image file.
  • [342] - The type of correction to be made is determined from the signature and the signature base. [343] The updating of the signature database is regular and preferably done before the device is put on the market, to minimize the number of unknown signatures and therefore of unsuitable corrections. [344] Several types of terminals can have the same signature. In this case, a compatible correction can be created for these different terminals. [345] It is recalled here that the same correction can be used for all types of terminals. This solution has the advantage of simplicity but does not optimize the correction. [346] Some terminals can have several signatures: in this case the different signatures are added to the database. [347] The signature is made up from all or part of the following information: [348] - the jpeg quantization table,
  • [356] the type of transmission terminal, which gives an uncertain origin but allows ambiguities to be resolved.
  • the “user agent” is used, corresponding to the type of device and transmitted by the latter, or a signature of the message itself for the variants of the format used.
  • the message is an "MMS”
  • the name of the attached files, their order, the content of the xml format "SMIL" integrated into the message constitute a signature of the message which can make it possible to find the type of terminal who created it.
  • each terminal codes the message in a particular way while respecting the standard, or
  • Auto device type information which can either contain _ auto 11 to signify that no information is available, or contain a device identifier determined in another way, for example as described above from the _ user agent 11 or from a signature of the message itself.
  • a standard Jpeg compression program is used, which is implemented in all telephones; however, another format can also be used.
  • the image processing steps are as follows: [370] - Possibly preprocessing.
  • the message can be intended for a third party and / or used on the sending terminal for example for viewing the result or obtaining advice.
  • a standard Jpeg compression program is installed installed in all the terminals; however, another format can also be used.
  • the image processing steps are as follows: [378] a) Possibly preprocessing.
  • the transfer can be made directly to the end user (except in the case of a postcard) or via a service provider.
  • the multimedia data is stored without additional compression or at low additional compression in the remote server and is compressed for its transmission to the mobile telephone and it is subjected to processing depending on the service to be provided, or requested by the telephone.
  • mobile the compressed and processed transmitted data being assigned a marking linked to the original multimedia data stored without compression in the remote server in order to allow its subsequent use without compression or at lower compression than the compressed and processed transmitted data.
  • Storage without compression means storage before compression or size reduction, or failing this with low compression and / or small size reduction.
  • the images can be stored in the server before compression or size reduction to allow the use of all the services at maximum quality by the receiver of a message.
  • a current server hard drive can store approximately 5 million images.
  • correction server can be located:
  • This network allows rapid terminal-server exchanges. It is therefore possible to perform the processing in the server and quickly display the result on the phone. [436] It is therefore possible to work with any computing power on the terminal and a high number of pixels. [437] b) Application with a 2.5G network and a high-end telephone (“smartphone” in English). [438] The network does not allow rapid terminal-server exchanges. However, the terminal has high computing power. [439] It is therefore possible to carry out the processing in the image terminal at the screen size to show an overview to the user and quickly display the result on the telephone. [440] It is therefore possible to perform full resolution processing on the server without return necessary to the user. [441] c) Application with a 2.5G network and a mid-range telephone (“Featurephone” in English). [442] The network does not allow rapid terminal-server exchanges.
  • the terminal has limited computing power and exchanges are slow. The availability of overviews for the user will be more limited, but the other advantages (ergonomics, accessibility to services ...) are preserved. [444] It is therefore possible to carry out the processing in the server by limiting the returns to the user. [445] 3. PHOTOGRAPHY TEXT SOLUTION (FotoText + component) - background cleaning [446]
  • the invention provides a component, called “FotoText +”, which is a text scanner which transforms the photo of any document “of binary nature » For example composed of lines on a light background, in particular a handwritten text, a line drawing, plan or sketch, a printed text.
  • This component corrects paper defects (background cleaning): shadows, grid or lines, creases, stains, creases in the paper, and, of course, camera and lighting faults. This can be done for example by extracting information above a threshold. [448] It optimizes the level of contrast.
  • a user interface makes it possible to position the text / graphic on the photo on the front; local or remote processing at the resolution of the terminal screen makes it possible to display a preview and facilitates the work of the user.
  • the photo of the text / graphic is processed, cleaned by removing non-uniform lighting zones to optimize readability, cleaned of the background and printed on the photo on the front.
  • background cleaning consists in making the part of the photo other than the person photographed uniform, for example by detecting the outline of the face and filling in the exterior with uniform color.
  • FIGS. 1b to 8 A description will be given below, using FIGS. 1b to 8, of a service for producing postcards, also called a "photocard”.
  • the figures represent the various screens (man / machine interface) of the terminal when this service is used.
  • the screen 10 shown in FIG. 1b corresponds to reception when the postcard service has been selected. It is a welcome screen which offers, at the opening, the choice between several actions which are as represented: “new photocards", “draft”, “cards sent”, “cards being sent “,” Models ". The choice is made, using the terminal's “joystick” by selecting one of the actions.
  • FIG 3 there is shown the screen 20 displayed when the user selects an action with the option menu "Select" of screen 12 of Figure lb.
  • a screen 20 is displayed on which we see the choice between draft, model, card to be sent and card being sent.
  • the last draft is shown, which includes a photo 22 and a text 24.
  • the option menu of screen 20 allows access to a screen 26 with an “open” command.
  • the screen 30 represented in FIG. 4 corresponds to the selection of an image which, as shown, indicates that it is the service of making a new postcard with the image on the front and offers the possibility of taking a new photo, choosing the last photo taken, choosing the photo in an album in memory of the terminal, choosing a photo recently used for the same service, or finally choosing a photo on a remote server.
  • the man / machine interface switches to creating a text with a standard entry or a semi-automatic entry which consists of providing several fields for the text and in each of these fields, to reuse texts already memorized.
  • the first field is the stubbornness field which relates to the recipient: "dear friend”, “dear mother”, etc.
  • a second field concerns the body of the text: “the weather is fine”, “I'm having a good holiday”, etc.
  • a third field concerns the end of the text including the courtesy formula and a fourth field includes the signature.
  • a screen (not shown) is displayed to indicate to the user that he must photograph a text, for example handwritten, with advice on how to take it correctly a photo of text such as "be parallel” and "prefer uniform lighting”.
  • a rectangular frame is displayed on the screen and makes it possible to determine, depending on whether it is distorted or not, whether the photo is taken at the right angle.
  • the choice of layout which is, for example, in memory of the terminal, consists, in one embodiment, in choosing the nature of the postage stamp to be affixed and corresponding, for example, to the place where the photo is taken . It can also consist of a choice of background color.
  • Figure 8 shows the screen 38 which is selected when the user has chosen the "address" tab of the screen of Figure 4. If the terminal already has a contact list, then the recipient is chosen in this contact list via the "option" box (screen 40). If this is a new contact, then the screen has several areas for the first name (which can then be chosen by using the option T9), name, street number, street name, postal code of the city and country. [490] Preferably, when the postal code is indicated, the corresponding city is indicated automatically and vice versa, when the city is indicated, the postal code is indicated automatically. [491] It is also possible to choose several recipients for the same postcard.
  • camcorder sensors constantly increase and greatly exceed the bandwidth of transmission protocols.
  • a VGA sensor provides 300,000 pixels and each pixel uses one byte to encode each of the three color channels, which results in a raw image of approximately 900 KB.
  • most terminals are only capable of sending files, after compression, of 30 to 50 kb, or approximately 3 to 5% of the initial information in the case of a VGA sensor.
  • the invention proposes a method which makes it possible to optimize the quality of the image transmitted thanks to a protocol making it possible to choose, with a view to this optimization, the rate of subsampling, and the parameters compression, especially of the JPEG type.
  • a protocol making it possible to choose, with a view to this optimization, the rate of subsampling, and the parameters compression, especially of the JPEG type.
  • Subsampling and subsequent resampling reduce the resolution and introduce a loss of detail as well as aliasing or spectrum aliasing phenomena.
  • JPEG compression leads to a loss of information and causes the appearance of artifacts (defects) which are all the more important the higher the compression rate.
  • artifacts caused by JPEG compression have a re- orderly and known partition which makes them edible to some extent. This correction is carried out for example by smoothing the edges of blocks as described in the JPEG standard or by an algorithm called JPEG CLEANER which makes it possible to decompress and correct these defects.
  • This abacus has three curves corresponding to three different images.
  • the abacus is obtained as follows: three test images have been chosen which initially have a definition of 1 mega pixel.
  • FIG. 9a is an abacus with a curve 50 constituting an average of the curves in FIG. 9 and the abacus of FIG. 10a comprises a curve 52 corresponding to an average value of the curves of FIG. 10.
  • an algorithm is provided in the mobile telephone terminal, which starts from the weight of a file that the terminal can send over the network.
  • This file weight on the abscissa in FIG. 10a corresponds to the ordinates of this same figure, a sampling rate.
  • This sampling rate makes it possible to determine, from curve 50 of FIG. 9a, a compression rate on the abscissa of FIG. 9a.
  • This algorithm is represented by the arrowed path which starts from a point A on the abscissa of FIG. 10a to arrive at a point B on the abscissa of FIG. 9a.
  • the compression rate obtained can provide a file weight greater than that which the network can support, because, for a given compression rate, the final weight of the file depends on the quantity of details contained in the image. .
  • the algorithm chooses a higher compression rate B ', which makes it possible to select a corresponding sampling rate thanks to the curve 50 of FIG. 9a and to verify, using the diagram in FIG. 10a, if the file weight A 'is less than the maximum admissible by the network.
  • This iterative process continues if the weight A ′ is still too large, that is to say that a file weight A ′ is chosen which is less than A ′ until a satisfactory file weight is obtained.
  • the optimal compression curve as a function of the size of the multimedia data can appear in the memory of the terminal in the form of the charts in FIGS. 9a and 10a but also in the form of tables of values or algorithms.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

L'invention concerne un procédé pour améliorer la qualité d'utilisation d'un service relatif à au moins une donnée multimédia (100), notamment relatif à des photos, et/ou de la vidéo, et/ou de l’audio, et/ou du texte, mettant en oeuvre au moins un traitement de cette donnée. Ce service est proposé par un prestataire et/ou un opérateur de télécommunications dans un téléphone mobile (110) d'un utilisateur via un réseau. Ce procédé comprend les étapes suivantes: on détermine, à priori ou en temps réel, en fonction dudit facteur, une première fraction (102) de la donnée multimédia gui doit être traitée dans le téléphone mobile, une seconde fraction (104) de la donnée multimédia qui doit être traitée dans au moins un serveur distant (112) connecté au téléphone mobile via le réseau, une première fraction du traitement devant être effectuée dans le téléphone mobile et une seconde fraction du traitement devant être effectuée dans au moins un serveur distant, et on effectue chaque fraction du traitement ainsi déterminé et/ou on traite chaque fraction de donnée multimédia ainsi déterminée dans le téléphone mobile et/ou dans le serveur distant.

Description

Description
[001] procède pour améliorer la qualité d'utilisation de services en téléphonie mobile
[002] L'invention est relative à un procédé pour améliorer la qualité d'utilisation d'un service proposé aux utilisateurs de terminaux de téléphonie mobile par un prestataire et/ou un opérateur de télécommunications, ce service étant relatif à au moins une donnée multimédia.
[003] Par donnée multimédia, on entend ici une photographie, une vidéo, un fichier sonore, un fichier audiovisuel, un fichier texte, un fichier de dessin(s), et/ou un (des) programme(s).
[004] Par qualité d'utilisation d'un service relatif à une donnée multimédia, on entend ici la qualité de la donnée multimédia telle que perçue par un utilisateur, le temps de réponse du service perçu par l'utilisateur et/ou le taux de succès du service, par exemple le succès de l'acheminement de la donnée multimédia.
[005] L'invention vise à s'affranchir des limitations résultant d'au moins un facteur affectant la qualité d'utilisation du service relatif à la donnée multimédia. Ces facteurs affectant la qualité d'utilisation sont compris dans le groupe comportant :
[006] - la taille des données multimédia ; par exemple une donnée multimédia à transmettre par un téléphone mobile ne doit pas dépasser la taille limite autorisée par le réseau ;
[007] - des ressources informatiques du téléphone mobile ; ainsi la mémoire du téléphone mobile peut être insuffisante pour traiter la donnée multimédia ou la puissance de calcul du téléphone mobile peut être insuffisance pour traiter la donnée multimédia en un temps acceptable par l'utilisateur ;
[008] - la qualité du dispositif d'acquisition et/ou du dispositif de restitution de la donnée multimédia ;
[009] - les caractéristiques de transmission du réseau, notamment son débit, la taille des messages transmis ;
[010] - les services offerts ; par exemple un service d'impression photographique peut rendre visible des défauts de la donnée multimédia comme le bruit qui ne sont pas visibles en utilisant un service d'envoi de la photographie à un autre mobile.
[011] Ainsi, le procédé selon l'invention comprend les étapes suivantes :
[012] - on détermine, a priori ou en temps réel, en fonction dudit facteur, une première fraction de la donnée multimédia qui doit être traitée dans le téléphone mobile, une seconde fraction de la donnée multimédia qui doit être traitée dans au moins un serveur distant connecté au téléphone mobile via le réseau, une première fraction du traitement devant être effectuée dans le téléphone mobile et une seconde fraction du traitement devant être effectuée dans au moins un serveur distant, et [013] - on effectue chaque fraction du traitement ainsi déterminé et/ou on traite chaque fraction de donnée multimédia ainsi déterminée dans le téléphone mobile et/ou dans le serveur distant. [014] On précise ici que les fractions mentionnées ci-dessus peuvent prendre toute valeur comprise entre 0 et 1. [015] Avec l'invention, on peut ainsi non seulement améliorer la qualité d'utilisation des services relatifs aux données multimédia dans les téléphones mobiles mais également les étendre et le temps nécessaire pour obtenir les services est réduit. [016] Par exemple, lorsque la donnée multimédia est une image telle qu'une photographie, le traitement peut être partagé entre le téléphone mobile et un serveur ou le traitement peut être effectué dans le serveur. [017] Dans une réalisation le procédé comprend les étapes suivantes :
[018] on définit, dans le téléphone mobile, des instructions relatives au traitement devant être effectué dans le serveur, ce traitement étant ci-après dénommé « traitement distant », [019] - le téléphone mobile transmet ces instructions au serveur distant, et
[020] - le serveur exécute ces instructions.
[021] Les instructions peuvent comprendre :
[022] - la seconde fraction de la donnée multimédia devant être traitée dans le serveur distant, et/ou [023] - un identifiant permettant à au moins un serveur distant de déterminer la seconde fraction de la donnée multimédia à traiter dans ce serveur distant, et/ou [024] - la seconde fraction du traitement distant devant être effectuée dans le serveur, et/ ou [025] - l'adresse du bénéficiaire du service, et/ou
[026] - un code permettant au serveur d'obtenir cette adresse du bénéficiaire,
[027] le procédé comprenant, en outre, l'étape pour le serveur de transmettre, au bénéficiaire du service, le résultat de l'exécution des instructions relatives au traitement. [028] Selon une variante, les instructions relatives au traitement devant être effectué dans le serveur, sont définies dans le serveur, notamment suite à une communication avec le mobile. [029] Selon une réalisation la fraction de traitement distant comprend au moins un traitement compris dans le groupe comportant : [030] - une amélioration de la donnée multimédia, telle qu'un traitement de correction des défauts d'acquisition associés à un ou plusieurs type(s) de téléphone mobile, [031] - un traitement destiné à enlever tout ou partie des défauts d'un moyen de restitution ou d'enregistrement auquel est destiné la donnée tel qu'un écran, notamment de téléphone mobile, ou tel qu'un autre afficheur, ou tel qu'un moyen d'impression,
[032] - un nettoyage de fond de la donnée multimédia, par exemple en vue de l'enregistrement ou de l'impression de cette donnée, notamment lorsque celle-ci est une photographie associée à un texte et/ou à un dessin manuscrit,
[033] - une analyse de la qualité de la donnée multimédia,
[034] - une retouche souhaitée sur la donnée multimédia telle que, dans le cas d'une image, un déplacement géométrique de cette dernière, notamment une rotation ou un recadrage,
[035] - une transmission tel que le MMS, la télécopie, le courrier électronique,
[036] - l'association d'une image à du texte,
[037] - l'envoi à un destinataire, à un service de réalisation d'albums de données multimédia, à un service d'enregistrement, un service d'impression, une mise en page de la donnée multimédia,
[038] - la fourniture d'instructions en retour au téléphone mobile pour la mise en forme de la donnée multimédia lorsque celle-ci est émise par le téléphone mobile, par exemple pour une insertion de photographies et/ou de textes, et
[039] - un traitement de fourniture du service, par exemple l'acheminement d'un fichier vers un prestataire d'impression.
[040] Selon une réalisation, le procédé comprend, dans le téléphone mobile, une étape de compression de la donnée multimédia, par exemple une compression du type JPEG, cette étape de compression comprenant un pré-traitement pour optimiser la taille de la donnée multimédia, le taux de compression qui lui est appliqué et son format, ce prétraitement étant fonction d'au moins un des paramètres compris dans le groupe comportant : le type de service requis, les caractéristiques de transmission du réseau, la courbe optimale de la compression en fonction de la taille de la donnée multimédia et le type de compression de la donnée multimédia,
[041] la compression de la donnée multimédia étant de préférence mise en œuvre dans le domaine fréquentiel,
[042] le procédé comprenant en outre une décompression dans le serveur distant avec, de préférence, un traitement d'élimination des artefacts ou défauts liés à la compression.
[043] La courbe optimale compression/taille de la donnée multimédia est déterminée de la façon suivante :
[044] a) en fonction du type de service, on détermine la taille nécessaire à l'usage final de la donnée ; par exemple, dans le cas d'une photographie, la taille d'usage de la donnée est de 2 mega pixels pour l'impression en format 10x15 cm, de 50 kilopixels pour un affichage sur l'écran du terminal de téléphonie mobile et de 300.000 pixels pour un affichage sur un écran d'ordinateur ; dans le cas où le service n'est pas connu, la taille d'usage considérée est la taille de la donnée multimédia d'origine, ou, dans une autre réalisation, le maximum nécessaire pour l'ensemble des services connus,
[045] b) on détermine la taille maximale du fichier pour transmettre la donnée multimédia en fonction de la capacité du réseau et des autres constituants de la donnée à transmettre,
[046] c) on détermine le taux optimal d'échantillonnage en utilisant un abaque préalablement défini à partir d'une base de données multimédia (notamment des images représentatives), l'abaque fournissant une valeur de taux d'échantillonnage en fonction d'une taille maximale de fichier,
[047] d) on détermine les paramètres de compression en fonction du contenu de la donnée multimédia ; par exemple la compression d'une image doit être d'autant plus élevée que les détails sont nombreux. Dans une réalisation, on essaie divers jeux de paramètres de compression pour obtenir un fichier de taille au plus égale à la taille nécessaire à l'usage final de la donnée.
[048] Dans une réalisation la donnée multimédia est stockée dans le serveur distant sans compression, ou sans compression supplémentaire, ou à faible compression, ou à faible compression supplémentaire, et est compressée pour sa transmission au téléphone mobile et on lui fait subir un traitement fonction du service à fournir, ou demandé par le téléphone mobile, la donnée transmise compressée et traitée étant affectée d'un marquage lié à la donnée multimédia d'origine stockée sans compression dans le serveur distant afin de permettre son utilisation ultérieure sans compression ou à plus faible compression que la donnée transmise compressée et traitée. Par compression on entend notamment une réduction de taille de la donnée et/ou un sous-échantillonage.
[049] Selon une réalisation le serveur distant comporte une base de signatures de téléphones mobiles afin de pouvoir reconnaître l'origine et la donnée multimédia à traiter et de déterminer le type de traitement pour chaque donnée multimédia, les signatures étant extraites de la donnée multimédia ou étant annexées à la donnée multimédia. Les signatures peuvent appartenir à l'une des catégories suivantes :
[050] - des signatures individuelles à un type de téléphone mobile,
[051] - des signatures communes à plusieurs types de téléphones mobiles,
[052] - des signatures correspondant à tous les types de téléphones mobiles.
[053] Selon une réalisation le serveur distant se trouve en un emplacement compris dans le groupe suivant :
[054] - un centre MMS, dénommé MMS-C,
[055] - à l'entrée d'un MMS-C,
[056] - à la sortie d'un MMS-C,
[057] - une passerelle WAP, et
[058] - une interface MM9 ou MM7 du centre MMS.
[059] L'invention concerne aussi un terminal de téléphonie mobile comportant : [060] des moyens pour améliorer la qualité d'utilisation d'un service relatif à au moins une donnée multimédia, notamment relatif à des photos et/ou de la vidéo et/ou de l'audio et/ou du texte, mettant en œuvre au moins un traitement de cette donnée, ce service étant proposé par un prestataire et/ou un opérateur de télécommunication dans le téléphone mobile,
[061] ces moyens pour améliorer la qualité d'utilisation comprenant :
[062] des moyens pour déterminer, a priori ou en temps réel, en fonction d'au moins un facteur affectant la qualité d'utilisation, une première fraction de la donnée multimédia à traiter dans le téléphone mobile, une seconde fraction de la donnée multimédia devant être traitée dans au moins un serveur distant connectable au téléphone mobile, une première fraction du traitement devant être effectuée dans le téléphone mobile et une seconde fraction du traitement devant être effectuée dans un serveur distant,
[063] des moyens pour effectuer le traitement ou des traitements ainsi déterminés dans le téléphone mobile, et
[064] des moyens pour transmettre au serveur distant la donnée ou la fraction de donnée multimédia devant être traitée dans ce serveur.
[065] Selon une réalisation, le terminal comprend des moyens pour déterminer, dans ce téléphone mobile, les fractions de la donnée multimédia à traiter et/ou les fractions du traitement devant être effectué, et/ou des moyens pour recevoir d'un serveur distant les informations relatives auxdites fractions.
[066] Selon une réalisation, le terminal comprend des moyens pour transmettre au serveur distant des instructions relatives au traitement devant être effectué dans ce serveur. Dans une réalisation, le terminal est tel que les instructions comprennent :
[067] - la seconde fraction de la donnée multimédia devant être traitée dans le serveur distant, et/ou
[068] - un identifiant permettant à au moins un serveur distant de déterminer la seconde fraction de la donnée multimédia à traiter dans ce serveur distant, et/ou
[069] - la seconde fraction du traitement distant devant être effectuée dans le serveur, et/ ou
[070] - l'adresse du bénéficiaire du service, et/ou
[071] - un code permettant au serveur d'obtenir cette adresse du bénéficiaire.
[072] Selon une réalisation, les moyens pour déterminer la fraction de traitement distant devant être effectué dans le serveur comprennent des moyens pour sélectionner un tel traitement distant lorsque le traitement est compris dans le groupe comportant :
[073] - une amélioration de la donnée multimédia, telle qu'un traitement de correction des défauts d'acquisition associés à un type de téléphone mobile,
[074] - un traitement destiné à enlever tout ou partie des défauts d'un moyen de restitution ou d'enregistrement auquel est destiné la donnée tel qu'un écran, notamment de téléphone mobile ou d'un autre afficheur, ou d'un moyen d'impression,
[075] - une mise en forme de la donnée multimédia,
[076] - un nettoyage de fond de la donnée multimédia, par exemple, en vue de l'enregistrement ou de l'impression de cette donnée, notamment lorsque celle-ci est une photographie associée à un texte et/ou à un dessin manuscrit,
[077] - une analyse de la qualité de la donnée multimédia,
[078] - une retouche souhaitée sur la donnée multimédia telle que, dans le cas d'une image, un déplacement géométrique de cette dernière, notamment une rotation ou un recadrage,
[079] - un mode de transmission tel que le MMS, la télécopie, le courrier électronique,
[080] - l'association d'une image à du texte, l'envoi à un destinataire, un service de réalisation d'albums de données multimédia, un service d'enregistrement, un service d'impression, une mise en page de la donnée multimédia, des instructions à fournir en retour au téléphone mobile pour la mise en forme de la donnée multimédia lorsque celle-ci est émise par le téléphone mobile, par exemple pour une insertion de photographies et/ou de textes, et
[081] - un traitement de la donnée multimédia pour la fourniture du service, notamment un changement de format ou de taille du fichier contenant la donnée multimédia.
[082] Selon une réalisation, le terminal comprend des moyens de compression de la donnée multimédia, par exemple des moyens du type JPEG, ces moyens de compression comprenant des moyens de pré-traitement pour optimiser la taille de la donnée multimédia, le taux de compression qui lui est appliqué et son format, ce prétraitement étant fonction d'au moins un des paramètres compris dans le groupe comportant : le type de service requis, les caractéristiques de transmission du réseau, la courbe optimale de la compression en fonction de la taille de la donnée multimédia et le type de compression de la donnée multimédia,
[083] la compression de la donnée multimédia étant de préférence mise en œuvre dans le domaine fréquentiel.
[084] L'invention concerne aussi un serveur d'un réseau de télécommunications de téléphonie mobile comportant des moyens pour améliorer la qualité d'utilisation d'un service relatif à au moins une donnée multimédia, notamment relatif à des photos et/ou de la vidé et/ou de l'audio et/ou du texte, mettant en œuvre au moins un traitement de cette donnée, les moyens d'amélioration de la qualité d'utilisation comprenant :
[085] des moyens pour déterminer, en fonction d'un facteur affectant la qualité d'utilisation du service par le téléphone mobile, une première fraction de la donnée multimédia qui doit être traitée dans le téléphone mobile, une seconde fraction de la donnée multimédia qui doit être traitée dans au moins un serveur distant connecté au téléphone mobile via le réseau, une première fraction du traitement devant être effectuée dans le téléphone mobile et une seconde fraction du traitement devant être effectuée dans au moins un serveur distant,
[086] des moyens pour transmettre au téléphone mobile lesdites valeurs de fractions, et
[087] des moyens pour effectuer la (les) fraction(s) du traitement de la donnée multimédia devant être effectuée(s) dans ce serveur.
[088] Selon une réalisation, le serveur comprend des moyens pour effectuer au moins un des traitements compris dans le groupe comportant :
[089] - une amélioration de la donnée multimédia, telle qu'un traitement de correction des défauts d'acquisition associés à un type de téléphone mobile,
[090] - un traitement destiné à enlever tout ou partie des défauts d'un moyen de restitution ou d'emegistrement auquel est destiné la donnée tel qu'un écran, notamment de téléphone mobile ou d'un autre afficheur, ou d'un moyen d'impression,
[091] - une mise en forme de la donnée multimédia,
[092] - un nettoyage de fond de la donnée multimédia, par exemple, en vue de l'emegistrement ou de l'impression de cette donnée, notamment lorsque celle-ci est une photographie associée à un texte et/ou à un dessin manuscrit,
[093] - une analyse de la qualité de la donnée multimédia,
[094] - une retouche souhaitée sur la donnée multimédia telle que, dans le cas d'une image, un déplacement géométrique de cette dernière, notamment une rotation ou un recadrage,
[095] - un mode de transmission tel que le MMS, la télécopie, le courrier électronique,
[096] - l'association d'une image à du texte, l'envoi à un destinataire, un service de réalisation d'albums de données multimédia, un service d'emegistrement, un service d'impression, une mise en page de la donnée multimédia, des instructions à fournir en retour au téléphone mobile pour la mise en forme de la donnée multimédia lorsque celle-ci est émise par le téléphone mobile, par exemple pour une insertion de photographies et/ou de textes, et
[097] - un traitement de la donnée multimédia pour la fourniture du service, notamment un changement de format ou de taille du fichier contenant la donnée multimédia.
[098] Selon une réalisation, le serveur comprend des moyens pour stocker des données multimédia sans compression, ou sans compression supplémentaire, ou avec une faible compression supplémentaire par rapport à la donnée multimédia reçue d'un téléphone mobile et pour transmettre ces données avec compression vers des téléphones mobiles et pour affecter un marquage à cette donnée multimédia.
[099] Selon une réalisation, le serveur comporte une base de signatures de téléphones mobiles afin de pouvoir reconnaître l'origine de la donnée multimédia à traiter et de déterminer le type de traitement pour chaque donnée multimédia,
[100] les signatures étant extraites de la donnée multimédia ou étant annexées à la donnée multimédia. [101] Dans ce cas, les signatures peuvent appartenir à l'une des catégories suivantes :
[102] des signatures individuelles à un type de téléphone mobile,
[103] des signatures communes à plusieurs types de téléphones mobiles,
[104] des signatures correspondant à tous les types de téléphones mobiles.
[105] Selon une réalisation, le serveur se trouve en un emplacement compris dans le groupe suivant : [106] - un centre MMS, dénommé MMS-C,
[107] - à l'entrée d'un MMS-C,
[108] - à la sortie d'un MMS-C,
[ 109] - une passerelle WAP,
[110] - une interface MM9 ou MM7 du centre MMS.
[111] D'autres caractéristiques et avantages de l'invention apparaîtront avec la description de certains de ses modes de réalisation, celle-ci étant effectuée en se référant aux dessins ci-annexés sur lesquels : [112] les figures 1 et la montrent des étapes d'un procédé selon l'invention,
[113] les figures lb, 2a, 2b, 2c, 3, 4, 5, 6, 7 et 8 se rapportent à un exemple de réalisation de l'invention pour un service d'envoi de cartes postales, [114] les figures 9, 10, 9a, 10a, sont des abaques illustrant un procédé conforme à l'invention permettant d'adapter l'envoi de données d'images aux capacités d'un réseau de transmission. [115] Les exemples décrits se rapportent principalement à un terminal de téléphonie mobile équipé d'un appareil de prise de vues quelquefois dénommé photophone ou ca- méraphone. [116] Utilisation des services
[117] L'utilisation de ces terminaux est fastidieuse, dès qu'il s'agit :
[118] - de configurer un téléphone pour envoyer des images (via MMS, Wap...),
[119] - de paramétrer un service pour un fournisseur ; par exemple pour emegistrer pour un service d'impression en ligne il faut donner ses coordonnées, choisir un point de retrait, etc., [120] - de saisir un texte accompagnant la photo ou une adresse : le texte est long à saisir, l'adresse postale est rarement intégrée au carnet d'adresses, etc., [121] - d'utiliser un service : il est souvent nécessaire d'utiliser plusieurs fonctions à la suite l'une de l'autre, telles que prise de vue, retouche et envoi ; l'ergonomie des applications est orientée fonction (caméra, MMS) et non pas service image ; certaines opérations sont très longues, [122] - d'utiliser le terminal en remplacement d'un appareil photo.
[123] Oualit é d ' image [124] La qualité d'image est limitée par les contraintes d'encombrement, de consommation électrique et de coût des terminaux mobiles. [125] La qualité est variable selon le type de terminal et nécessite des traitements d'image spécifiques. La qualité d'une image dépend de la façon dont on la regarde. En particulier sur un petit écran beaucoup de défauts sont invisibles alors qu'ils deviennent visibles sur une impression ou un écran de plus grande dimension. [126] Les images sont fortement comprimées pour tenir dans la bande passante autorisée, ce qui produit des artefacts lors de la décompression nécessaire pour afficher ou imprimer les images. [127] Il s'agit là d'inconvénients particulièrement gênants qui freinent le développement de l'utilisation des services photo avec un terminal de téléphonie mobile car ces services sont beaucoup moins performants que ceux liés aux appareils photographiques autonomes. [128] Architecture
[129] Le temps de calcul pour l'amélioration des images est en général proportionnel à la taille de l'image, c'est-à-dire au nombre de pixels. [130] L'amélioration de la qualité de l'image est très consommatrice de temps de calcul et donc d'énergie électrique. La puissance des processeurs embarqués dans les terminaux augmente moins vite que le nombre de pixels des capteurs. [131] La puissance de calcul est limitée et variable selon le type de terminal.
[132] L'accès à la puissance de calcul est variable selon le type de terminal : certains terminaux sont ouverts à du code écrit en C++, d'autres uniquement à du code Java (beaucoup plus lent pour le traitement d'image que C++), d'autres ne sont pas ouverts. [133] La taille du stockage local est limitée.
[134] La taille des tuyaux de transmission est limitée. En France elle est de 50ko par message et passe progressivement à lOOko. [135] Les images transitent systématiquement par un serveur pour les différents services.
[136] Pour résoudre ces problèmes, l'invention améliore la qualité d'image et/ou améliore l'ergonomie d'utilisation. [137] Le procédé selon l'invention intervient avant la prise de vue et/ou pendant la prise de vue et/ou après la prise de vue. [138] A cet effet, comme représenté sur la figure 1, on part d'une image 100, ou, de façon plus générale, d'une donnée multimédia, et on détermine une première fraction 102 de cette donnée qui doit être traitée dans le téléphone mobile 110 et une seconde fraction 104 de l'image 100 qui doit être traitée dans un serveur distant 112. [139] En variante, et comme décrit plus loin en relation avec les figures lb à 8, on fractionne le traitement de l'ensemble de la donnée multimédia (ou d'une partie de celle-ci) de façon qu'une première fraction du traitement soit effectuée dans le terminal 110 et qu'une seconde fraction du traitement soit effectuée dans le serveur 112.
[140] Dans l'exemple représenté sur la figure la, la donnée multimédia 120 est stockée sans compression supplémentaire ou à faible compression supplémentaire dans le serveur distant 112. Elle est compressée pour sa transmission au téléphone mobile 110. On lui fait également subir un traitement en fonction du service à fournir à ce téléphone 110 ou demandé par ce téléphone 110. En outre, la donnée 120 est affectée d'un marquage 122 lié à cette donnée. Ce marquage est transmis avec la donnée du serveur vers le terminal 110 afin de permettre l'utilisation ultérieure de la même donnée d'origine 120 non compressée lorsqu'elle est requise par le terminal mobile ou un autre terminal mobile. Autrement dit, lorsqu'un terminal mobile reçoit une image et qu'il veut la transmettre à un autre terminal mobile, pour éviter les dégradations dues à la compression et aux décompressions successives, grâce au marquage on peut retrouver la donnée multimédia avec sa qualité d'origine dans le serveur 112.
[141] 1. SERVICES
[142] 1.1. Les divers services considérés utilisant l'image sont :
[143] - Envoi d'une télécopie depuis un terminal,
[144] - Envoi vers un autre terminal,
[145] - Envoi vers un email,
[146] - Envoi vers un album en ligne,
[147] - Envoi vers un site internet personnel (« moblog » en langue anglaise),
[148] - Envoi d'une carte postale,
[ 149] - Envoi d' une demande d' impression,
[150] - Envoi d'une demande de photos d'identité,
[151] - Demande d' un retour sur le terminal émetteur.
[152] 1.2. Pour chacun des services :
[153] On effectue une prise de vue et/ou on effectue une recherche dans un album et/ou on effectue une retouche avec amélioration de la prise de vue (cours, aide au cadrage, contrôle...),
[154] - on améliore l'ergonomie d'utilisation,
[155] - on améliore la qualité de l'image comme décrit plus loin en effectuant un traitement local et/ou déporté vers un serveur,
[156] - on utilise le cas échéant une photo de texte (quelquefois appelée FotoText+).
[157] 1.3. Pour envoyer une télécopie (fax) depuis un terminal, on peut procéder comme suit :
[158] - on effectue une prise de vue d'un document contenant du texte et/ou des dessins,
[159] - on effectue un traitement de nettoyage du fond, • en local (dans le terminal) ou • distant sur un serveur et acheminement vers un télécopieur, [160] - on peut saisir un texte,
[161] - on met en page la télécopie,
[162] - on envoie via MMS, Wap, http..., ou directement depuis le terminal, vers un télécopieur si le traitement est local. [163] Pour l'envoi d'une télécopie depuis un terminal, on peut également procéder comme suit : [164] - Prise de vue d'un document contenant du texte et/ou des dessins,
[165] - Traitement de nettoyage du fond dans le terminal,
[166] - Eventuellement saisie de texte,
[ 167] - Mise en page de la télécopie,
[168] - Envoi via MMS, Wap, http... vers un serveur ou directement depuis le terminal vers un télécopieur. [169] Pour un envoi d'une télécopie depuis un terminal, on peut encore procéder de la façon suivante : [170] - Prise de vue d'un document contenant du texte et/ou des dessins,
[171] - Eventuellement saisie de texte,
[172] - Envoi via MMS, Wap, http... à un serveur,
[173] - Traitement de nettoyage du fond dans un serveur,
[ 174] - Mise en page de la télécopie,
[ 175] - Acheminement vers un télécopieur.
[176] 1.4. Un service de photo d'identité comprend, dans une réalisation, les étapes suivantes : [177] - Prise de vue avec aide au cadrage.
[178] Cette aide au cadrage peut être adaptée aux normes du pays pour les documents officiels. [179] - L'aide au cadrage permet de segmenter l'image pour effectuer plus facilement les contrôles ci-dessous. [180] - Contrôle du respect des règles : Les règles qui peuvent être contrôlées sont par exemple : le contrôle de l'uniformité du fond, le contrôle de la couleur du fond, le contrôle si le fond est assez clair, le contrôle de la présence d'ombre sur le fond, le contrôle de l'éclairage du visage (qui ne doit pas être trop sombre), le contrôle de l'absence d'un chapeau ou voile, le contrôle de l'absence d'accessoires, le contrôle des proportions du visage, le contrôle que le visage est de face et non de profil. [181] Le contrôle peut être automatique et/ou manuel.
[182] En cas de non respect de la règle : de préférence la correction est automatique, et/ou la correction est effectuée manuellement par un opérateur, par exemple le nettoyage du fond, sinon un message est renvoyé à l'utilisateur, de préférence rapidement pour qu'il puisse reprendre la photo. [183] Ce message indique par exemple comment reprendre une photo sans le défaut.
[184] - Eventuellement saisie d'un texte à mettre au dos, par exemple : le nom le nom et la classe pour une photo scolaire. [185] - Saisie de l'adresse postale du destinataire ou du point de récupération des photos.
[186] - Choix éventuel du fournisseur du service.
[187] - Retouche éventuelle de l'image (nettoyage du fond, contraste...). La retouche est manuelle par transmission automatique de la photo à un opérateur, et/ou automatique. [188] - Transmission.
[189] Ce service peut être adapté aux règles d'un pays pour les documents officiels.
[190] 1.5. Autres services possibles avec un cameraphone (ou photophone) :
[191] - Reconnaissance de caractères.
[192] - Reconnaissance de visage.
[193] - Lecture de Code barre.
[194] - Gestion des droits et signature digitale (« watermark »).
[195] - Site personnel Mobile (« blog »).
[196] - Modèle de texte et photos, par exemple pour la fête des mères ou la St Valentin ou encore pour des poésies. [197] - Urgences Médicales, pour des situations difficiles, par exemple en mer ou en montagne. [198] - Constat amiable en cas d'accident automobile. Une application pose les questions et indique les photos à prendre pour établir un constat. [199] - Télédiagnostic, par exemple pour une maladie de plante.
[200] - Services pratiques Mesures. Par exemple, on peut mesurer les dimensions d'un meuble ou autre objet auquel on juxtapose un élément ayant une dimension déterminée, tel qu'une carte de crédit. Couleur : Calcul d'assortiment entre les couleurs de deux objets. Par exemple l'assortiment de la couleur d'un pantalon avec celle des chaussures, ou l'assortiment entre une cravate et une chemise. [201] - Services divers Morpho astrologie : chaque jour l'horoscope est calculé et personnalisé à partir de la date de naissance et du visage. « Morpho matching » : Evaluation du taux d'entente entre deux personnes, ce taux étant basé sur les photos des visages. Aura : rajouter une « aura » colorée à la personne (ou l'objet) sur la photo. [202] - Sécurité et identification ou authentification Signature : la signature écrite (adjointe à un numéro généré par un serveur par exemple) peut servir d' authentification. La photo peut aussi servir d' authentification. [203] - Services professionnels : Devis : Le vendeur venant établir un devis a parfois besoin de consulter un spécialiste. Le cameraphone fournit un moyen de consulter l' installateur/fournisseur au moment de l'établissement du devis. Par exemple un installateur de moteurs de volets roulants peut consulter un installateur pour déterminer la complexité du démontage. [204] On peut aussi valider auprès d'un client des choix qui émergent tardivement pour éviter des délais ou des erreurs d'appréciation, par exemple autoriser une coupe d'arbre plus violente que prévue, montrer avec le cameraphone une racine qui empêche le creusement d'une tranchée. [205] 2. AMELIORATION DE LA QUALITE DE L'IMAGE ET MISE EN PAGE.
[206] Après la prise de vue, plusieurs techniques peuvent être utilisées pour améliorer la qualité d'image et l'ergonomie pour l'utilisateur : [207] - Effectuer des traitements d'amélioration de l'image.
[208] - Selon la puissance de calcul du terminal, sa taille de mémoire, la taille du capteur, le type de service et la facilité d'ajouter des fonctions au terminal, effectuer les traitements sur le terminal ou sur un serveur. Dans ce cas, on définit un format de transmission des données. [209] - Adapter les traitements aux défauts de l'appareil de capture. Dans ce cas, on identifie l'origine des images, notamment par analyse de la signature de l'appareil. [210] - Adapter les traitements aux défauts du moyen de restitution. Il faut alors identifîer le type de service et, éventuellement, le type de moyen de restitution utilisé et véhiculer cette information. [211] Dans le cas d'un traitement sur un serveur : le procédé consiste à :
[212] - extraire l'image du message transmis,
[213] - améliorer la qualité de l'image,
[214] - remplacer l'image du message transmis par l'image ainsi améliorée.
[215] Afin de ne pas corriger deux fois les images, on peut les marquer, par exemple en ajoutant ou modifiant les métadonnées Exif ou analogues. [216] On précise ici que par métadonnée, on entend une donnée associée à la donnée multimédia et correspondant à des informations relatives au format du fichier contenant la donnée multimédia, et/ou des informations relatives à la compression, et/ ou l'origine de la donnée, et/ou les caractéristiques d'acquisition. Par exemple, dans le cas d'une photographie, les paramètres d'acquisition (tels que la focale, l'ouverture et le temps de pose), et/ou les résultats d'un calcul obtenu à partir de la donnée multimédia, par exemple le nombre de pixels.
[217] Le traitement de l'image peut s'effectuer de diverses manières :
[218] a) On n'effectue pas de calcul en local (dans le terminal) et l'image retourne vers l'utilisateur (terminal) après un calcul distant (dans un serveur).
[219] b) On calcule en local à la résolution de l'écran du terminal et on procède à un calcul distant pour l'image transmise par le service.
[220] c) On calcule en local à la résolution de l'écran du terminal et, pour l'image transmise par le service, on effectue une décompression dans le serveur et un nettoyage des artefacts de compression avant acheminement, le traitement de l'image transmise pour le service pouvant être effectué en local et/ou en distant.
[221] Dans tous les cas la transmission des images à distance doit être effectuée en adaptant la taille et la compression au service ainsi qu'à la taille des messages autorisés comme décrit dans ci-après.
[222] De même, la mise en page peut être effectuée en local ou à distance :
[223] a) On n'effectue pas de calcul en local, et on retourne vers l'utilisateur après calcul distant pour l'image transmise par le service.
[224] b) On calcule en local à la résolution de l'écran du terminal et on effectue un calcul distant pour l'image transmise par le service.
[225] c) On calcule en local à la résolution de l'écran du terminal et, pour l'image transmise par le service, on effectue une décompression dans le serveur et un nettoyage des artefacts de compression avant acheminement.
[226] On peut bien entendu appliquer le procédé décrit plus haut à d'autres types de donnée multimédia, notamment relatifs à de la vidéo, et/ou de l'audio, et/ou du texte.
[227] On obtient ainsi un procédé et système pour améliorer la qualité d'utilisation d'un service, mettant en œuvre au moins un traitement, relatif à au moins une donnée multimédia, notamment relatif à des photos, et/ou de la vidéo, et/ou de l'audio, et/ou du texte, ce service étant proposé par un prestataire et/ou un opérateur de télécommunications sur un téléphone mobile d'un utilisateur via un réseau.
[228] On rappelle que ce procédé est adapté pour s'affranchir des limitations résultant d'au moins un facteur, affectant la qualité d'utilisation, tel que :
[229] - la taille des données multimédia, et/ou
[230] - les ressources informatiques du téléphone mobile, et/ou [231] - la qualité du dispositif d'acquisition et/ou du dispositif de restitution de la donnée multimédia, [232] - les caractéristiques de transmission dudit réseau ;
[233] - la nature du service.
[234] Ainsi, le procédé comprend les étapes suivantes :
[235] - on détermine, à priori ou en temps réel, en fonction dudit facteur, la fraction de la donnée multimédia et/ou la fraction du traitement devant être effectuée dans le téléphone mobile et/ou dans au moins un serveur distant connectable au téléphone mobile, [236] - on effectue chaque fraction de traitement ainsi déterminée et/ou on traite chaque fraction de donnée multimédia ainsi déterminée selon le cas, soit sur le téléphone mobile soit sur le serveur distant ; [237] de sorte que, pour l'utilisateur la qualité du service est accrue, notamment :
[238] - l'utilisation du service est possible avec tout type de donnée multimédia, par exemple des photos de taille croissante, [239] - l'utilisation du service est améliorée pour tout type de terminal,
[240] - le résultat du service est amélioré en corrélation avec la bande passante du réseau,
[241] - l'accès au service est simplifié,
[242] - le temps nécessaire pour obtenir le service est réduit,
[243] - le résultat du service est amélioré (meilleure perception de la photo, de la vidéo, de l'audio) ; [244] - l'accès à de nouveaux services est possible,
[245] - la satisfaction de l'utilisateur est accrue.
[246] Pour le prestataire et/ou l'opérateur de télécommunications la fourniture de nouveaux services est possible. [247] Ce procédé peut comprendre, en outre, les étapes suivantes :
[248] - définir au moyen d'un format des instructions relatives au traitement distant,
[249] - pour le téléphone mobile, transmettre les instructions ainsi formatées au serveur distant, [250] - pour le serveur, exécuter ces instructions.
[251] Ces instructions peuvent comprendre :
[252] - la fraction de la donnée multimédia et/ou un identifiant permettant au serveur d'obtenir cette fraction de la donnée multimédia, [253] - la fraction du traitement devant être effectuée sur le serveur, ci-après dénommé traitement distant, notamment : [254] - un traitement d'amélioration de la qualité de la donnée multimédia, et/ou
[255] - un traitement de retouche apporté à la donnée multimédia, et/ou
[256] - un traitement de mise en forme de la donnée multimédia, et/ou [257] - un traitement d'acheminement du service, et/ou
[258] - un traitement de fourniture du service, et/ou
[259] - l'adresse du bénéficiaire du service et/ou un code permettant au serveur d'obtenir l'adresse du bénéficiaire.
[260] Le procédé comprend en outre l'étape, pour le serveur, de transmettre le résultat de l'exécution des instructions au bénéficiaire du service.
[261] Par service on entend notamment :
[262] - tout service, notamment les services décrits dans la présente demande de brevet,
[263] - une partie d'un service plus global, par exemple un calcul distant nécessaire à un service,
[264] Par photo on entend notamment :
[265] -une photo de texte et/ou diagramme et/ou une image naturelle.
[266] Par traitement, également appelé correction, on entend notamment:
[267] - tout type de traitement décrit dans la présente demande de brevet,
[268] - un traitement d'amélioration de la qualité,
[269] - un traitement d'amélioration de la qualité adapté à un téléphone,
[270] - une mise dans un album,
[271 ] - une mise en page,
[272] - un routage.
[273] Par ressources informatiques, on entend notamment :
[274] - la puissance de calcul,
[275] - la capacité de la mémoire,
[276] - le langage de programmation.
[277] Par caractéristiques de transmission, on entend notamment :
[278] - la bande passante,
[279] - la charge,
[280] - la taille maximum d'un message.
[281] Par identifiant on entend notamment :
[282] - un code d'image (transmis au serveur par SMS ou un autre moyen), permettant à un serveur de trouver l'image choisie par l'utilisateur.
[283] Par code, on entend notamment :
[284] - un numéro de téléphone utilisé pour retrouver une adresse postale.
[285] Par bénéficiaire, on entend notamment :
[286] - l'utilisateur,
[287] - un tiers.
[288] Par instruction, on entend notamment les données décrites dans la présente demande de brevet.
[289] 2.1. TYPES DE TRAITEMENTS DE L'IMAGE [290] Les traitements apportés sur les images dans le terminal et/ou sur le serveur peuvent être les suivants :
[291] - Enlever ou réduire tout ou partie des défauts de l'appareil de prise de vue et/ou de la prise de vue : exposition, éclairage, distorsion géométrique, aberration chromatique, vignetage, flou, astigmatisme, balance des blancs, saturation, dématriçage, bruit, flou de bougé, flou de mise au point, artefact de compression, artefact de déflouage, artefact des autres traitements, artefact d'aliasing (repliement de spectre).
[292] - Enlever tout ou partie des défauts du moyen de restitution : écran de terminal, écran d'ordinateur, moyen d'impression.
[293] - Changement de taille (nombre de pixels).
[294] - Compression.
[295] - Décompression avec ou sans suppression des artefacts.
[296] - Nettoyage de fond dans le cas de texte et/ou dessin.
[297] - Retouche : passage en noir et blanc, rotation, extraction d'une zone de l'image, application d'effet, ajout de cadre.
[298] - Incrustation sur un fond ou une autre photo.
[299] - Ajout de texte.
[300] - Analyse de la qualité de l'image pour donner un conseil à l'utilisateur.
[301] 2.2 DIRECΗVES DE TRAITEMENT DISTANT - INSTRUCTIONS
[302] Il est possible de déporter une partie des traitements en fonction de la puissance du terminal, de la taille mémoire, de la taille de l'image, de la possibilité de programmer en C++ dans le terminal, par opposition à une programmation Java qui est mal adaptée pour le traitement de données multimédia et du type de service visé. Pour l'utilisateur les traitements restent en temps réel pour les opérations qui nécessitent un retour vers cet utilisateur.
[303] Des informations permettant de décrire le traitement déporté (pour chaque image, ou une fois pour toutes) doivent être transmises, notamment :
[304] a) Le type de traitement d'amélioration à apporter sur le serveur. Il s'agit, par exemple :
[305] - D'une correction des défauts de capture du terminal de type donné pour une sortie sur un écran d'ordinateur.
[306] - D'une correction des défauts de capture du terminal de prise de vue avec reconnaissance automatique pour une sortie sur un écran d'ordinateur.
[307] - D'une correction des défauts de capture du terminal de prise de vue avec reconnaissance automatique pour une sortie pour impression.
[308] - D'un nettoyage du fond pour une photo de texte et dessin manuscrits.
[309] - D'une correction des défauts de capture du terminal de prise de vue avec reconnaissance automatique pour sortie sur l'écran d'un terminal de type donné. [310] - D'une analyse de la qualité de prise de vue.
[311] S'il n'y a pas de traitement à effectuer, cette instruction doit aussi être transmise, éventuellement par défaut. [312] b) Les retouches à apporter à l'image (rotation, recadrage, ajout de cadre...), ce qui permet d'apporter les retouches dans le terminal sur une image réduite à la taille de l'écran et d'apporter ultérieurement les retouches à la taille finale. [313] c) Le type de service et le(s) destinataire(s) :
[314] - MMS : numéros.
[315] - email : adresses.
[316] - Carte postale : prestataire.
[317] - Télécopie : numéro.
[318] - Album : prestataire.
[319] - Impression : prestataire.
[320] - Retour sur le terminal émetteur.
[321] d) Les indications de mise en forme de la sortie :
[322] - Mise en page (couleur et police notamment) de carte postale ou autre,
[323] - Insertion de photos, de texte, ou de texte photographié nettoyé.
[324] Les données de mises en forme doivent être indépendantes du format physique afin de permettre l'impression en plusieurs formats. La taille et la position des éléments de texte et d'images sont déterminées en aval. [325] e) Le contenu :
[326] - adresse du destinataire (postale ou autre)
[327] - message
[328] - photo
[329] - photo du texte
[330] Ce contenu peut être transmis sous la forme d'une adresse et/ou de meta-données.
[331] Le contenu peut être décrit par un format. Ce format peut être ouvert (standard et/ou extensible) ; il peut être une extension du format smil de MMS. Il doit être compatible avec tout type de protocole de transport (MMS, http, wap, email...) et donc compatible avec des réseaux existants. [332] 2.3. RECONNAISSANCE DE L'APPAREIL DE PRISE DE VUE.
[333] Selon une réalisation le serveur distant comporte une base de signatures de téléphones mobiles afin de pouvoir reconnaître l'origine et la donnée multimédia à traiter et de déterminer le type de traitement pour chaque donnée multimédia, les signatures étant extraites de la donnée multimédia ou étant annexées à la donnée multimédia. [334] Pour reconnaître l'origine de la donnée multimédia, on effectue une analyse de la signature de la multimédia, ce qui permet d'appliquer le traitement adapté. [335] On va maintenant décrire un exemple de réalisation lorsque la donnée multimédia est une photo. [336] On peut utiliser les informations de signature présentes dans l'image : commentaire jpeg, Exif, table de quantifîcation, ou autres métadonnées, pour constituer une base de signatures avec, pour chaque signature, le type de correction à apporter. [337] Ceci est particulièrement avantageux dans le cas où le terminal ayant pris la photo n'est pas connu par le serveur de traitement, soit parce que la photo ne provient pas du terminal émetteur, soit parce que le type de terminal émetteur (« user agent » ou équivalent) n'est pas disponible. [338] La reconnaissance automatique de l'appareil de capture de l'image peut s'effectuer selon les étapes suivantes : [339] - On réalise une base des signatures possibles de chaque terminal faisant partie d'un ensemble de terminaux. [340] - On détermine pour chaque signature le traitement ou les corrections à apporter, par exemple en terme d'artefacts de décompression, de netteté, de couleur, de contraste, ou de bruit. Ces corrections peuvent être : des corrections adaptées à un type de terminal, si la signature ne correspond qu'à un type de terminal ; des corrections adaptées à plusieurs types de terminaux ; par exemple lorsque plusieurs terminaux ont la même signature et ces terminaux ont des caractéristiques communes ; ou des corrections adaptées à tous les types de terminaux, par exemple dans les cas où il y a ambiguïté, et qu'il n'est pas possible, ou pas souhaité, d'appliquer une correction adaptée à cette signature. [341] - On détermine une signature du terminal à partir du fichier image.
[342] - On détermine le type de correction à apporter à partir de la signature et de la base de signatures. [343] La mise à jour de la base de signatures est régulière et faite de préférence avant la mise sur le marché de l'appareil, pour minimiser le nombre de signatures non connues et donc de corrections non adaptées. [344] Plusieurs types de terminaux peuvent avoir la même signature. Dans ce cas, on peut créer une correction compatible pour ces différents terminaux. [345] On rappelle ici qu'on peut utiliser une même correction pour tous les types de terminaux. Cette solution a l'avantage de la simplicité mais n'optimise pas la correction. [346] Certains terminaux peuvent avoir plusieurs signatures : dans ce cas les différentes signatures sont ajoutées à la base. [347] La signature est composée à partir de tout ou partie des informations suivantes : [348] - la table de quantification jpeg,
[349] - les commentaires,
[350] - le sous échantillonnage jpeg,
[351] - la taille de l'image,
[352] - données Exif : champs « Maker » et « Model »,
[353] - données Exif : autres champs,
[354] - des caractéristiques mesurées à partir de l'image.
[355] Pour déterminer la correction, on peut aussi utiliser, notamment en cas de doute :
[356] - le type du terminal d'émission, ce qui donne de façon non certaine l'origine mais permet de lever des ambiguïtés. A cet effet, on utilise par exemple le « user agent », correspondant au type d'appareil et transmis par ce dernier, ou une signature du message lui-même pour les variantes du format utilisé. Par exemple dans le cas où le message est un « MMS », le nom des fichiers attachés, leur ordre, le contenu du fichier au format xml « SMIL » intégré au message constituent une signature du message qui peut permettre de retrouver le type de terminal qui l'a créé. En effet, bien qu'il existe une norme de codage des messages « MMS », chaque terminal code le message de façon particulière tout en respectant la norme, ou
[357] - l'historique des signatures sur le numéro de téléphone de l'émetteur de la photo.
[358] Un exemple de codage de la signature est le suivant :
[359] Auto#13,9,9,13,18,20,24,23#211#0#1280x960#tutultitilglouglou#0220#SO505i#Do CoMo#
[360] Dans cet exemple, les différents champs sont séparés par des # et sont expliqués ci- après :
[361] 1. Auto : information de type d'appareil qui peut soit contenir _ auto 11 pour signifier qu'aucune information n'est disponible, soit contenir un identifiant d'appareil dtermin par une autre manire, par exemple comme dcrit plus haut l partir du _ user agent 11 ou d'une signature du message lui-mme.
[362] 2. 13,9,9,13,18,20,24,23 : contient les n premiers coefficients de la table de quan- tification de la luminance (canal Y), tel qu'ils sont donns dans l'en-tte du jpeg.
[363] 3. 211 : format de sous-chantillonnage du jpeg sous la forme d'un nombre form de 3 ou 4 chiffres. [364] 4. 0 : valeur du tag jpeg _ saw_JFTF_marker 11 (qui vaut 1 ou 0).
[365] 5. 1280x960 : largeur et hauteur de l'image en nombre de pixels.
[366] 6. Tout ou partie du commentaire jpeg.
[367] 7. Les champs qui suivent contiennent les informations sur l'exif : indique si il y a de l'exif ou non, et s'il y en a donne la version. Sinon, il écrit : NoExif. S'il y a de l'exif, contient le champ « model » correspondant au modèle de l'appareil. S'il y a de l'exif, contient le champs « maker » correspondant au fabricant de l'appareil. [368] 2.4. TRAITEMENT DEPORTE D'UNE IMAGE
[369] De préférence, afin de coder les images pour les transmettre, on utilise un programme de compression standard Jpeg, qui est implémenté dans tous les téléphones ; toutefois, un autre format peut également être utilisé. Les étapes de traitement de l'image sont les suivantes : [370] - Eventuellement des prétraitements.
[371] - Eventuellement une optimisation de la taille de l'image, du taux de compression, du format (ce format comprend aussi le choix en couleurs et noir et blanc) de l'image en fonction du type de service et de la taille du « tuyau » de transmission : en tenant compte de la courbe optimale compression / taille de l'image fonction du service et de la taille du tuyau, comme décrit plus loin, si l'image est déjà comprimée, la compression et le changement de taille sont effectués de préférence dans le domaine fréquentiel afin de limiter le temps de calcul, sinon on comprime après le changement de taille. [372] - Dans le serveur : On décompresse tout en éliminant les artefacts de compression ; [373] ensuite : on enlève ou réduit tout ou partie des défauts de l'appareil de prise de vue ou dans le cas d'une photo de texte et/ou dessin (FotoText+) on nettoie le fond, on enlève tout ou partie des défauts du moyen de restitution, on applique les autres traitements : retouche, mise en page..., on marque l'image pour éviter d'appliquer plusieurs fois les mêmes traitements. [374] Le transfert s'effectue via MMS, MMS surtaxé, email, http, Wap ou autre.
[375] Le message peut être destiné à un tiers et/ou utilisé sur le terminal émetteur par exemple pour la visualisation du résultat ou l'obtention d'un conseil. [376] 2.5. TRAITEMENT LOCAL D'UN SERVICE
[377] De préférence, afin de coder les images pour les transmettre, on utilise un programme de compression standard Jpeg installé dans tous les terminaux ; cependant, un autre format peut également être utilisé. Les étapes de traitement de l'image sont les suivantes : [378] a) Eventuellement des prétraitements.
[379] b) Ensuite : enlever ou réduire tout ou partie des défauts de l'appareil de prise de vue ou dans le cas d'une photo de texte et/ou dessin (FotoText+) nettoyage du fond, enlever tout ou partie des défauts du moyen de restitution, appliquer les autres traitements : retouche, mise en page par exemple. [380] c) Marquer l'image pour éviter d'appliquer plusieurs fois les mêmes traitements ;
[381] éventuellement optimiser la taille de l'image, le taux de compression, et le format de l'image en fonction du type de service et de la taille du tuyau : en tenant compte de la courbe optimale compression / taille de l'image fonction du service et de la taille du tuyau, si l'image est déjà comprimée, la compression et le changement de taille sont effectués de préférence dans le domaine fréquentiel afin de limiter le temps de calcul, sinon on comprime après le changement de taille. [382] d) Pour les services utilisant une image de grande taille : dans le serveur, on effectue une décompression qui élimine les artefacts de compression, suivie, le cas échéant, d'un agrandissement à la taille d'utilisation. [383] Le transfert peut s'effectuer directement vers l'utilisateur final (sauf dans le cas d'une carte postale) ou via un prestataire de service. [384] 2.6. STOCKAGE
[385] Dans une réalisation la donnée multimédia est stockée sans compression supplémentaire ou à faible compression supplémentaire dans le serveur distant et est compressée pour sa transmission au téléphone mobile et on lui fait subir un traitement fonction du service à fournir, ou demandé par le téléphone mobile, la donnée transmise compressée et traitée étant affectée d'un marquage lié à la donnée multimédia d'origine stockée sans compression dans le serveur distant afin de permettre son utilisation ultérieure sans compression ou à plus faible compression que la donnée transmise compressée et traitée. Par stockage sans compression, on entend stockage avant compression ou réduction de taille, ou à défaut avec compression faible et/ou réduction de taille faible. [386] Dans le cas où l'image est compressée ou réduite avant transmission au destinataire pour optimiser le débit, on peut stocker dans le serveur les images avant compression ou réduction de taille pour permettre l'utilisation de tous les services à qualité maximale par le récepteur d'un message. Cette disposition permet en effet l'utilisation de services ultérieurs pour cette même image : par exemple un terminal A envoie à un terminal B une image par MMS, et le terminal B transmet cette image vers un service de carte postale en se basant sur l'image conservée dans le serveur. [387] Pour cela les étapes suivantes sont nécessaires :
[388] - stocker l'image d'origine dans un serveur, l'indexer en utilisant un identifiant, [389] - appliquer les traitements, en particulier des traitements adaptés au service demandé, mais non compatibles avec tous les services, [390] - marquer l'image de façon persistante avec un identifiant,
[391] - transmettre l' image.
[392] Lorsque l'image transite à nouveau par le serveur :
[393] - on extrait l'identifiant en utilisant le marquage,
[394] - on recherche l'image originale indexée correspondante,
[395] - on remplace l'image par l'image de grande taille indexée le cas échéant.
[396] Un disque dur de serveur actuel permet de stocker environ 5 millions d'images.
[397] Les avantages obtenus par ce stockage sont une qualité optimale, une bande passante réduite pour la transmission, et la compatibilité avec tous les types de terminaux. [398] 2.7. SYSTEME
[399] Le serveur distant appelé également serveur de correction peut se situer:
[400] - dans le MMS-C (système de traitement des MMS chez l'opérateur),
[401] - à l'entrée du MMS-C,
[402] - à la sortie du MMS-C,
[403] - dans la passerelle WAP,
[404] - dans le MM9,
[405] - dans le MM7.
[406] Les combinaisons suivantes de terminal et de serveur sont possibles:
[407] - terminal standard et serveur,
[408] - terminal avec application qui réalise du traitement d'image, sans serveur,
[409] - terminal avec application qui réalise du traitement d'image, avec serveur,
[410] - terminal avec application qui ne réalise pas les traitements, avec serveur,
[411] - terminal avec application qui réalise les traitements pour donner un aperçu à l'utilisateur sur une image de taille réduite, avec serveur. [412] Les traitements destinés à un retour vers l'utilisateur peuvent se faire:
[413] - en local (dans le terminal), ou
[414] - à distance via http ou un autre protocole.
[415] 2.8. ADAPTATION DE L'IMAGE A LA TAILLE DU TUYAU
[416] Les opérateurs de télécommunication limitent la taille des messages transmis, par exemple par MMS. [417] La taille d'un fichier image dépend du contenu de l'image. A nombre de pixels donné et niveau de qualité perçu donné, une image qui contient beaucoup de détails produira un fichier plus volumineux qu'une image contenant moins de détails. [418] Il est donc nécessaire d'adapter automatiquement le niveau de qualité si on veut pouvoir utiliser un service dans tous les cas et ne pas dépasser la bande passante allouée par l'opérateur. [419] Il existe plusieurs façons d'adapter ce niveau de qualité, et le point optimum dépend de l'usage et donc du type de service. [420] Lors de l'utilisation d'un service, les images suivent le cheminement suivant :
[421] a) Prise de vue et compression éventuelle.
[422] b) Pré-traitement pour optimiser la taille de la donnée multimédia, le taux de compression qui lui est appliqué et son format : adaptation à la bande passante allouée par l'opérateur, par réduction de la taille du fichier transmis, cette réduction s 'effectuant par réduction éventuelle du nombre de pixels, et/ou augmentation du taux de compression. [423] c) Décompression avec, de préférence, réduction des artefacts.
[424] d) Changement du nombre de pixels pour s'adapter à l'écran ou l'imprimante utilisé pour le service (nombre final de pixels). [425] Pour réduire la taille du fichier, il existe un compromis entre le nombre de pixels et la compression utilisée : [426] - ce compromis dépend du nombre final de pixels et donc du type de service requis et du procédé de décompression, notamment si l'on réduit ou non les artefacts ; [427] - passé un certain niveau de compression, il vaut mieux réduire le nombre de pixels.
[428] Les opérations de réduction de la taille du fichier peuvent avoir lieu :
[429] - de préférence sans décomprimer l'image dans l'espace fréquentiel, ou
[430] - après décompression de l'image, ou
[431] - après décompression de l'image et réduction des artefacts.
[432] 2.9. EXEMPLES D'APPLICATION
[433] Des exemples de répartition des traitements sont donnés ci-après :
[434] a) Application avec un réseau 3G
[435] Ce réseau permet des échanges rapides terminal - serveur. Il est donc possible d'effectuer les traitements dans le serveur et d'afficher rapidement le résultat sur le téléphone. [436] Il est donc possible de travailler avec une puissance de calcul quelconque sur le terminal et un nombre de pixels élevé. [437] b) Application avec un réseau 2.5G et un téléphone haut de gamme (« smartphone » en anglais). [438] Le réseau ne permet pas des échanges rapides terminal - serveur. Mais le terminal dispose d'une puissance de calcul élevée. [439] Il est donc possible d'effectuer les traitements dans le terminal d'images à la taille de l'écran pour montrer un aperçu à l'utilisateur et afficher rapidement le résultat sur le téléphone. [440] Il est donc possible d'effectuer les traitements à pleine résolution sur le serveur sans retour nécessaire vers l'utilisateur. [441] c) Application avec un réseau 2.5G et un téléphone milieu de gamme (« Featurephone » en anglais). [442] Le réseau ne permet pas des échanges rapides terminal - serveur.
[443] Le terminal a une puissance de calcul limitée et les échanges sont lents. La disponibilité d'aperçus pour l'utilisateur sera plus limitée, mais les autres avantages (ergonomie, accessibilité aux services...) sont préservés. [444] Il est donc possible d'effectuer les traitements dans le serveur en limitant les retours vers l'utilisateur. [445] 3. SOLUTION TEXTE PHOTOGRAPHIE (composant FotoText+) - nettoyage de fond [446] L'invention prévoit un composant, appelé « FotoText+ », qui est un scanneur de texte qui permet de transformer la photo de tout document « de nature binaire », par exemple composé de traits sur fond clair, notamment un texte manuscrit, un dessin au trait, plan ou croquis, un texte imprimé. [447] Ce composant corrige les défauts du papier (nettoyage de fond) : les ombres, le quadrillage ou les lignes, les plissures, tâches, froissures du papier, et, bien sûr, les défauts de la caméra et de l'éclairage. Ceci peut se faire par exemple par extraction des informations au dessus d'un seuil. [448] Il optimise le niveau de contraste.
[449] Il effectue une correction automatique du « flou de proximité » de mise au point, par exemple par application d'un masque de dé-flouage. En effet, les caméraphones sont réglés pour une netteté de 80 cm à l'infini et, en général, ne disposent pas d'autofocus. Or la photo d'un texte est prise à 15 cm environ, c'est-à-dire dans la plage de flou du cameraphone. [450] Si ce défaut est peu sensible aux résolutions très faibles (comme celle d'un écran : 160x120, ou CIF), il est particulièrement sensible à partir de 300000 pixels (VGA). [451] Il corrige aussi les défauts colorimétriques.
[452] Il est compatible avec une très forte compression. Ainsi, une photo d'un texte représente environ 25Ko, et après compression jusqu'à 5Ko - pour optimiser le transfert. [453] Après décompression puis traitement, on remet l'image au format d'impression pour une meilleure superposition sur un fond: agrandissement à 300 points par pouce ou au format du document final. [454] Le composant produit des traits en niveau de gris sur un fond uniforme.
[455] Il peut être utilisé de diverses manières : seul : pour affichage après prise de vue sur un écran de terminal, car l'image traitée est plus lisible que l'image d'origine, pour envoi à un autre destinataire (par MMS ou autre), au verso d'une carte postale (message et/ou adresse) ; en illustration d'une image : Dans un logiciel de retouche qui permet de superposer l'image nettoyée sur une photo en rendant transparente la couleur du fond par opération de mélange entre la photo et une couleur uniforme ou une texture en utilisant comme masque l'image nettoyée. Pour chaque pixel, si le niveau de gris de l'image nettoyée vaut IN, la photo vaut PH et la couleur uniforme ou texture vaut CO, on prend CO*(l-IN)/MAXIN+PH*IN/MAXIN où MAXIN est la valeur maximale de tous les pixels de l'image nettoyée. [456] Par exemple pour une carte postale, l'utilisateur prend deux photos :
[457] a) la photo du recto de la carte postale, et
[458] b) la photo d'un texte/graphique écrit/dessiné sur une feuille de papier.
[459] Une interface utilisateur permet de positionner le texte/graphique sur la photo du recto ; un traitement local ou distant à la résolution de l'écran du terminal permet d'afficher un aperçu et facilite le travail de l'utilisateur. [460] La photo du texte/graphique est traitée, nettoyée par suppression des zones d'éclairage non uniforme pour en optimiser la lisibilité, nettoyée du fond et imprimée sur la photo du recto. [461] Dans le cas d'une photo, notamment une photo d'identité, le nettoyage de fond consiste à rendre uniforme la partie de la photo autre que la personne photographiée, par exemple en détectant le contour du visage et en remplissant l'extérieur avec une couleur uniforme. [462] 4. EXEMPLES DE SERVICES.
[463] On décrira ci-après, à l'aide des figures lb à 8, un service de réalisation de cartes postales, également appelé « photocarte ». [464] Les figures représentent les divers écrans (interface homme/machine) du terminal lorsqu'on utilise ce service. [465] L'écran 10 représenté sur la figure lb correspond à l'accueil quand le service de cartes postales a été sélectionné. Il s'agit d'un écran d'accueil qui offre, à l'ouverture, le choix entre plusieurs actions qui sont comme représenté : « nouvelles photocartes », « brouillon », « cartes envoyées », « cartes en cours d'envoi », « modèles ». Le choix s'effectue, à l'aide du « joystick » du terminal en sélectionnant l'une des actions. [466] On peut également faire appel au menu « options » qui affiche alors un écran 12 permettant à l'utilisateur de sélectionner soit l'action, soit les préférences, soit une aide, soit la possibilité de quitter le service. [467] Lorsque l'on sélectionne préférences, dans l'exemple représenté sur les figures 2a, 2b et 2c, l'utilisateur peut choisir entre trois préférences, à savoir, « général » (fig. 2a), « photo » (fig. 2b) et « serveur » (fig. 2c) en utilisant le joystick gauche ou droite.
[468] Sur l'écran 14 de la figure 2a, correspondant à l'onglet « général », il est demandé si l'utilisateur veut charger automatiquement son dernier brouillon.
[469] Sur l'écran 16 (fig. 2b) correspondant à l'onglet « photo » de la rubrique préférence, il est demandé à l'utilisateur s'il veut afficher automatiquement la dernière image utilisée et s'il veut utiliser automatiquement la dernière mise en page.
[470] Sur l'écran 18 de la figure 2c, correspondant à l'onglet « serveur » de la rubrique préférence, il est demandé à l'utilisateur à quel serveur il veut se connecter tel qu'un serveur MMS ou http.
[471] Sur la figure 3, on a représenté l'écran 20 affiché lorsque l'utilisateur sélectionne une action avec le menu option « Sélectionner » de l'écran 12 de la figure lb. Ainsi, il s'affiche un écran 20 sur lequel on voit apparaître le choix entre brouillon, modèle, carte à envoyer et carte en cours d'envoi. Sur l'écran 20, on a représenté le dernier brouillon qui comporte une photo 22 et un texte 24. Le menu option de l'écran 20 permet d'accéder à un écran 26 avec une commande « ouvrir ».
[472] Quand on a choisi cette commande « ouvrir », ou si l'on a sélectionné sur la figure lb une nouvelle carte postale à réaliser et à envoyer, on peut effectuer une sélection de l'image, du « recto » (mise en page), du texte, du « verso » (mise en page) et de l'adresse comme représenté sur la figure 4.
[473] L'écran 30 représenté sur la figure 4 correspond à la sélection d'une image qui, comme montré, indique qu'il s'agit du service de réalisation d'une nouvelle carte postale avec l'image au recto et offre la possibilité de prendre une nouvelle photo, de choisir la dernière photo prise, de choisir la photo dans un album en mémoire du terminal, de choisir une photo récemment utilisée pour le même service, ou enfin de choisir une photo sur un serveur distant.
[474] Quand on choisit l'onglet « recto » (figure 5), on offre une aide à la mise en page du recto. Si l'utilisateur a choisi préalablement une mise en page préférée, alors celle-ci est affichée directement. Dans le cas contraire, l'écran, comme montré, affiche une liste de choix, c'est-à-dire permet de choisir une mise en page dans le terminal ou de choisir sur un serveur distant, ou de créer une nouvelle mise en page.
[475] Si on sélectionne « Choisir une mise en page », alors un choix est offert entre plusieurs types de mises en page, ces mises en page différant par la couleur, par le style, par les dimensions, etc.
[476] Si l'utilisateur choisit l'option « Créer une nouvelle mise en page », alors il lui est proposé des options qui, dans l'exemple, sont : le choix de la couleur de la bordure, l'épaisseur de la bordure, et le choix d'une carte à bords arrondis avec un choix de rayons de courbure. [477] Quand l'utilisateur se positionne sur l'onglet « texte » de l'écran 30 représenté sur la figure 4, alors apparaît l'écran 34 de la figure 6 qui indique un choix entre un nouveau texte du type « smart text » (texte à saisie semi automatique), un nouveau « photo-texte » et un photo-texte existant.
[478] Quand on choisit l'option « nouveau texte », l'interface homme/machine bascule vers la création d'un texte avec une saisie classique ou une saisie semi automatisée qui consiste à prévoir plusieurs champs pour le texte et dans chacun de ces champs, à réutiliser des textes déjà mémorisés. Le premier champ est le champ d'entêté qui se rapporte au destinataire : « cher ami », « chère maman », etc. Un second champ concerne le corps du texte : « il fait beau », « je passe de bonnes vacances », etc. Un troisième champ concerne la fin de texte comprenant la formule de politesse et un quatrième champ comprend la signature.
[479] Lorsqu'on sélectionne l'option « photo-texte », alors un écran (non montré) s'affiche pour indiquer à l'utilisateur qu'il doit photographier un texte, par exemple manuscrit, avec des conseils pour prendre correctement une photo de texte telle que « soyez bien parallèle » et « préférer un éclairage uniforme ».
[480] Dans une réalisation, un cadrage rectangulaire s'affiche sur l'écran et permet de déterminer, selon qu'elle est déformée au non, si la photo est prise avec le bon angle.
[481] Une fois le texte composé ou photographié, l'utilisateur passe à l'étape suivante qui correspond à l'onglet « verso » de la figure 4 et qui se rapporte à la mise en page du verso, c'est-à-dire du texte. Dans ce cas, l'écran 36 de la figure 7 est affiché et offre les choix suivants :
[482] - choisir la dernière mise en page,
[483] - choisir la mise en page préférée,
[484] - choisir une mise en page,
[485] - choisir une mise en page sur un serveur distant, et
[486] - créer une nouvelle mise en page.
[487] Le choix de la mise en page qui se trouve, par exemple, en mémoire du terminal, consiste, dans une réalisation, à choisir la nature du timbre postal à apposer et correspondant, par exemple, au lieu où la photo est prise. Il peut aussi consister en un choix de la couleur du fond.
[488] Pour la création d'une nouvelle mise en page, on propose un choix de polices, une taille de police, une couleur générale et un timbre.
[489] La figure 8 montre l'écran 38 qui est sélectionné lorsque l'utilisateur a choisi l'onglet « adresse » de l'écran de la figure 4. Si le terminal comporte déjà une liste de contacts, alors le destinataire est choisi dans cette liste contacts par l'intermédiaire de la case « option » (écran 40). S'il s'agit d'un nouveau contact, alors l'écran comporte plusieurs zones pour le prénom (qui peut alors être choisi en faisant appel à l'option T9), le nom, le numéro de rue, le nom de la rue, le code postal de la ville et le pays. [490] De préférence, lorsque le code postal est indiqué, la ville correspondante est indiquée automatiquement et réciproquement, lorsque la ville est indiquée, le code postal est indiqué automatiquement. [491] Il est aussi possible de choisir plusieurs destinataires pour une même carte postale.
[492] Lorsque la carte postale est incomplète, un écran lui indique que cette carte postale n'est pas complète et lui demande de choisir une image, un destinataire et un texte, il lui indique aussi qu'une mise en page verso (image) par défaut est utilisée et que, de même, une mise en page recto (texte) par défaut est utilisée. [493] Lorsque la carte postale est complète, alors l'écran d'envoi indique que la carte postale est prête à être envoyée et propose à l'utilisateur de l'emegistrer en tant que modèle. [494] Enfin, après envoi, un écran montre que la carte postale a été envoyée et propose à l'utilisateur d'envoyer cette carte à un autre destinataire. [495] 5. ADAPTATION DES DONNEES A TRANSMETTRE A LA CAPACITE DE TRANSMISSION DU RESEAU [496] Les capacités des capteurs des caméraphones augmentent constamment et dépassent largement la bande passante des protocoles de transmission. Par exemple, un capteur VGA fournit 300.000 pixels et chaque pixel utilise un octet pour coder chacun des trois canaux de couleurs, ce qui conduit à une image brute de 900 ko environ. Mais, la plupart des terminaux ne sont capables que d'envoyer des fichiers, après compression, de 30 à 50 ko, soit environ 3 à 5 % de l'information initiale dans le cas d'un capteur VGA. [497] Partant de cette constatation, l'invention propose un procédé qui permet d'optimiser la qualité de l'image transmise grâce à un protocole permettant de choisir, en vue de cette optimisation, le taux de sous-échantillonnage, et les paramètres de compression, notamment de type JPEG. [498] On sait en effet que, pour réduire la taille des fichiers images, on peut, d'une part, sous-échantillonner cette image et, d'autre part, la comprimer à l'aide d'un algorithme de compression tel que l'algorithme JPEG. [499] Le sous-échantillonnage et le rééchantillonnage ultérieur réduisent la résolution et introduisent une perte de détails ainsi que des phénomènes de repliement de spectre ou aliasing. [500] Par ailleurs, la compression JPEG conduit à une perte d'information et provoque l'apparition d'artefacts (défauts) qui sont d'autant plus importants que le taux de compression est important. [501] Toutefois, la perte de résolution provoquée par un rééchantillonnage n'est pas rattrapable. Par contre, les artefacts provoqués par une compression JPEG ont une ré- partition ordonnée et connue qui les rend comgeables dans une certaine mesure. Cette correction est effectuée par exemple par lissage des bords de blocs tel que décrit dans le standard JPEG ou encore par un algorithme dénommé JPEG CLEANER qui permet de décomprimer et corriger ces défauts.
[502] Pour déterminer le taux de compression et le taux d'échantillonnage, on utilise l'abaque représenté sur la figure 9 sur laquelle le taux de compression est porté en abscisses et le taux d'échantillonnage en ordonnées.
[503] Cet abaque comporte trois courbes correspondant à trois images différentes.
[504] L'abaque est obtenu de la façon suivante : on a choisi trois images test qui présentent au départ une définition de 1 mega pixel.
[505] A partir de ces images, on génère des copies compressées à différents taux permettant d'obtenir des fichiers de poids donnés : 200 ko, 150 ko, 100 ko, 80 ko, 60 ko, 55 ko, 50 ko, 45 ko, 40 ko, 35 ko, etc., préalablement rééchantillonnées, le taux d'échantillonnage étant de 90 %, 80 %, 70 % ; 60 %, etc., le taux d'échantillonnage étant le même en direction horizontale et en direction verticale.
[506] Les images sont ensuite classées par poids de fichier et chaque dossier est ainsi constitué d'images de même poids, mais de définitions différentes.
[507] Pour permettre une comparaison de la pluralité d'images ainsi obtenues, ces dernières ont été remises à la définition de l'original par un calcul d'interpolation de type bicubique.
[508] Ensuite, pour chaque série d'images, un observateur expérimenté a visualisé sur un écran d'ordinateur, les différentes images et a déterminé l'image qu'il a jugé la plus satisfaisante à taille de fichier similaire tout en notant, bien entendu, le taux de sous- échantillonnage et le facteur de compression correspondant.
[509] On a constaté que l'association de la compression JPEG à un rééchantillonnage de l'image permet d'obtenir de meilleurs résultats que chacune des méthodes utilisées séparément.
[510] On voit ainsi que l'abaque de la figure 9 permet de choisir pour un taux de compression donné, la valeur du taux d'échantillonnage qui donne les meilleures qualités d'images.
[511] Sur l'abaque représenté sur la figure 10, on a porté en abscisses le poids du fichier images en ko, et en ordonnées le taux d'échantillonnage. Les courbes représentées sur cette figure 10 définissent l'image la plus satisfaisante en fonction du poids du fichier et du taux d'échantillonnage.
[512] Partant d'une image de 1 méga pixel qui présente un poids d'environ 3 Mo sans compression, pour obtenir un fichier de 30 ko, on a intérêt à sous-échantillonner l'image de 50 % (ce qui correspond à une réduction d'un facteur 4 du nombre de pixels) avant de compresser l'image. Pour obtenir un fichier de 50 ko, on a intérêt à sous-échantillonner l'image de 70 % (soit une diminution d'un facteur 2 du nombre de pixels) avant de compresser l'image. Enfin, pour un fichier de plus de 130 ko, il est préférable d'utiliser seulement une compression JPEG, sans sous-échantillonnage.
[513] En pratique, le terminal de téléphonie mobile comporte en mémoire les abaques des figures 9a et 10a également appelés ? au sens de l'invention, la courbe optimale de la compression en fonction de la taille de la donnée multimédia. La figure 9a est un abaque avec une courbe 50 constituant une moyenne des courbes sur la figure 9 et l'abaque de la figure 10a comporte une courbe 52 correspondant à une valeur moyenne des courbes de la figure 10.
[514] Ainsi, pour déterminer le fichier qui devra être envoyé sur le réseau, on prévoit dans le terminal de téléphonie mobile, un algorithme qui part du poids d'un fichier que le terminal peut envoyer sur le réseau. A ce poids de fichier en abscisses sur la figure 10a correspond en ordonnées de cette même figure, un taux d'échantillonnage. Ce taux d'échantillonnage permet de déterminer, à partir de la courbe 50 de la figure 9a, un taux de compression en abscisses de la figure 9a. Cet algorithme est représenté par le parcours fléché qui part d'un point A en abscisses de la figure 10a pour aboutir en un point B en abscisses de la figure 9a.
[515] Mais, le taux de compression obtenu peut fournir un poids de fichier supérieur à celui que peut supporter le réseau, car, pour un taux de compression donné, le poids final du fichier dépend de la quantité de détails contenus dans l'image. C'est pourquoi, dans ce cas, l'algorithme choisit un taux de compression supérieur B', ce qui permet de sélectionner un taux d'échantillonnage correspondant grâce à la courbe 50 de la figure 9a et de vérifier, à l'aide de l'abaque de la figure 10a, si le poids A' de fichier est inférieur au maximum admissible par le réseau. Ce processus itératif continue si le poids A' est encore trop important, c'est-à-dire qu'on choisit un poids A" de fichier inférieur à A' jusqu'à l'obtention d'un poids de fichier satisfaisant.
[516] Bien entendu, la courbe optimale de la compression en fonction de la taille de la donnée multimédia peut se présenter en mémoire du terminal sous forme des abaques des figures 9a et 10a mais également sous forme de tableaux de valeurs ou d'algorithmes.
[517] Bien entendu aussi, on pourra ne présenter en mémoire du terminal que la partie utile de la courbe optimale de la compression en fonction de la taille de la donnée multimédia. La partie utile étant par exemple l'extrait correspondant aux tailles de fichiers maximal pouvant transiter par les réseaux des différents opérateurs téléphoniques.
[518]

Claims

REVENDICATIONS
1. Procédé pour améliorer la qualité d'utilisation d'un service relatif à au moins une donnée multimédia (100), notamment relatif à des photos, et/ou de la vidéo, et ou de l'audio, et/ou du texte, mettant en œuvre au moins un traitement de cette donnée ; ce service étant proposé par un prestataire et ou un opérateur de télécommunications dans un téléphone mobile (110) d'un utilisateur via un réseau ; ce procédé étant destiné à s'affi^mchir des limitations résultant d'au moins un facteur affectant la qualité d'utilisation, tel que : - la taille des données multimédia, et/ou - les ressources informatiques du téléphone mobile, et/ou - la qualité du dispositif d'acquisition et/ou dispositif de restitution de la donnée multimédia, et/ou - les caractéristiques de Iransmission dudit réseau, et/ou -le type de service; le procédé comprenant les étapes suivantes : - on détermine, a priori ou en temps réel, en fonction dudit facteur, une première fraction
(102) de la donnée multimédia qui doit être traitée dans le téléphone mobile, une seconde fraction (104) de la donnée multimédia qui doit être traitée dans au moins un serveur distant (112) connecté au téléphone mobile via le réseau, une première fraction du traitement devant être effectuée dans le téléphone mobile et une seconde fraction du traitement devant être effectuée dans au moins un serveur distant, et - on effectue chaque fraction du traitement ainsi déterminé et/ou on traite chaque fraction de donnée multimédia ainsi déterminée dans le téléphone mobile et/ou dans le serveur distant ,
2. Procédé selon la revendication 1 comprenant en outre les étapes suivantes : - on définit, dans le téléphone mobile (110), des instructions relatives au traitement devant être effectué dans le serveur, ce traitement étant ci-après dénommé « traitement distant », - le téléphone mobile transmet ces instructions au serveur distant, et - le serveur exécute ces instructions.
3. Procédé selon la revendication 2 dans lequel les instructions comprennent : - la seconde fraction de la donnée multimédia devant être traitée dans le serveur distant, et/ou - un identifiant permettant à au moins un serveur distant de déterminer la seconde fraction de la donnée multimédia à traiter dans ce serveur distant, et/ou - la seconde fraction du traitement distant devant être effectuée dans le serveur, et/ou - l'adresse du bénéficiaire du service, et/ou - un code permettant au serveur d'obtenir cette adresse du bénéficiaire, le procédé comprenant, en outre, l'étape pour le serveur de transmettre, au bénéficiaire du service, le résultat de l' exécution des instructions relatives au traitement.
4. Procédé selon l'une des revendications précédentes dans lequel la fraction de traitement distant effectué dans le serveur comprend au moins un traitement compris dans le groupe comportant : - une amélioration de la donnée multimédia, telle qu'un traitement de correction des défauts d'acquisition associés à un type de télφhone mobile, - un traitement destiné à enlever tout ou partie des défauts d'un moyen de restitution ou d'enregistrement auquel est destiné la donnée tel qu'un écran, notamment de télφhone mobile ou d n autre afficheur, ou d'un moyen d'impression, - une mise en forme de la donnée multimédia, - un nettoyage de fond de la donnée multimédia, par exemple, en vue de l'enregistrement ou de l'impression de cette donnée, notamment lorsque celle-ci est une photographie associée à un texte et/ou à un dessin manuscrit, - une analyse de la qualité de la donnée multimédia, - une retouche souhaitée sur la donnée multimédia telle que, dans le cas d'une image, un dφlacement géométrique de cette dernière, notamment une rotation ou un recadrage, - un mode de transmission tel que le MMS, la télécopie, le courrier électronique, - l'association d'une image à du texte, l'envoi à un destinataire, un service de réalisation d'albums de données multimédia, un service d'enregistrement, un service d'impression, une mise en page de la donnée multimédia, des instructions à fournir en retour au télφhone mobile pour la mise en forme de la donnée multimédia lorsque celle-ci est émise par le télφhone mobile, par exemple pour une insertion de photographies et/ou de textes, et - un traitement de la donnée multimédia pour la fourniture du service, notamment un changement de format ou de taille du fichier contenant la donnée multimédia.
5. Procédé selon l'une des revendications précédentes comprenant, dans le télφhone mobile, une étape de compression de la donnée multimédia, par exemple une compression du type
JPEG, cette étape de compression comprenant un pré-traitement pour optimiser la taille de la donnée multimédia, le taux de compression qui lui est appliqué et son format, ce pré-traitement étant fonction d'au moins un des paramètres compris dans le groupe comportant : le type de service requis, les caractéristiques de transmission du réseau, la courbe optimale de la compression en fonction de la taille de la donnée multimédia et le type de compression de la donnée multimédia, la compression de la donnée multimédia étant de préférence mise en œuvre dans le domaine fréquentiel, le procédé comprenant en outre une décompression dans le serveur distant avec, de préférence, un traitement d'éUrnination des artefacts ou défauts liés à la compression.
6. Procédé selon l'une des revendications précédentes dans lequel la donnée multimédia est stockée dans le serveur distant sans compression, ou sans compression supplémentaire, ou avec une faible compression supplémentaire par rapport à la donnée multimédia reçue d'un télφhone mobile, et est compressée pour sa transmission au télφhone mobile et on lui fait subir un traitement fonction du service à fournir, ou demandé par le télφhone mobile, la donnée transmise compressée et traitée étant affectée d'un marquage (122) lié à la donnée multimédia d'origine stockée dans le serveur distant afin de permettre son utilisation ultérieure.
7. Procédé selon l'une des revendications précédentes dans lequel le serveur distant comporte une base de signatures de télφhones mobiles afin de pouvoir reconnaître l'origine de la donnée multimédia à traiter et de déterminer le type de traitement pour chaque donnée multimédia, les signatures étant extraites de la donnée multimédia ou étant annexées à la donnée multimédia
8. Procédé selon la revendication 7 dans lequel les signatures appartiennent à l'une des catégories suivantes : des signatures individuelles à un type de télφhone mobile, des signatures ∞rr_mιnes à plusieurs types de télφhones mobiles, des signatures correspondant à tous les types de télφhones mobiles.
9. Procédé selon l'une des revendications précédentes dans lequel le serveur distant se trouve en un emplacement compris dans le groupe suivant : - centre MMS, dénommé MMS-C, -à l'entrée d'un MMS-C, -à la sortie d'un MMS-C, - une passerelle WAP, -une interface MM9 ou MM7 du centre MMS.
10. Terminal de télφhonie mobile comportant : des moyens pour améliorer la qualité d'utilisation d'un service relatif à au moins une donnée multimédia, notamment relatif à des photos etou de la vidéo et/ou de l'audio et/ou du texte, mettant en œuvre au moins un traitement de cette donnée, ce service étant proposé par un prestataire et/ou un opérateur de télé∞rrimunication dans le télφhone mobile, ces moyens pour améliorer la qualité d'utilisation comprenant : des moyens pour déteiminer, a priori ou en temps réel, en fonction d'au moins un facteur affectant la qualité d'utilisation, une première fraction de la donnée multimédia à traiter dans le télφhone mobile, une seconde fraction de la donnée multimédia devant être traitée dans au moins un serveur distant connectable au télφhone mobile, une première fraction du traitement devant être effectuée dans le télφhone mobile et une seconde fraction du traitement devant être effectuée dans un serveur distant, des moyens pour effectuer le traitement ou des traitements ainsi déterminés dans le télφhone mobile, et des moyens pour transmettre au serveur distant la donnée ou la fraction de donnée multimédia devant être traitée dans ce serveur.
11. Terminal selon la revendication 10 comprenant des moyens pour déterminer, dans ce télφhone mobile, les fractions de la donnée multimédia à traiter et/ou les fractions du traitement devant être effectué, etou des moyens pour recevoir d'un serveur distant les informations relatives auxdites fractions.
12. Tenriinal selon la revendication 10 ou 11 comprenant des moyens pour transmettre au serveur distant des instructions relatives au traitement devant être effectué dans ce serveur.
13. Terminal selon la revendication 12 dans lequel les instructions comprennent : - la seconde fraction de la donnée multimédia devant être traitée dans le serveur distant, e1 ou - un identifiant permettant à au moins un serveur distant de déterminer la seconde fraction de la donnée multimédia à traiter dans ce serveur distant, et/ou - la seconde fraction du traitement distant devant être effectuée dans le serveur, et/ou - l'adresse du bénéficiaire du service, et/ou - un code permettant au serveur d'obtenir cette adresse du bénéficiaire.
14. Terminal selon l'une des revendications 10 à 13 dans lequel les moyens pour déterminer la fraction de traitement distant devant être effectué dans le serveur comprennent des moyens pour sélectionner un tel traitement distant lorsque le traitement est compris dans le groupe comportant : - une amélioration de la donnée multimédia, telle qu'un traitement de correction des défauts d'acquisition associés à un type de télφhone mobile, - un traitement destiné à enlever tout ou partie des défauts d'un moyen de restitution ou d'enregistrement auquel est destiné la donnée tel qu'un écran, notamment de télφhone mobile ou d'un autre afficheur, ou d'un moyen d'impression, - une mise en forme de la donnée multimédia, - un nettoyage de fond de la donnée multimédia, par exemple, en vue de l'enregistrement ou de l'impression de cette donnée, notamment lorsque celle-ci est une photographie associée à un texte et/ou à un dessin manuscrit, -une analyse de la qualité de la donnée multimédia, - une retouche souhaitée sur la donnée multimédia telle que, dans le cas d'une image, un dφlacement géométrique de cette dernière, notamment une rotation ou un recadrage, - un mode de transmission tel que le MMS, la télécopie, le courrier électronique, - l'association d'une image à du texte, l'envoi à un destinataire, un service de réalisation d'albums de données multimédia, un service d'enregistrement, un service d'impression, une mise en page de la donnée multimédia, des instructions à fournir en retour au télφhone mobile pour la mise en forme de la donnée multimédia lorsque celle-ci est émise par le télφhone mobile, par exemple pour une insertion de photographies et/ou de textes, et - un traitement de la donnée multimédia pour la fourniture du service, notamment un changement de format ou de taille du fichier contenant la donnée multimédia
15. Terminal selon l'une des revendications 10 à 14 comprenant des moyens de compression de la donnée multimédia, par exemple des moyens du type JPEG, ces moyens de compression comprenant des moyens de pré-traitement pour optimiser la taille de la donnée multimédia, le taux de compression qui lui est appliqué et son format, ce pré-traitement étant fonction d'au moins un des paramètres compris dans le groupe comportant : le type de service requis, les caractéristiques de transmission du réseau, la courbe optimale de la compression en fonction de la taille de la donnée multimédia et le type de compression de la donnée multimédia, la compression de la donnée multimédia étant de préférence mise en œuvre dans le domaine fréquentiel.
16. Serveur d'un réseau de télé∞rnmunications de télφhonie mobile comportant des moyens pour améliorer la qualité d'utilisation d'un service relatif à au moins une donnée multimédia, notamment relatif à des photos et/ou de la vidé et/ou de l'audio et/ou du texte, mettant en œuvre au moins un traitement de cette donnée, les moyens d'amélioration de la qualité d'utilisation comprenant : des moyens pour déterminer, en fonction d'un facteur affectant la qualité d'utilisation du service par le télφhone mobile, une première fraction de la donnée multimédia qui doit être traitée dans le télφhone mobile, une seconde fraction de la donnée multimédia qui doit être traitée dans au moins un serveur distant connecté au télφhone mobile via le réseau, une première fraction du traitement devant être effectuée dans le télφhone mobile et une seconde fraction du traitement devant être effectuée dans au moins un serveur distant, des moyens pour transmettre au télφhone mobile lesdites valeurs de fractions, et des moyens pour effectuer la (les) fraction(s) du traitement de la donnée multimédia devant être effectuées) dans ce serveur.
17. Serveur selon la revendication 16, comprenant des moyens pour effectuer au moins un des traitements compris dans le groupe comportant: - une amélioration de la donnée multimédia, telle qu'un traitement de correction des défauts d'acquisition associés à un type de télφhone mobile, - un traitement destiné à enlever tout ou partie des défauts d'un moyen de restitution ou d'enregistrement auquel est destiné la donnée tel qu'un écran, notamment de télφhone mobile ou d'un autre afficheur, ou d'un moyen d'impression, - une mise en forme de la donnée multimédia, - un nettoyage de fond de la donnée multimédia, par exemple, en vue de l'enregistrement ou de l'impression de cette donnée, notamment lorsque celle-ci est une photographie associée à un texte et/ou à un dessin manuscrit, -une analyse de la qualité de la donnée multimédia, - une retouche souhaitée sur la donnée multimédia telle que, dans le cas d'une image, un dφlacement géométrique de cette dernière, notamment une rotation ou un recadrage, - un mode de transmission tel que le MMS, la télécopie, le courrier électronique, - l'association d'une image à du texte, l'envoi à un destinataire, un service de réalisation d'albums de données multimédia, un service d'enregistrement, un service d'impression, une mise en page de la donnée multimédia, des instructions à fournir en retour au télφhone mobile pour la mise en forme de la donnée multimédia lorsque celle-ci est émise par le télφhone mobile, par exemple pour une insertion de photographies et/ou de textes, et - un traitement de la donnée multimédia pour la fourniture du service, notamment un changement de format ou de taille du fichier contenant la donnée multimédia
18. Serveur selon la revendication 16 ou 17 comprenant des moyens pour stocker des données multimédia sans compression supplémentaire, ou avec une faible compression supplémentaire par rapport à la donnée multimédia reçue d'un télφhone mobile, et pour transmettre ces données avec compression vers des télφhones mobiles et pour affecter un marquage à cette donnée multimédia
19. Serveur selon l'une des revendications 16 à 18 comportant une base de signatures de télφhones mobiles afin de pouvoir reconnaître l'origine de la donnée multimédia à traiter et de déterminer le type de traitement pour chaque donnée multimédia, les signatures étant extraites de la donnée multimédia ou étant annexées à la donnée multimédia
20. Serveur selon la revendication 19 dans lequel les signatures appartiennent à l'une des catégories suivantes : des signatures individuelles à un type de télφhone mobile, des signatures ∞rnmunes à plusieurs types de télφhones mobiles, des signatures correspondant à tous les types de télφhones mobiles.
21. Serveur selon l'une des revendications 16 à 20 se trouvant en un emplacement compris dans le groupe suivant : - un centre MMS, dénommé MMS-C, -à l'entrée d'un MMS-C, -à la sortie d'un MMS-C, - une passerelle WAP, - une interface MM9 ou MM7 du centre MMS.
PCT/FR2005/050429 2004-06-08 2005-06-08 Procede pour ameliorer la qualite d'utilisation de services en telephonie mobile WO2005125099A2 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020077000448A KR20070034048A (ko) 2004-06-08 2005-06-08 모바일 전화에서 서비스 품질을 개선하는 방법
EP05776418A EP1757154A2 (fr) 2004-06-08 2005-06-08 Procede pour ameliorer la qualite d'utilisation de services en telephonie mobile
JP2007526518A JP2008502249A (ja) 2004-06-08 2005-06-08 移動電話機においてサービスを利用することの品質を向上させる方法
US11/628,987 US20090116471A1 (en) 2004-06-08 2005-06-08 Method for Enhancing Quality of Service in Mobile Telephony

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0451132 2004-06-08
FR0451132A FR2872317A1 (fr) 2004-06-08 2004-06-08 Procede pour ameliorer la qualite d'utilisation d'un service relatif a au moins une donnee multimedia

Publications (2)

Publication Number Publication Date
WO2005125099A2 true WO2005125099A2 (fr) 2005-12-29
WO2005125099A3 WO2005125099A3 (fr) 2006-04-13

Family

ID=35064880

Family Applications (3)

Application Number Title Priority Date Filing Date
PCT/FR2005/050429 WO2005125099A2 (fr) 2004-06-08 2005-06-08 Procede pour ameliorer la qualite d'utilisation de services en telephonie mobile
PCT/FR2005/050428 WO2005125184A1 (fr) 2004-06-08 2005-06-08 Procede d’aide a l’acquisition d’images numeriques
PCT/FR2005/050430 WO2005125242A2 (fr) 2004-06-08 2005-06-08 Procede d'amelioration de services relatifs a des donnees multimedia en telephonie mobile

Family Applications After (2)

Application Number Title Priority Date Filing Date
PCT/FR2005/050428 WO2005125184A1 (fr) 2004-06-08 2005-06-08 Procede d’aide a l’acquisition d’images numeriques
PCT/FR2005/050430 WO2005125242A2 (fr) 2004-06-08 2005-06-08 Procede d'amelioration de services relatifs a des donnees multimedia en telephonie mobile

Country Status (7)

Country Link
US (2) US20090017795A1 (fr)
EP (2) EP1757155A2 (fr)
JP (2) JP2008502249A (fr)
KR (2) KR20070034048A (fr)
CN (2) CN1981555A (fr)
FR (1) FR2872317A1 (fr)
WO (3) WO2005125099A2 (fr)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010033384A1 (fr) 2008-09-19 2010-03-25 Dolby Laboratories Licensing Corporation Traitement de signal d'amélioration de qualité amont pour dispositifs clients à ressource réduite
CN102387125A (zh) * 2010-09-02 2012-03-21 腾讯科技（深圳）有限公司 访问微博的方法和系统及微博网站图片发送方法和系统
US9300714B2 (en) 2008-09-19 2016-03-29 Dolby Laboratories Licensing Corporation Upstream signal processing for client devices in a small-cell wireless network

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7743323B1 (en) * 2005-10-06 2010-06-22 Verisign, Inc. Method and apparatus to customize layout and presentation
US20070121146A1 (en) * 2005-11-28 2007-05-31 Steve Nesbit Image processing system
CN101449193B (zh) 2006-03-06 2011-05-11 全视Cdm光学有限公司 具有波前编码的变焦透镜系统
US7813724B2 (en) * 2006-03-17 2010-10-12 Comverse Ltd. System and method for multimedia-to-video conversion to enhance real-time mobile video services
TWI335178B (en) * 2006-12-20 2010-12-21 Asustek Comp Inc Apparatus, system and method for remotely opearting multimedia streaming
KR101290215B1 (ko) * 2007-01-02 2013-07-30 엘지전자 주식회사 이동통신단말기의 메시지 작성 가이드방법, 미디어 파일의품질 변경방법, 미디어 파일의 재생구간 설정방법
US20090086278A1 (en) * 2007-09-27 2009-04-02 Ringcentral, Inc. Electronic facsimile delivery systems and methods
US8379115B2 (en) 2007-11-20 2013-02-19 Motorola Mobility Llc Image capture device with electronic focus
US8643748B2 (en) 2007-11-20 2014-02-04 Motorola Mobility Llc Compact stationary lens optical zoom image capture system
US20100030872A1 (en) * 2008-08-04 2010-02-04 Serge Caleca System for remote processing, printing, and uploading of digital images to a remote server via wireless connections
US8780383B2 (en) * 2008-11-25 2014-07-15 Ringcentral, Inc. Authenticated facsimile transmission from mobile devices
US8324859B2 (en) * 2008-12-15 2012-12-04 Comverge, Inc. Method and system for co-operative charging of electric vehicles
US20100161491A1 (en) * 2008-12-19 2010-06-24 International Business Machines Corporation Vehicle fed accident report
CN102685080B (zh) * 2011-03-17 2015-05-20 腾讯科技（北京）有限公司 图片处理方法及系统
CN103634032B (zh) * 2012-08-30 2016-05-04 上海斐讯数据通信技术有限公司 数据转移方法、系统及移动终端
US20170039645A1 (en) * 2015-08-05 2017-02-09 The Toronto-Dominion Bank Systems and methods for automatically generating order data based on social media messaging
US10848624B2 (en) 2016-10-05 2020-11-24 Global Tel*Link Corporation Intermediary service bureau system and method
CN108092828A (zh) * 2018-01-25 2018-05-29 北京艾提米科技有限公司 一种动态服务提供方法、装置及程序
CN108844537A (zh) * 2018-04-27 2018-11-20 广州布塔智能科技有限公司 移动终端获取玩具运动状态的方法与移动终端
JP2019200534A (ja) * 2018-05-15 2019-11-21 大日本印刷株式会社 フォトブック編集装置及び考査支援システム
JP7065738B2 (ja) * 2018-09-18 2022-05-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP7218142B2 (ja) * 2018-10-16 2023-02-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP2022125701A (ja) 2021-02-17 2022-08-29 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0802694A2 (fr) * 1996-04-16 1997-10-22 Nokia Mobile Phones Ltd. Terminal mobile programmable à distance
BE1013870A6 (nl) * 2000-12-08 2002-11-05 Methodiek, presentatie- en distributie-systeem van korte video-opnames. -
US20030193967A1 (en) * 2001-12-31 2003-10-16 Gregg Fenton Method, apparatus and system for processing multimedia messages

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3850952T2 (de) * 1987-12-22 1995-02-23 Philips Nv Videosignalkodierung und -dekodierung mit einem adaptiven Filter.
JPH0566637U (ja) * 1992-02-12 1993-09-03 旭光学工業株式会社 画面サイズ切替えカメラ
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
JPH11249980A (ja) * 1998-03-04 1999-09-17 Matsushita Electric Ind Co Ltd データ配信システム
JP2000010178A (ja) * 1998-06-19 2000-01-14 Fuji Photo Optical Co Ltd カメラおよび写真プリントシステム
US6411651B1 (en) * 1998-06-26 2002-06-25 Compaq Information Technologies Group, L.P. Method and system for distributed video compression in personal computer architecture
US6314208B1 (en) * 1998-07-21 2001-11-06 Hewlett-Packard Company System for variable quantization in JPEG for compound documents
US20020059481A1 (en) * 1998-12-30 2002-05-16 Patrick O. Nunally Method and apparatus for a multimedia application specific processor
AU2001243218A1 (en) * 2000-02-24 2001-09-03 Shin-Ping Liu Content distribution system
JP3748509B2 (ja) * 2000-09-25 2006-02-22 キヤノン株式会社 撮像装置及び方法、並びに記憶媒体、並びに通信装置及び方法、並びに記憶媒体
WO2002039306A1 (fr) * 2000-11-09 2002-05-16 Sri International Systemes et procedes destines a une utilisation de ressource negociee
EP1241891A1 (fr) * 2001-03-13 2002-09-18 eJay AG Appareil et procédé pour transmettre des données audio et/ou vidéo
AU2002256477A1 (en) * 2001-05-07 2002-11-18 Summus, Inc. Color video codec method and system
JP2002369110A (ja) * 2001-06-06 2002-12-20 Funai Electric Co Ltd 撮影画像印刷システム、プリンタ、携帯型端末機
US6930718B2 (en) * 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
JP2004040517A (ja) * 2002-07-04 2004-02-05 Hitachi Ltd 携帯端末および画像配信システム
KR100486713B1 (ko) * 2002-09-17 2005-05-03 삼성전자주식회사 멀티미디어 스트리밍 장치 및 방법
JP4345286B2 (ja) * 2002-11-01 2009-10-14 日本電気株式会社 圧縮画像データ送信方法、そのプログラム及び携帯端末
US7637430B2 (en) * 2003-05-12 2009-12-29 Hand Held Products, Inc. Picture taking optical reader
GB2404803A (en) * 2003-07-16 2005-02-09 Empics Ltd Image editing and distribution system
US7403568B2 (en) * 2003-08-13 2008-07-22 Apple Inc. Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using temporal filtering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0802694A2 (fr) * 1996-04-16 1997-10-22 Nokia Mobile Phones Ltd. Terminal mobile programmable à distance
BE1013870A6 (nl) * 2000-12-08 2002-11-05 Methodiek, presentatie- en distributie-systeem van korte video-opnames. -
US20030193967A1 (en) * 2001-12-31 2003-10-16 Gregg Fenton Method, apparatus and system for processing multimedia messages

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010033384A1 (fr) 2008-09-19 2010-03-25 Dolby Laboratories Licensing Corporation Traitement de signal d'amélioration de qualité amont pour dispositifs clients à ressource réduite
CN102160115A (zh) * 2008-09-19 2011-08-17 杜比实验室特许公司 对于资源受限客户机设备的上游质量增强信号处理
US8744247B2 (en) 2008-09-19 2014-06-03 Dolby Laboratories Licensing Corporation Upstream quality enhancement signal processing for resource constrained client devices
US9251802B2 (en) 2008-09-19 2016-02-02 Dolby Laboratories Licensing Corporation Upstream quality enhancement signal processing for resource constrained client devices
US9300714B2 (en) 2008-09-19 2016-03-29 Dolby Laboratories Licensing Corporation Upstream signal processing for client devices in a small-cell wireless network
CN102387125A (zh) * 2010-09-02 2012-03-21 腾讯科技（深圳）有限公司 访问微博的方法和系统及微博网站图片发送方法和系统

Also Published As

Publication number Publication date
US20090017795A1 (en) 2009-01-15
EP1757155A2 (fr) 2007-02-28
CN1985535A (zh) 2007-06-20
WO2005125184A1 (fr) 2005-12-29
CN1981555A (zh) 2007-06-13
WO2005125099A3 (fr) 2006-04-13
WO2005125242A2 (fr) 2005-12-29
EP1757154A2 (fr) 2007-02-28
KR20070034048A (ko) 2007-03-27
FR2872317A1 (fr) 2005-12-30
US20090116471A1 (en) 2009-05-07
WO2005125242A3 (fr) 2006-05-04
KR20070034051A (ko) 2007-03-27
JP2008502249A (ja) 2008-01-24
JP2008502250A (ja) 2008-01-24

Similar Documents

Publication Publication Date Title
WO2005125099A2 (fr) Procede pour ameliorer la qualite d'utilisation de services en telephonie mobile
EP1444651B1 (fr) Procede et systeme pour reduire la frequence des mises a jour de moyens
KR101562972B1 (ko) 공유 레벨에 따라 영상을 차등화하여 제공하는 영상 공유 장치 및 방법
US6571246B1 (en) Automatic data collection and workflow management in a business process
CA2600185C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
FR2872660A1 (fr) Appareil de prise de vue et procede pour la formation d'images annotees
CN104239861A (zh) 卷曲文本图像预处理方法和彩票扫描识别方法
EP1851948A1 (fr) Procede de realisation en masse de visites virtuelles interactives pour diffusion multimedia, ainsi que systeme de misse en oeuvre
EP2259218A1 (fr) Procédé et système pour recommander des photographies
FR2850181A1 (fr) Procede et dispositif de gestion d'images
FR2805630A1 (fr) Procede pour gerer une distribution rapide d'images
FR2843515A1 (fr) Procede de mise en page de messages multimedias
FR2846769A1 (fr) Procede et systeme d'elaboration dynamique d'images
FR2812495A1 (fr) Procede de mise a disposition d'images photographiques numeriques
FR2879064A1 (fr) Procede de diffusion de donnees multimedia vers un equipement pourvu d'un capteur d'images
EP1168810B1 (fr) Téléphone mobile muni d'une caméra
JP2012049850A (ja) 画像表示装置、画像データ変換方法、画像配信システム、及びプログラム
CN112819016A (zh) 图像处理方法、装置、电子设备及存储介质
EP2351340B1 (fr) Procede de communication utilisant une image numerique et procede de transmission de donnees
EP3476110B1 (fr) Procédé et dispositif de traitement d'un objet multimédia
FR2897224A1 (fr) Procede pour la saisie, l'archivage, la consultation et la transmission d'un document a un destinataire a l'aide d'une camera.
WO2021250337A1 (fr) Procédé d'analyse d'élément(s) d'objet(s) photographié(s) pour la détection de modification(s), et dispositif d'analyse associé
FR3106007A1 (fr) Procede et systeme informatises de valorisation d’objets, et programme d’ordinateur associe
WO2006069283A1 (fr) Systeme et procede de photofaçonnage utilisant des trames de donnees pour acceder a une base de donnees
FR2813479A1 (fr) Telephone mobile muni d'une camera

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2005776418

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007526518

Country of ref document: JP

Ref document number: 3676/KOLNP/2006

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWE Wipo information: entry into national phase

Ref document number: 200580023024.8

Country of ref document: CN

Ref document number: 1020077000448

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 11628987

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2005776418

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020077000448

Country of ref document: KR