WO2017084182A1 - 图片处理方法及装置 - Google Patents

图片处理方法及装置 Download PDF

Info

Publication number
WO2017084182A1
WO2017084182A1 PCT/CN2015/099612 CN2015099612W WO2017084182A1 WO 2017084182 A1 WO2017084182 A1 WO 2017084182A1 CN 2015099612 W CN2015099612 W CN 2015099612W WO 2017084182 A1 WO2017084182 A1 WO 2017084182A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
picture
person
face image
module
Prior art date
Application number
PCT/CN2015/099612
Other languages
English (en)
French (fr)
Inventor
陈志军
张涛
汪平仄
Original Assignee
小米科技有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 小米科技有限责任公司 filed Critical 小米科技有限责任公司
Priority to KR1020167009865A priority Critical patent/KR101910346B1/ko
Priority to MX2016005789A priority patent/MX360936B/es
Priority to RU2016136709A priority patent/RU2659746C2/ru
Priority to JP2016522732A priority patent/JP2018500611A/ja
Publication of WO2017084182A1 publication Critical patent/WO2017084182A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Definitions

  • the present disclosure relates to the field of image processing technologies, and in particular, to a picture processing method and apparatus.
  • Embodiments of the present disclosure provide a picture processing method and apparatus.
  • the technical solution is as follows:
  • a picture processing method including:
  • the person identity information includes at least one of the following information: the face image corresponds to the identity of the person, and the relationship between the face image corresponding person and the user;
  • the shooting information including at least one of the following: a shooting time and a shooting location of the picture;
  • Determining information of the picture is generated according to the person identity information and the shooting information.
  • the determining the identity information of the person corresponding to the recognized face image includes:
  • the preset person information database includes a correspondence relationship between the face image and the person identity information
  • the determining the identity information of the person corresponding to the recognized face image includes:
  • Obtaining contact information of the user where the contact information includes an avatar of the contact and identity information of the person;
  • the generating the description information of the picture according to the identity information of the person and the shooting information further includes:
  • Determining the description information of the picture according to the person identity information, the shooting information, and the object name.
  • the method further includes:
  • Descriptive information of each set of pictures is generated according to description information of each picture in each set of pictures.
  • the grouping the pictures of the user includes:
  • the pictures are grouped according to at least one of a shooting time, a shooting location, and a face image of the picture.
  • the method further includes:
  • the description information of the group and the group of pictures is displayed, including:
  • the pictures in each group and the description information of the pictures are displayed in a slide show.
  • a picture processing apparatus including:
  • An identification module configured to perform face image recognition on a picture of the user
  • a determining module configured to determine a person identity information corresponding to the face image recognized by the identification module, where the person identity information includes at least one of the following: an identifier of the face image corresponding to the person, and the face image Corresponding to the relationship between the character and the user;
  • An acquisition module configured to acquire shooting information of the picture, where the shooting information includes at least one of the following: a shooting time and a shooting location of the picture;
  • the first generation module is configured to generate the description information of the image according to the identity information of the person determined by the determining module and the shooting information acquired by the acquiring module.
  • the determining module includes:
  • a first obtaining sub-module configured to acquire a preset person information database, where the preset person information database includes a correspondence relationship between the face image and the person identity information;
  • a first comparison sub-module configured to compare a face image recognized by the identification module with a face image in a preset person information database acquired by the first acquisition sub-module;
  • a second acquiring submodule configured to acquire the identity information of the person corresponding to the face image in the preset character information database that matches the recognized face image.
  • the determining module includes:
  • a third obtaining sub-module configured to acquire contact information of the user, where the contact information includes an avatar of the contact and identity information of the person;
  • a second comparison sub-module configured to compare the facial image recognized by the identification module with the avatar of the contact
  • a fourth acquiring submodule configured to acquire the identity information of the person corresponding to the avatar of the contact that matches the identified facial image.
  • the first generating module includes:
  • a generating submodule configured to generate, according to the identity information of the person determined by the determining module, the capturing information acquired by the acquiring submodule, and the object name recognized by the identifying submodule.
  • the device further includes:
  • a grouping module configured to group the pictures of the user
  • a second generating module configured to generate, according to the description information of each picture in each group of pictures generated by the first generation module, description information of each group of pictures.
  • the grouping module includes:
  • the device further includes:
  • a display module configured to display, by the user, the description information of each group of pictures generated by the group and the second generation module when receiving a browsing command initiated by the user.
  • the displayed module is configured to display, in a slideshow manner, the description information of the picture in each group and the picture generated by the first generation module.
  • a picture processing apparatus including:
  • a memory for storing processor executable instructions
  • processor is configured to:
  • the person identity information includes at least one of the following information: the face image corresponds to the identity of the person, and the face image corresponds to the person and the user relationship;
  • the shooting information including at least one of the following: a shooting time and a shooting location of the picture;
  • Determining information of the picture is generated according to the person identity information and the shooting information.
  • the face in the picture is identified, and the description information of the picture is generated according to the identity of the person corresponding to the face and the shooting information of the picture, so that the picture description is more accurate, and the automatic description of the picture is more intelligent and closer.
  • the ability of humans to describe pictures, users can quickly and accurately understand each picture, and the user experience is better.
  • the identity of the person in the picture can be accurately identified, so that the subsequent generation of the picture description according to the identity information of the person is more accurate, and the automatic description of the picture is more intelligent and closer to the ability of the human to describe the picture, and the user can quickly A better understanding of each image, the user experience is better.
  • the description information is more accurate, and the automatic description of the picture is more intelligent and closer to the ability of the human to describe the picture, and the user can quickly and accurately understand each picture. The user experience is better.
  • the pictures are grouped and displayed, and the grouped pictures and description information are displayed, and the user can quickly and accurately understand each group of pictures, and the user experience is better.
  • FIG. 1 is a flowchart of a picture processing method according to an exemplary embodiment.
  • FIG. 2 is a flowchart of a picture processing method according to another exemplary embodiment.
  • FIG. 3 is a flowchart of a picture processing method according to another exemplary embodiment.
  • FIG. 4 is a flowchart of a picture processing method according to another exemplary embodiment.
  • FIG. 5 is a flowchart of a picture processing method according to another exemplary embodiment.
  • FIG. 6 is a block diagram of a picture processing apparatus according to an exemplary embodiment.
  • FIG. 7 is a block diagram of a determination module, according to an exemplary embodiment.
  • FIG. 8 is a block diagram of a determination module, according to another exemplary embodiment.
  • FIG. 9 is a block diagram of a first generation module, according to an exemplary embodiment.
  • FIG. 10 is a block diagram of a picture processing apparatus according to another exemplary embodiment.
  • FIG. 11 is a block diagram of a picture processing apparatus according to another exemplary embodiment.
  • FIG. 12 is a block diagram of an apparatus for picture processing, according to an exemplary embodiment.
  • FIG. 13 is a block diagram of an apparatus for picture processing, according to an exemplary embodiment.
  • the technical solution provided by the embodiment of the present disclosure relates to a terminal or a server, performing face image recognition on a picture, determining identity information corresponding to the recognized face image, and generating description information of the picture according to the identity information of the person.
  • the terminal may be any device with image processing function such as a mobile phone, a computer, a digital broadcast terminal, a messaging device, a game console, a tablet device, a medical device, a fitness device, a personal digital assistant, and the like.
  • FIG. 1 is a flowchart of a picture processing method according to an exemplary embodiment. As shown in FIG. 1 , a picture processing method is used in a terminal or a server, and includes the following steps:
  • step S11 face image recognition is performed on the picture of the user.
  • geometric feature based methods can be employed.
  • the template-based method can be divided into a method based on correlation matching, a feature face method, a linear discriminant analysis method, a singular value decomposition method, a neural network method, a dynamic connection matching method, and the like.
  • Model-based methods include methods based on hidden Markov models, active shape models, and active appearance models.
  • step S12 the identity information corresponding to the recognized face image is determined, and the identity information of the person includes the following One less information: the face image corresponds to the identity of the person, and the face image corresponds to the relationship between the person and the user.
  • the identifier of the character may be an identifier of the character, a network account number, a nickname, a code number, and the like for identifying the identity of the character.
  • the relationship between the character and the user may include family relationship, family relationship, classmate relationship, colleague relationship, friend relationship, and the like.
  • step S13 the shooting information of the picture is acquired, and the shooting information includes at least one of the following information: the shooting time of the picture and the shooting location.
  • the shooting information of the picture can be extracted from the exchangeable image file (exif) of the picture.
  • the exif contains metadata tailored specifically for photos from digital cameras, including at least the following categories of information for recording digital photos:
  • step S14 description information of the picture is generated based on the person identity information and the shooting information.
  • the face in the picture is obtained as the user's parent, and the shooting information of the obtained picture includes: shooting time is October 1, 2015, and the shooting location is Tiananmen. That is, according to the analysis of the picture, the following information contents are obtained: “parent”, “October 1, 2015”, “Tiananmen”, and the like. Then, the abstract generation technology of natural language processing technology, such as Extractive extraction algorithm or Abstractive summary algorithm, can be used to generate the description information of the picture, for "11 with Mom and Dad in Tiananmen", “11 travel to Beijing with parents” and many more.
  • Extractive extraction algorithm or Abstractive summary algorithm can be used to generate the description information of the picture, for "11 with Mom and Dad in Tiananmen", “11 travel to Beijing with parents” and many more.
  • the face in the picture is identified, and the description information of the picture is generated according to the identity of the person corresponding to the face and the shooting information of the picture, so that the picture description is more accurate, and the automatic description of the picture is more intelligent and closer.
  • the ability of humans to describe pictures, users can quickly and accurately understand each picture, and the user experience is better.
  • the identity information corresponding to the recognized face may be determined in the following manner:
  • FIG. 2 is a flowchart of a method for processing a picture according to another exemplary embodiment. As shown in FIG. 2, determining the identity information of the person corresponding to the recognized face image includes the following steps:
  • step S21 a preset person information database is acquired, and the preset person information database includes a correspondence relationship between the face image and the person identity information;
  • step S22 the recognized face image is compared with the face image in the preset person information database
  • step S23 the person identity information corresponding to the face image in the preset person information database matching the recognized face image is acquired.
  • the user may preset the preset person information database, such as obtaining a face photo of the family member, and setting an identifier or a family relationship corresponding to each family member's face photo, thereby generating the preset person information database.
  • FIG. 3 is a flowchart of a picture processing method according to another exemplary embodiment, as shown in FIG.
  • step S31 the contact information of the user is acquired, where the contact information includes an avatar of the contact and identity information of the person;
  • step S32 the recognized face image is compared with the contact's avatar
  • step S33 the person identity information corresponding to the avatar of the contact that matches the recognized face image is acquired.
  • the identity of the person corresponding to the face image in the picture may be determined by the contact avatar in the address book.
  • the two modes may be combined, that is, the identity of the person corresponding to the face image in the image is determined according to the preset person information database and the contact information in the address book.
  • the identity of the person in the image can be accurately identified, so that the subsequent generation of the picture description according to the identity information of the person is more accurate.
  • the automatic description of the picture is more intelligent and closer to the ability of humans to describe the picture, and the user can quickly and accurately understand each picture, and the user experience is better.
  • other information of the picture such as the shooting information, the item information except the face, and the like in the picture may be further acquired.
  • FIG. 4 is a flowchart of a method for processing a picture according to another exemplary embodiment. As shown in FIG. 4, the description information of the picture is generated according to the person identity information and the shooting information, and further includes:
  • step S41 the object in the picture is identified to obtain the object name.
  • Algorithms such as R-CNN, fast-RCNN, etc. can be used to identify objects contained in the picture. First, the possible candidate areas are framed in the picture, and the objects in the box are classified by CNN.
  • step S42 the description information of the picture is generated based on the person identity information, the shooting information, and the object name.
  • the picture was taken on October 1, 2015, and the location was in Tiananmen Square.
  • the face in the picture is the user's parents.
  • the objects in the picture are identified as flowers, national flags, etc.
  • the generated description information can be “2015. On October 1st, I saw the flag raising with my parents in Tiananmen Square.
  • the automatic description of the picture may also consider other information, such as the weather information on the day of the shooting time, the news event where the shooting location occurred at the shooting time, and the like.
  • the description information is generated according to the plurality of related information of the picture, so that the description information is more accurate, and the automatic description of the picture is more intelligent and closer to the ability of the human to describe the picture, and the user can quickly and accurately understand each picture, the user. Experience better.
  • FIG. 5 is a flowchart of a method for processing a picture according to another exemplary embodiment. As shown in FIG. 5, the method further includes:
  • step S51 the pictures of the users are grouped
  • step S52 the description information of each group of pictures is generated according to the description information of each picture in each group of pictures.
  • the Extractive decimation algorithm can be used to extract some representative text segments from the description information of each picture in each group for integration, and generate description information of each group of pictures.
  • the pictures can be grouped according to the shooting scene.
  • Group users' images including:
  • the pictures are grouped according to at least one of the shooting time, the shooting location, and the face image of the picture.
  • users can group photos taken on October 1, 2015 into a group
  • photos taken on October 1, 2015 and Tiananmen Square can be grouped together;
  • a photo taken on October 1, 2015, including the faces of the user's parents, may be divided into groups;
  • the photos taken at Tiananmen Square including the faces of the parents of the users, may be divided into one group;
  • the photographs taken in the same scene can be accurately divided, so that each set of photographs can be automatically and subsequently described automatically.
  • the user can browse according to the group.
  • the group and the description information of each group of pictures are displayed.
  • the description information of the pictures and pictures in each group can be displayed in a slideshow manner.
  • the pictures are grouped and displayed, and the grouped pictures and description information are displayed, and the user can quickly and accurately understand each group of pictures, and the user experience is better.
  • FIG. 6 is a block diagram of a picture processing apparatus, which may be implemented as part or all of an electronic device by software, hardware, or a combination of both, according to an exemplary embodiment. As shown in FIG. 6, the image processing apparatus includes:
  • the identification module 61 is configured to perform face image recognition on the picture of the user.
  • the recognition module 61 can employ a geometric feature based method, a template based method, and a model based method to recognize a face image.
  • the template-based method can be divided into a method based on correlation matching, a feature face method, a linear discriminant analysis method, a singular value decomposition method, a neural network method, a dynamic connection matching method, and the like.
  • Model-based methods include methods based on hidden Markov models, active shape models, and active appearance models.
  • the determining module 62 is configured to determine the person identity information corresponding to the face image that the recognition module identifies 61, and the person identity information includes at least one of the following information: the face image corresponds to the identity of the person, and the face image corresponds to the person and the user Relationship.
  • the identifier of the character may be an identifier of the character, a network account number, a nickname, a code number, and the like for identifying the identity of the character.
  • the relationship between the character and the user may include family relationship, family relationship, classmate relationship, colleague relationship, friend relationship, and the like.
  • the obtaining module 63 is configured to acquire shooting information of the picture, and the shooting information includes at least one of the following information: a shooting time of the picture and a shooting location.
  • the shooting information of the picture can be extracted from the exchangeable image file (exif) of the picture.
  • the exif contains metadata tailored specifically for photos from digital cameras, including at least the following categories of information for recording digital photos:
  • the first generating module 64 is configured to generate the description information of the picture according to the identity information of the person determined by the determining module 62 and the shooting information acquired by the obtaining module 63.
  • the recognition module 61 recognizes the face image of the picture
  • the determining module 62 obtains the face in the picture as the user's parent
  • the obtaining module 63 acquires the shooting information of the picture
  • the acquiring information obtained by the obtaining module 63 includes: shooting time 2015 On October 1, the shooting location was Tiananmen Square.
  • the first generation module 64 can adopt the abstract generation technology of the natural language processing technology, and the description information of the generated image is “11 with Mom and Dad in Tiananmen Square”, “11 travels to Beijing with parents”, and the like.
  • the identification module 61 identifies the face in the picture
  • the first generation module 664 generates the description information of the picture according to the identity of the person corresponding to the face determined by the determining module 62 and the captured information of the picture acquired by the obtaining module 63. It makes the generation of picture description more accurate, and the automatic description of the picture is more intelligent and closer to the ability of humans to describe pictures. Users can quickly and accurately understand each picture, and the user experience is better.
  • the identity information corresponding to the recognized face may be determined in the following manner:
  • FIG. 7 is a block diagram of a determining module according to an exemplary embodiment. As shown in FIG. 7, the determining module 62 includes:
  • the first obtaining sub-module 71 is configured to acquire a preset person information database, where the preset person information database includes a correspondence between the face image and the person identity information;
  • the first comparison sub-module 72 is configured to compare the face image recognized by the recognition module 61 with the face image in the preset person information database acquired by the first acquisition sub-module 71;
  • the second obtaining sub-module 73 is configured to acquire the person identity information corresponding to the face image in the preset person information database that matches the recognized face image.
  • the user may preset the preset person information database, such as obtaining a face photo of the family member, and setting an identifier or a family relationship corresponding to each family member's face photo, thereby generating the preset person information database.
  • FIG. 8 is a block diagram of a determination module according to another exemplary embodiment. As shown in FIG. 10, the determination module 62 includes:
  • the third obtaining sub-module 81 is configured to acquire contact information of the user, where the contact information includes an avatar of the contact and identity information of the person;
  • the second comparison sub-module 82 is configured to compare the facial image recognized by the recognition module 61 with the avatar of the contact;
  • the fourth obtaining sub-module 83 is configured to acquire the person identity information corresponding to the avatar of the contact that matches the recognized face image.
  • the identity of the person corresponding to the face image in the picture may be determined by the contact avatar in the address book.
  • the two modes may be combined, that is, the identity of the person corresponding to the face image in the image is determined according to the preset person information database and the contact information in the address book.
  • the person identity letter corresponding to the face image is determined by any one of the foregoing methods or a combination of the two methods.
  • the information can accurately identify the identity of the person in the picture, so that the subsequent generation of the picture description according to the identity information of the person is more accurate, and the automatic description of the picture is more intelligent and closer to the ability of the human to describe the picture, and the user can quickly and accurately understand each piece. Pictures, user experience is better.
  • other information of the picture such as the shooting information, the item information except the face, and the like in the picture may be further acquired.
  • FIG. 9 is a block diagram of a first generation module according to another exemplary embodiment. As shown in FIG. 9 , optionally, the first generation module 64 includes:
  • the identification sub-module 91 is configured to recognize an object in the picture to obtain an object name. Algorithms such as R-CNN, fast-RCNN, etc. can be used to identify objects contained in the picture. First, the possible candidate areas are framed in the picture, and the objects in the box are classified by CNN.
  • the generating sub-module 92 is configured to generate the description information of the picture according to the person identity information determined by the determining module 62, the shooting information acquired by the obtaining module 63, and the object name recognized by the recognition sub-module 91.
  • the picture was taken on October 1, 2015, and the location was in Tiananmen Square.
  • the face in the picture is the user's parents.
  • the objects in the picture are identified as flowers, national flags, etc.
  • the generated description information can be “2015. On October 1st, I saw the flag raising with my parents in Tiananmen Square.
  • the automatic description of the picture may also consider other information, such as the weather information on the day of the shooting time, the news event where the shooting location occurred at the shooting time, and the like.
  • the description information is generated according to the plurality of related information of the picture, so that the description information is more accurate, and the automatic description of the picture is more intelligent and closer to the ability of the human to describe the picture, and the user can quickly and accurately understand each picture, the user. Experience better.
  • FIG. 10 is a block diagram of a picture processing apparatus according to another exemplary embodiment. As shown in FIG. 10, the apparatus further includes:
  • a grouping module 65 configured to group pictures of users
  • the second generation module 66 is configured to generate description information of each group of pictures according to the description information of each picture in each group of pictures generated by the first generation module 63.
  • the grouping module 65 includes, configured to group the pictures according to at least one of a shooting time of the picture acquired by the obtaining module 63, a shooting location, and a face image recognized by the recognition module 61.
  • users can group photos taken on October 1, 2015 into a group
  • photos taken on October 1, 2015 and Tiananmen Square can be grouped together;
  • a photo taken on October 1, 2015, including the faces of the user's parents, may be divided into groups;
  • the photos taken at Tiananmen Square including the faces of the parents of the users, may be divided into one group;
  • FIG. 11 is a block diagram of a picture processing apparatus according to another exemplary embodiment. As shown in FIG. 11, the apparatus further includes:
  • the display module 67 is configured to display the grouping and the description information of each group of pictures generated by the second generation module when receiving the browsing command initiated by the user.
  • the display module 67 is configured to display the description information of the picture in each group and the picture generated by the first generation module in a slide show manner.
  • the user can browse according to the group, and display the group and the description information of each group of pictures. Moreover, the description information of the pictures and pictures in each group can be displayed in a slideshow manner.
  • the pictures are grouped and displayed, and the grouped pictures and description information are displayed, and the user can quickly and accurately understand each group of pictures, and the user experience is better.
  • the present disclosure also provides a picture processing apparatus, including:
  • a memory for storing processor executable instructions
  • processor is configured to:
  • the person identity information includes at least one of the following information: the face image corresponds to the identity of the person, and the face image corresponds to the person and the user relationship;
  • the shooting information including at least one of the following: a shooting time and a shooting location of the picture;
  • Determining information of the picture is generated according to the person identity information and the shooting information.
  • FIG. 12 is a block diagram of an apparatus for picture processing, which is applicable to a terminal device, according to an exemplary embodiment.
  • the device 1700 can be a video camera, a recording device, a mobile phone, a computer, a digital broadcast terminal, a messaging device, a game console, a tablet device, a medical device, a fitness device, a personal digital assistant, and the like.
  • Apparatus 1700 can include one or more of the following components: processing component 1702, memory 1704, power component 1706, multimedia component 1708, audio component 1710, input/output (I/O) interface 1712, sensor component 1714, and communication component 1716 .
  • Processing component 1702 typically controls the overall operation of device 1700, such as operations associated with display, telephone calls, data communications, camera operations, and recording operations.
  • Processing component 1702 can include one or more processors 1720 to execute instructions to perform all or part of the steps of the above described methods.
  • processing component 1702 can include one or more modules to facilitate interaction between component 1702 and other components.
  • processing component 1702 can include a multimedia module to facilitate interaction between multimedia component 1708 and processing component 1702.
  • Memory 1704 is configured to store various types of data to support operation at device 1700. Examples of such data include instructions for any application or method operating on device 1700, contact data, phone book data, messages, pictures, videos, and the like. Memory 1704 can be implemented by any type of volatile or non-volatile storage device or combination thereof Now, such as static random access memory (SRAM), electrically erasable programmable read only memory (EEPROM), erasable programmable read only memory (EPROM), programmable read only memory (PROM), read only memory (ROM), magnetic memory, flash memory, disk or optical disk.
  • SRAM static random access memory
  • EEPROM electrically erasable programmable read only memory
  • EPROM erasable programmable read only memory
  • PROM programmable read only memory
  • ROM read only memory
  • magnetic memory flash memory
  • flash memory disk or optical disk.
  • Power component 1706 provides power to various components of device 1700.
  • Power component 1706 can include a power management system, one or more power sources, and other components associated with generating, managing, and distributing power for device 1700.
  • Multimedia component 1708 includes a screen between the device 1700 and a user that provides an output interface.
  • the screen can include a liquid crystal display (LCD) and a touch panel (TP). If the screen includes a touch panel, the screen can be implemented as a touch screen to receive input signals from the user.
  • the touch panel includes one or more touch sensors to sense touches, slides, and gestures on the touch panel. The touch sensor may sense not only the boundary of the touch or sliding action, but also the duration and pressure associated with the touch or slide operation.
  • the multimedia component 1708 includes a front camera and/or a rear camera. When the device 1700 is in an operation mode, such as a shooting mode or a video mode, the front camera and/or the rear camera can receive external multimedia data. Each front and rear camera can be a fixed optical lens system or have focal length and optical zoom capabilities.
  • the audio component 1710 is configured to output and/or input an audio signal.
  • the audio component 1710 includes a microphone (MIC) that is configured to receive an external audio signal when the device 1700 is in an operational mode, such as a call mode, a recording mode, and a voice recognition mode.
  • the received audio signal may be further stored in memory 1704 or transmitted via communication component 1716.
  • the audio component 1710 also includes a speaker for outputting an audio signal.
  • the I/O interface 1712 provides an interface between the processing component 1702 and a peripheral interface module, which may be a keyboard, a click wheel, a button, or the like. These buttons may include, but are not limited to, a home button, a volume button, a start button, and a lock button.
  • Sensor assembly 1714 includes one or more sensors for providing device 1700 with a status assessment of various aspects.
  • sensor assembly 1714 can detect an open/closed state of device 1700, the relative positioning of the components, such as the display and keypad of device 1700, and sensor component 1714 can also detect a change in position of one component of device 1700 or device 1700. The presence or absence of user contact with device 1700, device 1700 orientation or acceleration/deceleration and temperature change of device 1700.
  • Sensor assembly 1714 can include a proximity sensor configured to detect the presence of nearby objects without any physical contact.
  • Sensor assembly 1714 may also include a light sensor, such as a CMOS or CCD image sensor, for use in imaging applications.
  • the sensor component 1714 can also include an acceleration sensor, a gyro sensor, a magnetic sensor, a pressure sensor, or a temperature sensor.
  • Communication component 1716 is configured to facilitate wired or wireless communication between device 1700 and other devices.
  • the device 1700 can access a wireless network based on a communication standard, such as WiFi, 2G or 3G, or a combination thereof.
  • communication component 1716 receives broadcast signals or broadcast associated information from an external broadcast management system via a broadcast channel.
  • the communication component 1716 also includes a near field communication (NFC) module to facilitate short range communication.
  • NFC near field communication
  • the NFC module can be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology, and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • device 1700 may be implemented by one or more application specific integrated circuits (ASICs), digital signals Processor (DSP), digital signal processing device (DSPD), programmable logic device (PLD), field programmable gate array (FPGA), controller, microcontroller, microprocessor or other electronic component implementation for execution The above method.
  • ASICs application specific integrated circuits
  • DSP digital signals Processor
  • DSPD digital signal processing device
  • PLD programmable logic device
  • FPGA field programmable gate array
  • controller microcontroller, microprocessor or other electronic component implementation for execution The above method.
  • non-transitory computer readable storage medium comprising instructions, such as a memory 1704 comprising instructions executable by processor 1720 of apparatus 1700 to perform the above method.
  • the non-transitory computer readable storage medium may be a ROM, a random access memory (RAM), a CD-ROM, a magnetic tape, a floppy disk, and an optical data storage device.
  • FIG. 13 is a block diagram of an apparatus for picture processing, according to an exemplary embodiment.
  • device 1900 can be provided as a server.
  • Apparatus 1900 includes a processing component 1922 that further includes one or more processors, and memory resources represented by memory 1932 for storing instructions executable by processing component 1922, such as an application.
  • An application stored in memory 1932 can include one or more modules each corresponding to a set of instructions.
  • processing component 1922 is configured to execute instructions to perform the methods described above.
  • Apparatus 1900 can also include a power supply component 1926 configured to perform power management of apparatus 1900, a wired or wireless network interface 1950 configured to connect apparatus 1900 to the network, and an input/output (I/O) interface 1958.
  • Device 1900 can operate based on an operating system stored in memory 1932, such as Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM, or the like.
  • a non-transitory computer readable storage medium when the instructions in the storage medium are executed by the processor of the device 1700 or the device 1900, enabling the device 1700 or the device 1900 to perform the method of the above picture processing, the method comprising:
  • the person identity information includes at least one of the following information: the face image corresponds to the identity of the person, and the relationship between the face image corresponding person and the user;
  • the shooting information including at least one of the following: a shooting time and a shooting location of the picture;
  • Determining information of the picture is generated according to the person identity information and the shooting information.
  • the determining the identity information of the person corresponding to the recognized face includes:
  • the preset person information database includes a correspondence relationship between the face image and the person identity information
  • the determining the identity information of the person corresponding to the recognized face includes:
  • Obtaining contact information of the user where the contact information includes an avatar of the contact and identity information of the person;
  • the generating the description information about the picture according to the identity information of the person further includes:
  • Determining the description information of the picture according to the person identity information, the shooting information, and the object name.
  • the method further includes:
  • Descriptive information of each set of pictures is generated according to description information of each picture in each set of pictures.
  • the grouping the pictures of the user includes:
  • the pictures are grouped according to at least one of a shooting time, a shooting location, and a face image of the picture.
  • the method further includes:
  • the description information of the group and the group of pictures is displayed, including:
  • the pictures in each group and the description information of the pictures are displayed in a slide show.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种图片处理方法及装置。该方法包括：对用户的图片进行人脸图像识别（S11）；确定所述识别到的人脸图像对应的人物身份信息，所述人物身份信息包括以下至少一项信息：所述人脸图像对应人物的标识，及所述人脸图像对应人物与所述用户的关系（S12）；获取所述图片的拍摄信息，所述拍摄信息包括以下至少一项信息：所述图片的拍摄时间和拍摄地点（S13）；根据所述人物身份信息及所述拍摄信息生成所述图片的说明信息（S14）。该技术方案使得生成图片说明更加准确，对图片的自动说明更加智能地、更加接近人类描述图片的能力，用户可以快速准确地了解每张图片，用户体验度更好。

Description

图片处理方法及装置
本申请基于申请号为2015108131405、申请日为2015年11月20日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本公开涉及图像处理技术领域，尤其涉及图片处理方法及装置。
背景技术
目前，随着图像识别技术的发展，对图像所表达的深层涵义研究越来越多。但是现有的自动图像文字说明系统，仅对图像中的人或物体单独进行简单说明，用户无法根据这些说明获得人物之间的相互关系。
发明内容
本公开实施例提供图片处理方法及装置。所述技术方案如下：
根据本公开实施例的第一方面，提供一种图片处理方法，包括：
对用户的图片进行人脸图像识别；
确定识别到的人脸图像对应的人物身份信息，所述人物身份信息包括以下至少一项信息：所述人脸图像对应人物的标识，及所述人脸图像对应人物与所述用户的关系；
获取所述图片的拍摄信息，所述拍摄信息包括以下至少一项信息：所述图片的拍摄时间和拍摄地点；
根据所述人物身份信息及所述拍摄信息生成所述图片的说明信息。
可选的，所述确定所述识别到的人脸图像对应的人物身份信息，包括：
获取预设人物信息库，所述预设人物信息库包括人脸图像与人物身份信息的对应关系；
将所述识别到的人脸图像与所述预设人物信息库中的人脸图像进行比对；
获取与所述识别到的人脸图像匹配的所述预设人物信息库中的人脸图像所对应的人物身份信息。
可选的，所述确定所述识别到的人脸图像对应的人物身份信息，包括：
获取所述用户的联系人信息，所述联系人信息包括联系人的头像与人物身份信息；
将所述识别到的人脸图像与所述联系人的头像进行比对；
获取与所述识别到的人脸图像匹配的所述联系人的头像对应的人物身份信息。
可选的，所述根据所述人物身份信息及所述拍摄信息生成所述图片的说明信息，还包括：
对所述图片中的物体进行识别，得到物体名称；
根据所述人物身份信息、所述拍摄信息及所述物体名称生成所述图片的说明信息。
可选的，所述方法还包括：
对所述用户的图片进行分组；
根据每组图片中每张图片的说明信息生成所述每组图片的说明信息。
可选的，所述对所述用户的图片进行分组，包括：
根据所述图片的拍摄时间、拍摄地点及人脸图像中至少一项对所述图片进行分组。
可选的，所述方法还包括：
当接收到用户出发的浏览命令时，显示所述分组及所述每组图片的说明信息。
可选的，所述显示所述分组及所述每组图片的说明信息，包括：
以幻灯片的方式显示每组中的图片及所述图片的说明信息。
根据本公开实施例的第二方面，提供一种图片处理装置，包括：
识别模块，用于对用户的图片进行人脸图像识别；
确定模块，用于确定所述识别模块识别到的人脸图像对应的人物身份信息，所述人物身份信息包括以下至少一项信息：所述人脸图像对应人物的标识，及所述人脸图像对应人物与所述用户的关系；
获取模块，用于获取所述图片的拍摄信息，所述拍摄信息包括以下至少一项信息：所述图片的拍摄时间和拍摄地点；
第一生成模块，用于根据所述确定模块确定的人物身份信息及所述获取模块获取的拍摄信息生成所述图片的说明信息。
可选的，所述确定模块包括：
第一获取子模块，用于获取预设人物信息库，所述预设人物信息库包括人脸图像与人物身份信息的对应关系；
第一比对子模块，用于将所述识别模块识别到的人脸图像与所述第一获取子模块获取的预设人物信息库中的人脸图像进行比对；
第二获取子模块，用于获取与所述识别到的人脸图像匹配的所述预设人物信息库中的人脸图像所对应的人物身份信息。
可选的，所述确定模块包括：
第三获取子模块，用于获取所述用户的联系人信息，所述联系人信息包括联系人的头像与人物身份信息；
第二比对子模块，用于将所述识别模块识别到的人脸图像与所述联系人的头像进行比对；
第四获取子模块，用于获取与所述识别到的人脸图像匹配的所述联系人的头像对应的人物身份信息。
可选的，所述第一生成模块包括：
识别子模块，用于对所述图片中的物体进行识别，得到物体名称；
生成子模块，用于根据所述确定模块确定的人物身份信息、所述获取子模块获取的拍摄信息及所述识别子模块识别的物体名称生成所述图片的说明信息。
可选的，所述装置还包括：
分组模块，用于对所述用户的图片进行分组；
第二生成模块，用于根据所述第一生成模块生成的每组图片中每张图片的说明信息生成所述每组图片的说明信息。
可选的，所述分组模块包括：
用于根据所述获取子模块获取的图片的拍摄时间、拍摄地点及所述识别模块识别到的人脸图像中至少一项对所述图片进行分组。
可选的，所述装置还包括：
显示模块，用于当接收到用户出发的浏览命令时，显示所述分组及所述第二生成模块生成的每组图片的说明信息。
可选的，所显示模块，用于以幻灯片的方式显示每组中的图片及所述第一生成模块生成的图片的说明信息。
根据本公开实施例的第三方面，提供一种图片处理装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
对用户的图片进行人脸图像识别；
确定所述识别到的人脸图像对应的人物身份信息，所述人物身份信息包括以下至少一项信息：所述人脸图像对应人物的标识，及所述人脸图像对应人物与所述用户的关系；
获取所述图片的拍摄信息，所述拍摄信息包括以下至少一项信息：所述图片的拍摄时间和拍摄地点；
根据所述人物身份信息及所述拍摄信息生成所述图片的说明信息。
本公开的实施例提供的技术方案可以包括以下有益效果：
本实施例中，对图片中的人脸进行识别，根据人脸对应的人物身份及图片的拍摄信息生成图片的说明信息，使得生成图片说明更加准确，对图片的自动说明更加智能地、更加接近人类描述图片的能力，用户可以快速准确地了解每张图片，用户体验度更好。
在另一实施例中，可以精确地识别图片中的人物身份，从而使得后续根据人物身份信息生成图片说明更加准确，对图片的自动说明更加智能地、更加接近人类描述图片的能力，用户可以快速准确地了解每张图片，用户体验度更好。
在另一实施例中，通过根据图片多种相关信息生成说明信息，使得说明信息更加准确，对图片的自动说明更加智能地、更加接近人类描述图片的能力，用户可以快速准确地了解每张图片，用户体验度更好。
在另一实施例中，对图片进行分组说明，并对分组后的图片及说明信息进行显示，用户可以快速准确地了解每组图片，用户体验度较好。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制 本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图片处理方法的流程图。
图2是根据另一示例性实施例示出的一种图片处理方法的流程图。
图3是根据另一示例性实施例示出的一种图片处理方法的流程图。
图4是根据另一示例性实施例示出的一种图片处理方法的流程图。
图5是根据另一示例性实施例示出的一种图片处理方法的流程图。
图6是根据一示例性实施例示出的一种图片处理装置的框图。
图7是根据一示例性实施例示出的确定模块的框图。
图8是根据另一示例性实施例示出的确定模块的框图。
图9是根据一示例性实施例示出的第一生成模块的框图。
图10是根据另一示例性实施例示出的一种图片处理装置的框图。
图11是根据另一示例性实施例示出的一种图片处理装置的框图。
图12是根据一示例性实施例示出的一种用于图片处理的装置的框图。
图13是根据一示例性实施例示出的一种用于图片处理的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供的技术方案，涉及终端或服务器，对图片进行人脸图像识别，确定识别到的人脸图像对应的人物身份信息，根据人物身份信息生成图片的说明信息。
该终端可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等任一具有图像处理功能的设备。
图1是根据一示例性实施例示出的一种图片处理方法的流程图，如图1所示，图片处理方法用于终端或服务器中，包括以下步骤：
在步骤S11中，对用户的图片进行人脸图像识别。
如，可采用基于几何特征的方法、基于模板的方法和基于模型的方法。其中基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。
在步骤S12中，确定识别到的人脸图像对应的人物身份信息，人物身份信息包括以下至 少一项信息：人脸图像对应人物的标识，及人脸图像对应人物与用户的关系。
其中，人物的标识可以为人物的姓名、网络账号、昵称、代号等等用于标识该人物身份的标识。人物与用户的关系可以包括家庭关系、亲人关系、同学关系、同事关系、朋友关系等等。
在步骤S13中，获取图片的拍摄信息，拍摄信息包括以下至少一项信息：图片的拍摄时间和拍摄地点。
图片的拍摄信息可以从图片的可交换图像文件(Exchangeable Image File，简称exif)中提取。exif中包含了专门为数码相机的照片而定制的元数据，至少包含了以下几类记录数码照片的信息：
拍摄时间、拍摄器材(机身、镜头、闪光灯等)、拍摄参数(快门速度、光圈F值、ISO速度、焦距、测光模式等)、图像处理参数(锐化、对比度、饱和度、白平衡等)、图像描述及版权信息、拍摄地点(GPS定位数据等)、缩略图等等。
在步骤S14中，根据人物身份信息及拍摄信息生成图片的说明信息。
例如，通过对图片的人脸图像识别，得到图片中的人脸为用户父母，获得图片的拍摄信息包括：拍摄时间2015年10月1日，拍摄地点为天安门。即，根据对图片的分析，获得的如下信息内容：“父母”、“2015年10月1日”、“天安门”等。则可以采用自然语言处理技术的摘要生成技术，如Extractive抽取式算法或Abstractive概要式算法，生成图片的说明信息，为“十一与爸爸妈妈在天安门”、“十一和父母一起去北京旅游”等等。
本实施例中，对图片中的人脸进行识别，根据人脸对应的人物身份及图片的拍摄信息生成图片的说明信息，使得生成图片说明更加准确，对图片的自动说明更加智能地、更加接近人类描述图片的能力，用户可以快速准确地了解每张图片，用户体验度更好。
在另一个实施例中，可以通过以下方式确定识别到的人脸对应的人物身份信息：
一、通过预设人物信息库确定人脸图像对应的人物身份信息
图2是根据另一示例性实施例示出的一种图片处理方法的流程图，如图2所示，确定识别到的人脸图像对应的人物身份信息，包括以下步骤：
在步骤S21中，获取预设人物信息库，预设人物信息库包括人脸图像与人物身份信息的对应关系；
在步骤S22中，将识别到的人脸图像与预设人物信息库中的人脸图像进行比对；
在步骤S23中，获取与识别到的人脸图像匹配的预设人物信息库中的人脸图像所对应的人物身份信息。
其中，用户可以预先设定该预设人物信息库，如获取家庭成员的人脸照片，并设定每个家庭成员人脸照片对应的标识或家庭关系，从而生成该预设人物信息库。或者，也可以将同学、朋友、同事等添加到预设人物信息库。
二、通过用户的联系人信息确定人脸图像对应的人物身份信息
图3是根据另一示例性实施例示出的一种图片处理方法的流程图，如图3所示，确定识 别到的人脸图像对应的人物身份信息，包括以下步骤：
在步骤S31中，获取用户的联系人信息，联系人信息包括联系人的头像与人物身份信息；
在步骤S32中，将识别到的人脸图像与联系人的头像进行比对；
在步骤S33中，获取与识别到的人脸图像匹配的联系人的头像对应的人物身份信息。
其中，可以通过通讯录中的联系人头像，确定图片中人脸图像对应的人物身份。
本实施例中，也可以将两种方式结合，即同时根据预设人物信息库和通讯录中的联系人信息确定图片中人脸图像对应的人物身份。
本实施例中，通过上述任一方式或两种方式的结合来确定人脸图像对应的人物身份信息，可以精确地识别图片中的人物身份，从而使得后续根据人物身份信息生成图片说明更加准确，对图片的自动说明更加智能地、更加接近人类描述图片的能力，用户可以快速准确地了解每张图片，用户体验度更好。
在另一个实施例中，为了更准确地生成图片的说明信息，可以进一步获取图片其他信息，如拍摄信息、图片中除人脸外的物品信息等等。
图4是根据另一示例性实施例示出的一种图片处理方法的流程图，如图4所示，根据所述人物身份信息及所述拍摄信息生成所述图片的说明信息，还包括：
在步骤S41中，对图片中的物体进行识别，得到物体名称。
可以采用R-CNN，fast-RCNN等算法识别图片中含有的物体。首先在图片中框出可能的候选区域，对框中的物体进行CNN分类。
在步骤S42中，根据人物身份信息、拍摄信息及物体名称生成图片的说明信息。
例如，图片的拍摄时间为2015年10月1日，拍摄地点为天安门广场，图片中的人脸为用户父母，识别到图片中的物体有鲜花、国旗等，生成的说明信息可以为“2015年10月1日，和爸爸妈妈在天安门广场看升旗”。
另外，除了人物身份信息、拍摄信息及物体名称外，对图片的自动说明还可考虑其他信息，如拍摄时间当日的天气信息，拍摄地点在拍摄时间所发生的新闻事件等等。
本实施例中，通过根据图片多种相关信息生成说明信息，使得说明信息更加准确，对图片的自动说明更加智能地、更加接近人类描述图片的能力，用户可以快速准确地了解每张图片，用户体验度更好。
在另一实施例中，还可以对图片进行分组，对每组图片生成一个总的说明信息。图5是根据另一示例性实施例示出的一种图片处理方法的流程图，如图5所示，该方法还包括：
在步骤S51中，对用户的图片进行分组；
在步骤S52中，根据每组图片中每张图片的说明信息生成每组图片的说明信息。
例如，可以采用Extractive抽取式算法，对每组内各张图片的说明信息中抽取一些具有代表性的文本片段进行整合，生成每组图片的说明信息。
其中，可根据拍摄场景对图片进行分组。对用户的图片进行分组，包括：
根据图片的拍摄时间、拍摄地点及人脸图像中至少一项对图片进行分组。
例如，用户可以将2015年10月1日拍摄的照片分为一组；
或，可以将在天安门广场拍摄的照片分为一组；
或，可以将所有包括用户父母人脸的照片划分为一组；
或，可以将2015年10月1日与天安门广场拍摄的照片分为一组；
或，可以将2015年10月1日拍摄的，包括用户父母人脸的照片划分为一组；
或，可以将在天安门广场拍摄的，包括用户父母人脸的照片划分为一组；
或，将2015年10月1日在天安门广场拍摄的，包括用户父母人脸的照片划分为一组。
通过根据图片的拍摄信息、人脸图像等信息对照片进行分组，可以准确将在同一场景下拍摄的照片进行划分，以便后续准确地对每组照片进行自动说明。
用户浏览图片时，可以按照分组进行浏览，当接收到用户出发的浏览命令时，显示分组及每组图片的说明信息。并且，可以以幻灯片的方式显示每组中的图片及图片的说明信息。
本实施例中，对图片进行分组说明，并对分组后的图片及说明信息进行显示，用户可以快速准确地了解每组图片，用户体验度较好。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图6是根据一示例性实施例示出的一种图片处理装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示，该图片处理装置包括：
识别模块61，被配置为对用户的图片进行人脸图像识别。
如，识别模块61可采用基于几何特征的方法、基于模板的方法和基于模型的方法识别人脸图像。其中基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。基于模型的方法则有基于隐马尔柯夫模型，主动形状模型和主动外观模型的方法等。
确定模块62，被配置为确定识别模块识61别到的人脸图像对应的人物身份信息，人物身份信息包括以下至少一项信息：人脸图像对应人物的标识，及人脸图像对应人物与用户的关系。
其中，人物的标识可以为人物的姓名、网络账号、昵称、代号等等用于标识该人物身份的标识。人物与用户的关系可以包括家庭关系、亲人关系、同学关系、同事关系、朋友关系等等。
获取模块63，用于获取图片的拍摄信息，拍摄信息包括以下至少一项信息：图片的拍摄时间和拍摄地点。
图片的拍摄信息可以从图片的可交换图像文件(Exchangeable Image File，简称exif)中提取。exif中包含了专门为数码相机的照片而定制的元数据，至少包含了以下几类记录数码照片的信息：
拍摄时间、拍摄器材(机身、镜头、闪光灯等)、拍摄参数(快门速度、光圈F值、ISO速度、焦距、测光模式等)、图像处理参数(锐化、对比度、饱和度、白平衡等)、图像描述及版权信息、拍摄地点(GPS定位数据等)、缩略图等等。
第一生成模块64，被配置为根据确定模块62确定的人物身份信息及获取模块63获取的拍摄信息生成图片的说明信息。
例如，通过识别模块61对图片的人脸图像识别，确定模块62得到图片中的人脸为用户父母，获取模块63获取图片的拍摄信息，获取模块63获得图片的拍摄信息包括：拍摄时间2015年10月1日，拍摄地点为天安门。则第一生成模块64可以采用自然语言处理技术的摘要生成技术，生成图片的说明信息为“十一与爸爸妈妈在天安门”、“十一和父母一起去北京旅游”等等。
本实施例中，识别模块61对图片中的人脸进行识别，第一生成模块664根据确定模块62确定的人脸对应的人物身份及获取模块63获取的图片的拍摄信息生成图片的说明信息，使得生成图片说明更加准确，对图片的自动说明更加智能地、更加接近人类描述图片的能力，用户可以快速准确地了解每张图片，用户体验度更好。
在另一个实施例中，可以通过以下方式确定识别到的人脸对应的人物身份信息：
一、通过预设人物信息库确定人脸图像对应的人物身份信息
图7是根据一示例性实施例示出的确定模块的框图，如图7所示，确定模块62包括：
第一获取子模块71，被配置为获取预设人物信息库，预设人物信息库包括人脸图像与人物身份信息的对应关系；
第一比对子模块72，被配置为将识别模块61识别到的人脸图像与第一获取子模块71获取的预设人物信息库中的人脸图像进行比对；
第二获取子模块73，被配置为获取与识别到的人脸图像匹配的预设人物信息库中的人脸图像所对应的人物身份信息。
其中，用户可以预先设定该预设人物信息库，如获取家庭成员的人脸照片，并设定每个家庭成员人脸照片对应的标识或家庭关系，从而生成该预设人物信息库。或者，也可以将同学、朋友、同事等添加到预设人物信息库。
二、通过用户的联系人信息确定人脸图像对应的人物身份信息
图8是根据另一示例性实施例示出的确定模块的框图，如图10所示，确定模块62包括：
第三获取子模块81，被配置为获取用户的联系人信息，联系人信息包括联系人的头像与人物身份信息；
第二比对子模块82，被配置为将识别模块61识别到的人脸图像与联系人的头像进行比对；
第四获取子模块83，被配置为获取与识别到的人脸图像匹配的联系人的头像对应的人物身份信息。
其中，可以通过通讯录中的联系人头像，确定图片中人脸图像对应的人物身份。
本实施例中，也可以将两种方式结合，即同时根据预设人物信息库和通讯录中的联系人信息确定图片中人脸图像对应的人物身份。
本实施例中，通过上述任一方式或两种方式的结合来确定人脸图像对应的人物身份信 息，可以精确地识别图片中的人物身份，从而使得后续根据人物身份信息生成图片说明更加准确，对图片的自动说明更加智能地、更加接近人类描述图片的能力，用户可以快速准确地了解每张图片，用户体验度更好。
在另一个实施例中，为了更准确地生成图片的说明信息，可以进一步获取图片其他信息，如拍摄信息、图片中除人脸外的物品信息等等。
图9是根据另一示例性实施例示出的第一生成模块的框图，如图9所示，可选的，第一生成模块64包括：
识别子模块91，被配置为对图片中的物体进行识别，得到物体名称。可以采用R-CNN，fast-RCNN等算法识别图片中含有的物体。首先在图片中框出可能的候选区域，对框中的物体进行CNN分类。
生成子模块92，被配置为根据确定模块62确定的人物身份信息、获取模块63获取的拍摄信息及识别子模块91识别的物体名称生成图片的说明信息。
例如，图片的拍摄时间为2015年10月1日，拍摄地点为天安门广场，图片中的人脸为用户父母，识别到图片中的物体有鲜花、国旗等，生成的说明信息可以为“2015年10月1日，和爸爸妈妈在天安门广场看升旗”。
另外，除了人物身份信息、拍摄信息及物体名称外，对图片的自动说明还可考虑其他信息，如拍摄时间当日的天气信息，拍摄地点在拍摄时间所发生的新闻事件等等。
本实施例中，通过根据图片多种相关信息生成说明信息，使得说明信息更加准确，对图片的自动说明更加智能地、更加接近人类描述图片的能力，用户可以快速准确地了解每张图片，用户体验度更好。
在另一实施例中，还可以对图片进行分组，对每组图片生成一个总的说明信息。图10是根据另一示例性实施例示出的一种图片处理装置的框图，如图10所示，该装置还包括：
分组模块65，被配置为对用户的图片进行分组；
第二生成模块66，被配置为根据第一生成模块63生成的每组图片中每张图片的说明信息生成每组图片的说明信息。
在另一个实施例中，分组模块65包括，被配置为根据获取模块63获取的图片的拍摄时间、拍摄地点及识别模块61识别到的人脸图像中至少一项对图片进行分组。
例如，用户可以将2015年10月1日拍摄的照片分为一组；
或，可以将在天安门广场拍摄的照片分为一组；
或，可以将所有包括用户父母人脸的照片划分为一组；
或，可以将2015年10月1日与天安门广场拍摄的照片分为一组；
或，可以将2015年10月1日拍摄的，包括用户父母人脸的照片划分为一组；
或，可以将在天安门广场拍摄的，包括用户父母人脸的照片划分为一组；
或，将2015年10月1日在天安门广场拍摄的，包括用户父母人脸的照片划分为一组。
通过根据图片的拍摄信息、人脸图像等信息对照片进行分组，可以准确将在同一场景下 拍摄的照片进行划分，以便后续准确地对每组照片进行自动说明。
图11是根据另一示例性实施例示出的一种图片处理装置的框图，如图11所示，该装置还包括：
显示模块67，被配置为当接收到用户出发的浏览命令时，显示分组及第二生成模块生成的每组图片的说明信息。
可选的，显示模块67，被配置为以幻灯片的方式显示每组中的图片及第一生成模块生成的图片的说明信息。
用户浏览图片时，可以按照分组进行浏览，显示分组及每组图片的说明信息。并且，可以以幻灯片的方式显示每组中的图片及图片的说明信息。
本实施例中，对图片进行分组说明，并对分组后的图片及说明信息进行显示，用户可以快速准确地了解每组图片，用户体验度较好。
本公开还提供一种图片处理装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
对用户的图片进行人脸图像识别；
确定所述识别到的人脸图像对应的人物身份信息，所述人物身份信息包括以下至少一项信息：所述人脸图像对应人物的标识，及所述人脸图像对应人物与所述用户的关系；
获取所述图片的拍摄信息，所述拍摄信息包括以下至少一项信息：所述图片的拍摄时间和拍摄地点；
根据所述人物身份信息及所述拍摄信息生成所述图片的说明信息。
图12是根据一示例性实施例示出的一种用于图片处理的装置的框图，该装置适用于终端设备。例如，装置1700可以是摄像机，录音设备，移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
装置1700可以包括以下一个或多个组件：处理组件1702，存储器1704，电源组件1706，多媒体组件1708，音频组件1710，输入/输出(I/O)的接口1712，传感器组件1714，以及通信组件1716。
处理组件1702通常控制装置1700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1702可以包括一个或多个处理器1720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1702可以包括一个或多个模块，便于处理组件1702和其他组件之间的交互。例如，处理组件1702可以包括多媒体模块，以方便多媒体组件1708和处理组件1702之间的交互。
存储器1704被配置为存储各种类型的数据以支持在设备1700的操作。这些数据的示例包括用于在装置1700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1704可以由任何类型的易失性或非易失性存储设备或者它们的组合实 现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1706为装置1700的各种组件提供电力。电源组件1706可以包括电源管理系统，一个或多个电源，及其他与为装置1700生成、管理和分配电力相关联的组件。
多媒体组件1708包括在所述装置1700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1708包括一个前置摄像头和/或后置摄像头。当设备1700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1710被配置为输出和/或输入音频信号。例如，音频组件1710包括一个麦克风(MIC)，当装置1700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1704或经由通信组件1716发送。在一些实施例中，音频组件1710还包括一个扬声器，用于输出音频信号。
I/O接口1712为处理组件1702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1714包括一个或多个传感器，用于为装置1700提供各个方面的状态评估。例如，传感器组件1714可以检测到设备1700的打开/关闭状态，组件的相对定位，例如所述组件为装置1700的显示器和小键盘，传感器组件1714还可以检测装置1700或装置1700一个组件的位置改变，用户与装置1700接触的存在或不存在，装置1700方位或加速/减速和装置1700的温度变化。传感器组件1714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1716被配置为便于装置1700和其他设备之间有线或无线方式的通信。装置1700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1700可以被一个或多个应用专用集成电路(ASIC)、数字信号 处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1704，上述指令可由装置1700的处理器1720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图13是根据一示例性实施例示出的一种用于图片处理的装置的框图。例如，装置1900可以被提供为一服务器。装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理部件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置1700或装置1900的处理器执行时，使得装置1700或装置1900能够执行上述图片处理的方法，所述方法包括：
对用户的图片进行人脸图像识别；
确定识别到的人脸图像对应的人物身份信息，所述人物身份信息包括以下至少一项信息：所述人脸图像对应人物的标识，及所述人脸图像对应人物与所述用户的关系；
获取所述图片的拍摄信息，所述拍摄信息包括以下至少一项信息：所述图片的拍摄时间和拍摄地点；
根据所述人物身份信息及所述拍摄信息生成所述图片的说明信息。
可选的，所述确定识别到的人脸对应的人物身份信息，包括：
获取预设人物信息库，所述预设人物信息库包括人脸图像与人物身份信息的对应关系；
将所述识别到的人脸图像与所述预设人物信息库中的人脸图像进行比对；
获取与所述识别到的人脸图像匹配的所述预设人物信息库中的人脸图像所对应的人物身份信息。
可选的，所述确定识别到的人脸对应的人物身份信息，包括：
获取所述用户的联系人信息，所述联系人信息包括联系人的头像与人物身份信息；
将所述识别到的人脸图像与所述联系人的头像进行比对；
获取与所述识别到的人脸图像匹配的所述联系人的头像对应的人物身份信息。
可选的，所述根据所述人物身份信息生成对所述图片的说明信息，还包括：
对所述图片中的物体进行识别，得到物体名称；
根据所述人物身份信息、所述拍摄信息及所述物体名称生成所述图片的说明信息。
可选的，所述方法还包括：
对所述用户的图片进行分组；
根据每组图片中每张图片的说明信息生成所述每组图片的说明信息。
可选的，所述对所述用户的图片进行分组，包括：
根据所述图片的拍摄时间、拍摄地点及人脸图像中至少一项对所述图片进行分组。
可选的，所述方法还包括：
当接收到用户出发的浏览命令时，显示所述分组及所述每组图片的说明信息。
可选的，所述显示所述分组及所述每组图片的说明信息，包括：
以幻灯片的方式显示每组中的图片及所述图片的说明信息。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (17)

  1. 一种图片处理方法，其特征在于，包括：
    对用户的图片进行人脸图像识别；
    确定所述识别到的人脸图像对应的人物身份信息，所述人物身份信息包括以下至少一项信息：所述人脸图像对应人物的标识，及所述人脸图像对应人物与所述用户的关系；
    获取所述图片的拍摄信息，所述拍摄信息包括以下至少一项信息：所述图片的拍摄时间和拍摄地点；
    根据所述人物身份信息及所述拍摄信息生成所述图片的说明信息。
  2. 根据权利要求1所述的方法，其特征在于，所述确定所述识别到的人脸图像对应的人物身份信息，包括：
    获取预设人物信息库，所述预设人物信息库包括人脸图像与人物身份信息的对应关系；
    将所述识别到的人脸图像与所述预设人物信息库中的人脸图像进行比对；
    获取与所述识别到的人脸图像匹配的所述预设人物信息库中的人脸图像所对应的人物身份信息。
  3. 根据权利要求1所述的方法，其特征在于，所述确定所述识别到的人脸图像对应的人物身份信息，包括：
    获取所述用户的联系人信息，所述联系人信息包括联系人的头像与人物身份信息；
    将所述识别到的人脸图像与所述联系人的头像进行比对；
    获取与所述识别到的人脸图像匹配的所述联系人的头像对应的人物身份信息。
  4. 根据权利要求1所述的方法，其特征在于，所述根据所述人物身份信息及所述拍摄信息生成所述图片的说明信息，包括：
    对所述图片中的物体进行识别，得到物体名称；
    根据所述人物身份信息、所述拍摄信息及所述物体名称生成所述图片的说明信息。
  5. 根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
    对所述用户的图片进行分组；
    根据每组图片中每张图片的说明信息生成所述每组图片的说明信息。
  6. 根据权利要求5所述的方法，其特征在于，所述对所述用户的图片进行分组，包括：
    根据所述图片的拍摄时间、拍摄地点及人脸图像中至少一项对所述图片进行分组。
  7. 根据权利要求6所述的方法，其特征在于，所述方法还包括：
    当接收到用户触发的浏览命令时，显示所述分组及所述每组图片的说明信息。
  8. 根据权利要求7所述的方法，其特征在于，所述显示所述分组及所述每组图片的说明信息，包括：
    以幻灯片的方式显示每组中的图片及所述图片的说明信息。
  9. 一种图片处理装置，其特征在于，包括：
    识别模块，用于对用户的图片进行人脸图像识别；
    确定模块，用于确定所述识别模块识别到的人脸图像对应的人物身份信息，所述人物身份信息包括以下至少一项信息：所述人脸图像对应人物的标识，及所述人脸图像对应人物与所述用户的关系；
    获取模块，用于获取所述图片的拍摄信息，所述拍摄信息包括以下至少一项信息：所述图片的拍摄时间和拍摄地点；
    第一生成模块，用于根据所述确定模块确定的人物身份信息及所述获取模块获取的拍摄信息生成所述图片的说明信息。
  10. 根据权利要求9所述的装置，其特征在于，所述确定模块包括：
    第一获取子模块，用于获取预设人物信息库，所述预设人物信息库包括人脸图像与人物身份信息的对应关系；
    第一比对子模块，用于将所述识别模块识别到的人脸图像与所述第一获取子模块获取的预设人物信息库中的人脸图像进行比对；
    第二获取子模块，用于获取与所述识别到的人脸图像匹配的所述预设人物信息库中的人脸图像所对应的人物身份信息。
  11. 根据权利要求9所述的装置，其特征在于，所述确定模块包括：
    第三获取子模块，用于获取所述用户的联系人信息，所述联系人信息包括联系人的头像与人物身份信息；
    第二比对子模块，用于将所述识别模块识别到的人脸图像与所述联系人的头像进行比对；
    第四获取子模块，用于获取与所述识别到的人脸图像匹配的所述联系人的头像对应的人物身份信息。
  12. 根据权利要求9所述的装置，其特征在于，所述第一生成模块包括：
    识别子模块，用于对所述图片中的物体进行识别，得到物体名称；
    生成子模块，用于根据所述确定模块确定的人物身份信息、所述获取模块获取的拍摄信息及所述识别子模块识别的物体名称生成所述图片的说明信息。
  13. 根据权利要求9-12中任一项所述的装置，其特征在于，所述装置还包括：
    分组模块，用于对所述用户的图片进行分组；
    第二生成模块，用于根据所述第一生成模块生成的每组图片中每张图片的说明信息生成所述每组图片的说明信息。
  14. 根据权利要求13所述的装置，其特征在于，所述分组模块，用于根据所述获取子模块获取的图片的拍摄时间、拍摄地点及所述识别模块识别到的人脸图像中至少一项对所述图片进行分组。
  15. 根据权利要求13所述的装置，其特征在于，所述装置还包括：
    显示模块，用于当接收到用户出发的浏览命令时，显示所述分组及所述第二生成模块生成的每组图片的说明信息。
  16. 根据权利要求15所述的装置，其特征在于，显示模块，用于以幻灯片的方式显示每组中的图片及所述第一生成模块生成的图片的说明信息。
  17. 一种图片处理装置，其特征在于，包括：
    处理器；
    用于存储处理器可执行指令的存储器；
    其中，所述处理器被配置为：
    对用户的图片进行人脸图像识别；
    确定所述识别到的人脸图像对应的人物身份信息，所述人物身份信息包括以下至少一项信息：所述人脸图像对应人物的标识，及所述人脸图像对应人物与所述用户的关系；
    获取所述图片的拍摄信息，所述拍摄信息包括以下至少一项信息：所述图片的拍摄时间和拍摄地点；
    根据所述人物身份信息及所述拍摄信息生成所述图片的说明信息。
PCT/CN2015/099612 2015-11-20 2015-12-29 图片处理方法及装置 WO2017084182A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020167009865A KR101910346B1 (ko) 2015-11-20 2015-12-29 이미지 처리 방법 및 장치
MX2016005789A MX360936B (es) 2015-11-20 2015-12-29 Aparato y metodo de procesamiento de fotografias.
RU2016136709A RU2659746C2 (ru) 2015-11-20 2015-12-29 Способ и устройство обработки изображений
JP2016522732A JP2018500611A (ja) 2015-11-20 2015-12-29 画像の処理方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510813140.5 2015-11-20
CN201510813140.5A CN105302315A (zh) 2015-11-20 2015-11-20 图片处理方法及装置

Publications (1)

Publication Number Publication Date
WO2017084182A1 true WO2017084182A1 (zh) 2017-05-26

Family

ID=55199667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/099612 WO2017084182A1 (zh) 2015-11-20 2015-12-29 图片处理方法及装置

Country Status (8)

Country Link
US (1) US10013600B2 (zh)
EP (1) EP3179408B1 (zh)
JP (1) JP2018500611A (zh)
KR (1) KR101910346B1 (zh)
CN (1) CN105302315A (zh)
MX (1) MX360936B (zh)
RU (1) RU2659746C2 (zh)
WO (1) WO2017084182A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2533054C2 (ru) * 2009-12-31 2014-11-20 Абб Рисерч Лтд Способ и система оптимизации технологического процесса для электростанции
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
CN105549300A (zh) * 2016-02-29 2016-05-04 北京小米移动软件有限公司 自动对焦方法及装置
CN105787982B (zh) * 2016-02-29 2018-11-09 腾讯科技（北京）有限公司 一种制作电子书的方法和装置
CN105808668A (zh) * 2016-02-29 2016-07-27 北京小米移动软件有限公司 信息的输出方法及装置
CN107239490B (zh) * 2017-04-24 2021-01-15 北京小米移动软件有限公司 一种命名人脸图像的方法、装置及计算机可读存储介质
CN107194179A (zh) * 2017-05-26 2017-09-22 苏州微清医疗器械有限公司 眼底相机及眼底图像拍摄方法
CN107451256A (zh) * 2017-07-31 2017-12-08 东莞理工学院 图片美文的配置方法及系统
CN109388765A (zh) * 2017-08-03 2019-02-26 Tcl集团股份有限公司 一种基于社交网络的图片标题生成方法、装置及设备
CN108154091A (zh) * 2017-12-11 2018-06-12 北京小米移动软件有限公司 图像展示方法、图像处理方法及装置
CN108211359B (zh) * 2017-12-28 2021-04-09 珠海豹好玩科技有限公司 一种信息提示方法、装置、终端和计算机可读存储介质
CN108256099A (zh) * 2018-01-30 2018-07-06 上海与德通讯技术有限公司 关系网的建立方法、基于关系网的提醒方法和智能设备
CN108921840A (zh) * 2018-07-02 2018-11-30 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
CN109784240B (zh) * 2018-12-30 2023-08-22 深圳市明日实业有限责任公司 一种人物识别方法、装置及存储装置
CN109815936B (zh) * 2019-02-21 2023-08-22 深圳市商汤科技有限公司 一种目标对象分析方法及装置、计算机设备和存储介质
US11144750B2 (en) * 2019-02-28 2021-10-12 Family Concepts Ii, Llc Association training related to human faces
JP7349124B2 (ja) * 2019-03-28 2023-09-22 国立研究開発法人 海上・港湾・航空技術研究所 原動機の状態判断方法及び状態判断プログラム
CN110765969A (zh) * 2019-10-30 2020-02-07 珠海格力电器股份有限公司 一种拍照方法及系统
CN111259019B (zh) * 2020-01-09 2023-05-12 腾讯科技（深圳）有限公司 资源配置方法、装置、设备和存储介质
CN111526287A (zh) * 2020-04-27 2020-08-11 北京达佳互联信息技术有限公司 图像拍摄方法、装置、电子设备、服务器、系统及存储介质
CN112040054A (zh) * 2020-08-31 2020-12-04 维沃移动通信有限公司 图像生成方法、装置和电子设备
KR102660613B1 (ko) * 2021-02-26 2024-04-25 차형경 언어교육 보조 시스템용 사용자 기기
CN113706401B (zh) * 2021-07-05 2024-05-10 南京师范大学 一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929934A (zh) * 2012-09-25 2013-02-13 东莞宇龙通信科技有限公司 照片信息显示的方法及移动终端
CN103412951A (zh) * 2013-08-22 2013-11-27 四川农业大学 基于人物照片的人脉关联分析管理系统与方法
CN103544721A (zh) * 2013-10-30 2014-01-29 宇龙计算机通信科技(深圳)有限公司 一种添加图片备注的方法、系统及移动终端

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4227370B2 (ja) * 2002-07-26 2009-02-18 キヤノン株式会社 情報検索装置、情報検索方法及びプログラム
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
JP4444856B2 (ja) * 2005-02-28 2010-03-31 富士フイルム株式会社 表題付与装置、表題付与方法、及びプログラム
KR100679049B1 (ko) * 2005-09-21 2007-02-05 삼성전자주식회사 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법및 그 장치
JP2007183821A (ja) * 2006-01-06 2007-07-19 Seiko Epson Corp 画像に関連した文の設定
US20080215984A1 (en) 2006-12-20 2008-09-04 Joseph Anthony Manico Storyshare automation
CN101584001B (zh) 2006-12-20 2012-06-13 伊斯曼柯达公司 多输出产品的自动产生
JP2009089046A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 画像データ処理方法及び撮影装置
RU2381553C1 (ru) * 2008-06-24 2010-02-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система для распознавания лица с учетом списка людей, не подлежащих проверке
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US9210313B1 (en) * 2009-02-17 2015-12-08 Ikorongo Technology, LLC Display device content selection through viewer identification and affinity prediction
US9727312B1 (en) * 2009-02-17 2017-08-08 Ikorongo Technology, LLC Providing subject information regarding upcoming images on a display
JP5023398B2 (ja) * 2009-03-17 2012-09-12 Ｎｅｃフィールディング株式会社 電子アルバム作成装置、方法、プログラム、システム、サーバー、情報処理装置、端末装置、及び撮像装置
JP5517683B2 (ja) * 2009-05-01 2014-06-11 キヤノン株式会社 画像処理装置及びその制御方法
CN102202173B (zh) * 2010-03-23 2013-01-16 三星电子（中国）研发中心 照片自动命名方法及其装置
US8818049B2 (en) * 2011-05-18 2014-08-26 Google Inc. Retrieving contact information based on image recognition searches
JP2013012933A (ja) * 2011-06-29 2013-01-17 Sanyo Electric Co Ltd 撮影メモ作成装置
US9280545B2 (en) * 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
CN103259915A (zh) * 2012-02-20 2013-08-21 宇龙计算机通信科技(深圳)有限公司 照片命名方法及移动终端
WO2014027675A1 (ja) * 2012-08-17 2014-02-20 株式会社ニコン 画像処理装置、撮像装置およびプログラム
CN103971391A (zh) 2013-02-01 2014-08-06 腾讯科技（深圳）有限公司 一种动画生成方法及装置
JP2014164697A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
US20140280267A1 (en) * 2013-03-14 2014-09-18 Fotofad, Inc. Creating real-time association interaction throughout digital media
US20150074206A1 (en) * 2013-09-12 2015-03-12 At&T Intellectual Property I, L.P. Method and apparatus for providing participant based image and video sharing
JP2015104078A (ja) 2013-11-27 2015-06-04 オリンパス株式会社 撮像装置、撮像システム、サーバ、撮像方法、及び撮像プログラム
WO2015107640A1 (ja) * 2014-01-15 2015-07-23 富士通株式会社 アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
JP6338418B2 (ja) * 2014-03-28 2018-06-06 三菱電機株式会社 画像処理装置及び画像処理方法
CN104317932B (zh) 2014-10-31 2018-04-27 小米科技有限责任公司 照片分享方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929934A (zh) * 2012-09-25 2013-02-13 东莞宇龙通信科技有限公司 照片信息显示的方法及移动终端
CN103412951A (zh) * 2013-08-22 2013-11-27 四川农业大学 基于人物照片的人脉关联分析管理系统与方法
CN103544721A (zh) * 2013-10-30 2014-01-29 宇龙计算机通信科技(深圳)有限公司 一种添加图片备注的方法、系统及移动终端

Also Published As

Publication number Publication date
RU2016136709A (ru) 2018-03-16
KR20170072166A (ko) 2017-06-26
KR101910346B1 (ko) 2018-10-22
RU2659746C2 (ru) 2018-07-03
MX360936B (es) 2018-11-21
EP3179408A2 (en) 2017-06-14
JP2018500611A (ja) 2018-01-11
US20170147869A1 (en) 2017-05-25
EP3179408B1 (en) 2024-05-08
EP3179408A3 (en) 2017-09-20
RU2016136709A3 (zh) 2018-03-16
CN105302315A (zh) 2016-02-03
MX2016005789A (es) 2017-10-20
US10013600B2 (en) 2018-07-03

Similar Documents

Publication Publication Date Title
WO2017084182A1 (zh) 图片处理方法及装置
US9953212B2 (en) Method and apparatus for album display, and storage medium
CN104615769B (zh) 图片分类方法及装置
KR101680714B1 (ko) 실시간 동영상 제공 방법, 장치, 서버, 단말기기, 프로그램 및 기록매체
US10115019B2 (en) Video categorization method and apparatus, and storage medium
WO2017016146A1 (zh) 图像显示方法及装置
WO2017020483A1 (zh) 照片共享方法、装置
US20170154206A1 (en) Image processing method and apparatus
WO2016029641A1 (zh) 照片获取方法及装置
CN105069083B (zh) 关联用户的确定方法及装置
WO2016127671A1 (zh) 图像滤镜生成方法及装置
US9953221B2 (en) Multimedia presentation method and apparatus
WO2018228422A1 (zh) 一种发出预警信息的方法、装置及系统
CN107423386B (zh) 生成电子卡片的方法及装置
JP6333990B2 (ja) パノラマ写真の生成方法および装置
CN106547850B (zh) 表情注释方法及装置
WO2017080084A1 (zh) 字体添加方法及装置
CN110717399A (zh) 人脸识别方法和电子终端设备
KR20220043004A (ko) 차폐된 이미지 검출 방법, 장치 및 매체
CN111526287A (zh) 图像拍摄方法、装置、电子设备、服务器、系统及存储介质
KR20160150635A (ko) 클라우드 카드를 추천하기 위한 방법 및 장치
CN113032627A (zh) 视频分类方法、装置、存储介质及终端设备
CN109145878B (zh) 图像提取方法及装置
CN108027821B (zh) 处理图片的方法及装置
CN108509863A (zh) 信息提示方法、装置和电子设备

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016522732

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20167009865

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2016/005789

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 2016136709

Country of ref document: RU

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15908678

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15908678

Country of ref document: EP

Kind code of ref document: A1