WO2014000645A1 - 一种基于图片的交互方法、装置和服务器 - Google Patents

一种基于图片的交互方法、装置和服务器 Download PDF

Info

Publication number
WO2014000645A1
WO2014000645A1 PCT/CN2013/077999 CN2013077999W WO2014000645A1 WO 2014000645 A1 WO2014000645 A1 WO 2014000645A1 CN 2013077999 W CN2013077999 W CN 2013077999W WO 2014000645 A1 WO2014000645 A1 WO 2014000645A1
Authority
WO
WIPO (PCT)
Prior art keywords
label
user
information
face
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2013/077999
Other languages
English (en)
French (fr)
Inventor
郑志昊
梁柱
王慧星
马佳
吴昊
甘晖明
周怡婷
刘真
张�浩
陈波
饶丰
刘海龙
林淦雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to US14/410,875 priority Critical patent/US20150169527A1/en
Priority to JP2015518814A priority patent/JP6236075B2/ja
Publication of WO2014000645A1 publication Critical patent/WO2014000645A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/40—Business processes related to social networking or social networking services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction

Definitions

  • Embodiments of the present invention relate to the field of Internet application technologies, and more particularly, to a picture-based interaction method, apparatus, and server. Background of the invention
  • Deaf applications usually appear in some applications that contain image content (including social applications, image management applications, etc.), by showing and marking a person's location on the image, showing the tagged person or friend to the tagged person The behavior in the photo.
  • the user can operate the application by touching the touch screen.
  • the swearing person means that in a picture, the user can mark the face area in the picture by touching the touch screen through the touch device, mark the name information of the associated user of the face area, and mark the face area with the person.
  • the name information of the associated user of the face area is pushed to the associated friend.
  • the user can also provide a link about the corresponding user of the face area, and click the link to view other information corresponding to the user of the face area.
  • the name information of the associated user of the face region can only be marked by the user, and the name information is pushed to the associated friend. Therefore, the user cannot customize the associated information (such as description information, etc.) of the face area according to his or her own needs. Moreover, since the user cannot customize the associated information of the face area, naturally, the related information cannot be pushed to the relevant friends, and therefore, the associated Friends can't get comprehensive, rich information about the face area. Further, since the associated friend cannot obtain the customized information of the face area of the user pushing the face area, the interaction between the user who pushes the picture and the associated friend is affected.
  • Embodiments of the present invention propose a picture-based interaction method to improve the interaction success rate.
  • Embodiments of the present invention also propose a picture-based interaction device to improve the success rate of interaction.
  • the embodiment of the invention also proposes a server to improve the success rate of the interaction.
  • a picture-based interaction method comprising:
  • a picture-based interaction device includes a face area recognition unit, a face frame generation unit, and a tag information processing unit, wherein: a face area identifying unit, configured to identify a face area in the picture; a face frame generating unit, configured to generate a face frame corresponding to the face area;
  • a label information processing unit configured to generate a label box associated with the face frame, and present label information associated with the face area in the label box by any one of the following methods: acquiring from the server a label information associated with the face area, and presenting label information acquired from the server in the label box; and receiving label information associated with the face area input by the user, and presenting the label in the label box User-entered label information.
  • a server comprising a tag information storage unit and a tag information transmitting unit, wherein:
  • a label information storage unit configured to store preset label information
  • the label information sending unit is configured to send the label information associated with the face area to the client, and the label information is presented by the client in the label box, wherein the face area is recognized by the client in the picture, the label The box is associated with a face box that corresponds to the face area.
  • a face area is first identified in a picture; then a face frame corresponding to the face area is generated; and a label box associated with the face frame is generated;
  • the label information associated with the face region is presented in the label box by any one of the following methods: acquiring label information associated with the face region from a server, and presenting a label obtained from the server in the label box Information, and receiving tag information associated with the face area input by the user, and presenting the tag information input by the user in the tag box.
  • the label information can be presented in the label box based on the label information delivered by the server or the customized label information input by the user, and is not limited to only presenting the name.
  • the embodiments of the present invention can not only customize the related information of the pop-out area (such as comment information, etc.), but also push the related information to the related friends, so the embodiment of the present invention enhances the association of the user who pushes the face area. The interaction between friends. BRIEF DESCRIPTION OF THE DRAWINGS
  • FIG. 1 is a flowchart of a method for interacting with a picture according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of selecting a face region according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram of tag information generation according to an embodiment of the present invention.
  • FIG. 4 is an exemplary flow chart of a picture-based deaf application method according to an embodiment of the present invention.
  • 5A is a first structural diagram of a picture-based deaf application device according to an embodiment of the present invention.
  • FIG. 5B is a second structural diagram of a picture-based deaf application device according to an embodiment of the present invention.
  • FIG. 6 is a structural diagram of a server according to an embodiment of the present invention.
  • FIG. 7 is a first exemplary schematic diagram of label information display according to an embodiment of the present invention
  • FIG. 8 is a second exemplary schematic diagram of label information display according to an embodiment of the present invention
  • a user may associate a face area in a picture to a friend or a non-friend in the relationship chain, and in combination with the face detection technology, a customized face frame may be added, thereby minimizing operating.
  • the deaf application mainly means that in a picture, the user can detect and mark the face area in the picture, and push the related information of the face area to an associated user in the user relationship chain.
  • the user may choose to search for a friend from the relationship chain, and then push the label information sent by the server to the friends, and optionally input the tag information by the user. Push the user-defined input tag information Send to these friends.
  • the tag information delivered by the server may specifically be interesting tag information preset by the server.
  • the label information can be displayed through a label box generated by the background information of the label box dynamically configured by the server, thereby enriching the display form of the label.
  • FIG. 1 is a flow chart of a picture-based interaction method according to an embodiment of the present invention.
  • the method includes:
  • Step 101 The client recognizes the face area in the picture.
  • the face area recognized by the user in the picture may be received, or some face recognition algorithm may be applied to automatically recognize the face area in the picture by the machine.
  • Embodiments of the present invention preferably employ a face recognition algorithm to automatically recognize a face region.
  • Face recognition refers to computer technology that analyzes and compares facial visual feature information for identity authentication.
  • face recognition systems include image capture, face localization, image preprocessing, and face recognition (identity confirmation or identity lookup), and the like.
  • the face recognition algorithm that can be applied to the embodiments of the present invention may specifically include: Principal Component Analysis (PCA), Independent Component Analysis (ICA), and other ranging mapping (Isometric) Feature Mapping, IS0MAP), Kernel Principal Components Analysis (KPCA) or Linear Principal Component Analysis (LPCA), and so on.
  • PCA Principal Component Analysis
  • ICA Independent Component Analysis
  • Isometric ranging mapping
  • IS0MAP Kernel Principal Components Analysis
  • KPCA Kernel Principal Components Analysis
  • LPCA Linear Principal Component Analysis
  • FIG. 2 is a schematic diagram of selecting a face region according to an embodiment of the present invention.
  • the user can identify the face area in the picture by himself, or apply the face recognition algorithm to automatically recognize the face area in the picture by the machine.
  • a frame 21 enclosing a face is presented, which can be named as a face frame, and the process of generating a face frame will be described in the following step 102.
  • Step 1 02 The client generates a face frame corresponding to the face area.
  • the face detection technology can be used to perform face detection on the input picture by storing the face detection library stored on the client local or network side. Then output the location information of the face in the picture. This information can be initially displayed on the image for adjustment by the user in the form of a border.
  • the face frame can be generated based on the position information finally determined by the user in the figure by dragging or the like.
  • the face frame can be generated according to the position information determined by the user in the figure by dragging or the like.
  • the user can edit the generated face frame.
  • the user can edit the face frame by any of the following editing operations:
  • the user touches any position other than the lower right corner vertex on the face frame, moves the contact point, and then the face frame on the screen moves with the contact point While moving, when the face frame moves to the appropriate position, the contact is interrupted.
  • the human face frame is zoomed.
  • the user touches the position of the lower right corner of the face frame to move the touch point, and then the face frame changes size as the touch point moves, when a suitable face is obtained.
  • Frame size interrupt contact.
  • the face frame is deleted.
  • the user continuously contacts any position in the face frame until a delete button appears in the face frame, and clicks the touch button.
  • the above editing operations can also be done by operating the pointing device ( oint ing device ).
  • the pointing device is an input device.
  • the pointing device may be an interface device.
  • Pointing devices allow users to enter spatial (ie, continuous or multi-dimensional) data into a computer.
  • the mouse is one of the most common pointing devices.
  • the movement to the device will be reflected on the movement of the pointer, cursor or other alternative on the computing device screen. That is, the pointing device can control the movement of pointers, cursors, or other alternatives on the computing device's screen.
  • each face frame is kept within the picture display area as much as possible.
  • Step 103 The client generates a label box associated with the face frame, and presents label information associated with the face area in the label box by any one of the following methods: acquiring the face area from the server Associated tag information, and presenting tag information acquired from the server in the tag frame; and receiving tag information associated with the face area input by the user, and presenting the user input in the tag box Label Information.
  • a label box associated with the face frame is generated.
  • the label box is used to display the label information.
  • the label box background information may be provided to the client by the server located on the network side, and then the client generates a label box according to the label box background information.
  • the server can provide the user with a label box with multiple expressions by adjusting the background information of the label box in the background.
  • the background information of the label box provided by the server may specifically include a label frame shape, a label box display manner, and/or a label frame color, and the like.
  • the user may also set a generated label box locally according to his/her own preference.
  • the user can set the label box shape, the label box display mode and/or the label box color locally beforehand, and then the client automatically generates the label based on the set label box shape, the label box display manner and/or the label color.
  • the client obtains tag information associated with the face region from the server and displays the tag information in the generated tag frame.
  • the tag information associated with the face area is preferably comment information for the face area. For example, if you are in the face area If you don't name the face of Zhang San, the tag information can be a commentary with direct comment color, such as "Shu Ge", or a comment with indirect comment colors such as "Three-year-old winner”.
  • FIG. 3 is a schematic diagram of tag information generation according to an embodiment of the present invention.
  • a set of pre-set tag information candidate words may be pre-stored in the server to form a tag information list, and then the server sends the tag information list to the client where the user is located.
  • the user selects an appropriate tag information candidate vocabulary from the tag information list as the tag information, and displays it in the tag box.
  • the tag information candidate vocabulary in the tag information list is preferably editable.
  • the generating and sending process of the tag information list specifically includes: the server calculating a frequency of use of the tag information candidate vocabulary, and sorting the tag information candidate vocabulary according to the use frequency from large to small; the server generates the tag information list according to the sorting result. And storing a predetermined number of tag information candidate words in the tag information list.
  • the server sends the label information list to the client; the client parses the label information candidate vocabulary from the label information list, and selects a vocabulary associated with the face region from the label information candidate vocabulary, and displays the label in the label box.
  • the vocabulary associated with the face area specifically includes: the server calculating a frequency of use of the tag information candidate vocabulary, and sorting the tag information candidate vocabulary according to the use frequency from large to small; the server generates the tag information list according to the sorting result. And storing a predetermined number of tag information candidate words in the tag information list.
  • the server sends the label information list to the client; the client parses the label information candidate vocabulary from the label information list, and selects a vocabulary associated
  • the user-defined tag information can also be edited by the user directly in the tag box of the client.
  • the user-defined tag information may be comment information related to the recognized face area, or any comment information expressing the user's mood, and the like.
  • the label information can be operated by the server in the background, and is generated by counting the usage of the customized word and sorting out the current network buzzword.
  • the tag information running in the background is preferably some interesting tag information with interesting taste.
  • the fun tag information can be operated by the background, by counting the usage of the custom words, sorting out the current network buzzwords, and automatically configuring each tag display form, color and other content according to the visual design to make the display more vivid.
  • the label box can be edited. Specifically, the label box may be edited by using at least one of the following editing operations:
  • the color of the label frame is adjusted.
  • the user clicks on any of the colors in the preset color set, such that the face frame is updated to the clicked color.
  • the user touches any position on the label frame except the bottom right corner vertex, and moves the contact point, and then the label frame on the screen moves with the movement of the contact point, When the label frame is moved to the appropriate position, the contact is interrupted.
  • the label box is zoomed.
  • the user touches the position of the bottom right corner of the label frame to move the touch point, and the label frame changes size as the touch point moves.
  • the suitable label frame size is obtained, the user is interrupted. contact.
  • the face frame is deleted.
  • the user continuously contacts any position in the label box until a delete button appears in the label box, and clicks the touch button.
  • the editing operation of the above label box can also be completed by operating the pointing device.
  • the client further searches for the user identifier of the user corresponding to the face area, displays the user identifier of the user corresponding to the face area in the label box, and pushes the picture to the user corresponding to the user identifier.
  • Label box and label information For example, if the face with the name of Zhang San is recognized in the face area, and the tag information is a comment message with a direct comment color, such as "Shu Ge", the ID of Zhang San can be further displayed in the tag box (for example: Zhang San's instant messaging number), and pushes the picture, label box and label information to the user corresponding to the user identifier (ie, Zhang San).
  • the client may further retrieve the user identifier corresponding to the face area, display the user identifier of the user corresponding to the face area in the label box, and identify the user in the friend relationship chain of the corresponding user to the user.
  • Push the image, label box, and label information For example, if a face named Zhang San is identified in the face area, the tag information is a commentary with a direct comment color, such as "Shu Ge", and Zhang San's friends include Li Si and Wang Wu. You can further display the ID of Zhang San in the label box (for example: the instant messaging number of Zhang San), and push the picture to the friends of the user corresponding to the user ID (ie, Zhang San) (ie Li Si and Wang Wu). Label box and label information.
  • the client uploads the tag information in the picture, label box, and tag box to the server.
  • the server further searches for the user identifier of the user corresponding to the face area according to the received picture, the label box, and the label information in the label box, and displays the user identifier of the user corresponding to the face area in the label box, and The user corresponding to the user identifier pushes the picture, the label box, and the label information.
  • the tag information is a comment message with a direct comment color, such as "Shu Ge”
  • the ID of Zhang San can be further displayed in the tag box (for example: Zhang San's instant messaging number), and pushes the picture, label box and label information to the user corresponding to the user identifier (ie, Zhang San).
  • the client uploads the tag information in the picture, label box, and tag box to the server.
  • the server further searches for the user identifier corresponding to the face area according to the received picture, the label box, and the label information in the label box, and displays the user identifier of the user corresponding to the face area in the label box, and The user in the friend relationship chain of the user corresponding to the user identifier pushes the picture, the label box, and the tag information.
  • the tag information is a commentary with a direct comment color, such as "Shu Ge", and Zhang San's friends including Li Si and Wang Wu can be in the label.
  • the box further displays the ID of Zhang San (for example: Zhang San's instant communication number), and pushes the picture, label box and the friends of the corresponding user (ie Zhang San) of the user identifier (ie Li Si and Wang Wu).
  • Label Information for example: Zhang San's instant communication number
  • the picture interaction method proposed by the embodiment of the present invention can be applied to various specific applications, and is particularly suitable for the currently popular deaf application.
  • FIG. 4 is an exemplary flow of a picture-based deaf application method according to an embodiment of the present invention. Figure.
  • FIG. 4 it is a specific implementation manner of implementing a picture-based deaf application method provided by the present invention.
  • the method specifically includes the following steps:
  • Step 401 The client determines whether to perform manual detection and marking the face area. If yes, step 402 and subsequent steps are performed. If not, step 403 and subsequent steps are performed.
  • the manual user is the client receiving the location information of the face area determined by the user according to the naked eye.
  • Step 402 The client receives the location information of the face region determined by the user according to the naked eye, and generates a face frame based on the location information of the face region, and performs step 404 and subsequent steps.
  • Step 403 The client application face automatic recognition algorithm automatically recognizes the face area in the picture, and adds a face frame, and the face frame includes the recognized face area.
  • the specific client can use principal component analysis algorithm (PCA), independent component analysis algorithm (ICA), equal ranging mapping (I SOMAP), kernel principal component analysis algorithm (KPCA) or linear principal component analysis (LPCA).
  • PCA principal component analysis algorithm
  • ICA independent component analysis algorithm
  • I SOMAP equal ranging mapping
  • KPCA kernel principal component analysis algorithm
  • LPCA linear principal component analysis
  • Step 404 The client determines whether the label information is customized, and if yes, performs step 405 and subsequent steps; if not, step 410 and subsequent steps are performed.
  • the custom tag information is provided by the server backend tag information.
  • Step 405 The client downloads the label box background information and the label information from the server.
  • Step 406 The client generates a label box according to the background information of the label box, and displays the label information in the label box.
  • Step 407 The client determines whether the label information in the picture, the label box, and the label box needs to be pushed to the associated user. If yes, step 408 and subsequent steps are performed; otherwise, step 409 and subsequent steps are performed.
  • the associated user may be the user corresponding to the face area, and/or the user in the friend relationship chain of the user corresponding to the face area.
  • Step 408 The client pushes the picture, the label box, and the label information in the label box to the associated user, and ends the process.
  • Step 409 The client uploads the label information in the picture, the label box, and the label box to the server, and ends the process.
  • Step 410 The client generates a label box, selects a user identifier corresponding to the face area, and displays the user identifier in the label box.
  • Step 411 The client pushes the picture, the label box, and the user identifier identified in the label box to the client where the user corresponding to the user identifier is located.
  • the embodiment of the present invention also proposes a picture-based interaction device.
  • FIG. 5A is a first structural diagram of a picture-based interaction apparatus according to an embodiment of the present invention.
  • the device may all be located on an instant messaging client.
  • the instant messaging client may specifically be a computing device having a display function.
  • the apparatus includes a face area identifying unit 501, a face frame generating unit 502, and a tag information processing unit 503.
  • a face area identifying unit 501 configured to identify a face area in the picture
  • a face frame generating unit 502 configured to generate a face frame corresponding to the face region
  • a tag information processing unit 503 configured to generate a label frame associated with the face frame, and in the Label information associated with the face area is presented in the label box: the label information associated with the face area is obtained from the server, and the label information acquired from the server is presented in the label box; and the user input is received Tag information associated with the face region, and the tag information input by the user is presented in the tag frame.
  • the face area identifying unit 501 is configured to apply an automatic face recognition algorithm to identify a face area in the picture.
  • the automatic face recognition algorithm preferably includes: applying a principal component analysis algorithm (PCA), an independent component analysis algorithm (ICA), an equal ranging map (IS0MAP), a kernel principal component analysis algorithm (KPCA), or a linear principal component analysis algorithm (LPCA), and many more.
  • PCA principal component analysis algorithm
  • ICA independent component analysis algorithm
  • IS0MAP equal ranging map
  • KPCA kernel principal component analysis algorithm
  • LPCA linear principal component analysis algorithm
  • the device further includes a face frame editing unit 504;
  • the face frame editing unit 504 is configured to edit the face frame generated by the face frame generating unit 502, wherein at least one of the following editing operations is performed on the face frame: dragging the face frame, in one
  • the user touches any position other than the bottom right corner of the face frame on the touch screen, and moves the contact point, so that the face frame on the screen moves with the movement of the contact point, and when the face frame moves Go to the right place and interrupt the contact.
  • the human face frame is zoomed.
  • the user touches the position of the lower right corner of the face frame to move the touch point, and then the face frame changes size as the touch point moves, when a suitable face is obtained.
  • Frame size interrupt contact.
  • the face frame is deleted.
  • the user continuously contacts any position in the face frame until a delete button appears in the face frame, and clicks the touch button.
  • the above editing operations can also be done by operating the pointing device ( oint ing device ).
  • the label information processing unit 503 is configured to obtain the label frame background information from the server, and generate a label frame according to the label box background information; wherein the label box background information includes:
  • the label information processing unit 503 is configured to obtain the label box background information from the server, and generate a label box according to the label box background information.
  • the tag information processing unit 503 is further configured to receive user-defined tag information input by the user, and present the user-defined tag information input by the user in the tag frame.
  • the tag information processing unit 503 is further configured to use a label in a picture, a label box, and a label box. The information is uploaded to the server.
  • FIG. 5B is a second structural diagram of a picture-based interaction apparatus according to an embodiment of the present invention.
  • the device may preferably all be located on the instant messaging client.
  • the instant messaging client may specifically be a computing device having a display function.
  • the device includes, in addition to the face region identifying unit 701, the face frame generating unit 702, the tag information processing unit 703, and the face frame editing unit 704, a tag information pushing unit 705, configured to retrieve the The user ID of the user corresponding to the face area, and pushes the picture, the label box, and the label information to the client where the user is located. For example, if the face with the name of Zhang San is recognized in the face area, and the tag information is a comment message with a direct comment color, such as "Shu Ge", the client can further display the ID of Zhang San in the tag box ( For example: Zhang San's instant messaging number).
  • the label information pushing unit 705 is further configured to retrieve a user identifier corresponding to the face area, display a user identifier of the user corresponding to the face area in the label box, and identify the user relationship chain of the corresponding user to the user
  • the client where the user is located pushes the picture, label box, and tag information. For example, if a face named Zhang San is identified in the face area, the tag information is a commentary with a direct comment color, such as "Easy Brother", and Zhang's friends include Li Si and Wang Wu, then the relationship chain
  • the client where the user is located can further display the ID of Zhang San in the label box (for example: Zhang San's instant messaging number).
  • an embodiment of the present invention also proposes a server.
  • FIG. 6 is a structural diagram of a server according to an embodiment of the present invention. As shown in Fig. 6, the server includes a tag information storage unit 601 and a tag information transmitting unit 602. among them:
  • a label information storage unit 601 configured to store preset label information
  • the label information sending unit 602 is configured to send the label information associated with the face area to the client, and the label information is presented by the client in the label box, where the face area is The client recognizes in the picture that the label box is associated with a face frame corresponding to the face area.
  • the server further includes a label box background information sending unit
  • the label box background information sending unit 603 is configured to provide the label box background information to the client, so that the client generates the label box according to the label box background information.
  • the server further includes a label information pushing unit 604, wherein: the label information pushing unit 604 is configured to receive the label information of the picture, the label box and the label box uploaded by the client, and retrieve the user corresponding to the face area. The user identifier, and pushes the picture, the label box, and the label information to the user corresponding to the user identifier. For example, if the face with the name of Zhang San is recognized in the face area, and the tag information is a comment message with a direct comment color, such as "Shu Ge", the client can further display the ID of Zhang San in the tag box ( For example: Zhang San's instant messaging number).
  • the label information pushing unit 604 is further configured to receive the label information in the picture, the label box, and the label box uploaded by the client, retrieve the user identifier corresponding to the face area, and display the person in the label box.
  • the user identifier of the user corresponding to the face area and pushes the picture, the label box, and the label information to the user in the friend relationship chain of the user corresponding to the user identifier.
  • the tag information is a commentary with direct comment color, such as "Shouge Ge", and Zhang San's friends include Li Si and Wang Wu
  • the client can Further display the ID of Zhang San in the label box (for example: Zhang San's instant messaging number).
  • the tag information storage unit 601 is configured to calculate a frequency of use of the preset tag information candidate vocabulary, and sort the tag information candidate vocabulary according to the use frequency from large to small; and according to the sort result A tag information list is generated in which a predetermined number of tag information candidate words are stored in the tag information list.
  • FIG. 7 is a first exemplary schematic diagram of tag information display according to an embodiment of the present invention.
  • the tag information 73 "Tingting" is presented in the tag frame 72 associated with the face frame 71.
  • the tag information 73 is the name information of the user corresponding to the face frame 71.
  • FIG. 8 is a second exemplary schematic diagram of tag information display according to an embodiment of the present invention.
  • the tag information 83 is displayed in the tag frame 73 associated with the face frame 81. "Lin is three years old.”
  • the tag information 83 is comment information of the user corresponding to the face frame 81 by the user who pushes the picture.
  • images, label boxes, and label information can be displayed directly as dynamic information (Feeds), and labels can be displayed based on the configuration of the server. Displaying these images, label boxes, and label information can make the display more diverse and more interesting.
  • the friend or the tag information in the picture may be stored on the server in the form of auxiliary information when the user uploads the picture, and when the user dynamic information is accessed when the user friend logs in to the server, the auxiliary information in the user picture is given down. Send, so that the tag information can be displayed on the mobile terminal.
  • modules in the above-described embodiments may be distributed to the devices of the examples as described in the examples, or the corresponding changes may be made in one or more devices different from the embodiments.
  • the modules of the above examples may be combined into one module, or may be further split into multiple sub-modules.
  • a face area is first identified in a picture; then a face frame corresponding to the face area is generated; and the label frame is used by any of the following methods Presenting the label information associated with the face area: acquiring label information associated with the face area from a server, and presenting the label information in the label box, and receiving a user input associated with the face area Tag information, and the tag information input by the user is presented in the tag box.
  • the related information of the pop-out area (such as comment information, etc.) can be customized, and the related information can also be pushed to the related friends. Therefore, the embodiment of the present invention enhances pushing the face. The interaction between the users of the zone and the associated friends.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种基于图片的交互方法、装置和服务器。该方法包括以下步骤：在图片中识别出人脸区域（101）；生成对应该人脸区域的人脸框（102）；生成与该人脸框相关联的标签框，从服务器获取与该人脸区域相关联的标签信息，并且在标签框中呈现从服务器获取的该标签信息；或者接收用户输入的与该人脸区域相关联的标签信息，并且在标签框中呈现用户输入的标签信息（103）。本发明可以基于服务器或用户所提供的标签信息，自定义圈出区域的关联信息，还可以将这些关联信息推送到相关的好友。本发明提高了与好友的互动程度，从而提高了交互成功率。

Description

一种基于图片的交互方法、 装置和服务器
技术领域
本发明实施方式涉及互联网应用技术领域， 更具体地， 涉及一种基 于图片的交互方法、 装置和服务器。 发明背景
随着计算机技术和网络技术的飞速发展， 互联网 （Internet )和即 时通信技术在人们的日常生活、 学习和工作中发挥的作用也越来越大。 而且， 随着移动互联网的发展， 互联网即时通信也在向移动化发展。
在层出不穷的互联网应用中， 已经出现了一些圏人的应用。 圏人应 用通常出现于一些包含图片内容的应用中 （包括社交类应用， 图片管理 类应用等）， 通过在图片上检测并标记出一个人的位置， 向被标记者本 人或好友展示被标记者在照片中的行为。 当用户通过触摸设备进行圏人 操作， 用户可以通过接触触摸屏来操作该应用。 具体而言， 圏人是指在 一张图片中， 用户可通过触摸设备， 通过接触触摸屏标记图片中人脸区 域， 标出该人脸区域关联用户的姓名信息， 并将人脸区域与该人脸区域 关联用户的姓名信息推送到相关联的好友。 而且， 用户还可以同时提供 关于该人脸区域对应用户的链接， 点击该链接可以查看该人脸区域对应 用户的其它信息。
然而， 在现有的各种圏人应用中， 对于检测出的人脸区域， 只能由 用户自行标出该人脸区域关联用户的姓名信息， 并将该姓名信息推送到 相关联的好友。 因此， 用户不能根据自己的需求自定义人脸区域的关联 信息 （比如描述信息等）。 而且， 由于用户无法自定义人脸区域的关联 信息， 自然也不能将这些关联信息推送到相关的好友， 因此， 相关联的 好友无法得到关于该人脸区域的全面、 丰富的信息。 进一步的， 由于相 关联的好友无法获得推送该人脸区域的用户的对该人脸区域的自定义 信息， 因而影响了推送该图片的用户与相关联的好友之间的互动。
另外， 现有技术中对人脸区域关联用户的姓名信息的展示方式比较 单一， 不能根据用户的需求调整展示方式， 同时自动识别出的人脸区域 也不能手工调整， 操作起来很繁瑣。 发明内容
本发明实施方式提出一种基于图片的交互方法， 以提高交互成功 率。
本发明实施方式还提出一种基于图片的交互装置， 以提高交互成功 率。
本发明实施方式还提出一种服务器， 以提高交互成功率。
本发明实施方式的具体方案如下：
一种基于图片的交互方法， 该方法包括：
在图片中识别出人脸区域；
生成对应该人脸区域的人脸框；
生成与该人脸框相关联的标签框；
从服务器获取与该人脸区域相关联的标签信息， 并且通过以下任一 种方法在所述标签框中呈现与所述人脸区域相关联的标签信息： 在所述 标签框中呈现所述从服务器获取的标签信息； 及接收用户输入的与该人 脸区域相关联的标签信息， 并且在所述标签框中呈现所述用户输入的标 签信息。
一种基于图片的交互装置， 该装置包括人脸区域识别单元、 人脸框 生成单元和标签信息处理单元， 其中： 人脸区域识别单元， 用于在图片中识别出人脸区域； 人脸框生成单元， 用于生成对应该人脸区域的人脸框；
标签信息处理单元， 用于生成与该人脸框相关联的标签框， 并通过 以下任一种方法在所述标签框中呈现与所述人脸区域相关联的标签信 息： 从服务器获取与该人脸区域相关联的标签信息， 并且在所述标签框 中呈现从服务器获取的标签信息； 及接收用户输入的与该人脸区域相关 联的标签信息， 并且在所述标签框中呈现所述用户输入的标签信息。
一种服务器， 该服务器包括标签信息存储单元和标签信息发送单 元， 其中：
标签信息存储单元， 用于存储预先设置的标签信息；
标签信息发送单元， 用于向客户端发送与人脸区域相关联的标签信 息， 并由客户端在标签框中呈现该标签信息， 其中该人脸区域由客户端 在图片中识别出， 该标签框与对应该人脸区域的人脸框相关联。
从上述技术方案可以看出， 在本发明实施方式中， 首先在图片中识 别出人脸区域； 然后生成对应该人脸区域的人脸框； 再生成与该人脸框 相关联的标签框； 通过以下任一种方法在所述标签框中呈现该人脸区域 相关联的标签信息： 从服务器获取与该人脸区域相关联的标签信息， 并 且在所述标签框中呈现从服务器获取的标签信息， 以及接收用户输入的 与该人脸区域相关联的标签信息， 并且在所述标签框中呈现所述用户输 入的标签信息。 由此可见， 应用本发明实施方式之后， 可以在标签框中 基于服务器下发的标签信息或用户输入的自定义标签信息呈现标签信 息， 而不仅限于只呈现出姓名。 本发明实施方式不仅可以自定义圏出区 域的关联信息 （比如评论信息等）， 还可以将这些关联信息推送到相关 的好友， 因此本发明实施方式增强了推送该人脸区域的用户与相关联的 好友之间的互动。 附图简要说明
图 1为根据本发明实施方式的基于图片的交互方法流程图； 图 2为根据本发明实施方式的选择人脸区域示意图；
图 3为根据本发明实施方式的标签信息生成示意图；
图 4为根据本发明实施方式的基于图片的圏人应用方法示范性流程 图；
图 5A 为根据本发明实施方式的基于图片的圏人应用装置第一结构 图；
图 5B 为根据本发明实施方式的基于图片的圏人应用装置第二结构 图。
图 6为根据本发明实施方式的服务器结构图；
图 7为根据本发明实施方式的标签信息展示第一示范性示意图； 图 8为根据本发明实施方式的标签信息展示第二示范性示意图； 实施本发明的方式
为使本发明的目的、 技术方案和优点更加清楚， 下面结合附图对本 发明作进一步的详细描述。
在本发明实施方式中， 用户可以将图片中的人脸区域关联到其关系 链中的好友或非好友， 同时结合人脸检测技术， 可以添加自定义的人脸 框， 从而能够最大限度地减少操作。
圏人应用主要是指在一张图片中， 用户可检测并标记图片中人脸区 域， 并将这块人脸区域的相关信息推送到用户好友关系链中的某个关联 用户。 具体地， 当将本发明实施方式应用到圏人应用中时， 可以选择从 关系链中寻找好友， 然后将服务器下发的标签信息推送到这些好友， 还 可选择由用户自定义输入标签信息， 再将用户自定义输入的标签信息推 送到这些好友。
优选地， 服务器下发的标签信息具体可以是由服务器预先设置的带 有趣味性的趣味标签信息。 同时， 标签信息可通过由服务器动态配置的 标签框背景信息生成的标签框来进行展示， 从而能够丰富标签的展示形 式。
图 1为根据本发明实施方式的基于图片的交互方法流程图。
如图 1所示， 该方法包括：
步骤 101: 客户端在图片中识别出人脸区域。
在这里， 可以接收用户的在图片中识别出的人脸区域， 或者应用一 些人脸识别算法由机器在图片中自动识别出人脸区域。
本发明实施方式优选采用人脸识别算法自动识别人脸区域。
人脸识别特指分析比较人脸视觉特征信息进行身份鉴别的计算机 技术。 一般来说， 人脸识别系统包括图像摄取、 人脸定位、 图像预处理、 以及人脸识别 （身份确认或者身份查找）， 等等。
目前常用的人脸识别算法包括下列分类： 基于人脸特征点的识别算 法； 基于整幅人脸图像的识别算法； 基于模板的识别算法； 利用神经网 络进行识别的算法， 等等。 更具体地， 可以应用到本发明实施方式的人 脸识别算法具体可以包括： 主成分分析算法 （Principal Component Analysis, PCA )、独立成分分析算法 ( Independent Component Analysis, ICA)、 等测距映射 ( Isometric Feature Mapping, IS0MAP)、 核主成分 分析算法 ( Kernel Principal Components Analysis, KPCA )或线性主 成分分析算法 ( Linear Principal Component Analysis , LPCA ), 等 等。
本领域技术人员可以意识到， 虽然以上详细罗列了人脸识别算法的 一些示范性实例， 本发明实施方式并不局限于此。 图 2为根据本发明实施方式的选择人脸区域示意图。 用户可以自行 在图片中识别出人脸区域， 或者应用人脸识别算法由机器在图片中自动 识别出人脸区域。 在图 2中呈现有框住人脸的框架 21 , 可以将该框架命 名为人脸框， 在下面的步骤 1 02中将描述人脸框的生成过程。
步骤 1 02 : 客户端生成对应该人脸区域的人脸框。
当应用人脸识别算法由机器在图片中自动识别出人脸区域时， 可以 利用人脸检测技术， 通过存储在客户端本地或者网络侧的人脸检测库， 对输入的图片进行人脸检测， 然后输出人脸在该图中的位置信息。 这些 信息可以通过边框的形式初始化显示在图片上供用户调整。 可以根据用 户在该图中通过拖拽等方式最终确定的位置信息生成人脸框。
当用户自行在图片中识别出人脸区域时， 可以根据用户在该图中通 过拖拽等方式确定的位置信息而生成人脸框。
同时， 用户可以对生成的人脸框进行编辑操作。 用户可以采用如下 任一编辑操作对人脸框进行编辑：
拖动人脸框， 在一个实施方式中， 通过触摸屏， 用户接触人脸框上 的除右下角顶点之外的任一位置， 移动接触点， 进而屏幕上的人脸框随 着接触点的移动而移动， 当人脸框移动到适合的位置， 中断接触。
缩放人脸框， 在一个实施方式中， 通过触摸屏， 用户接触人脸框上 的右下角顶点位置， 移动触摸点， 进而人脸框随着触摸点的移动而改变 尺寸， 当得到适合的人脸框尺寸， 中断接触。
删除人脸框， 在一个实施方式中， 通过触摸屏， 用户持续接触人脸 框内任一位置直到人脸框内出现删除按钮， 点击接触该删除按钮。
以上编辑操作还可以通过操作指向设备 ( oint ing device ) 来完 成。 所述指向设备为一种输入设备。 具体的， 指向设备可以是一种接口 设备。 指向设备允许用户将空间 （即连续或多维）数据输入到计算机。 鼠标是一种最常见的指向设备。 指向设备的移动将体现在计算设备屏幕 上的指针、 光标或其他替代物的移动上。 即指向设备可以控制计算设备 屏幕上指针、 光标或其他替代物的移动。
优选地， 当生成有多个人脸框的时候， 需要进一步对各个人脸框的 位置进行限制， 使得人脸框之间不会重叠， 而且尽量将各个人脸框保持 在图片显示区域之内。
步骤 103: 客户端生成与该人脸框相关联的标签框， 并通过如下任 一种方法在所述标签框中呈现与该人脸区域相关联的标签信息： 从服务 器获取与该人脸区域相关联的标签信息， 并且在所述标签框中呈现从服 务器获取的标签信息； 及接收用户输入的与该人脸区域相关联的标签信 息， 并且在所述标签框中呈现所述用户输入的标签信息。
在这里， 当产生人脸框之后， 紧接着生成与该人脸框相关联的标签 框。 标签框用于展示标签信息。
在一个实施方式中， 可以由位于网络侧的服务器向客户端提供标签 框背景信息， 然后客户端根据标签框背景信息生成标签框。 这样， 服务 器通过在后台调整标签框背景信息， 可以向用户提供具有多种表现形式 的标签框。 比如： 服务器提供的标签框背景信息具体可以包括标签框形 状、 标签框展现方式和 /或标签框颜色， 等等。
可选地，也可以由用户根据自身爱好，在本地自行设置生成标签框。 比如： 用户可以预先在本地设置标签框形状、 标签框展现方式和 /或标 签框颜色， 然后客户端基于所设置的标签框形状、 标签框展现方式和 / 或标签 4ϋ颜色自动生成标签才 。
在一个实施方式中， 客户端从服务器获取与该人脸区域相关联的标 签信息， 并且在生成的标签框中显示该标签信息。 与人脸区域相关联的 标签信息， 优选是针对人脸区域的评论信息。 比如， 假如在人脸区域识 别出姓名为张三的人脸， 则标签信息可以是 "潇洒哥" 等带有直接评论 色彩的评论信息， 也可以是 "三岁得奖者" 等带有间接评论色彩的评论 信息。
图 3为根据本发明实施方式的标签信息生成示意图。
可以在服务器中预先存储一组预先设置的标签信息候选词汇（比如 最近的网络热门关键字、 用户提交的自定义词） 以构成标签信息列表， 然后服务器将标签信息列表发送给用户所在的客户端， 由用户从标签信 息列表中选择出合适的标签信息候选词汇以作为标签信息， 并显示在标 签框中。其中，标签信息列表中的标签信息候选词汇优选是可以编辑的。
优选地， 标签信息列表的生成与发送过程具体包括： 服务器计算标 签信息候选词汇的使用频率， 并对标签信息候选词汇基于所述使用频率 从大到小进行排序； 服务器按照排序结果生成标签信息列表， 其中在所 述标签信息列表中存储预定数目的标签信息候选词汇。 服务器下发该标 签信息列表到客户端； 客户端从标签信息列表中解析出标签信息候选词 汇， 并从标签信息候选词汇中选择与该人脸区域相关联的词汇， 并且在 标签框中显示该与人脸区域相关联的词汇。
在一个实施方式中， 还可以由用户直接在客户端的标签框中自行编 辑用户自定义标签信息。 用户自定义标签信息可以是与识别出的人脸区 域相关的评论信息， 也可以是任意表达用户心情的评论信息， 等等。
当由服务器向客户端提供标签信息时， 标签信息是可以由服务器后 台运营的，通过统计自定义词的使用情况，整理当前网络流行语而生成。 后台运行的标签信息优选为一些带有趣味性的趣味标签信息。 趣味标签 信息可以由后台运营的， 通过统计自定义词的使用情况， 整理当前网络 流行语而生成， 并且还可根据视觉设计， 自动配置各个标签展现形式， 颜色等内容， 使展现更加生动。 优选地， 可以对标签框进行编辑。 具体可以采用以下编辑操作中的 至少一种对标签框进行编辑操作：
调整标签框的颜色， 在一个实施方式中， 通过触摸屏， 用户点击接 触预先设置的颜色集中的任一种颜色，这样，人脸框更新为点击的颜色。
拖动标签框， 在一个实施方式中， 通过触摸屏， 用户接触标签框上 的除右下角顶点之外的任一位置， 移动接触点， 进而屏幕上的标签框随 着接触点的移动而移动， 当标签框移动到适合的位置， 中断接触。
缩放标签框， 在一个实施方式中， 通过触摸屏， 用户接触标签框上 的右下角顶点位置， 移动触摸点， 进而标签框随着触摸点的移动而改变 尺寸， 当得到适合的标签框尺寸， 中断接触。
删除人脸框， 在一个实施方式中， 通过触摸屏， 用户持续接触标签 框内任一位置直到标签框内出现删除按钮， 点击接触该删除按钮。
以上标签框的编辑操作还可以通过操作指向设备来完成。
优选的， 客户端还可以进一步检索该人脸区域所对应用户的用户标 识， 在标签框中显示该人脸区域所对应用户的用户标识， 并向该用户标 识所对应的用户推送所述图片、 标签框和标签信息。 比如， 假如在人脸 区域识别出姓名为张三的人脸， 而且标签信息是 "潇洒哥" 等带有直接 评论色彩的评论信息， 则可以在标签框中进一步显示张三的 ID (比如： 张三的即时通信号码）， 并向该用户标识所对应的用户 （即张三）推送 该图片、 标签框和标签信息。
优选地， 客户端还可以进一步检索该人脸区域所对应的用户标识， 在标签框中显示该人脸区域所对应用户的用户标识， 并向该用户标识所 对应用户的好友关系链中的用户推送所述图片、 标签框和标签信息。 比 如， 假如在人脸区域识别出姓名为张三的人脸， 标签信息是 "潇洒哥" 等带有直接评论色彩的评论信息， 而且张三的好友包括李四和王五， 则 可以在标签框中进一步显示张三的 ID (比如： 张三的即时通信号码）， 并向该用户标识所对应的用户 （即张三） 的好友（即李四和王五）推送 该图片、 标签框和标签信息。
在一个实施方式中， 客户端将图片、 标签框和标签框中的标签信息 上传到服务器。 这样， 服务器根据接收到的图片、 标签框和标签框中的 标签信息， 进一步检索该人脸区域所对应用户的用户标识， 在标签框中 显示该人脸区域所对应用户的用户标识， 并向该用户标识所对应的用户 推送所述图片、 标签框和标签信息。 比如， 假如在人脸区域识别出姓名 为张三的人脸， 而且标签信息是 "潇洒哥" 等带有直接评论色彩的评论 信息， 则可以在标签框中进一步显示张三的 ID (比如： 张三的即时通信 号码）， 并向该用户标识所对应的用户 （即张三）推送该图片、 标签框 和标签信息。
在一个实施方式中， 客户端将图片、 标签框和标签框中的标签信息 上传到服务器。 这样， 服务器根据接收到的图片、 标签框和标签框中的 标签信息， 进一步检索该人脸区域所对应的用户标识， 在标签框中显示 该人脸区域所对应用户的用户标识， 并向该用户标识所对应用户的好友 关系链中的用户推送所述图片、 标签框和标签信息。 比如， 假如在人脸 区域识别出姓名为张三的人脸， 标签信息是 "潇洒哥" 等带有直接评论 色彩的评论信息， 而且张三的好友包括李四和王五， 则可以在标签框中 进一步显示张三的 ID (比如： 张三的即时通信号码）， 并向该用户标识 所对应的用户 （即张三） 的好友（即李四和王五）推送该图片、 标签框 和标签信息。
本发明实施方式所提出的图片交互方法可以应用到多种具体应用 中， 尤其适合于目前非常受欢迎的圏人应用。
图 4为根据本发明实施方式的基于图片的圏人应用方法示范性流程 图。
如图 4所示， 是本发明提供的实现基于图片的圏人应用方法的一个 具体实施方式。 该方法具体包括以下步骤：
步骤 401 : 客户端判断是否执行手动检测与标记人脸区域， 如果是 则执行步骤 402及其后续步骤，如果不是则执行步骤 403及其后续步骤。 手动圏人即客户端接收用户根据肉眼判断出的人脸区域位置信息。
步骤 402: 客户端接收用户根据肉眼判断出的人脸区域位置信息， 并基于该人脸区域位置信息生成人脸框，并执行步骤 404及其后续步骤。
步骤 403: 客户端应用人脸自动识别算法在图片中自动识别出人脸 区域， 并添加人脸框， 人脸框包含该识别出的人脸区域。 在这里， 具体 客户端可以采用主成分分析算法（PCA )、 独立成分分析算法（ ICA )、 等 测距映射（ I SOMAP )、核主成分分析算法（ KPCA )或线性主成分分析（ LPCA ) 等算法来自动识别人脸区域， 并执行步骤 404及其后续步骤。
步骤 404:客户端判断是否自定义标签信息，如果是则执行步骤 405 及其后续步骤； 如果不是则执行步骤 410及其后续步骤。 在这里， 定制 标签信息即由服务器后台提供标签信息。
步骤 405 : 客户端从服务器下载标签框背景信息和标签信息。
步骤 406: 客户端根据标签框背景信息生成标签框， 并将标签信息 显示在标签框中。
步骤 407: 客户端判断是否需要将图片、 标签框以及标签框中的标 签信息推送给关联用户， 如果是则执行步骤 408及其后续步骤， 否则执 行步骤 409及其后续步骤。 在这里， 关联用户可以是该人脸区域所对应 用户， 和 /或该人脸区域所对应用户的好友关系链中的用户。
步骤 408 : 客户端向关联用户推送图片、 标签框以及标签框中的标 签信息， 并结束本流程。 步骤 409: 客户端将图片、 标签框和标签框中的标签信息上传到服 务器， 并结束本流程。
步骤 410: 客户端生成标签框， 选择该人脸区域所对应的用户标识， 并且在标签框中显示该用户标识。
步骤 411：客户端向该用户标识所对应的用户所在客户端推送图片、 标签框以及标签框中标识出的用户标识。
基于上述详细分析， 本发明实施方式还提出了一种基于图片的交互 装置。
图 5A 为根据本发明实施方式的基于图片的交互装置第一结构图。 该装置优选的可以全部位于即时通信客户端上。 该即时通信客户端具体 的可以是具有显示功能的计算设备。
如图 5A所示， 该装置包括人脸区域识别单元 501、人脸框生成单元 502和标签信息处理单元 503。
人脸区域识别单元 501 , 用于在图片中识别出人脸区域；
人脸框生成单元 502 , 用于生成对应该人脸区域的人脸框； 标签信息处理单元 503 , 用于生成与该人脸框相关联的标签框， 并 通过以下任一种方法在所述标签框中呈现与所述人脸区域相关联的标 签信息： 从服务器获取与该人脸区域相关联的标签信息， 并且在所述标 签框中呈现从服务器获取的标签信息； 及接收用户输入的与该人脸区域 相关联的标签信息， 并且在所述标签框中呈现所述用户输入的标签信 息。
在一个实施方式中， 人脸区域识别单元 501 , 用于应用人脸自动识 别算法在图片中识别出人脸区域。 而且， 人脸自动识别算法优选包括： 应用主成分分析算法 （PCA )、 独立成分分析算法 （ICA )、 等测距映射 ( IS0MAP )、核主成分分析算法（ KPCA )或线性主成分分析算法（ LPCA ), 等等。
在一个实施方式中， 该装置进一步包括人脸框编辑单元 504;
人脸框编辑单元 504 , 用于对人脸框生成单元 502所生成的人脸框 进行编辑， 其中对人脸框进行以下编辑操作中的至少一种编辑操作： 拖动人脸框， 在一个实施方式中， 通过触摸屏， 用户接触人脸框上 的除右下角顶点之外的任一位置， 移动接触点， 进而屏幕上的人脸框随 着接触点的移动而移动， 当人脸框移动到适合的位置， 中断接触。
缩放人脸框， 在一个实施方式中， 通过触摸屏， 用户接触人脸框上 的右下角顶点位置， 移动触摸点， 进而人脸框随着触摸点的移动而改变 尺寸， 当得到适合的人脸框尺寸， 中断接触。
删除人脸框， 在一个实施方式中， 通过触摸屏， 用户持续接触人脸 框内任一位置直到人脸框内出现删除按钮， 点击接触该删除按钮。
以上编辑操作还可以通过操作指向设备 ( oint ing device ) 来完 成。
优选地， 标签信息处理单元 503 , 用于从服务器获取标签框背景信 息， 并根据所述标签框背景信息生成标签框； 其中所述标签框背景信息 包括：
标签框形状；
标签框展现方式； 和 /或
标签^颜色。
在一个实施方式中， 标签信息处理单元 503 , 用于从服务器获取标 签框背景信息， 并根据所述标签框背景信息生成标签框。
标签信息处理单元 503 , 还用于接收用户输入的用户自定义标签信 息， 并在所述标签框中呈现所述用户输入的用户自定义标签信息。
标签信息处理单元 503 , 还用于将图片、 标签框和标签框中的标签 信息上传到服务器。
图 5B 为根据本发明实施方式的基于图片的交互装置第二结构图。 该装置优选地可以全部位于即时通信客户端上。 该即时通信客户端具体 的可以是具有显示功能的计算设备。
在本实施例中， 该装置除了包括人脸区域识别单元 701、 人脸框生 成单元 702、 标签信息处理单元 703、 人脸框编辑单元 704外， 还包括 标签信息推送单元 705 , 用于检索该人脸区域所对应用户的用户标识， 并向该用户所在的客户端推送所述图片、 标签框和标签信息。 比如， 假 如在人脸区域识别出姓名为张三的人脸， 而且标签信息是 "潇洒哥" 等 带有直接评论色彩的评论信息， 则客户端可以在标签框中进一步显示张 三的 ID (比如： 张三的即时通信号码）。
标签信息推送单元 705进一步还用于检索该人脸区域所对应的用户 标识， 在标签框中显示该人脸区域所对应用户的用户标识， 并向该用户 标识所对应用户的好友关系链中的用户所在的客户端推送所述图片、 标 签框和标签信息。 比如， 假如在人脸区域识别出姓名为张三的人脸， 标 签信息是 "潇洒哥" 等带有直接评论色彩的评论信息， 而且张三的好友 包括李四和王五， 则好友关系链中的用户所在客户端可以在标签框中进 一步显示张三的 I D (比如： 张三的即时通信号码）。 基于上述详细分析， 本发明实施方式还提出了一种服务器。
图 6为根据本发明实施方式的服务器结构图。 如图 6所示， 该服务 器包括标签信息存储单元 601和标签信息发送单元 602。 其中：
标签信息存储单元 601 , 用于存储预先设置的标签信息；
标签信息发送单元 602 , 用于向客户端发送与人脸区域相关联的标 签信息， 并由客户端在标签框中呈现该标签信息， 其中该人脸区域由客 户端在图片中识别出， 该标签框与对应该人脸区域的人脸框相关联。 在一个实施方式中， 该服务器进一步包括标签框背景信息发送单元
603。
标签框背景信息发送单元 603 ,用于向客户端提供标签框背景信息， 从而客户端根据所述标签框背景信息生成所述标签框。
优选地， 所述服务器进一步包括标签信息推送单元 604 , 其中： 标签信息推送单元 604 , 用于接收客户端上传的将图片、 标签框和 标签框中的标签信息， 检索该人脸区域所对应用户的用户标识， 并向该 用户标识所对应的用户推送所述图片、 标签框和标签信息。 比如， 假如 在人脸区域识别出姓名为张三的人脸， 而且标签信息是 "潇洒哥" 等带 有直接评论色彩的评论信息， 则客户端可以在标签框中进一步显示张三 的 ID (比如： 张三的即时通信号码）。
可选地， 标签信息推送单元 604 , 可以进一步用于接收客户端上传 的将图片、 标签框和标签框中的标签信息， 检索该人脸区域所对应的用 户标识， 在标签框中显示该人脸区域所对应用户的用户标识， 并向该用 户标识所对应用户的好友关系链中的用户推送所述图片、 标签框和标签 信息。 比如，假如在人脸区域识别出姓名为张三的人脸，标签信息是"潇 洒哥" 等带有直接评论色彩的评论信息， 而且张三的好友包括李四和王 五， 则客户端可以在标签框中进一步显示张三的 ID (比如： 张三的即时 通信号码）。
在一个实施方式中， 标签信息存储单元 601 , 用于计算预先设置的 标签信息候选词汇的使用频率， 并对所述标签信息候选词汇基于所述使 用频率从大到小进行排序； 并按照排序结果生成标签信息列表， 其中在 所述标签信息列表中存储预定数目的标签信息候选词汇。
图 7为根据本发明实施方式的标签信息展示第一示范性示意图； 在 图 7所示的图片中，与人脸框 71相关联的标签框 72中呈现标签信息 73 "婷婷"。 该标签信息 73为该人脸框 71对应用户的姓名信息。 图 8为 根据本发明实施方式的标签信息展示第二示范性示意图。 图 8所示的图 片中，与人脸框 81相关的标签框 73中呈现标签信息 8 3 "林三岁得奖了"。 该标签信息 8 3为推送图片的用户对人脸框 81对应的用户的评论信息。
比如， 可以将图片、 标签框和标签信息直接作为动态信息（Feeds ) 进行展示， 并且可以根据服务器的配置显示标签。 显示这些图片、 标签 框和标签信息， 可以使显示更加多元化， 更富趣味性。 而且， 图片中好 友或者标签信息会可以在用户上传图片时以辅助信息的形式存储在服 务器上面， 并在当用户好友登录服务器时访问好友动态信息时， 将该用 户图片中的这些辅助信息予以下发， 从而可以在移动终端上面显示标签 信息。
通过以上的实例的描述， 本领域的技术人员可以清楚地了解到可借 助软件加必需的通用硬件平台的方式来实现上述实例， 当然也可以通过 硬件， 但很多情况下前者是更佳的实施方式。 基于这样的理解， 本发明 的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品 的形式体现出来， 该计算机软件产品存储在一个存储介质中， 包括若干 指令用以使得一台计算机设备（可以是个人计算机， 服务器， 或者网络 设备等）执行上述各个实例所述的方法。
本领域技术人员可以理解上述实例中的装置中的模块可以按照实 例描述进行分布于实例的装置中， 也可以进行相应变化位于不同于本实 例的一个或多个装置中。 上述实例的模块可以合并为一个模块， 也可以 进一步拆分成多个子模块。
综上所述， 在本发明实施方式中， 首先在图片中识别出人脸区域； 然后生成对应该人脸区域的人脸框； 通过以下任一种方法在所述标签框 中呈现该人脸区域相关联的标签信息： 从服务器获取与该人脸区域相关 联的标签信息， 并且在所述标签框中呈现该标签信息， 以及接收用户输 入的与该人脸区域相关联的标签信息， 并且在所述标签框中呈现所述用 户输入的标签信息。 由此可见， 应用本发明实施方式之后， 可以自定义 圏出区域的关联信息 （比如评论信息等）， 还可以将这些关联信息推送 到相关的好友， 因此本发明实施方式增强了推送该人脸区域的用户与相 关联的好友之间的互动。
以上所述， 仅为本发明的较佳实施例而已， 并非用于限定本发明的 保护范围。 凡在本发明的精神和原则之内， 所作的任何修改、等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权利要求书
1、 一种基于图片的交互方法， 其特征在于， 该方法包括： 在图片中识别出人脸区域；
生成对应该人脸区域的人脸框；
生成与该人脸框相关联的标签框； 及
通过以下任一种方法在所述标签框中呈现与所述人脸区域相关联 的标签信息： 从服务器获取与该人脸区域相关联的标签信息， 并且在所 述标签框中呈现所述从服务器获取的标签信息； 及
接收用户输入的与该人脸区域相关联的标签信息， 并且在所述标签 框中呈现所述用户输入的标签信息。
2、 根据权利要求 1 所述的基于图片的交互方法， 其特征在于， 应 用如下任一种算法在所述图片中识别出所述人脸区域：
主成分分析算法 PCA、 独立成分分析算法 ICA、 等测距映射 IS0MAP、 核主成分分析算法 KPCA和线性主成分分析算法 LPCA。
3、 根据权利要求 1 所述的基于图片的交互方法， 其特征在于， 该 方法进一步包括： 对生成的所述人脸框进行如下编辑操作中的至少一种 编辑操作：
通过触摸屏， 用户接触人脸框上的除右下角顶点之外的任一位置， 移动接触点， 进而屏幕上的人脸框随着接触点的移动而移动， 当人脸框 移动到适合的位置， 中断接触；
通过触摸屏， 用户接触人脸框上的右下角顶点位置， 移动触摸点， 进而人脸框随着触摸点的移动而改变尺寸， 当得到适合的人脸框尺寸， 中断接触；
通过触摸屏， 用户持续接触人脸框内任一位置直到人脸框内出现删 除按钮， 点击接触该删除按钮。
4、 根据权利要求 1 所述的基于图片的交互方法， 其特征在于， 所 述生成与人脸框相关联的标签框包括： 从服务器获取标签框背景信息， 并根据所述标签框背景信息生成标签框； 其中所述标签框背景信息包 括：
标签框形状；
标签框展现方式； 和 /或
标签^颜色。
5、 根据权利要求 1-4 中任一项所述的基于图片的交互方法， 其特 征在于， 该方法进一步包括：
服务器计算预先设置的标签信息候选词汇的使用频率， 并对所述标 签信息候选词汇基于所述使用频率从大到小进行排序；
服务器按照排序结果生成标签信息列表， 其中在所述标签信息列表 中存储预定数目的标签信息候选词汇；
所述从服务器获取与该人脸区域相关联的标签信息， 并且在所述标 签框中呈现所述从服务器获取的标签信息包括：
从服务器获取该标签信息列表；
从所述标签信息列表中解析出标签信息候选词汇；
从所述标签信息候选词汇中选择与该人脸区域相关联的词汇， 并且 在所述标签框中呈现该与人脸区域相关联的词汇。
6、 根据权利要求 1-4 中任一项所述的基于图片的交互方法， 其特 征在于， 该方法进一步包括：
检索该人脸区域所对应用户的用户标识；
在标签框中显示该人脸区域所对应用户的用户标识， 并向该用户和 /或该用户的关系链中的用户推送所述图片、 标签框和标签信息。
7、 根据权利要求 1-4 中任一项所述的基于图片的交互方法， 其特 征在于， 该方法进一步包括：
将图片、 标签框和标签框中的标签信息上传到服务器， 并由服务器 检索该人脸区域所对应用户的用户标识， 在标签框中显示该人脸区域所 对应用户的用户标识， 并向该用户和 /或该用户的关系链中的用户推送 所述图片、 标签框和标签信息。
8、 一种基于图片的交互装置， 其特征在于， 该装置包括人脸区域 识别单元、 人脸框生成单元和标签信息处理单元， 其中：
人脸区域识别单元， 用于在图片中识别出人脸区域；
人脸框生成单元， 用于生成对应该人脸区域的人脸框；
标签信息处理单元， 用于生成与该人脸框相关联的标签框， 并且通 过以下任一种方法在所述标签框中呈现与所述人脸区域相关联的标签 信息： 从服务器获取与该人脸区域相关联的标签信息， 并且在所述标签 框中呈现从服务器获取的标签信息； 以及接收用户输入的与该人脸区域 相关联的标签信息， 并且在所述标签框中呈现所述用户输入的标签信 息。
9、 根据权利要求 8所述的基于图片的交互装置， 其特征在于， 人脸区域识别单元， 用于应用主成分分析算法 PCA、 独立成分分析 算法 ICA、 等测距映射 I S0MAP、 核主成分分析算法 KPCA或线性主成分 分析算法 LPCA在图片中识别出人脸区域。
10、 根据权利要求 8所述的基于图片的交互装置， 其特征在于， 该装置进一步包括人脸框编辑单元；
人脸框编辑单元， 用于对生成的所述人脸框进行编辑， 其中对人脸 框进行如下编辑操作中的至少一种编辑操作包括：
通过触摸屏， 用户接触人脸框上的除右下角顶点之外的任一位置， 移动接触点， 进而屏幕上的人脸框随着接触点的移动而移动， 当人脸框 移动到适合的位置， 中断接触；
通过触摸屏， 用户接触人脸框上的右下角顶点位置， 移动触摸点， 进而人脸框随着触摸点的移动而改变尺寸， 当得到适合的人脸框尺寸， 中断接触；
通过触摸屏， 用户持续接触人脸框内任一位置直到人脸框内出现删 除按钮， 点击接触该删除按钮。
11、 根据权利要求 8所述的基于图片的交互装置， 其特征在于， 标 签信息处理单元， 用于从服务器获取标签框背景信息， 并根据所述标签 框背景信息生成标签框； 其中所述标签框背景信息包括：
标签框形状；
标签框展现方式；
和 /或标签 4ϋ颜色。
12、 根据权利要求 8所述的基于图片的交互装置， 其特征在于， 标 签信息处理单元， 还用于将图片、 标签框和标签框中的标签信息上传到 服务器， 并由服务器检索该人脸区域所对应用户的用户标识， 在标签框 中显示该人脸区域所对应用户的用户标识， 并向该用户和 /或该用户的 关系链中的用户推送所述图片、 标签框和标签信息。
1 3、 根据权利要求 8-1 1 中任意一项所述的基于图片的交互装置， 其特征在于， 所述装置进一步包括标签信息推送单元， 其中：
所述标签信息推送单元， 用于检索该人脸区域所对应用户的用户标 识， 并向该用户标识所对应的用户和 /或该用户标识所对应用户的关系 链中的用户推送所述图片、 标签框和标签信息。
14、 一种服务器， 其特征在于， 该服务器包括标签信息存储单元和 标签信息发送单元， 其中： 标签信息存储单元， 用于存储预先设置的标签信息； 标签信息发送单元， 用于向客户端发送与人脸区域相关联的标签信 息， 并由客户端在标签框中呈现该标签信息， 其中该人脸区域由客户端 在图片中识别出， 该标签框与对应该人脸区域的人脸框相关联。
15、 根据权利要求 14 所述的服务器， 其特征在于， 进一步包括标 签框背景信息发送单元；
标签框背景信息发送单元， 用于向客户端提供标签框背景信息， 从 而客户端根据所述标签框背景信息生成所述标签框。
16、 根据权利要求 17 所述的服务器， 其特征在于标签信息发送单 元进一步用于接收客户端上传的图片、 标签框和标签框中的标签信息。
17、 根据权利要求 16 所述的服务器， 其特征在于， 所述服务器进 一步包括标签信息推送单元， 其中：
所述标签信息推送单元， 用于检索该人脸区域所对应用户的用户标 识， 并向该用户标识所对应的用户推送所述图片、 标签框和标签信息。
18、 根据权利要求 16 所述的服务器， 其特征在于， 所述服务器进 一步包括标签信息推送单元， 其中：
所述标签信息推送单元， 用于检索该人脸区域所对应用户的用户标 识； 并向该用户标识所对应用户的关系链中的用户推送所述图片、 标签 框和标签信息。
19、 根据权利要求 14-18中任意一项所述的服务器， 其特征在于， 标签信息存储单元， 进一步用于计算预先设置的标签信息候选词汇 的使用频率， 并对所述标签信息候选词汇基于所述使用频率从大到小进 行排序； 并按照排序结果生成标签信息列表， 其中在所述标签信息列表 中存储预定数目的标签信息候选词汇。
PCT/CN2013/077999 2012-06-28 2013-06-26 一种基于图片的交互方法、装置和服务器 Ceased WO2014000645A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/410,875 US20150169527A1 (en) 2012-06-28 2013-06-26 Interacting method, apparatus and server based on image
JP2015518814A JP6236075B2 (ja) 2012-06-28 2013-06-26 インタラクティブ方法、インタラクティブ装置及びサーバー

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210216274.5A CN103513890B (zh) 2012-06-28 2012-06-28 一种基于图片的交互方法、装置和服务器
CN201210216274.5 2012-06-28

Publications (1)

Publication Number Publication Date
WO2014000645A1 true WO2014000645A1 (zh) 2014-01-03

Family

ID=49782249

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/077999 Ceased WO2014000645A1 (zh) 2012-06-28 2013-06-26 一种基于图片的交互方法、装置和服务器

Country Status (4)

Country Link
US (1) US20150169527A1 (zh)
JP (1) JP6236075B2 (zh)
CN (1) CN103513890B (zh)
WO (1) WO2014000645A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726330A (zh) * 2018-12-29 2019-05-07 北京金山安全软件有限公司 一种信息推荐方法及相关设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970830B (zh) * 2014-03-31 2017-06-16 小米科技有限责任公司 信息推荐方法和装置
CN104022943A (zh) * 2014-06-26 2014-09-03 北京奇虎科技有限公司 交互式消息的处理方法、装置及系统
CN104881287B (zh) * 2015-05-29 2018-03-16 广东欧珀移动通信有限公司 截图方法及装置
CN105100449B (zh) * 2015-06-30 2018-01-23 广东欧珀移动通信有限公司 一种图片分享方法及移动终端
CN105117108B (zh) * 2015-09-11 2020-07-10 百度在线网络技术（北京）有限公司 信息处理方法、装置及系统
US20230345987A1 (en) * 2015-11-13 2023-11-02 Conopco, Inc., D/B/A Unilever Process for the manufacture of an aqueous dispersion comprising mustard bran and oil-in-water emulsion containing such dispersion
CN106126053B (zh) * 2016-05-27 2019-08-27 努比亚技术有限公司 移动终端控制装置及方法
CN106327546B (zh) * 2016-08-24 2020-12-08 北京旷视科技有限公司 人脸检测算法的测试方法和装置
CN106548502B (zh) * 2016-11-15 2020-05-15 迈普通信技术股份有限公司 图像处理方法及装置
CN107194817B (zh) * 2017-03-29 2023-06-23 腾讯科技（深圳）有限公司 用户社交信息的展示方法、装置和计算机设备
CN107315524A (zh) * 2017-07-13 2017-11-03 北京爱川信息技术有限公司 一种人机交互方法及其系统
CN107391703B (zh) * 2017-07-28 2019-11-15 北京理工大学 图像库的建立方法及系统、图像库和图像分类方法
CN109509109A (zh) * 2017-09-15 2019-03-22 阿里巴巴集团控股有限公司 社交信息的获取方法及装置
CN107895153A (zh) * 2017-11-27 2018-04-10 唐佐 一种多方向识别标记系统
CN107958234A (zh) * 2017-12-26 2018-04-24 深圳云天励飞技术有限公司 基于客户端的人脸识别方法、装置、客户端及存储介质
CN110555171B (zh) * 2018-03-29 2024-04-30 腾讯科技（深圳）有限公司 一种信息处理方法、装置、存储介质及系统
CN110045892B (zh) * 2019-04-19 2021-04-02 维沃移动通信有限公司 显示方法及终端设备
US11954605B2 (en) * 2020-09-25 2024-04-09 Sap Se Systems and methods for intelligent labeling of instance data clusters based on knowledge graph
CN112699311A (zh) * 2020-12-31 2021-04-23 上海博泰悦臻网络技术服务有限公司 信息推送方法、存储介质及电子设备
CN115857769B (zh) * 2021-09-24 2025-10-21 广州腾讯科技有限公司 消息的显示方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533520A (zh) * 2009-04-21 2009-09-16 腾讯数码（天津）有限公司 一种人像标记方法及装置
US20100030755A1 (en) * 2007-04-10 2010-02-04 Olaworks Inc. Method for inferring personal relationship by using readable data, and method and system for attaching tag to digital data by using the readable data
CN101877737A (zh) * 2009-04-30 2010-11-03 深圳富泰宏精密工业有限公司 通讯装置及其分享照片的方法
CN102368746A (zh) * 2011-09-08 2012-03-07 宇龙计算机通信科技(深圳)有限公司 图片信息推送方法及装置
US20120076367A1 (en) * 2010-09-24 2012-03-29 Erick Tseng Auto tagging in geo-social networking system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7054468B2 (en) * 2001-12-03 2006-05-30 Honda Motor Co., Ltd. Face recognition using kernel fisherfaces
JP2004206544A (ja) * 2002-12-26 2004-07-22 Sony Corp 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
JP2007293399A (ja) * 2006-04-21 2007-11-08 Seiko Epson Corp 画像交換装置および画像交換方法ならびに画像交換処理プログラム
KR100701163B1 (ko) * 2006-08-17 2007-03-29 (주)올라웍스 디시젼 퓨전을 이용하여 디지털 데이터 내의 인물 식별을통해 태그를 부여 하고 부가 태그를 추천하는 방법
JP5121285B2 (ja) * 2007-04-04 2013-01-16 キヤノン株式会社 被写体メタデータ管理システム
US8600120B2 (en) * 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
JPWO2010067675A1 (ja) * 2008-12-12 2012-05-17 コニカミノルタホールディングス株式会社 情報処理システム、情報処理装置および情報処理方法
NO331287B1 (no) * 2008-12-15 2011-11-14 Cisco Systems Int Sarl Fremgangsmate og anordning for gjenkjenning av ansikter i en videostrom
US9495583B2 (en) * 2009-01-05 2016-11-15 Apple Inc. Organizing images by correlating faces
US20100191728A1 (en) * 2009-01-23 2010-07-29 James Francis Reilly Method, System Computer Program, and Apparatus for Augmenting Media Based on Proximity Detection
JP5403340B2 (ja) * 2009-06-09 2014-01-29 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN102238362A (zh) * 2011-05-09 2011-11-09 苏州阔地网络科技有限公司 一种社区网络中图像传输方法及系统
US8891832B2 (en) * 2011-06-03 2014-11-18 Facebook, Inc. Computer-vision-assisted location check-in
US8756278B2 (en) * 2011-07-10 2014-06-17 Facebook, Inc. Audience management in a social networking system
CN103988503B (zh) * 2011-12-12 2018-11-09 英特尔公司 使用预捕获图像运动的场景分割
US9030502B2 (en) * 2012-04-05 2015-05-12 Ancestry.Com Operations Inc. System and method for organizing documents
US9405771B2 (en) * 2013-03-14 2016-08-02 Microsoft Technology Licensing, Llc Associating metadata with images in a personal image collection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100030755A1 (en) * 2007-04-10 2010-02-04 Olaworks Inc. Method for inferring personal relationship by using readable data, and method and system for attaching tag to digital data by using the readable data
CN101533520A (zh) * 2009-04-21 2009-09-16 腾讯数码（天津）有限公司 一种人像标记方法及装置
CN101877737A (zh) * 2009-04-30 2010-11-03 深圳富泰宏精密工业有限公司 通讯装置及其分享照片的方法
US20120076367A1 (en) * 2010-09-24 2012-03-29 Erick Tseng Auto tagging in geo-social networking system
CN102368746A (zh) * 2011-09-08 2012-03-07 宇龙计算机通信科技(深圳)有限公司 图片信息推送方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726330A (zh) * 2018-12-29 2019-05-07 北京金山安全软件有限公司 一种信息推荐方法及相关设备

Also Published As

Publication number Publication date
JP6236075B2 (ja) 2017-11-22
JP2015535351A (ja) 2015-12-10
CN103513890A (zh) 2014-01-15
US20150169527A1 (en) 2015-06-18
CN103513890B (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
WO2014000645A1 (zh) 一种基于图片的交互方法、装置和服务器
KR102915018B1 (ko) 메시징 시스템에서의 아바타 상태 업데이트
EP4172948B1 (en) Updating avatar clothing in a messaging system
KR102768156B1 (ko) 메시징 애플리케이션에서의 증강 현실 콘텐츠의 디스플레이
KR102856286B1 (ko) 검출된 객체들에 대한 증강 현실 콘텐츠의 음성 기반 선택
US20240354555A1 (en) Xr experience based on generative model output
US11983461B2 (en) Speech-based selection of augmented reality content for detected objects
US20170212892A1 (en) Predicting media content items in a dynamic interface
US12080065B2 (en) Augmented reality items based on scan
US20210304754A1 (en) Speech-based selection of augmented reality content
KR20240155379A (ko) 메시징 시스템 내에서의 스캔 동작으로부터의 숏컷들
US20170083520A1 (en) Selectively procuring and organizing expressive media content
US12513098B2 (en) Sticker search icon providing dynamic previews
CN111353519A (zh) 用户行为识别方法和系统、具有ar功能的设备及其控制方法
US12271982B2 (en) Generating modified user content that includes additional text content
CN112004156A (zh) 一种视频播放方法、相关装置及存储介质
US20220092071A1 (en) Integrated Dynamic Interface for Expression-Based Retrieval of Expressive Media Content
US20250218087A1 (en) Generating modified user content that includes additional text content
CN114339375A (zh) 视频播放方法、生成视频目录的方法及相关产品
US11928167B2 (en) Determining classification recommendations for user content
KR102408256B1 (ko) 검색을 수행하는 방법 및 장치
US20250078540A1 (en) Packaged product scan
US20250284735A1 (en) Searching using a wearable computing device
KR20260058906A (ko) 메시징 시스템 내에서 기능들을 숏컷들로 조합

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13808519

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14410875

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015518814

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18/06/2015)

122 Ep: pct application non-entry in european phase

Ref document number: 13808519

Country of ref document: EP

Kind code of ref document: A1