WO2023169049A1 - 显示设备和服务器 - Google Patents

显示设备和服务器 Download PDF

Info

Publication number
WO2023169049A1
WO2023169049A1 PCT/CN2022/141492 CN2022141492W WO2023169049A1 WO 2023169049 A1 WO2023169049 A1 WO 2023169049A1 CN 2022141492 W CN2022141492 W CN 2022141492W WO 2023169049 A1 WO2023169049 A1 WO 2023169049A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
image
user interface
priority
information
Prior art date
Application number
PCT/CN2022/141492
Other languages
English (en)
French (fr)
Inventor
张凯
Original Assignee
聚好看科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聚好看科技股份有限公司 filed Critical 聚好看科技股份有限公司
Publication of WO2023169049A1 publication Critical patent/WO2023169049A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present application relates to the technical field of display devices, and in particular, to a display device and a server.
  • the display device can provide users with playback images such as audio, video, pictures, etc.
  • display devices can not only provide users with live TV program content received through data broadcasting, but also provide users with various application and service contents such as online video programs and online games.
  • Display devices refer to terminal devices that can output specific display images, such as smart TVs, mobile terminals, smart advertising screens, projectors, etc.
  • the functions of display devices will become more and more abundant and their performance will become more and more powerful. They can realize two-way human-computer interaction functions and integrate multiple functions such as audio-visual, entertainment, and data to satisfy users. Diverse and personalized needs.
  • image recognition has gradually become a function often used by users. It can identify the content of the screen displayed on the monitor, such as the characters appearing in the screen. Recognition is performed to provide the user with the character information. The user can move the focus on the display to the face of the person he wants to recognize. After confirming that the focus is correct, the display device can send the image corresponding to the face to the server. After the server recognizes the character's face, it can feed back the character information corresponding to the character's face, such as the character's name, character profile, participation in film and television works, etc., to the display device. The display device can display character information.
  • the display device cannot accurately recommend relevant character information to the user based on the user's level of attention to the character, giving the user a poor experience.
  • Embodiments of the present invention provide a display device and a server.
  • An embodiment of the present application provides a display device, including a display and a controller.
  • the display can be configured to display a user interface.
  • the controller may be configured to perform the following steps: in response to an input instruction indicating identifying a character in the user interface, screenshot processing is performed on the user interface to obtain a user interface image; and sending the user interface image to a server ; Receive the character information and character priority of all characters contained in the user interface image fed back by the server, the character priority is used to represent the user's degree of attention to the character; and based on the character priority, control all characters
  • the display displays the character information of all characters.
  • An embodiment of the present application provides a server configured to perform the following steps: receiving a user interface image sent by a display device, where the user interface image is a screenshot image corresponding to the user interface displayed by the display device; determining the user interface All characters included in the image; obtain the character information of each character, and determine the character priority of each character, the character priority is used to represent the user's degree of attention to the character; and combine the character information of all characters and The character priority is sent to the display device, so that the display device displays the character information of all characters according to the character priority.
  • Embodiments of the present application provide a method for recommending characters in a display device, including: in response to an input instruction to identify a character in a user interface of the display device, screenshot processing is performed on the user interface to obtain user information. Interface image; send the user interface image to the server; receive the character information and character priority of all characters contained in the user interface image fed back by the server, the character priority is used to represent the user's attention to the character degree; and based on the character priority, control the display device to display the character information of all characters.
  • Embodiments of the present application provide a method for recommending people in a display device, including: receiving a user interface image sent by the display device, where the user interface image is a screenshot image corresponding to the user interface displayed by the display device; determining All characters included in the user interface image; obtain the character information of each character, and determine the character priority of each character; the character priority is used to represent the user's degree of attention to the character; and all characters
  • the character information and the character priority are sent to the display device, so that the display device displays the character information of all characters according to the character priority.
  • Figure 1 is a usage scenario of a display device according to some embodiments.
  • FIG. 2 is a hardware configuration block diagram of the control device 100 according to some embodiments.
  • Figure 3 is a hardware configuration block diagram of the display device 200 according to some embodiments.
  • Figure 4 is a software configuration diagram in the display device 200 according to some embodiments.
  • Figure 5 is a schematic diagram of a user interface in some embodiments.
  • Figure 6 is a schematic diagram of a user interface in some embodiments.
  • Figure 7 is a schematic diagram of a display showing person recognition mode confirmation information in some embodiments.
  • Figure 8 is an interaction flow chart between a display device and a server in some embodiments.
  • Figure 9 is a schematic diagram of display parameters of a user interface in some embodiments.
  • Figure 10 is a schematic diagram of a face image recognized by the server in some embodiments.
  • Figure 11 is a schematic diagram of the distance between the face image and the focus position
  • Figure 12 is a schematic diagram of image controls and face images in some embodiments.
  • Figure 13 is a flow chart for displaying character information on a display in some embodiments.
  • Figure 14 is a schematic diagram of a person recognition interface in some embodiments.
  • Figure 15 is a schematic diagram of a display displaying a character profile in some embodiments.
  • Figure 16 is a flow chart of a person recommendation method in some embodiments.
  • the introduction is based on the structure of the display device.
  • Figure 1 is a usage scenario of an intelligent control device according to some embodiments. As shown in FIG. 1 , the intelligent control device 200 also performs data communication with the server 400 , and the user can operate the intelligent control device 200 through the intelligent device 300 or the control device 100 .
  • control device 100 may be a remote controller.
  • the communication between the remote controller and the intelligent control device includes at least one of infrared protocol communication or Bluetooth protocol communication, and other short-distance communication methods, and is controlled through wireless or wired methods.
  • Intelligent control device 200 The user can control the intelligent control device 200 by inputting user instructions through at least one of buttons on the remote control, voice input, control panel input, etc.
  • the smart device 300 may include any one of a mobile terminal, a tablet, a computer, a laptop, an AR/VR device, and the like.
  • smart device 300 may also be used to control smart control device 200.
  • the smart control device 200 is controlled using an application running on the smart device.
  • the smart device 300 and the smart control device can also be used to communicate data.
  • the intelligent control device 200 can also be controlled in a manner other than the control device 100 and the intelligent device 300 .
  • the user's voice can be directly received through a module configured inside the intelligent control device 200 to obtain voice instructions.
  • Command control can also be controlled by receiving the user's voice command through a voice control device provided outside the intelligent control device 200 .
  • the intelligent control device 200 also performs data communication with the server 400.
  • the intelligent control device 200 may be allowed to communicate through a local area network (LAN), a wireless local area network (WLAN), and other networks.
  • the server 400 can provide various contents and interactions to the intelligent control device 200.
  • the server 400 may be a cluster or multiple clusters, and may include one or more types of servers.
  • the software steps executed by one step execution subject can be migrated to another step execution subject with which data communication is performed as required for execution.
  • the software steps executed by the server can be migrated to the intelligent control device that communicates with it according to the needs, and vice versa.
  • FIG. 2 is a hardware configuration block diagram of the control device 100 according to some embodiments.
  • the control device 100 includes a controller 110, a communication interface 130, a user input/output interface 140, a memory, and a power supply.
  • the control device 100 can receive input operation instructions from the user, and convert the operation instructions into instructions that the intelligent control device 200 can recognize and respond to, thereby functioning as an interactive mediator between the user and the intelligent control device 200 .
  • the communication interface 130 is used to communicate with the outside and includes at least one of a WIFI chip, a Bluetooth module, NFC or a replaceable module.
  • the user input/output interface 140 includes at least one of a microphone, a touch pad, a sensor, a button, or a replaceable module.
  • FIG 3 is a hardware configuration block diagram of the intelligent control device 200 according to some embodiments.
  • the intelligent control device 200 includes a tuner and demodulator 210, a communicator 220, a detector 230, an external device interface 240, a controller 250, a display 260, an audio output interface 270, a memory, and a power supply. , at least one of the user interfaces 280.
  • the controller includes a central processing unit, a video processor, an audio processor, a graphics processor, RAM, ROM, first to nth interfaces for input/output.
  • the display 260 includes a display screen component for presenting images, and a driving component for driving image display, for receiving image signals output from the controller, and displaying video content, image content, and menu control interfaces. Components and user control UI interfaces, etc.
  • the display 260 may be at least one of a liquid crystal display, an OLED display, and a projection display, and may also be a projection device and a projection screen.
  • the controller 250 and the tuner-demodulator 210 may be located in different separate devices, that is, the tuner-demodulator 210 may also be located in an external device of the main device where the controller 250 is located, such as an external set-top box. wait.
  • the controller 250 controls the work of the intelligent control device and responds to user operations through various software control programs stored in the memory.
  • the controller 250 controls the overall operation of the intelligent control device 200. For example, in response to receiving a user command for selecting a UI object to be displayed on display 260, controller 250 may perform operations related to the object selected by the user command.
  • the object may be any of selectable objects, such as a hyperlink, an icon, or other operable control. Operations related to the selected object include: displaying a link to a hyperlinked page, document, image, etc., or executing a program corresponding to the icon.
  • the controller includes a central processing unit (Central Processing Unit, CPU), a video processor, an audio processor, a graphics processor (Graphics Processing Unit, GPU), RAM Random Access Memory, RAM), ROM (Read- Only Memory (ROM), at least one of the first to nth interfaces for input/output, a communication bus (Bus), etc.
  • CPU Central Processing Unit
  • video processor video processor
  • audio processor audio processor
  • graphics processor Graphics Processing Unit, GPU
  • RAM Random Access Memory
  • RAM Random Access Memory
  • ROM Read- Only Memory
  • the user may input user commands in a graphical user interface (GUI) displayed on display 260, and the user input interface receives the user input commands through the graphical user interface (GUI).
  • GUI graphical user interface
  • the user can input a user command by inputting a specific sound or gesture, and the user input interface recognizes the sound or gesture through the sensor to receive the user input command.
  • FIG 4 is a software configuration diagram of the intelligent control device 200 according to some embodiments.
  • the system is divided into four layers. From top to bottom, they are the Applications layer (referred to as the "Application layer”) and the Application Framework layer (referred to as the “Framework layer”). “), Android runtime and system library layer (referred to as “system runtime library layer”), and kernel layer.
  • At least one application program runs in the application layer.
  • These applications can be the window program, system setting program or clock program that comes with the operating system; they can also be developed by third-party developers. s application.
  • the application packages in the application layer are not limited to the above examples.
  • the framework layer provides application programming interface (application programming interface, API) and programming framework for applications.
  • the application framework layer includes some predefined functions.
  • the application framework layer is equivalent to a processing center, which decides the actions for the applications in the application layer.
  • the API interface Through the API interface, the application can access the resources in the system and obtain the services of the system during execution.
  • image recognition has gradually become a function often used by users. It can identify the content of the screen displayed on the monitor, such as the characters appearing in the screen. Recognition is performed to provide the user with the character information.
  • the display device cannot accurately recommend relevant character information to the user based on the user's level of attention to the character, giving the user a poor experience.
  • This application provides a display device, including a display and a controller.
  • the monitor is used to display the user interface.
  • the user interface may be the main interface displayed after the display device is turned on, it may be a media resource recommendation page, or it may be some UI interface of the display device, etc.
  • FIG. 5 is a schematic diagram of a user interface in some embodiments.
  • the user interface includes a first navigation bar 500, a second navigation bar 510, a function bar 520 and a content display area 530.
  • the function bar 520 includes a plurality of functional controls such as "Watching Records", “My Favorites” and "My Applications”. .
  • the content displayed in the content display area 530 will change as the selected controls in the first navigation bar 500 and the second navigation bar 510 change.
  • the user can click the "My Application" control to enter the display instructions for the application panel page to trigger entry to the corresponding application panel.
  • the user can also enter the selection operation of the function control through other methods to trigger entry to the application panel. For example, use the voice control function or search function to control entry to the application panel page.
  • multiple functional controls may be included in the user interface.
  • some functional controls may be text controls, such as “Recommendations” and “Channels” in the first navigation bar 500 in Figure 5, "Selected” and other functional controls in the second navigation bar 510.
  • the content corresponding to the text controls It is text content, which is used to characterize the function of the functional control.
  • Some functional controls may be image controls, and the content in the image control may be an image.
  • the image may include text, faces, or may not include text and faces.
  • Figure 6 is a schematic diagram of a user interface in some embodiments. Among them, two image controls are included.
  • the image in the image control 601 does not include text content, but includes multiple faces.
  • the images in the image control 602 include neither text content nor human faces.
  • the display device has a person recognition function.
  • corresponding characters can be identified based on the faces contained therein, and the character identification information of these characters can be displayed.
  • the display device can be set with a person recognition mode.
  • the display device can automatically recognize the faces included in the user interface, thereby obtaining the characters included in the user interface.
  • the user can send a person recognition mode instruction to the display device by operating a designated button on the remote control.
  • a human recognition mode button is set on the remote control.
  • the remote control sends a human recognition mode command to the controller.
  • the controller controls the display device to enter the human recognition mode.
  • the controller can control the display device to exit the person recognition mode.
  • the corresponding relationship between the person recognition mode instruction and multiple remote control buttons can also be pre-bound.
  • the remote controller emits the person recognition mode. instruction.
  • the keys bound to the person recognition mode instruction are the direction keys (left, down, left, down) in order, that is, when the keys (left, down, left, down) are continuously touched within a preset time, The remote control will only send the person recognition mode command to the controller when it is controlled. Using the above binding method can prevent the person recognition mode command from being issued due to the user's misoperation.
  • the embodiments of this application are only exemplary to provide several binding relationships between the character recognition mode instructions and the keys. In the actual application process, the binding relationship between the character recognition mode instructions and the keys can be set according to the user's habits. , without making too many limitations here.
  • a sound collector of the display device can be used to send a person recognition mode instruction to the display device through voice input to control the display device to enter the person recognition mode.
  • the display device can be equipped with an intelligent voice system, and the intelligent voice system can recognize the user's voice to extract the input instruction content.
  • a preset wake-up word can be entered through the microphone to activate the intelligent voice system so that the controller can respond to the input commands.
  • a person recognition mode instruction can also be sent to the display device through a preset gesture.
  • the display device can detect the user's behavior through an image collector, such as a camera.
  • an image collector such as a camera.
  • a preset gesture it can be considered that a person recognition mode instruction is sent to the display device.
  • it can be set such that when the V-shaped character is detected, it is determined that a person recognition mode instruction is input to the display device.
  • People recognition mode instructions can also be sent to the display device through preset actions. For example, it can be set to: when it is detected that the user's left foot and right hand are raised at the same time, it is determined that a person recognition mode instruction is input to the display device.
  • a person recognition mode instruction can also be sent to the display device.
  • a control can be set in the mobile phone, and the control can be used to select whether to enter the person recognition mode, thereby sending the person recognition mode command to the controller. At this time, the controller can control the display device to enter the person recognition mode.
  • continuous click instructions can be issued to the mobile phone.
  • Continuous click instructions refer to: within a preset period, the number of clicks on the same area of the mobile phone touch screen exceeds the preset threshold. For example: when a certain area of the mobile phone touch screen is clicked three times in succession within 1 second, it is regarded as a continuous click instruction.
  • the mobile phone can send a person recognition mode instruction to the display device, so that the controller controls the display device to enter the person recognition mode.
  • a mobile phone when using a mobile phone to control the display device, it can also be set to: when it is detected that the touch pressure value on a certain area of the mobile phone's touch screen exceeds a preset pressure threshold, the mobile phone can send a character recognition to the display device. Mode command.
  • the person recognition mode option can also be set in the UI interface of the display device. When this option is clicked, the display device can be controlled to enter or exit the person recognition mode.
  • the controller in order to prevent the user from accidentally triggering the character recognition mode, when the controller receives the character recognition mode instruction, it can control the display to display the character recognition mode confirmation information, thereby allowing a second confirmation to confirm whether to control the display.
  • the device enters person recognition mode.
  • FIG. 7 is a schematic diagram of a display showing person recognition mode confirmation information in some embodiments.
  • the display device When the display device enters the character recognition mode, it can automatically recognize the characters included in the user interface, thereby displaying relevant information of these characters.
  • the display device can recognize all the characters included in the user interface after entering the character recognition mode, and can also identify the characters according to the user's preferences. Based on the degree of attention, the identified characters are recommended to users so that users can easily view the character information of the characters they follow.
  • the controller when receiving an input person recognition mode instruction, may determine that an instruction instructing to recognize a person in the user interface is input. At this time, the display device can recognize all characters included in the user interface.
  • the display device can perform person recognition through the server.
  • Figure 8 is a flow chart of interaction between a display device and a server in some embodiments.
  • the display device in order for the server to recognize the characters included in the user interface, the display device needs to send the image corresponding to the user interface to the server.
  • step S801 the display can display a user interface.
  • step S803 the controller may obtain a user interface image corresponding to the current user interface by, for example, taking a screenshot of the current user interface.
  • step S805 the controller may send the user interface image to the server, so that the server performs character recognition on the user interface image.
  • the controller may also obtain the user interface display parameters.
  • User interface display parameters refer to some display parameters of the current user interface, which are displayed after the user performs several operations on the user interface. Therefore, they can represent some of the user's preferences for the current user interface, including the preferences included in the user interface. the character's level of attention.
  • the user interface display parameters may include display parameters of the image control.
  • the controller can first obtain the image control information in the user interface.
  • its display parameters may include image control position information and image control exposure time.
  • the image control position information is used to represent the position of the image control relative to the user interface.
  • the image control exposure time refers to the time that the image control has been displayed in the user interface.
  • the controller may first obtain the interface information of the user interface, which may be XML (Extensible Markup Language) information of the current user interface. Further, the image control position information can be obtained according to the interface information of the user interface.
  • XML Extensible Markup Language
  • the XML information can include information related to each area and each control in the user interface.
  • the XML information may include the position information of the image control;
  • the XML information may include the text content and position information corresponding to the text control.
  • the image control position information may be the coordinate information of the four vertices of the image control.
  • the image control L it includes four vertices: the upper left corner vertex A, the lower left corner vertex B, the upper right corner vertex C, and the lower right corner vertex D.
  • a coordinate system is established with the upper left corner vertex of the display as the origin, the horizontal rightward direction as the positive x-axis direction, and the vertical downward direction as the positive y-axis direction.
  • the position information of the image control L is: A coordinate (x1, y1), B coordinate (x4, y4), coordinate C (x2, y2) and coordinate D (x3, y3).
  • the image control position information can also be expressed in the form of (x, y, W, h).
  • (x, y) represents the coordinates of a vertex or center point of the image control
  • W represents the length of the image control
  • h represents the height of the image control.
  • the image control exposure time of the image control is the time the image control has been displayed, which is the time it lasts after the display device is turned on. If the image control is displayed on the monitor from time t1, and the time when the controller takes a screenshot of the user interface is t2, then the image control exposure time of the image control is t2-t1.
  • some image controls may be displayed in a carousel, that is, multiple image controls can be displayed at the same position, and each image control is displayed for a certain period of time. For example, at a location, there are three image controls in the carousel state. During time t, only image control 1 is displayed. During time t-2t, only image control 2 is displayed. During time 2t-3t, only image control is displayed. Control 3. After all three image controls are displayed, the carousel starts again from image control 1, that is, at time 3t-4t, only image control 1 is displayed.
  • the image control exposure time of this image control can be set to: determine the time that the image control has been continuously displayed in this carousel, that is, from the image control The calculation starts from the time of this appearance to the time of screenshot.
  • It can also be set to the total display time of the image control from the moment the display device is turned on to the moment the screenshot is taken.
  • the specific setting method can be set by relevant technical personnel.
  • the controller cannot directly determine whether the image corresponding to a certain image control contains a human face. Therefore, in order to avoid missing some characters when performing character recognition on the user interface, the controller can obtain the display parameters of all image controls in the user interface. That is, the image control information obtained by the controller includes image control position information and image control exposure time of all image controls in the user interface.
  • the user interface display parameters may also include focus information of the user interface.
  • the focus information refers to the position information of the focus controlled by the user in the user interface.
  • the focus information can roughly show a direction of the user's attention.
  • the focus of user control may be an image control or a text control.
  • the position information of the focus is set to the position information of the center point of the control at the intersection point, which is represented by (x center , y center ).
  • Figure 9 is a schematic diagram of display parameters of a user interface in some embodiments.
  • the image control position information of the image control 601 is: A1 coordinate (x11, y11), B1 coordinate (x21, y21), coordinate C1 (x31, y31) and coordinate D1 (x41, y41).
  • the image control position information of the image control 602 is: A2 coordinate (x12, y12), B2 coordinate (x22, y22), coordinate C2 (x32, y32) and coordinate D2 (x42, y42).
  • the position information of the focus is C(x center , y center ).
  • the controller may package the information and the user interface image and send them to the server together. To enable the server to perform character recognition on user interface images.
  • the display device can send all display parameters to the server, or some display parameters.
  • the specific data to be sent can be determined by the data required by the server to determine the character priority.
  • the server can perform character recognition on the user interface image, thereby identifying the characters contained in the user interface image. All characters. Then further determine the character information and character priority of each character.
  • the server can first extract the face image contained in the user interface image.
  • the server can first perform face detection on the user interface image to identify the face area in the user interface image and obtain several face images contained in the user interface image. At the same time, the location information of each face image can also be obtained. Among them, each face image corresponds to a person.
  • the face image is generally a rectangular area, and its position information may be composed of the coordinates of its four vertices, or the coordinate information of the center point of the face image. The details can be set by technicians themselves.
  • the facial feature information in the user interface image can be extracted based on image content recognition technology.
  • the facial feature information includes forehead, eyebrows, eyes, nose, mouth, chin, etc. Extraction of facial features.
  • this application can also mark the location information of each facial feature. By identifying facial feature information, a facial image can be obtained. That is, each face image corresponds to a set of facial feature information.
  • Figure 10 is a schematic diagram of a face image recognized by the server in some embodiments. As shown in Figure 10, a total of 5 face images were recognized, including P1, P2, P3, P4, and P5.
  • the server can further identify the face images to determine the specific person corresponding to each face image.
  • a character database may be preset in the server.
  • the person database may include a face feature set, and the face feature set stores a certain amount of pre-stored face feature information.
  • some pre-existing facial feature information refers to the pre-stored facial feature information of several celebrities.
  • celebrities generally refer to people with high abilities and high admiration in all walks of life, such as actors, singers, artists, etc.
  • Celebrities can They are well known to most people and are easy to appear in various media programs on display devices. Users generally want to identify some relevant information about these celebrities to view.
  • the server can compare the recognized face image, that is, the recognized facial features, with multiple pre-stored facial feature information in the facial feature set one by one, so as to match the person corresponding to each facial feature, that is, determine Find the person corresponding to each face image.
  • each pre-stored facial feature information will be matched with the ID of the corresponding person.
  • the corresponding pre-stored facial feature information can be used.
  • the ID determines the person corresponding to the face image. For example, when the facial feature data is obtained from the user interface image, and the facial feature data is consistent with the pre-stored facial feature information extracted from Zhang San in the facial feature set, it can be determined that the person in the screenshot image is Zhang San.
  • the server can generate a facial feature query model based on the facial feature set. Through this model, the facial image can be queried to obtain the person corresponding to the facial image, such as the person ID. Specifically, after recognizing the face image, the server can input the face image into the face feature query model, thereby obtaining the ID of the person corresponding to the face image. For the server, the character ID corresponding to the character image can be determined based on the face image, thereby further determining which celebrity the character recognition image corresponds to. By pairing all face images in the user interface image.
  • the server can determine all the characters included in the user interface image.
  • step S809 after determining all characters included in the user interface image, the server may further obtain the character information of each character.
  • the server can obtain the character information of each character based on the preset character database.
  • the character database may include a character information set.
  • the character information set stores a certain amount of stored character information. Among them, some pre-existing character information refers to pre-stored character information of several celebrities.
  • the character information of each character can be matched with the ID of the character recognition. After determining the character IDs corresponding to all face images in the user interface image, the character information corresponding to the character ID can be directly searched in the character information collection.
  • the server can generate a character information query model based on the character information set, through which character information can be queried. For example, by inputting a character ID into the character information query model, the character information corresponding to the character ID can be obtained.
  • the character information may include the character's name and character profile.
  • the character name is Zhang San
  • the profile information is as follows: Born in ⁇ on ⁇ year ⁇ month ⁇ , he is a male pop singer, film and television actor, and music producer in venue China. He graduated from ⁇ ⁇ . In ⁇ , he made his official debut by participating in the talent show X. In ⁇ , he released his first album, and later gained widespread attention with the song G and so on. At the same time, obtain relevant media resources for Zhang San’s performances, such as Media Asset A, Media Asset B, etc.
  • the character information can also include Zhang San’s news and gossip, etc.
  • the server may further determine the user's degree of attention to each character included in the user interface image. , so as to better recommend and display character information to users.
  • the server may also determine the character priority of each character in the user interface image.
  • the character priority is used to represent the user's degree of attention to the character.
  • the user's attention program for the person can be determined from the position information and exposure time information of the face image corresponding to the person's face.
  • its position information is the position of the face image relative to the user interface
  • its exposure time information refers to the time the face image has been displayed in the user interface, that is, the character exposure time.
  • the priority of the characters is analyzed based on the exposure time information. From the user's perspective, if there is a face image in the user interface and the user has not identified the person corresponding to the face image for a long time, that is, the user has not performed any operations on the face image for a long time, that is, the person
  • the exposure time information of the face image it can mean that the user pays less attention to the person corresponding to the face image, that is, the user is less interested in recognition. Therefore, it can be considered that the person corresponding to the face image will have a lower priority.
  • the character priority is the user's degree of attention to the character. The greater the character priority, the greater the user's degree of attention and the higher the identified interest.
  • position priority is used to characterize the distance between the focus and each character in the user interface.
  • the greater the position priority the greater the user's attention, and the closer the distance between the focus and the character.
  • Time priority is used to represent the time that a character has appeared in the user interface. The greater the time priority, the greater the user's attention. At this time, the shorter the time the task has appeared in the user interface.
  • the server may determine a character priority for each character included in the user interface.
  • character priority can be determined by location priority, time priority, or a combination of both.
  • the server can obtain the location priority of each person based on the location information of the face image.
  • the server can determine the distance between the face image and the focus position. The larger the distance, the lower the location priority; the smaller the distance, the higher the location priority.
  • the data packet sent by the display device to the server includes user interface images, focus information, and image control information.
  • the server can determine the distance between the face image and the focus position based on the focus information and the position information of the face image.
  • the location information of the face image can be obtained in advance when the server performs recognition processing on the user interface image.
  • the distance between the face image and the focus position is set as: the distance from the center point of the face image to the focus.
  • the server can first determine the location information of the face image. If the position information of the face image is the coordinates of the four vertices of the face image, the server can first determine the position information of the center point of the face image based on the position information of the face image. If the position information of the face image is the position information of the center point of the face image, then no redundant operation is needed, and the distance from the center point of the face image to the focus can be directly calculated.
  • the focus information is the coordinate information of the center point of the focus-selected control, that is, (x center , y center ), and the position information of the center point of the face image is set to (x name , y name ).
  • Figure 11 is a schematic diagram of the distance between the face image and the focus position. Among them, the distance between the face image A1 and the focus position C is d name .
  • the priority of obtaining the position of each person can be further determined.
  • the location priority can be the reciprocal of the distance, calculated as:
  • DistanceScore name represents the character's position priority.
  • the character priority can be determined directly based on the position priority. The greater the position priority, the greater the character priority. Sort all characters according to their position priorities from large to small, and determine the character priorities in sequence.
  • the server may obtain the character exposure time of the character corresponding to each face image, and obtain the temporal priority of each character according to the character exposure time.
  • the exposure time of the person corresponding to the face image is the exposure time of the image control of the image control to which the face image belongs.
  • the server When the server obtains the exposure time of a character, it needs to first determine the image control to which the character belongs, that is, the image control to which the face image corresponding to the character belongs, and can use the image control exposure time of the image control as the character exposure time of the character.
  • the server can determine the image control to which each face image belongs based on the image control information sent by the display device.
  • the image control information includes image control position information and image control exposure time of all image controls in the user interface.
  • the server can compare the position information of the face image with the position information of all image controls one by one, thereby determining the image control to which the face image belongs, that is, the image control corresponding to each person.
  • Figure 12 is a schematic diagram of image controls and face images in some embodiments.
  • the user interface image includes three image controls, two image controls include face images, and the position information is: image control 601: A1, B1, C1, D1; and image control 603: A3, B3, C3, D3.
  • image control 601 A1, B1, C1, D1
  • image control 603 A3, B3, C3, D3.
  • the server may determine the image control exposure time of the image control corresponding to each character as the character exposure time of each character in the user interface.
  • the time priority of each character can be obtained based on the character's exposure time.
  • the time priority can be the reciprocal of the character's exposure time, and the calculation formula is as follows:
  • t name represents the exposure time of a character
  • TimeScore name represents the time priority of the character
  • the character priority can be determined directly based on the time priority. The greater the time priority, the greater the character priority. Sort all characters according to their time priorities from large to small, and determine the character priorities in sequence.
  • a combination of location priority and time priority can also be used to determine character priority.
  • the time priority and position priority of the character can be determined first, and then the character priority of the character in the user interface can be further determined. Calculated as follows:
  • Score name DistanceScore name + ⁇ TimeScore name
  • Score name represents the character priority
  • ⁇ is the preset weight coefficient
  • weight coefficient ⁇ is used to adjust the weight of time priority and position priority to balance the impact of the two priorities on the character priority. This weight coefficient can be adjusted by technical personnel in the server as needed.
  • the weight coefficient ⁇ can be set to 1, that is, it is considered that time and location have the same impact on the character priority.
  • the weight coefficient ⁇ can be set to 1 for operation.
  • the user's usage can be collected and the weight coefficient can be dynamically adjusted by judging the user's preference for the two priorities to better meet the user's needs. Preference degree to more accurately recommend character information to users and increase user experience.
  • the position priority or time priority of different characters may be the same, resulting in the character priority of these characters being the same. identical. At this time, the priorities of these characters whose priorities will be the same can be calculated again.
  • these characters can be sorted again according to time priority, or these characters can be sorted again using a combination of position priority and time priority, thereby determining these characters. character priority.
  • these characters can be sorted again according to position priority, or these characters can be sorted again using a combination of position priority and time priority to determine these characters. character priority.
  • the following method can be used to recalculate the character priorities of these characters.
  • the server can determine the initial display time of the image controls corresponding to these characters.
  • the initial display time refers to the initial moment when the image control set by the operation server is displayed at its position, that is, the control update time when the image control can start to be displayed on the display device. For an image control whose initial display time is earlier, the character priority of the characters in the image control is lower; for an image control whose initial display time is later, the character priority of the characters in the image control is lower. Based on the initial display time, the character priority of these characters can be re-determined.
  • the following method can be used to recalculate the character priorities of these characters.
  • the display device may store the user's search or recognition records for these characters. In the embodiment of this application, it is set that the user searches or identifies the person, and the user has a greater preference for this task.
  • the number of times a user searches for and/or identifies the person can be recorded.
  • the server can obtain the number of records of multiple characters with the same priority from the display device. The greater the number of records, the higher the priority of the character.
  • the server can also based on the user's preference for the character's career type Degree determines character priority.
  • the user's preference for different types of media assets can be determined based on the user's use of the display device. For example, the preference from large to small is: action>comedy>song, then the user's preference for the character's occupation type The order from greatest to least is: action actor > comedian > singer.
  • the character priority can be determined according to the user's preference for the character's career type. The higher the preference, the greater the character priority.
  • these characters can be randomly arranged to determine the character priority of each character.
  • the server may send the character information and character priorities of all characters to the display device, so that the display device recommends displays to the user. Character information.
  • the server can collect statistics on each character's face image, character information and character priority, so as to obtain character recognition data corresponding to each character. After counting the person identification data of all characters, the person identification data can be packaged and sent to the display device.
  • the server may also not send the face image of each person, but send the location information of the face image to the display device.
  • the face image can be obtained by itself using the location information of the face image.
  • step S813 after receiving the character identification data of all characters, the controller of the display device may control the display to display the character information of all characters.
  • the character information may be displayed in order based on character priorities. .
  • Figure 13 is a flow chart for displaying character information on a display in some embodiments.
  • the server may send the person recognition data to the display device.
  • the controller of the display device can collect statistics on the character recognition data of all characters.
  • a person's person identification data it includes face image, person information and person priority, and person information includes person name and person introduction.
  • the controller may first generate a person recognition interface based on the person recognition data.
  • the person recognition interface may include person recognition controls for all recognized persons. For a person recognition control, the name of each person and the face image corresponding to each person can be displayed.
  • all the person recognition controls can be arranged according to the person's priority. For example, according to the order of the person's priority from large to small, from top to bottom in the person recognition interface, each person can also be arranged in order.
  • the personal identification interface is numbered.
  • step S1305 the controller may control the display to display the person recognition interface.
  • step S1307 the controller detects that the target character's device control is selected, and may control the display to display the target character's profile in step S1309.
  • Figure 14 is a schematic diagram of a person recognition interface in some embodiments.
  • the user interface included 5 characters: P1 Zhang San, P2 Li Si, P3 Wang Wu, P4 Zhang Liu, and P5 Zhao seven.
  • Set the character priority as: Zhang San>Li Si>Wang Wu>Zhang Liu>Zhao Qi. Therefore, the names and faces of the five characters can be displayed in the character recognition interface from top to bottom in order of priority of the characters.
  • the person recognition control may display only the name of each person, may only display the face image of each person, or may display the name and face image of the person at the same time.
  • the specific display method is not limited in the embodiments of this application.
  • the controller may control the display to display the person recognition interface.
  • FIG. 15 is a schematic diagram of a display displaying a character profile in some embodiments. As shown in Figure 15, when the user selects Zhang San, Zhang San's profile can be displayed on the display.
  • the character profile may be sent directly to the display device by the server.
  • the server sends character information to the display device, the character information may include a profile of each character.
  • the server may also not send the character profile first.
  • the display device may send a request to the server to obtain the profile of the target person corresponding to the target person recognition control. Further, the server can obtain the target person's profile and send it to the display device.
  • the display device may display a profile of the target person.
  • Figure 16 is a flow chart of a person recommendation method in some embodiments. As shown in Figure 16, the method may include:
  • step S1601 in response to an input instruction instructing to identify a character in the user interface, the display device obtains a user interface image by taking a screenshot of the user interface.
  • step S1603 the display device may send the user interface image to the server.
  • step S1605 the server may determine all characters included in the user interface image.
  • the server may obtain the character information of each character and determine the character priority of each character.
  • step S1609 the server sends the character information and character priorities of all characters to the display device.
  • step S1611 based on the character priority, the display device displays the character information of all characters.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种显示设备和服务器。当用户输入了指示识别用户界面中的人物的指令，显示设备可以对用户界面进行截图处理，得到用户界面图像，并可以将用户界面图像发送至服务器。服务器可以确定出用户界面图像中包含的所有人物，实现对用户界面中的所有人物的识别。服务器再获取每个人物的人物信息，并确定每个人物的人物优先级，通过人物优先级可以确定出用户对人物的关注程度。服务器将所有人物的人物信息以及人物优先级发送至显示设备，显示设备可以根据人物优先级，向用户推荐人物的人物信息。因此，显示设备可以根据用户对人物的关注程度，向用户准确地推荐用户想要识别的人物及人物信息，提高了用户的体验性。

Description

显示设备和服务器
相关申请的交叉引用
本申请要求于2022年3月9日提交的申请号为202210226614.6的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及显示设备技术领域，尤其涉及一种显示设备和服务器。
背景技术
显示设备可以为用户提供诸如音频、视频、图片等播放画面。如今，显示设备不仅可以为用户提供通过数据广播接收的直播电视节目内容，而且可以为用户提供诸如网络视频节目、网络游戏等各种应用和服务内容。
显示设备是指能够输出具体显示画面的终端设备，如智能电视、移动终端、智能广告屏、投影仪等。随着显示设备的快速发展，显示设备的功能将越来越丰富，性能也越来越强大，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体，用于满足用户多样化和个性化需求。
随着用户对显示设备所能提供功能或服务的要求也越来越高，图像识别也逐渐成为用户经常使用的一个功能，可以对显示器中显示的画面内容进行识别，例如对画面中出现的人物进行识别，从而将人物的人物信息提供给用户。用户可以将显示器中的焦点移动至想要识别的人物面孔处，确定焦点无误后，显示设备可以将该人物面孔对应的图像发送至服务器。服务器对人物面孔进行识别后，可以该人物面孔对应的人物信息，例如人物姓名、人物简介、参演影视作品等内容，反馈给显示设备。显示设备可以显示出人物信息。
然而，在对人物识别时，如果显示器中的焦点处并不是用户想要关注的目标人物，则需要用户手动控制焦点移动至选中用户想要关注的目标人物，可能会使用户进行多次移动查找。显示设备无法根据用户对人物的关注程度，向用户准确地推荐相关的人物信息，给用户的体验性较差。
发明内容
本发明的实施例提供了一种显示设备和服务器。
本申请的实施例提供一种显示设备，包括显示器和控制器。显示器可以被配置为显示用户界面。控制器可以被配置为执行以下步骤：响应于输入的指示识别所述用户界面中的人物的指令，对所述用户界面进行截图处理，以得到用户界面图像；将所述用户界面图像发送至服务器；接收所述服务器反馈的所述用户界面图像中包含的所有人物的人物信息和人物优先级，所述人物优先级用于表征用户对人物的关注程度；以及基于所述人物优先级，控制所述 显示器显示所有人物的所述人物信息。
本申请的实施例提供一种服务器，被配置为执行以下步骤：接收显示设备发送的用户界面图像，所述用户界面图像为所述显示设备显示的用户界面对应的截图图像；确定所述用户界面图像中包含的所有人物；获取每个人物的人物信息，并确定每个人物的人物优先级，所述人物优先级用于表征用户对人物的关注程度；以及将所有人物的所述人物信息以及所述人物优先级发送至所述显示设备，以使所述显示设备根据所述人物优先级显示所有人物的所述人物信息。
本申请的实施例提供一种用于在显示设备中推荐人物的方法，包括：响应于输入的指示识别显示设备的用户界面中的人物的指令，对所述用户界面进行截图处理，以得到用户界面图像；将所述用户界面图像发送至服务器；接收所述服务器反馈的所述用户界面图像中包含的所有人物的人物信息和人物优先级，所述人物优先级用于表征用户对人物的关注程度；以及基于所述人物优先级，控制所述显示设备显示所有人物的所述人物信息。
本申请的实施例提供一种用于在显示设备中推荐人物的方法，包括：接收显示设备发送的用户界面图像，所述用户界面图像为所述显示设备显示的用户界面对应的截图图像；确定所述用户界面图像中包含的所有人物；获取每个人物的人物信息，并确定每个人物的人物优先级，所述人物优先级用于表征用户对人物的关注程度；以及将所有人物的所述人物信息以及所述人物优先级发送至所述显示设备，以使所述显示设备根据所述人物优先级显示所有人物的所述人物信息。
附图说明
图1为根据一些实施例的显示设备的使用场景；
图2为根据一些实施例的控制装置100的硬件配置框图；
图3为根据一些实施例的显示设备200的硬件配置框图；
图4为根据一些实施例的显示设备200中软件配置图；
图5为一些实施例中用户界面的示意图；
图6为一些实施例中用户界面的示意图；
图7为一些实施例中显示器中显示人物识别模式确认信息的示意图；
图8为一些实施例中显示设备和服务器的交互流程图；
图9为一些实施例中用户界面的显示参数的示意图；
图10为一些实施例中服务器识别出的人脸图像的示意图；
图11为人脸图像和焦点位置的距离的示意图；
图12为一些实施例中图像控件和人脸图像的示意图；
图13为一些实施例中显示器显示人物信息的流程图；
图14为一些实施例中的人物识别界面的示意图；
图15为一些实施例中显示器显示人物简介的示意图；
图16为一些实施例中人物推荐方法的流程图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
在智能控制设备为显示设备时，基于显示设备的结构进行介绍。
图1为根据一些实施例的智能控制设备的使用场景。如图1所示，智能控制设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作智能控制设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和智能控制设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制智能控制设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制智能控制设备200。
在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。
在一些实施例中，也可以使用智能设备300以控制智能控制设备200。例如，使用在智能设备上运行的应用程序控制智能控制设备200。在一些实施例中，也可以使用智能设备300和智能控制设备进行数据的通信。
在一些实施例中，智能控制设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过智能控制设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过智能控制设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
在一些实施例中，智能控制设备200还与服务器400进行数据通信。可允许智能控制设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向智能控制设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的智能控制设备上执行，反之亦然。
图2为根据一些实施例的控制装置100的硬件配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为智能控制设备200可识别和响应的指令，起用用户与智能控制设备200之间交互中介作用。
在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。
图3为根据一些实施例的智能控制设备200的硬件配置框图。参见图3，在一些实施例中，智能控制设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。在一些实施例中，控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制智能控制设备的工作和响应用户的操作。控制器250控制智能控制设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random Access Memory，RAM)，ROM(Read-Only Memory，ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
图4为根据一些实施例的智能控制设备200中软件配置图。参见图4，在一些实施例中， 将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
框架层为应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。
随着用户对显示设备所能提供功能或服务的要求也越来越高，图像识别也逐渐成为用户经常使用的一个功能，可以对显示器中显示的画面内容进行识别，例如对画面中出现的人物进行识别，从而将人物的人物信息提供给用户。
然而，在对人物识别时，如果显示器中的焦点处并不是用户想要关注的目标人物，则需要用户手动控制焦点移动至选中用户想要关注的目标人物，可能会使用户进行多次移动查找。显示设备无法根据用户对人物的关注程度，向用户准确地推荐相关的人物信息，给用户的体验性较差。
本申请提供一种显示设备，包括显示器和控制器。显示器用于显示用户界面。用户界面可以是显示设备开机后显示的主界面，可以是媒资推荐页，也可以是显示设备的一些UI界面等。
在一些实施例中，当用户控制显示设备开机后，控制器可以控制显示器显示用户界面。图5为一些实施例中用户界面的示意图。用户界面包括第一导航栏500、第二导航栏510、功能栏520和内容显示区530，功能栏520包括多个功能控件如“观看记录”、“我的收藏”和“我的应用”等。其中，内容显示区530中显示的内容会随第一导航栏500和第二导航栏510中被选中控件的变化而变化。在应用面板页面时，用户可以通过点击“我的应用”控件，以输入针对应用面板页面的显示指令，来触发进入对应的应用面板。需要说明的是，用户也可以通过其他方式来输入对功能控件的选中操作，以触发进入应用面板。例如，利用语音控制功能或者搜索功能等，控制进入到应用面板页面。
在一些实施例中，用户界面中可以包括多个功能控件。其中，一些功能控件可以是文字控件，如图5中的第一导航栏500中的“推荐”和“频道”、第二导航栏510中的“精选”等功能控件，文字控件对应的内容为文字内容，这些文字内容用于表征该功能控件的功能。
一些功能控件可以是图像控件，图像控件中的内容可以是一副图像，图像中可以包括文字，可以包括人脸面孔，也可以不包括文字和人脸面孔。图6为一些实施例中用户界面的示意图。其中，包括两个图像控件。图像控件601中的图像不包括文字内容，但包括多个人脸 面孔。图像控件602中的图像既不包括文字内容，也不包括人脸面孔。
在一些实施例中，显示设备具有人物识别功能。对于如图6中的图像控件601，可以根据其中包含的人脸面孔识别出相应的人物，并展示这些人物的人物识别信息。
具体的，显示设备可以设置有人物识别模式。在人物识别模式下，显示设备可以自动对用户界面中包含的人脸面孔进行识别，从而获取到用户界面中包含的人物。
在一些实施例中，用户可以通过操作遥控器的指定按键，向显示设备发送人物识别模式指令。在实际应用的过程中预先绑定人物识别模式指令与遥控器按键之间的对应关系。例如，在遥控器上设置一个人物识别模式按键，当该按键被触控时，遥控器发送人物识别模式指令至控制器，此时控制器控制显示设备进入人物识别模式。当该按键被再次触控时，控制器可以控制显示设备退出人物识别模式。
在一些实施例中，也可以预先绑定人物识别模式指令与多个遥控器按键之间的对应关系，当用户触控与人物识别模式指令绑定的多个按键时，遥控器发出人物识别模式指令。在一可行性实施例中，人物识别模式指令绑定的按键依次为方向键(左、下、左、下)，即当在预设时间内按键(左、下、左、下)被连续触控的情况下，遥控器才发送人物识别模式指令至控制器。采用上述绑定方法，可以避免人物识别模式指令由于用户的误操作而发出。本申请实施例仅是示例性的提供几种人物识别模式指令与按键之间的绑定关系，在实际应用的过程中可以根据用户的习惯设定人物识别模式指令与按键之间的绑定关系，在此不做过多的限定。
在一些实施例中，可以使用显示设备的声音采集器，例如麦克风，通过语音输入的方式，向显示设备发送人物识别模式指令，以控制显示设备进入人物识别模式。显示设备中可以设置有智能语音系统，智能语音系统可以对用户的语音进行识别，以提取输入的指令内容。可以通过麦克风输入预设的唤醒词，从而启动智能语音系统，从而控制器可以对输入的指令做出响应。并在一定时间内输入人物识别模式指令，使得显示设备进入人物识别模式。例如，可以输入“某某同学”，以启动智能语音系统。再输入“进入人物识别模式”，实现向显示设备发送人物识别模式指令。
在一些实施例中，还可以通过预设的手势向显示设备发送人物识别模式指令。显示设备可以通过图像采集器，例如摄像头，检测用户的行为。当存在预设的手势时，可以认为向显示设备发送了人物识别模式指令。例如，可以设置为：当检测到划出V字时，判定为向显示设备输入了人物识别模式指令。还可以通过预设的动作向显示设备发送人物识别模式指令。例如，可以设置为：当检测到用户的左脚和右手同时抬起时，判定为向显示设备输入了人物识别模式指令。
在一些实施例中，当使用智能设备控制显示设备时，例如使用手机时，也可以向显示设备发送人物识别模式指令。在实际应用的过程中可以在手机中设置一个控件，可以通过该控件选择是否进入人物识别模式，从而发送人物识别模式指令至控制器，此时控制器可以控制显示设备进入人物识别模式。
在一些实施例中，当使用手机控制显示设备时，可以对手机发出连续点击指令。连续点击指令指的是：在预设的周期内，对手机触摸屏的同一区域进行点击的次数超过预设阈值。例如：当在1s内对手机触摸屏的某个区域连续点击3次，则视为一次连续点击指令。手机接收到连续点击指令后，可以向显示设备发送人物识别模式指令，以使控制器控制显示设备进入人物识别模式。
在一些实施例中，当使用手机控制显示设备时，也可以设置为：当检测到对手机触摸屏的某一区域的触控压力值超过预设的压力阈值时，手机可以向显示设备发送人物识别模式指令。
还可以在显示设备的UI界面中设置人物识别模式选项，当点击该选项时，可以控制显示设备进入或退出人物识别模式。
在一些实施例中，为防止用户误触发人物识别模式，当控制器接收到人物识别模式指令时，可以控制显示器显示人物识别模式确认信息，从而使得可以进行二次确认，以确认是否要控制显示设备进入人物识别模式。图7为一些实施例中显示器中显示人物识别模式确认信息的示意图。
当显示设备进入人物识别模式时，可以自动对用户界面中包含的人物进行识别，从而展示这些人物的相关信息。
在一些实施例中，考虑到用户可能对当前用户界面中的人物的关注程度有所差异，因此显示设备在进入人物识别模式后，可以对用户界面中包含的所有人物进行识别，同时可以根据用户的关注程度，向用户推荐展示识别出的人物，以便用户能够便捷的查看其关注人物的人物信息。
在一些实施例中，当接收到输入的人物识别模式指令时，控制器可以确定为输入了指示识别用户界面中的人物的指令。此时，显示设备可以对用户界面在包含的所有人物进行识别。
具体的，显示设备可以通过服务器进行人物识别。
图8为一些实施例中显示设备和服务器的交互流程图。
在一些实施例中，为了使服务器能够识别出用户界面中包含的人物，显示设备需要将用户界面对应的图像发送至服务器。
具体的，如图8所示，在步骤S801，显示器可以显示用户界面。接下来，在步骤S803，控制器可以通过例如对当前的用户界面进行截图操作来获取当前的用户界面对应的用户界面图像。
进一步的，在步骤S805，控制器可以将该用户界面图像发送至服务器，以使服务器对该用户界面图像进行人物识别。
在一些实施例中，为了能够根据用户对用户界面中的人物的关注程度，向用户推荐展示识别出的人物，控制器还可以获取用户界面显示参数。用户界面显示参数指的是当前用户界面的一些显示参数，是用户对用户界面的若干操作后所体现出的显示参数，因此可以表征用 户对当前用户界面的一些偏好程度，包括对用户界面中包含的人物的关注程度。
具体的，用户界面显示参数可以包括图像控件的显示参数。控制器可以先获取用户界面中的图像控件信息。对于一个图像控件来说，其显示参数可以包括图像控件位置信息和图像控件曝光时间。其中，图像控件位置信息用于表示图像控件相对于用户界面的位置。图像控件曝光时间指的是图像控件在用户界面中已经显示的时间。
在获取图像控件位置信息时，控制器可以先获取用户界面的界面信息，可以是获取当前用户界面的XML(可扩展标记语言)信息。进一步的，可以根据用户界面的界面信息获取图像控件位置信息。
其中，XML信息中可以包括用户界面中每个区域以及每个控件的相关信息。例如，对于图像控件，XML信息中可以包括该图像控件的位置信息；对于文字控件，XML信息中可以包括该文字控件对应的文字内容和位置信息。
图像控件位置信息可以是图像控件的四个顶点的坐标信息。例如，对于图像控件L来说，其包括四个顶点：左上角顶点A、左下角顶点B、右上角顶点C以及右下角顶点D。在本申请实施例中，以显示器的左上角顶点为原点，水平向右方向为x轴正方向，竖直向下方向为y轴正方向，建立坐标系。图像控件L的位置信息为：A坐标(x1，y1)、B坐标(x4，y4)、坐标C(x2，y2)以及坐标D(x3，y3)。
对于呈矩形的图像控件来说，其图像控件位置信息也可以是以(x，y，W，h)的形式进行表示。其中，(x，y)表示图像控件的某个顶点或者中心点的坐标，W表示图像控件的长度，h表示图像控件的高度。
在获取图像控件曝光时间时，可以直接统计图像控件在显示器中已经持续显示的时间。例如，一个图像控件自显示设备开机后即一直显示在显示器中，则该图像控件的图像控件曝光时间为该图像控件已经显示的时间，即为显示设备开机后持续的时间。如果图像控件自t1时刻起显示在显示器中，控制器对用户界面进行截图的时刻为t2，则该图像控件的图像控件曝光时间为t2-t1。
在显示设备中，有些图像控件可能时轮播的显示方式，即在同一个位置处可以显示出多个图像控件，每个图像控件显示一定的时间。例如，在一个位置处，有三个图像控件处于轮播状态，当时间t内，只显示图像控件1，当时间t-2t内，只显示图像控件2，当时间2t-3t内，只显示图像控件3。当3个图像控件均显示完毕后，从图像控件1重新开始轮播，即在时间3t-4t，只显示图像控件1。
控制器对用户界面进行截图时如果包含这种轮播的图像控件，这种图像控件的图像控件曝光时间可以设置为：确定该图像控件本次轮播中已经持续显示的时间，即从图像控件本次出现的时刻开始计算到截图的时刻为止。
也可以设置为该图像控件从显示设备开机的时刻到截图的时刻之间，该图像控件总共显示的时间。具体的设置方式可以由相关技术人员自行设定。
需要说明的是，控制器无法直接确定出某个图像控件对应的图像中是否包含人脸面孔。因此，在对用户界面进行人物识别时，为了避免遗漏一些人物，控制器可以获取用户界面中所有图像控件的显示参数。即控制器获取的图像控件信息包括用户界面中所有图像控件的图像控件位置信息和图像控件曝光时间。
在一些实施例中，用户界面显示参数还可以包括用户界面的焦点信息。具体的，焦点信息指的是用户界面中用户控制的焦点的位置信息。
在操控显示设备时，可以不断移动焦点以选中想要查看的控件。因此，焦点信息可以大致表现出用户的一个关注方向。
考虑到用户控制的焦点处可能是图像控件或者文字控件。在本申请实施例中，设定焦点的位置信息为交点处的控件的中心点的位置信息，用(x center，y center)表示。
图9为一些实施例中用户界面的显示参数的示意图。如图9所示，图像控件601的图像控件位置信息为：A1坐标(x11，y11)、B1坐标(x21，y21)、坐标C1(x31，y31)以及坐标D1(x41，y41)。图像控件602的图像控件位置信息为：A2坐标(x12，y12)、B2坐标(x22，y22)、坐标C2(x32，y32)以及坐标D2(x42，y42)。焦点的位置信息为C(x center，y center)。
在一些实施例中，控制器在获取到用户界面中的一些显示参数后，即获取到焦点信息和图像控件信息后，可以将这些信息和用户界面图像进行打包处理，并一起发送至服务器。以使服务器对用户界面图像进行人物识别。
显示设备可以将所有的显示参数都发给服务器，也可以发送部分显示参数，具体发哦是哪个的数据可以由服务器确定人物优先级时需要的数据为准。
在一些实施例中，在接收到显示设备发送的用户界面对应的截图图像，即用户界面图像后，在步骤S807，服务器可以对该用户界面图像进行人物识别，从而识别出用户界面图像中包含的所有人物。再进一步确定出每个人物的人物信息和人物优先级。
服务器可以先提取用户界面图像中包含的人脸图像。
具体的，服务器可以先对用户界面图像进行人脸检测，从而识别出用户界面图像中的人脸区域，得到用户界面图像中包含的若干个人脸图像。同时还可以得到每个人脸图像的位置信息。其中，每个人脸图像都对应一个人物。
需要说明的是，人脸图像一般为矩形区域，其位置信息可以是由其四个顶点的坐标组成，也可以人脸图像的中心点的坐标信息。具体可以由技术人员自行设定。
在对用户界面图像进行人脸检测时，可以是基于图像内容识别技术提取出用户界面图像中的人脸特征信息，其中，人脸特征信息包括额头、眉毛、眼睛、鼻子、嘴巴及下巴等人脸特征的提取。本申请在提取待人脸特征信息时，还能够标记出各个人脸特征的位置信息。通过识别出人脸特征信息，可以得到人脸图像。即每个人脸图像都会对应一套人脸特征信息。
图10为一些实施例中服务器识别出的人脸图像的示意图。如图10所示，共识别出5张人脸图像，包括P1、P2、P3、P4、P5。
在一些实施例中，在获取到用户界面图像中包含的若干个人脸图像后，服务器可以对这些人脸图像进一步进行识别，从而确定出每个人脸图像所对应的具体人物。
具体的，服务器中可以预先设置有人物数据库。人物数据库中可以包括人脸特征集合，人脸特征集合存储有若干预存人脸特征信息。其中，若干预存人脸特征信息是指预先存储的若干个名人的人脸特征信息，顾名思义，名人泛指各行各业中能力崇高而备受景仰的人物，如演员、歌手、艺术家等，名人能够被大多数人所熟知，易于出现在显示设备的各个媒资节目中，用户一般会想要识别出这些名人的一些相关信息进行查看。
服务器可以将识别出的人脸图像，即识别出的人脸特征，与人脸特征集合中多个预存人脸特征信息进行逐一比对处理，从而匹配到每个人脸特征对应的人物，即确定出每个人脸图像对应的人物。
需要说明的是，考虑到一些人物可能会出现名字相同的情况，例如有三个人都叫张三。因此可以对所有的人物都赋予一个单独的ID，即每个人物都具有其唯一ID，从而对每个人物进行区分。在人脸特征集合中，每个预存人脸特征信息会与其对应的人物的ID进行匹配，当确定出人脸图像对应某个预存人脸特征信息时，可以通过该预存人脸特征信息对应的ID确定出人脸图像对应的人物。例如，当从用户界面图像中获取到人脸特征数据后，该人脸特征数据与人脸特征集合中提取自张三的预存人脸特征信息相吻合，则可认定截屏图像中的该人物是张三。
服务器可以根据人脸特征集合生成人脸特征查询模型，通过该模型可以对人脸图像进行查询，得到人脸图像对应的人物，例如人物ID。具体的，在识别出人脸图像后，服务器可以将人脸图像输入到人脸特征查询模型中，从而获取到人脸图像对应的人物的ID。对于服务器来说，根据人脸图像即可确定出该人物图像对应的人物ID，从而进一步确定出该人物识别图像对应哪一个名人人物。通过对用户界面图像中所有的人脸图像。
服务器通过对用户界面图像中的所有人脸图像进行识别，可以确定出用户界面图像中包含的所有人物。
在一些实施例中，在步骤S809，确定出用户界面图像中包含的所有人物后，服务器可以进一步获取每个人物的人物信息。
服务器可以根据预先设定的人物数据库，获取每个人物的人物信息。具体的，人物数据库中可以包括人物信息集合。人物信息集合存储有若干预存人物信息。其中，若干预存人物信息是指预先存储的若干个名人的人物信息。
每个人物的人物信息可以和该人物识别的ID相匹配，在确定出用户界面图像中所有的人脸图像对应的人物ID后，可以在人物信息集合中直接搜索人物ID对应的人物信息。服务器可以根据人物信息集合生成人物信息查询模型，通过该模型可以对人物信息进行 查询，例如，通过向人物信息查询模型中输入某个人物ID，即可得到该人物ID对应的人物信息。
人物信息可以包括人物的人物名称和人物简介。例如，对于某个人物ID，其人物名称为张三，简介信息如下：××××年×月××日出生于××，中国内地流行乐男歌手、影视演员、音乐制作人，毕业于××。××××年，因参加选秀节目X而正式出道。××××年，发行首张专辑，随后凭借歌曲G获得广泛关注等等。同时获取张三所参演的相关媒资，如媒资A、媒资B等等。另外，人物信息还可以张三的新闻八卦等等。
通过对用户界面图像进行识别，可以得到其中包含的所有人物以及每个人物的人物信息。
在一些实施例中，为了能够根据用户对用户界面中的人物的关注程度，向用户推荐展示识别出的人物，服务器还可以进一步确定出用户对用户界面图像中所包含的每个人物的关注程度，从而更好地向用户推荐展示人物信息。
在步骤S809，服务器还可以确定出用户界面图像中的每个人物的人物优先级，人物优先级即用于表征用户对人物的关注程度。
具体的，可以从人脸对应的人脸图像的位置信息和曝光时间信息来确定用户对该人物的关注程序，即人物优先级。
对于人脸图像来说，其位置信息即为该人脸图像相对于用户界面的位置，其曝光时间信息指的是该人脸图像在用户界面中已经显示的时间，即人物曝光时间。
需要说明的是，在曝光时间信息对人物优先级进行分析。从用户的角度来说，如果在用户界面中存在一个人脸图像，用户长时间没有去识别这个人脸图像对应的人物，即用户长时间没有对这个人脸图像进行任何操作，也即该人脸图像的曝光时间信息较长时，可以说明用户对该人脸图像对应的人物的关注程度较低，即较为缺少识别的兴趣。因此，可以认为该人脸图像对应的人物的人物优先级会较低。
在位置信息对人物优先级进行分析。从用户的角度来说，当用户想要去识别某个人脸图像对应的人物时，会操控显示器中的焦点不断靠近该人脸图像。因此，可以认为当焦点越靠近某个人脸图像时，用户对该人脸图像对应的人物越感兴趣，关注程度越高，即人物优先级较高。当焦点越远离某个人脸图像时，用户对该人脸图像对应的人物的关注程度较低，即较为缺少识别的兴趣，人物优先级会较低。
因此，本申请实施例中设定：对于用户界面中包含的人物来说，曝光时间越长的人脸图像对应的人物，其人物优先级越低，用户的关注程度越小；距离操作焦点越远的人脸图像对应的人物，其人物优先级越低，用户的关注程度越小。人物优先级即为用户对人物的关注程度，人物优先级越大，则用户的关注程度越大，识别的兴趣越高。
本申请实施例中采用位置优先级表征用户界面中的焦点和每个人物的距离程度，位置优先级越大，说明用户的关注程度越大，此时焦点和该人物的距离程度越近。时间优 先级用于表征人物在用户界面中已经出现的时间程度，时间优先级越大，说明用户的关注程度越大，此时该任务在用户界面中已经出现的时间越短。
在一些实施例中，服务器可以确定用户界面中包含的每个人物的人物优先级。
具体的，人物优先级可以由位置优先级、时间优先级或者二者结合来确定。
对于位置优先级，服务器可以根据人脸图像的位置信息获取每个人物的位置优先级。
具体的，服务器可以确定出人脸图像和焦点位置的距离。若距离越大，则位置优先级越低，距离越小，则位置优先级越高。
在显示设备发送给服务器的数据包中，包括用户界面图像、焦点信息以及图像控件信息。
服务器可以根据焦点信息以及人脸图像的位置信息，确定出人脸图像和焦点位置的距离。人脸图像的位置信息在服务器对用户界面图像进行识别处理时即可预先得到。
在本申请实施例中，设定人脸图像和焦点位置的距离为：人脸图像的中心点到焦点之间的距离。
在获取该距离时，服务器可以先确定人脸图像的位置信息。如果人脸图像的位置信息为人脸图像四个顶点的坐标，则服务器可以先根据人脸图像的位置信息确定出人脸图像的中心点的位置信息。如果人脸图像的位置信息即为人脸图像的中心点的位置信息，则不需要多余操作，直接计算人脸图像的中心点到焦点之间的距离即可。其中，焦点信息为焦点所选中控件的中心点的坐标信息，即(x center，y center)，人脸图像的中心点的位置信息设定为(x name，y name)。因此，通过计算两个坐标之间的欧式距离，即可确定出人脸图像和焦点位置的距离。图11为人脸图像和焦点位置的距离的示意图。其中，人脸图像A1和焦点位置C之间的距离为d name。
具体的计算公式如下：
Figure PCTCN2022141492-appb-000001
在确定出人脸图像的中心点到焦点之间的距离后，可以进一步确定获取每个人物的位置优先级。
位置优先级可以是该距离的倒数，计算式为：
Figure PCTCN2022141492-appb-000002
其中，DistanceScore name表示人物的位置优先级。
在确定了所有人物的位置优先级，可以直接根据位置优先级确定出人物优先级。位置优先级越大，则人物优先级越大，根据所有人物的位置优先级由大到小的顺序对所有人物进行排序，并依次确定出人物优先级。
在一些实施例中，对于时间优先级，服务器可以获取与每个人脸图像对应的人物的人物曝光时间，并根据人物曝光时间获取每个人物的时间优先级。
由于人脸图像本身时存在于图像控件中的，因此与人脸图像对应的人物的人物曝光时间即为人脸图像所属的图像控件的图像控件曝光时间。
服务器在获取人物曝光时间时，需要先确定人物所属的图像控件，即人物对应的人脸图像所属的图像控件，并可以将该图像控件的图像控件曝光时间作为该人物的人物曝光时间。
服务器可以根据显示设备发送的图像控件信息确定出每个人脸图像所属的图像控件。
具体的，图像控件信息包括用户界面中所有图像控件的图像控件位置信息和图像控件曝光时间。
服务器可以将人脸图像的位置信息和所有的图像控件位置信息逐一进行比对，从而确定出人脸图像所属的图像控件，即每个人物对应的图像控件。
图12为一些实施例中图像控件和人脸图像的示意图。如图12所示，其中，用户界面图像中包括三个图像控件，两个图像控件中包含人脸图像，位置信息分别为：图像控件601：A1、B1、C1、D1；以及图像控件603：A3、B3、C3、D3。通过对人脸图像P1、P2、P3、P4、P5以及Q1和Q2，逐次和图像控件位置信息进行对比，可以确定出人脸图像P1、P2、P3、P4、P属于图像控件601，人脸图像Q1和Q2属于图像控件602。
进一步的，服务器可以将每个人物对应的图像控件的图像控件曝光时间确定为每个人物在用户界面中的人物曝光时间。同时可以根据人物曝光时间获取每个人物的时间优先级。时间优先级可以是人物曝光时间的倒数，计算式如下：
Figure PCTCN2022141492-appb-000003
其中，t name表示一个人物的人物曝光时间，TimeScore name表示人物的时间优先级。
在确定了所有人物的时间优先级，可以直接根据时间优先级确定出人物优先级。时间优先级越大，则人物优先级越大，根据所有人物的时间优先级由大到小的顺序对所有人物进行排序，并依次确定出人物优先级。
在一些实施例中，还可以利用位置优先级和时间优先级相结合，来确定人物优先级。
具体的，可以先确定出人物的时间优先级和位置优先级，再进一步确定该人物在用户界面中的人物优先级。计算公式如下：
Score name＝DistanceScore name+α×TimeScore name
其中，Score name表示人物优先级，α为预设的权重系数。
需要说明的是，权重系数α用来调节时间优先级和位置优先级的权重，以平衡两种优先级对人物优先级的影响，该权重系数可以由技术人员在服务器中按需要进行调整。
在一些实施例中，权重系数α可以设定为1，即认为时间和位置对人物优先级的影响是相同的。
在实际应用过程中，可以将权重系数α设定为1进行运营，同时可以对用户的使用情况进行统计，通过判断用户对两种优先级的偏好程度动态调整该权重系数，以更加符 合用户的偏好程度，以更加准确的向用户推荐人物信息，增加用户的体验性。
在一些实施例中，如果仅仅根据位置优先级或者时间优先级确定出人物优先级后，由于不同的人物的位置优先级或者时间优先级有可能是相同的，会导致这些人物的人物优先级也是相同的。此时，对于这些人物优先级会相同的人物可以再次计算优先级。
具体的，当多个人物的位置优先级相同时，可以根据时间优先级对这些人物再次排序，也可以用位置优先级和时间优先级相结合的方式对这些人物再次排序，从而确定出这些人物的人物优先级。
同理，对于多个人物的时间优先级相同时，可以根据位置优先级对这些人物再次排序，也可以用位置优先级和时间优先级相结合的方式对这些人物再次排序，从而确定出这些人物的人物优先级。
需要说明的是，当多个人物的人物优先级会存在相同的情况时，只需要对这些人物重新排序，重新计算这些人物的人物优先级即可，而不需要对其他的人物再次计算。
在一些实施例中，在确定出每个人物的人物优先级后，如果多个人物的人物优先级会相同时，还可以利用下述方法重新计算这些人物的人物优先级。
具体的，对于显示设备中显示的用户界面来说，其每个位置上显示出哪个具体的图像控件是由显示设备的运营服务器决定的。每个图像控件显示的总时间以及何时开始显示在该位置上都是由运营服务器设定。
对于多个人物的人物优先级的情况，服务器可以确定这些人物对应的图像控件的初始显示时间。初始显示时间指的是运营服务器设定的图像控件在其位置上显示的初始时刻，也即图像控件能在显示设备上开始显示的控件更新时刻。对于初始显示时间越靠前的图像控件，该图像控件中的人物的人物优先级越低；初始显示时间越靠后的图像控件，该图像控件中的人物的人物优先级越低。根据初始显示时间，可以重新确定出这些人物的人物优先级。
在一些实施例中，在确定出每个人物的人物优先级后，如果多个人物的人物优先级会相同时，还可以利用下述方法重新计算这些人物的人物优先级。
由于用户可能会利用显示设备搜索过一些人物或者已经检测识别过一些人物，对于这些人物，显示设备可以存储有用户的搜索或者识别记录。本申请实施例中设定，用户搜索或者识别获得人物，用户对该任务的偏好程度较大。
对于一个人物，可以记录用户搜索和/或识别该人物的记录次数。记录次数越大，则用户的关注程度越大。服务器可以从显示设备中获取人物优先级会相同的多个人物的记录次数。记录次数越大，则人物优先级越高。
如果基于记录次数确定优先级的方式中，依然有多个人物的人物优先级相同，例如多个人物的记录次数相同或者都为0的情况，服务器还可以根据用户对人物的人物职业类型的偏好程度确定人物优先级。
具体的，根据用户对显示设备的使用情况可以确定出用户对于不同类型媒资的偏好程度，例如偏好程度由大到小依次为：动作>喜剧>歌曲，则用户对人物的人物职业类型的偏好程度由大到小依次为：动作演员>喜剧演员>歌手。
根据用户对人物的人物职业类型的偏好程度可以确定出人物优先级，偏好程度越高的，人物优先级越大。
在一些实施例中，在确定出每个人物的人物优先级后，如果多个人物的人物优先级会相同时，还可以对这些人物随机排列，从而确定出每个人物的人物优先级。
在一些实施例中，在获取到用户界面中的所有人物的人物优先级后，在步骤S811，服务器可以将所有人物的人物信息以及人物优先级发送至显示设备，以使显示设备向用户推荐显示人物信息。
具体的，服务器可以对每个人物的人脸图像、人物信息和人物优先级进行统计，从而每个人物对应的人物识别数据。在统计出所有人物的人物识别数据后，可以将这些人物识别数据打包一起发送至显示设备。
服务器也可以不发送每个人物的人脸图像，而是将人脸图像的位置信息发送给显示设备。当显示设备需要用到人脸图像时，可以利用人脸图像的位置信息自行获取到该人脸图像。
在一些实施例中，在步骤S813，显示设备的控制器在接收到所有人物的人物识别数据后，可以控制显示器显示出所有人物的人物信息，例如可以基于人物优先级，按照顺序来显示人物信息。
图13为一些实施例中显示器显示人物信息的流程图。如图13所示，在步骤S1301，服务器可以将人物识别数据发送给显示设备。
具体的，显示设备的控制器可以对所有人物的人物识别数据进行统计。对于一个人物的人物识别数据来说，其包括人脸图像、人物信息和人物优先级，人物信息则包括人物名称和人物简介。
此时，在步骤S1303，控制器可以先根据人物识别数据生成一个人物识别界面。该人物识别界面中可以包括识别出的所有人物的人物识别控件。对于一个人物识别控件来说，其中可以显示出每个人物的人物名称以及每个人物对应的人脸图像。同时，在人物识别界面，所有的人物识别控件可以是按照人物优先级进行排列的，例如按照人物优先级从大到小的顺序，在人物识别界面中由上到下依次排列，还可以对每个人物识别界面进行编号。
在步骤S1305，控制器可以控制显示器显示人物识别界面。
在本申请的实施例中，在步骤S1307，控制器检测到目标人物设备控件被选择，可以在步骤S1309，控制显示器显示目标人物的人物简介。
图14为一些实施例中的人物识别界面的示意图。如图14所示，基于图10所示的用 户界面，共识别出5个人脸图像，即用户界面中包括5个人物：P1张三、P2李四、P3王五、P4张六和P5赵七。设定人物优先级为：张三>李四>王五>张六>赵七。因此，可以将5个人物的名称和人脸头像按照人物优先级的大小顺序，在人物识别界面中由上到下依次显示。
在一些实施例中，人物识别控件可以时只显示出每个人物的人物名称，可以是只显示出每个人物的人脸图像，也可以是同时显示出人物名称和人脸图像。具体的显示方式本申请实施例不做限定。
进一步的，在步骤S1305，控制器可以控制显示器显示该人物识别界面。
当检测到用户选中了某个目标人物识别控件时，例如通过遥控器选中该人物识别控件，或者对该人物识别控件进行触控操作等，控制器可以控制显示器显示出与该人物识别控件对应的人物的人物简介。图15为一些实施例中显示器显示人物简介的示意图。如图15所示，当用户选择张三后，显示器中可以显示张三的人物简介。
在一些实施例中，人物简介可以是服务器直接发送给显示设备的。具体的，服务器在向显示设备发送人物信息时，人物信息中即可包含每个人物的人物简介。
服务器也可以先不发送人物简介。显示设备中显示出人物识别界面后，当用户选择目标人物识别控件时，显示设备可以向服务器发送获取该目标人物识别控件对应的目标人物的人物简介的请求。进一步的，服务器可以获取目标人物的人物简介并发送给显示设备。显示设备可以显示目标人物的人物简介。
本申请实施例还提供了一种人物推荐方法，其可以分别应用于显示设备和服务器。图16为一些实施例中人物推荐方法的流程图。如图16所示，该方法可以包括：
在步骤S1601，响应于输入的指示识别用户界面中的人物的指令，显示设备通过对用户界面进行截图处理，得到用户界面图像。
在步骤S1603，显示设备可以将用户界面图像发送至服务器。
在步骤S1605，服务器可以确定用户界面图像中包含的所有人物。
在步骤S1607，服务器可以获取每个人物的人物信息，并确定每个人物的人物优先级。
在步骤S1609，服务器将所有人物的人物信息以及人物优先级发送至显示设备。
最后，在步骤S1611，基于人物优先级，显示设备显示所有人物的人物信息。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (12)

  1. 一种显示设备，包括：
    显示器，被配置为显示用户界面；
    控制器，被配置为：
    响应于输入的指示识别所述用户界面中的人物的指令，对所述用户界面进行截图处理，以得到用户界面图像；
    将所述用户界面图像发送至服务器；
    接收所述服务器反馈的所述用户界面图像中包含的所有人物的人物信息和人物优先级，所述人物优先级用于表征用户对人物的关注程度；以及
    基于所述人物优先级，控制所述显示器显示所有人物的所述人物信息。
  2. 根据权利要求1所述的显示设备，其中，所述控制器还被配置为：
    根据所述用户界面获取焦点信息和/或图像控件信息，所述焦点信息指的是所述用户界面中用户控制的焦点的位置信息，以及所述图像控件信息包括所述用户界面中所有图像控件的图像控件位置信息和图像控件曝光时间，其中，所述图像控件曝光时间指的是图像控件在所述用户界面中显示的时间；以及
    将所述焦点信息和/或所述图像控件信息发送至所述服务器，所述焦点信息用于使所述服务器获取所述用户界面图像中包含的所有人物的位置优先级，以及所述图像控件信息用于使所述服务器获取所有人物的时间优先级，其中，所述人物优先级是由所述位置优先级和/或所述时间优先级确定的。
  3. 根据权利要求1所述的显示设备，其中，所述控制器进一步被配置为：在执行基于所述人物优先级，控制所述显示器显示所有人物的所述人物信息的步骤中，
    通过统计所有人物的人物优先级，并按照所述人物优先级的大小顺序对所有人物进行排序；以及
    基于所有人物的排序结果，控制所述显示器显示所有人物的所述人物信息，其中，所述人物优先级越大的人物的所述人物信息，在所述显示器中的优先显示程度越高。
  4. 根据权利要求3所述的显示设备，其中，所述人物信息中包括人物名称和/或人脸图像或人脸图像的位置信息，所述人脸图像为所述用户界面图像中的人物的脸部图像，所述人脸图像的位置信息用于获取人脸图像；所述控制器进一步被配置为：
    在执行控制所述显示器显示所有人物的所述人物信息的步骤中，
    控制显示器显示人物识别界面，所述人物识别界面中包括所有人物的人物识别控件，其中，所述人物识别控件用于显示所述人物名称和/或人脸图像，以及所述所有人物的人物识别控件是按照所述人物优先级进行排列的；以及
    基于检测到用户选择的目标人物识别控件，控制显示器显示与所述目标人物识别控件对应的人物的人物简介。
  5. 一种服务器，所述服务器被配置为：
    接收显示设备发送的用户界面图像，所述用户界面图像为所述显示设备显示的用户界面对应的截图图像；
    确定所述用户界面图像中包含的所有人物；
    获取每个人物的人物信息，并确定每个人物的人物优先级，所述人物优先级用于表征用户对人物的关注程度；以及
    将所有人物的所述人物信息以及所述人物优先级发送至所述显示设备，以使所述显示设备根据所述人物优先级显示所有人物的所述人物信息。
  6. 根据权利要求5所述的服务器，其中，所述服务器还被配置为：
    接收所述显示设备发送的用户界面显示参数；
    所述服务器进一步被配置为：在执行确定每个人物的人物优先级时，
    根据所述用户界面显示参数获取每个人物的位置优先级和/或时间优先级；以及
    根据所述位置优先级和/或所述时间优先级确定每个人物的人物优先级。
  7. 根据权利要求6所述的服务器，其中，所述用户界面显示参数包括焦点信息，所述焦点信息指的是所述用户界面中用户控制的焦点的位置信息；
    所述服务器进一步被配置为：在执行根据所述用户界面显示参数获取每个人物的位置优先级的步骤中，
    根据每个人脸图像的位置信息和所述焦点信息获取每个所述人脸图像和所述焦点之间的距离，其中，所述人脸图像指的是所述用户界面图像中的人物的脸部图像；以及
    根据每个所述人脸图像和所述焦点之间的距离，获取每个人物的位置优先级，其中，所述位置优先级为所述距离的倒数。
  8. 根据权利要求6所述的服务器，其中，所述用户界面显示参数包括图像控件信息，其中，所述图像控件信息包括所述用户界面中所有图像控件的图像控件位置信息和图像控件曝光时间，所述图像控件曝光时间指的是图像控件在所述用户界面中显示的时间；
    所述服务器进一步被配置为：在执行根据所述用户界面显示参数获取每个人物的时间优先级的步骤中，
    根据每个人脸图像的位置信息和所述图像控件位置信息，确定每个人物对应的图像控件，其中，所述人脸图像指的是所述用户界面图像中的人物的脸部图像；
    将与每个人物对应的图像控件的图像控件曝光时间作为每个人物在所述用户界面中的人物曝光时间；以及
    根据所述人物曝光时间获取每个人物的时间优先级，所述时间优先级为所述人物曝光时间的倒数。
  9. 根据权利要求7或8所述的服务器，其中，所述服务器进一步被配置为：
    在执行确定所述用户界面图像中包含的所有人物的步骤中，
    对所述用户界面图像进行人脸检测，以得到所述用户界面图像中的若干个人脸图像以及每个人脸图像的位置信息，其中，每个人脸图像对应一个人物；以及
    通过将每个所述人脸图像在预设的人物数据库中进行比对处理，确定每个所述人脸图像对应的人物。
  10. 根据权利要求9所述的服务器，其中，所述服务器进一步被配置为：
    在执行获取每个人物的人物信息的步骤中，
    基于所述预设的人物数据库，获取每个人物的人物信息，其中，所述人物信息包括 人物名称和人物简介；
    在执行将所有人物的所述人物信息以及所述人物优先级发送至所述显示设备的步骤中，
    通过统计每个人物的人物信息和人物优先级，以及统计每个人物的人脸图像或人脸图像的位置信息，得到每个人物的人物识别数据；以及
    将所有人物的人物识别数据发送至所述显示设备。
  11. 一种用于在显示设备中推荐人物的方法，包括：
    响应于输入的指示识别显示设备的用户界面中的人物的指令，对所述用户界面进行截图处理，以得到用户界面图像；
    将所述用户界面图像发送至服务器；
    接收所述服务器反馈的所述用户界面图像中包含的所有人物的人物信息和人物优先级，所述人物优先级用于表征用户对人物的关注程度；以及
    基于所述人物优先级，控制所述显示设备显示所有人物的所述人物信息。
  12. 一种用于在显示设备中推荐人物的方法，包括：
    接收显示设备发送的用户界面图像，所述用户界面图像为所述显示设备显示的用户界面对应的截图图像；
    确定所述用户界面图像中包含的所有人物；
    获取每个人物的人物信息，并确定每个人物的人物优先级，所述人物优先级用于表征用户对人物的关注程度；以及
    将所有人物的所述人物信息以及所述人物优先级发送至所述显示设备，以使所述显示设备根据所述人物优先级显示所有人物的所述人物信息。
PCT/CN2022/141492 2022-03-09 2022-12-23 显示设备和服务器 WO2023169049A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210226614.6 2022-03-09
CN202210226614.6A CN116774954A (zh) 2022-03-09 2022-03-09 显示设备和服务器

Publications (1)

Publication Number Publication Date
WO2023169049A1 true WO2023169049A1 (zh) 2023-09-14

Family

ID=87937174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/141492 WO2023169049A1 (zh) 2022-03-09 2022-12-23 显示设备和服务器

Country Status (2)

Country Link
CN (1) CN116774954A (zh)
WO (1) WO2023169049A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898040A (zh) * 2018-06-01 2018-11-27 维沃移动通信有限公司 一种识别方法及移动终端
CN109471678A (zh) * 2018-11-07 2019-03-15 苏州思必驰信息科技有限公司 基于图像识别的语音中控方法及装置
WO2020038167A1 (zh) * 2018-08-22 2020-02-27 Oppo广东移动通信有限公司 视频识图方法、装置、终端及存储介质
CN111931692A (zh) * 2020-08-31 2020-11-13 青岛聚看云科技有限公司 显示设备及图像识别方法
CN112073766A (zh) * 2019-06-10 2020-12-11 海信视像科技股份有限公司 一种显示设备
CN112580625A (zh) * 2020-12-11 2021-03-30 海信视像科技股份有限公司 一种显示设备和图像内容识别方法
CN113110782A (zh) * 2021-03-22 2021-07-13 百度在线网络技术（北京）有限公司 图像的识别方法、装置、计算机设备及存储介质
CN113727162A (zh) * 2020-05-25 2021-11-30 聚好看科技股份有限公司 显示设备、服务器及人物介绍展示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898040A (zh) * 2018-06-01 2018-11-27 维沃移动通信有限公司 一种识别方法及移动终端
WO2020038167A1 (zh) * 2018-08-22 2020-02-27 Oppo广东移动通信有限公司 视频识图方法、装置、终端及存储介质
CN109471678A (zh) * 2018-11-07 2019-03-15 苏州思必驰信息科技有限公司 基于图像识别的语音中控方法及装置
CN112073766A (zh) * 2019-06-10 2020-12-11 海信视像科技股份有限公司 一种显示设备
CN113727162A (zh) * 2020-05-25 2021-11-30 聚好看科技股份有限公司 显示设备、服务器及人物介绍展示方法
CN111931692A (zh) * 2020-08-31 2020-11-13 青岛聚看云科技有限公司 显示设备及图像识别方法
CN112580625A (zh) * 2020-12-11 2021-03-30 海信视像科技股份有限公司 一种显示设备和图像内容识别方法
CN113110782A (zh) * 2021-03-22 2021-07-13 百度在线网络技术（北京）有限公司 图像的识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN116774954A (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
JP2013143141A (ja) ディスプレイ装置、遠隔制御装置およびその検索方法
US20150347461A1 (en) Display apparatus and method of providing information thereof
KR102625254B1 (ko) 입력기를 통해 이미지와 관련된 정보를 어플리케이션에 제공하는 전자 장치 및 방법
WO2022100262A1 (zh) 显示设备、人体姿态检测方法及应用
WO2022012271A1 (zh) 显示设备和服务器
US11997341B2 (en) Display apparatus and method for person recognition and presentation
CN113784200A (zh) 通信终端、显示设备及投屏连接方法
WO2019119643A1 (zh) 移动直播的互动终端、方法及计算机可读存储介质
WO2022078172A1 (zh) 一种显示设备和内容展示方法
CN106464976B (zh) 显示设备、用户终端设备、服务器及其控制方法
CN113051435B (zh) 服务器及媒资打点方法
WO2022100283A1 (zh) 显示设备、控件触发方法及滚动文本检测方法
US20230384868A1 (en) Display apparatus
CN112817557A (zh) 一种基于多人手势识别的音量调节方法及显示设备
WO2023169049A1 (zh) 显示设备和服务器
WO2023246157A1 (zh) 显示设备以及频道处理方法
US11863829B2 (en) Display apparatus and method for displaying image recognition result
WO2022083554A1 (zh) 用户界面的布局、交互方法及三维显示设备
CN115695844A (zh) 一种显示设备、服务器及媒资内容推荐方法
TWI595406B (zh) 顯示裝置及其傳遞訊息的方法
WO2024055661A1 (zh) 一种显示设备及显示方法
WO2023000950A1 (zh) 显示设备及媒资内容推荐方法
WO2023077886A1 (zh) 一种显示设备及其控制方法
CN115174997B (zh) 显示设备和媒资推荐方法
WO2021212814A1 (zh) 媒资信息展示方法及显示设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22930668

Country of ref document: EP

Kind code of ref document: A1