WO2014097814A1 - 表示装置、入力装置、情報提示装置、プログラムおよび記録媒体 - Google Patents

表示装置、入力装置、情報提示装置、プログラムおよび記録媒体 Download PDF

Info

Publication number
WO2014097814A1
WO2014097814A1 PCT/JP2013/081391 JP2013081391W WO2014097814A1 WO 2014097814 A1 WO2014097814 A1 WO 2014097814A1 JP 2013081391 W JP2013081391 W JP 2013081391W WO 2014097814 A1 WO2014097814 A1 WO 2014097814A1
Authority
WO
WIPO (PCT)
Prior art keywords
program
information
display
display device
server
Prior art date
Application number
PCT/JP2013/081391
Other languages
English (en)
French (fr)
Inventor
敦稔 〆野
毅 金子
正宏 塩井
嬋斌 倪
伊藤 典男
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2014553035A priority Critical patent/JPWO2014097814A1/ja
Publication of WO2014097814A1 publication Critical patent/WO2014097814A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker

Definitions

  • the present invention relates to a display device that displays video.
  • the present invention also relates to an input device that notifies a display device of information.
  • the present invention also relates to an information presentation device that causes a display device to present information.
  • the present invention also relates to a program and a recording medium on which the program is recorded.
  • Patent Document 1 discloses a comment storage device that presents only comments representing similar emotions to the viewer among various comments attached to the same scene of video content.
  • Patent Document 2 discloses a content generation device that generates video content such that an effect object such as a CG character performs an effect according to a user's input operation.
  • Patent Document 3 discloses an information browsing device that presents related information (information such as the price of a skirt in the above example) when a specific area (for example, an area where a skirt is displayed) in a video is clicked.
  • Patent Documents 4 to 8 also disclose techniques related to video.
  • Patent Document 9 discloses a technique for collecting information linked to the content of a program being viewed on a television (information on friends on the SNS viewing the same channel, etc.) from a website on the Internet and displaying the information on the television. Has been.
  • Patent Document 3 Even if the technology of Patent Document 3 is used, related information cannot be displayed on the display device when a specific area in the video is clicked for the video of the program distributed in real time (live broadcast).
  • the information registrant uses the information registration device to look at the content of the recorded video and various information according to the content (screen position and screen range information, etc.) This is because it is necessary to register.
  • the present invention has been made in view of the above-mentioned various problems, and a main object thereof is to realize a display device that allows a user to comfortably view highly interactive content.
  • a display device provides a display device that reproduces a program and displays a video on a display unit every time a predetermined period elapses during the reproduction of the program. Acquisition of information indicating the total number of actions of each item in the most recent fixed period including the fixed period from a server that counts actions corresponding to the item of the viewer of the program for each of a plurality of items Each time the acquisition unit acquires the information, the number of the items according to the total number of actions corresponding to the item in the most recent fixed period corresponding to the information for each of the plurality of items. An object unique to the display is displayed at a predetermined position for the item on the display unit, and the object is diffused from the position into a predetermined region on the display unit. And a, and object display control means is characterized by.
  • an input device is an input device that performs processing corresponding to an item specified by a viewer who views a program video displayed on a display device,
  • An input receiving unit that receives an operation for designating the item from a viewer; an input processing unit that performs a process corresponding to the item; and an audio output unit that outputs a sound corresponding to the item.
  • the means notifies the display device of information indicating the item based on the operation received by the input receiving means, causes the voice output means to output a sound corresponding to the item, and the input receiving means
  • the display device is notified of the item when an operation for determining the notification of the item to the display device is received.
  • a display device is connected to a server in which a plurality of objects and related information of the objects are registered in association with each other, and related information of the objects in the program video
  • Display means for displaying the program video, and an object for transmitting information indicating the designated object to the server upon receiving an operation for designating an object in the program video by a viewer Information transmitting means, and related information receiving means for receiving related information of the object in the program video specified by the server, wherein the display means is received by the related information receiving means. It is characterized by outputting the related information of the object in the program video.
  • an information presentation apparatus provides a display apparatus that displays information related to a service for presenting a message posted by a user to another user while displaying content.
  • the information presenting device to be displayed on the display device, the performer specifying means for specifying the performer of the content displayed by the display device, and the identification information in the service of the performer specified by the performer specifying means is specified.
  • the display device, input device, information presentation device, program, and recording medium of the present invention have the effect of allowing the user to comfortably view highly interactive content.
  • FIG. 1 It is the block diagram which showed the structure of the program reproduction
  • FIG. 19 schematically illustrates that when a touch operation is performed on an object image in a program video, the television receiver in FIG.
  • FIG. 19 acquires and reproduces related information related to the object represented by the object image from the server.
  • FIG. It is a figure which shows an example of schematic structure of the SNS cooperation system which concerns on Embodiment 3 of this invention. It is a figure which shows the example of presentation of the presence notification information in the information reception display apparatus contained in the SNS cooperation system of FIG. It is a block diagram which shows an example of the principal part structure of the program relevant-information presentation server contained in the SNS cooperation system of FIG. It is a timing chart which shows an example of the acquisition method of presence information. It is a flowchart which shows an example of the SNS relevant information presentation process which presents the information on SNS regarding the program under viewing which the program relevant information presentation server of FIG. 25 performs.
  • the program playback system is a system in which a viewer who is watching a program using a television receiver can vote for the program by operating an input device at hand.
  • FIG. 1 is a block diagram showing a configuration of a program reproduction system according to the present embodiment
  • FIGS. 2, 3, and 5 are diagrams illustrating a display screen of a television receiver
  • FIG. 4 is a diagram showing specific display modes for various types of objects in the display screens in FIGS. 3 and 5.
  • the program playback system includes an input device 1, a television receiver 100 (hereinafter also referred to as a display device), and a server 200.
  • the television receiver 100 does not hinder the ability to concentrate on viewing the program, and does not hinder the broadcast content of the program being broadcast (specifically, both the most recent broadcast content and the entire broadcast content up to now).
  • the input device 1 can perform the selection operation without being distracted by the selection operation and losing focus on viewing the program.
  • 1 is an embodiment of a simple input device. Realizing such a display device and input device is one of the main objects of the present invention.
  • the input device 1 is a device for designating a desired voting target from a plurality of items that can be voted by the user and casting one vote on the designated voting target.
  • the input device 1 is a smart phone which can operate the television receiver 100, the input device 1 is not restricted to a device provided with CPU like a smart phone so that it may mention later.
  • the input device 1 may be a device having an input function as a main function and further having a voice output function.
  • the input device 1 may be a keyboard, a joystick, a remote controller, or the like.
  • the input device 1 includes an input receiving unit 10, an input processing unit 20, an audio output unit 30, and a communication unit 40.
  • the CPU functions as the input processing unit 20 while the CPU (not shown) of the input device 1 is executing a voting application described later.
  • the input receiving unit 10 receives an input operation for casting a vote on a desired vote target.
  • the input operation here is an operation for designating a voting target from a plurality of voting targets, and for voting one vote on the voting target when the designated voting target is a voting target desired by the user.
  • the operation consists of two operations.
  • the voting target is the type of emotion (emotion type) held by the user who is watching the program, and the user can select eight predetermined voting targets (“joy”, “love”, “laugh”). ("Fear”, “anger”, “sadness”, “pleasant”, “surprise”) and cast the vote for the specified type Shall be operated.
  • Input processing unit 20 When the input receiving unit 10 receives an operation for designating a voting target, the input processing unit 20 outputs a voice corresponding to the voting target from the voice output unit 30. In addition, when the input receiving unit 10 receives an operation for voting one vote on a voting target, the input processing unit 20 outputs a voice corresponding to the voting target from the voice output unit 30, and the voting Information indicating that one vote has been cast on the target is transmitted to the television receiver 100 via the communication unit 40.
  • the input processing unit 20 outputs a voice indicating a surprise “hee” from the voice output unit 30, and the user designates a voting target “joy”.
  • the voice output unit 30 outputs a voice indicating pleasure of “Oh!”.
  • the audio output unit 30 is a speaker that outputs audio.
  • the communication unit 40 is a communication interface for the input device 1 to transmit information corresponding to the input operation to the television receiver 100.
  • the television receiver 100 includes a tuner unit 110, a playback unit 120, a display unit 130, an audio output unit 135, a voting processing unit 141, a totaling result acquisition processing unit 142, a totaling result display processing unit 143, a download processing unit 144, and a communication unit 150. , 150 ′ and a storage unit 160.
  • the CPU (not shown) of the television receiver 100 is executing a voting result display application described later, the CPU functions as the voting processing unit 141, the counting result acquisition processing unit 142, and the counting result display processing unit 143. To do.
  • the CPU functions as the download processing unit 144.
  • the tuner unit 110 extracts the video signal and audio signal of the selected channel from the received broadcast wave.
  • the reproduction unit 120 decodes the video signal and the audio signal, displays the decoded video on the central portion of the display area of the display unit 130, and outputs the decoded audio from a speaker (not shown).
  • the display unit 130 is a display that displays an image. As shown in FIG. 2, the program video display area is located at the center of the display area of the display unit 130, and the voting result display application display area is located at the outer edge of the display area of the display unit 130.
  • the audio output unit 135 is a speaker that outputs audio.
  • the voting processing unit 141 transmits, to the server 200, voting information indicating a voting target for which one vote has been cast by the user, based on the information received through the communication unit 150 ′.
  • the totalization result acquisition processing unit 142 acquires, from the server 200, information indicating the totalization result of voting in a certain period every time a certain period elapses during the reproduction of the program.
  • the server 200 sends information indicating the latest 10 seconds of total results every second, but the total result acquisition processing unit 142 acquires the information every second.
  • the count result display processing unit 143 specifies the number of votes for each voting target in the fixed period based on the information indicating the count result supplied from the count result acquisition processing unit 142 every time the fixed period elapses.
  • the count result display processing unit 143 displays various types of objects on the outer edge portion (outer edge region) of the display area of the display unit 130 every time the number of votes for all the voting targets in the target period is specified. Specifically, the count result display processing unit 143 has, for each voting target, a number of objects corresponding to the number of votes for the voting target (corresponding to the voting target) at a predetermined position determined for the voting target. An object representing an emotion type) is displayed, and the displayed group of objects is diffused in the outer edge region. For example, for the vote target “love”, the total result display processing unit 143 diffuses a group of pink heart-shaped marks from the upper right corner of the display area.
  • the download processing unit 144 downloads the application for the input device 1 and the application for the television receiver 100 that are compatible with the program being played from the server 200.
  • the program being played is a voting application (application for the input device 1) for voting the program, and a voting result display application (for the television receiver 100) for displaying the voting count result. App).
  • the communication unit 150 is a communication interface for the television receiver 100 to perform IP communication with an external device (such as the server 200).
  • the communication unit 150 ′ is a communication interface for the television receiver 100 to receive information corresponding to an input operation from the input device 1.
  • the storage unit 160 stores EPG information (information indicating a program ID, a program title, performers, a channel number, and the like) of the program being played back, and application information downloaded from the server 200.
  • EPG information information indicating a program ID, a program title, performers, a channel number, and the like
  • the server 200 includes a communication unit 210, an action aggregation processing unit 221 and a storage unit 230.
  • a CPU (not shown) functions as the action counting processing unit 221.
  • the communication unit 210 is a communication interface for the server 200 to perform IP communication with an external device (such as the television receiver 100).
  • the action totalization processing unit 221 uses a series of voting information received from a large number of television receivers 100 during the most recent period (10 seconds in this embodiment) every time a certain period (in this embodiment, 1 second) elapses. Based on this, the votes in the period (10 seconds) are totaled. In addition, the action totalization processing unit 221 registers the totalization results in the latest certain period in the aggregation information DB 231 every certain period (1 second).
  • the action totalization processing unit 221 transmits, to the television receiver 100, information indicating the totalization result (the number of votes for each voting target) in the latest certain period (10 seconds) every certain period (1 second).
  • the application supply unit 222 supplies application information of an application corresponding to a program being played back on the television receiver 100 to the television receiver 100.
  • the application information includes an ID unique to the application and URL information indicating the URL of the application download destination for the input device 1.
  • a program-compatible application is an application that allows the television receiver 100 that is playing back the program to operate normally. For example, an app that can vote for cheering on two teams playing a game is an app that supports a soccer broadcast program, but it is not an app that supports a song program.
  • the storage unit 230 stores an aggregation result DB 231 and a program information DB 232.
  • the program information DB 232 is a DB indicating the corresponding application of the target program for each program being broadcast or scheduled to be broadcast in the future.
  • the storage unit 230 also stores application information of each corresponding application.
  • the tabulation result display processing unit 143 displays an object corresponding to each voting target at a predetermined position and diffuses a group of objects from each position, as shown in Table 1 below, every time a certain period of time elapses.
  • the totalization result display processing unit 143 sets a larger number (small number) of objects to a predetermined position corresponding to a voting target having a relatively large number (small number) of votes every time a certain period of time elapses. After a new display, a group of newly displayed objects is diffused.
  • the aggregation result display processing unit 143 controls the display of the moving object according to the following rules.
  • the moving direction of the two objects is changed according to the laws of mechanics.
  • the moving direction of the object is changed according to the laws of mechanics.
  • the moving speed after the contact is made lower than before the contact.
  • the display size of each object is reduced, and the object that has touched the other type of object a certain number of times is deleted.
  • the type of object corresponding to the position occupies the peripheral area of each predetermined position.
  • an object corresponding to a voting target that has been voted more frequently during the most recent voting occupies a wide area.
  • the peripheral area of the position corresponding to the vote target that has hardly been voted in the voting in the most recent period may be occupied by another type of object corresponding to the vote target that has been voted very often.
  • the user can confirm at a glance how many objects corresponding to the position exist in the peripheral area of each position. Thereby, the user can confirm at a glance what kind of feelings many viewers have with respect to the broadcast content of the latest fixed period (for example, the latest 10 seconds). For example, a user who looks at the display screen of FIG. 3 can recognize at a glance that many viewers have a feeling of joy with respect to the content of the broadcast for the most recent period.
  • the latest fixed period for example, the latest 10 seconds
  • the user can confirm at a glance the types of objects that are included in the entire outer edge region.
  • the user can confirm at a glance what kind of emotion many viewers have for the broadcast content of the program up to the present.
  • a user who has seen the display screen of FIG. 5 has a feeling of joy with respect to the broadcast content of a certain period of time (for example, the latest 10 seconds), but from the start of the program broadcast to the present It is possible to recognize that they have a feeling of love rather than joy for their broadcast content.
  • the user can confirm at a glance whether the total number of displayed objects is large or small. Thereby, the user can confirm at a glance whether the number of votes is large or small (that is, whether the program being viewed by the user is popular). Furthermore, since the voting status of others is expressed by the movement of the object group in the peripheral area of the program video, the user watching the program video keeps the program video in the central field of view. You can check the movement of the object in Therefore, the user can check the voting status of the other person without moving the line of sight each time while watching the program.
  • the voting result is shown in a graph as shown in the display screen of FIG. 30, the user must look away from the program video in order to grasp how much voting has been done for which voting target. It is necessary to watch each graph.
  • the voting result is expressed by the number and movement of each object having a different color as in the display screen shown in FIG. 3, the user can select which voting target without deviating from the program video. And how much voting has taken place.
  • FIGS. 6 to 14 are diagrams for explaining the display processing algorithm.
  • the voting result display application displays the display position of each object with reference to the array Obj relating to each object being displayed as shown in FIG. 7 and the array Wall representing the position of the boundary (wall) of the display area of the application.
  • the boundary of the display area of the application is composed of eight line segments as shown in FIG.
  • the array Obj is a structure type variable composed of seven member variables corresponding to the seven types of parameters shown in FIG.
  • the totalization result display processing unit 143 of the television receiver 100 repeats the processing from S1 to S5 until a termination request for an application (voting result display application) is received from the user.
  • the predetermined time in S1 is a very short time (for example, 0.05 seconds).
  • the details of the processing of S4 and S5 will be described with reference to the drawings from FIG. 9 onward, but the details of the processing of S4 will be described first.
  • the number of objects being displayed at the time of the processing of S4 is n
  • the array Obj includes n elements related to the n objects being displayed.
  • the aggregation result display processing unit 143 performs the following processing for each i from 1 to n.
  • the value of the collision flag Fh of the element Obj [i] is set to 0 (S11).
  • each element is deleted from the array Obj. Note that the number of elements in the array Obj after S18 is n '.
  • the counting result display processing unit 143 executes the following processing for each j from 1 to m as shown in FIG.
  • the tabulation result display processing unit 143 performs the following processing for each j from 1 to n ′ as shown in FIG.
  • the number of objects to be displayed corresponding to the emotion type is counted for each emotion type. Specifically, the number of elements Obj [i] whose emotion type parameter is 1 among n ′ elements of the array Obj is totalized. For each value from 2 to 8, the number of elements Obj [i] whose emotion type parameters are such values is totaled.
  • the RGB value and ⁇ value representing the normal color of the object corresponding to the element Obj [i] whose emotion type parameter is E max are set as the RGB value and ⁇ value of the variable Cbg, respectively (S33). ).
  • E max 1
  • the RGB value of the variable Cbg is set to (255, 127, 97)
  • the ⁇ value of the variable Cbg is set to 1.
  • the background color of the display area of the voting target display application is set to the color represented by the variable Cbg (S35).
  • the tabulation result display processing unit 143 executes the following processing for each i from 1 to n 'as shown in FIG.
  • S361 it is determined whether or not the generation flag Fb of the element Obj [i] is 1. If it is determined that the generation flag Fb is 1, the process proceeds to S362. If it is determined that the generation flag Fb is not 1, the process proceeds to S364.
  • the object in the normal mode corresponding to the emotion type parameter of the element Obj [i] is drawn at the position indicated by the coordinate value (px, py) of the element Obj [i]. It should be noted that the “normal mode” object of FIG. 4 is drawn until a certain time elapses after the object corresponding to the element Obj [i] is generated. The object of “time mode 2” is drawn.
  • S366 the effect at the time of collision corresponding to the emotion type parameter of the element Obj [i] is added to the object corresponding to the drawn element Obj [i]. Specifically, the displayed object is changed to the object in the collision mode shown in FIG. Note that the process of S366 is performed only when the emotion type parameter of the element Obj [i] is 1 or 3, and when the emotion type parameter of the element Obj [i] is any other value, the process skips S366 and proceeds to S367. .
  • the counting result display processing unit 143 acquires the counting result of the voting sent from the server 200 every 10 seconds.
  • the count result display processing unit 143 performs the process shown in FIG. 14 every time the count result is acquired.
  • the generation flag Fb of all added elements is set to 1 (S52).
  • a value indicating the emotion type is set in the emotion type parameter of each element equal to the number of votes for that emotion type (S53). For example, when the total result indicates that the number of votes for the emotion type “love” is 10, the emotion type parameter is set to 2 for 10 elements among all the added elements.
  • the coordinate value of each added element is set to a value indicating the coordinates in the home icon corresponding to the value of the emotion type parameter of the element (S54). For example, in the case of an element whose emotion type parameter value is 2, the coordinate value of the element is set to a value indicating the upper right corner of the display area.
  • the velocity vector (vx, vy) and radius parameter r of all added elements are set to default values (S55).
  • the default value of the speed vector is desirably such that the magnitude of the speed vector is some distance away from the home icon in 10 seconds.
  • the number of elements to be added to the array Obj may be smaller or larger than the total number of votes for each emotion type as long as it is the number corresponding to the total number of votes for each emotion type.
  • a value indicating the emotion type is set in the emotion type parameter of each element corresponding to the ratio of the number of votes for that emotion type to the total. Become.
  • FIG. 15 is a sequence diagram showing an operation of the program reproduction system.
  • the input device 1 receives a power-on signal via the communication unit 40. Is transmitted to the television receiver 100 (S71).
  • the television receiver 100 that has received the signal starts receiving a program from the broadcast station (S72), and starts outputting program video and program audio (program reproduction) obtained by demultiplexing the TS (S73). .
  • the input processing unit 20 transmits a signal for starting the corresponding application to the television receiver 100.
  • the download processing unit 144 of the television receiver 100 that has received the signal transmits program information (EPG information) relating to the program being reproduced to the server 200 (S75).
  • the server 200 that has received the EPG information specifies the program ID of the program being played back by the television receiver 100 based on the EPG information, and the program being played back corresponds to the program ID based on the specified program ID and the program information DB.
  • An application for the TV receiver 100 is identified (S76).
  • the application supply unit 222 of the server 200 transmits the application information of the identified application to the television receiver 100 (S77).
  • description of the operation of the program reproduction system will be continued on the assumption that the application for the television receiver 100 is a vote result display application and the application for the input device 1 is a vote application.
  • the server 200 confirms whether or not the total information of votes for the program being played on the television receiver 100 is registered in the total information DB. If the total information is not registered, the vote totaling process is started (S78). The server 200 transmits the counting results of the latest 10 seconds to the television receiver 100 every second (S79).
  • the download processing unit 144 of the television receiver 100 that has received the application information stores the application information in the storage unit 160 and transmits it to the input device 1 (S80). Thereafter, the television receiver 100 activates the vote result display application (S81), and starts simultaneous display of the program video and the video of the vote result display application as shown in FIG. 2 (S82).
  • the input device 1 that has received the application information downloads the voting application by referring to the URL information, and activates the voting application (S83).
  • the input processing unit 20 specifies the designated voting target based on the input operation received by the input receiving unit 10, and transmits information indicating the voting target to the television receiver 100 (S84).
  • the input processing unit 20 outputs a sound corresponding to the specified voting target from the sound output unit 30 (S85).
  • the television receiver 100 that has received the information indicating the designated voting object displays information on the designated voting object on the display unit 130, and outputs the sound corresponding to the designated voting object to the audio output unit 30. (S86, S87). That is, the input device 1 indicates to the user which voting object has been designated by voice, and the television receiver 100 indicates to the user which voting object has been designated by only video or both video and audio. It will be.
  • the input device 1 performs an input operation for voting one vote on the voting target designated by the user.
  • the input processing unit 20 specifies a vote target on which a vote has been cast based on the input operation received by the input receiving unit 10, and transmits information indicating the vote target to the television receiver 100 (S88). ).
  • the input processing unit 20 outputs a voice corresponding to the specified voting target from the voice output unit 30 (S89).
  • the voting processing unit 141 of the television receiver 100 that has received the information indicating the voting subject to which the vote has been cast displays information on the voting subject to which the vote has been cast on the display unit 130, and the vote has been cast.
  • a sound corresponding to the vote target is output from the sound output unit 30 (S90, S91). That is, the input device 1 indicates to the user which vote object has been voted by voice, and the television receiver 100 indicates which vote object has been voted only by video or by both video and audio. Will be shown.
  • the voting processing unit 141 transmits to the server 200 voting information indicating a voting target for which a vote has been cast (that is, selected by the user) (S92).
  • the input device 1 can be realized as a joystick as shown in FIG. 16A, but can also be realized as a tablet terminal.
  • the input device 1 is realized as a tablet terminal, it is desirable to realize it as the tablet terminal shown in FIG. 16 (d), but as a tablet terminal as shown in FIG. 16 (c) or FIG. 16 (d). It may be realized.
  • the eight directions that can be input by the eight-way lever of the joystick as shown in FIG. 16A correspond to eight types of emotions.
  • the joystick detects an input of a direction by the 8-direction lever, the joystick outputs a sound indicating an emotion type corresponding to the direction from the speaker and transmits a signal indicating the direction to the television receiver 100.
  • the television receiver 100 detects which emotion type is designated by receiving the signal.
  • the input device 1 detects pressing of the voting button in a state where the 8-way lever is tilted
  • the input device 1 outputs a sound indicating an emotion type corresponding to the tilted direction from the speaker, and the direction in which the 8-way lever is tilted.
  • a signal indicating depression of the voting button are simultaneously transmitted to the television receiver 100.
  • the television receiver 100 detects which emotion type has been voted by receiving both signals simultaneously.
  • the input device 1 detects pressing of the voting button with the eight-way lever standing upright, the input device 1 outputs a voice indicating an emotion type corresponding to the direction in which the eight-way lever has collapsed most recently from the speaker, and the voting button A signal indicating that the button is pressed may be transmitted to the television receiver 100.
  • the television receiver 100 may detect that a vote has been cast on the most recently designated emotion type by receiving a signal indicating that the vote button has been pressed.
  • the joystick is preferably provided with a storage unit (HDD, SD card, etc.), and it is desirable that audio data corresponding to each of the eight types of emotions be stored in the storage unit.
  • the communication unit 40 of the joystick may be a communication interface compatible with infrared communication, a communication interface compatible with Bluetooth (registered trademark) communication, or a communication interface compatible with a wireless LAN. May be.
  • the swipe operation is regarded as an operation for designating the emotion type, and the subsequent tap operation is voted for the designated emotion type. It is configured to be regarded as an operation.
  • the tablet terminal regards the swipe operation in the target direction as an operation for designating an emotion type corresponding to the direction (for example, in the upper right direction). Swipe operation is regarded as an operation that specifies the emotion type “surprise”). Then, the tablet terminal outputs sound indicating the designated emotion type from the speaker, and transmits information indicating the designated emotion type to the television receiver 100. Thereafter, when detecting the tap operation, the tablet terminal regards the tap operation as a voting operation for the emotion type designated by the swipe operation. For example, when a tap operation is detected after detecting an operation of swiping in the upper right direction, the tap operation is regarded as a voting operation for the emotion type “surprise”. Then, the tablet terminal outputs sound indicating the emotion type to which the vote has been cast from the speaker, and transmits information indicating the emotion type to which the vote has been cast to the television receiver 100.
  • the tablet terminal in FIG. 16C detects a tap event (specifically, a tap, long tap, or double tap event) while a voting app is operating in the foreground, and then detects a specific area.
  • a tap event specifically, a tap, long tap, or double tap event
  • the tap is regarded as a voting operation for the emotion type designated by the first tap (long tap or double tap).
  • this tablet terminal supports taps (long taps or double taps) for coordinates in the target area for each of the eight predetermined areas A to H in the touch area of the touch panel.
  • This is considered to be an operation for designating the emotion type to be performed (for example, the emotion type “sad” is designated as a tap to the region closest to the display of “Kanashii” among the eight regions shown in FIG. 16C) Considered as operation).
  • the tablet terminal outputs sound indicating the designated emotion type from the speaker, highlights the pattern in the tapped region (for example, enlarged display), and receives information indicating the designated emotion type on the television. To the machine 100.
  • the tablet terminal detects a tap to a specific area that does not belong to any of the seven areas except the area corresponding to the designated emotion type (the area in which the pattern is highlighted).
  • the tap is designated. This is regarded as a voting operation for the sentiment type. For example, if a tap for the specific region is further detected after detecting a tap for the region closest to the display of “Kanashii”, the tap is regarded as a voting operation for the emotion type “surprise”.
  • the tablet terminal outputs sound indicating the emotion type to which the vote has been cast from the speaker, and transmits information indicating the emotion type to which the vote has been cast to the television receiver 100.
  • the tablet terminal in FIG. 16D positions the finger touching the touch panel for the eight emotion types in the tab display area of the emotion type or in the horizontal direction.
  • An operation of moving a finger to any area other than the tab display area is regarded as an operation for designating the emotion type.
  • the tablet terminal is configured so that a tap operation after an operation for designating an emotion type is regarded as a voting operation for the designated emotion type.
  • the tablet terminal recognizes that the emotion type “beauty” has been designated. Thereafter, the tablet terminal is moved without releasing the finger, and when the amount of movement from the starting point reaches about 120 dots, the tablet terminal recognizes that the emotion type “love” is designated.
  • the tablet terminal outputs a voice indicating the designated emotion type from the speaker, and transmits information indicating the designated emotion type to the television receiver 100.
  • the tablet terminal When the tablet terminal detects a tap operation after detecting an operation for designating an emotion type, the tablet terminal regards the tap operation as a voting operation for the designated emotion type. Then, the tablet terminal outputs sound indicating the emotion type to which the vote has been cast from the speaker, and transmits information indicating the emotion type to which the vote has been cast to the television receiver 100.
  • the input device 1 may be a tablet terminal capable of registering biometric information indicating the user's eight fingers (for example, eight fingers excluding the thumbs of both hands). Specifically, when the input device 1 recognizes that the finger detected by a camera (not shown) or the like is one of the eight fingers represented by the registered biological information, You may recognize that the emotion type corresponding to the detected finger is designated among the two emotion types. As shown in Table 2 below, when the contact of the little finger of the user's left hand is detected, it may be recognized that the emotion type “joy” is designated. When detecting the tap operation, the input device 1 may be configured to regard the detection of the tap operation as a voting operation for the designated emotion type.
  • the voting target may be two teams in a match. That is, a plurality of voting objects that can be adopted regardless of the contents of the program, such as the above-described eight emotion types, may be adopted, or a plurality of voting objects according to the contents of the program may be adopted.
  • the server 200 counts votes based on a series of voting information transmitted from a large number of television receivers 100, and the television receiver 100 determines various objects based on information indicating the counting results of the votes. It was supposed to control the display.
  • the present invention is not limited to such a configuration.
  • the action totalization processing unit 221 of the server 200 may perform the following processing 1 to processing 3 every time a predetermined time elapses.
  • Process 1 Analyzes the feelings of each viewer with respect to the broadcast content of the corresponding period from the tweets of each viewer for the program during the corresponding period.
  • Process 2 A tweet representing each type of emotion for each of the eight types of emotion (“joy” “love” “laugh” “fear” “anger” “sad” “pleasant” “surprise”) based on the analysis result Count the number of Process 3: Information indicating the counting result is transmitted to the television receiver 100.
  • the counting result display processing unit 143 may newly display a number of various objects corresponding to the counting result. Good.
  • the server 200 obtains application information of all the identified applications. May be sent to. Further, the server 200 is configured to be able to accept from the user an instruction as to which application information of which compatible application of the program should be transmitted to the television receiver 100 for each program in which a plurality of compatible applications are registered in the program information DB. It may be. In this case, the server 200 transmits the application information of only the application specified by the user among the plurality of specified applications to the television receiver 100.
  • a program in which a plurality of compatible applications are registered for example, a program in which two apps, a male app and a female app, are registered.
  • the program reproduction system may include an external speaker 300 that outputs sound reproduced by the television receiver 100, as shown in FIG.
  • the television receiver 100 may output sound not only from the sound output unit 30 but also from the external speaker 300 in S87 and S91 of FIG.
  • the television receiver 100 may be configured to almost always hold all applications for the input device 1 in the storage unit 160. Therefore, for example, the television receiver 100 may periodically download an application that is not held from a predetermined server.
  • the input device 1 may download the application for the input device 1 corresponding to the ID in the application information from the television receiver 100 and start the downloaded application.
  • the input device 1 may be configured to almost always hold all applications for the input device 1 in a storage unit (not shown). Therefore, for example, the input device 1 may periodically download an application that is not held from a predetermined server.
  • the input device 1 may identify the application corresponding to the ID in the application information from the storage unit and start the identified application.
  • the display area of the program video is located at the center of the display area of the display unit 130, and the display area of the voting result display application is located at the outer edge of the display area of the display unit 130. It is not limited to such a configuration.
  • the display area of the program video is located above (or below) the display area of the display section, and the display area of the voting result display application is located below (or above) the display area of the display section. May be.
  • the display area of the program video may be located on the right side (or left side) in the display area of the display unit, and the display area of the vote result display application may be located on the left side (or right side) of the display area of the display unit. .
  • the program video display area is located on the lower right side (or upper right side, lower left side or lower right side) of the display area of the display section, and the program video display area is excluded from the display area of the display section.
  • the remaining L-shaped area may be a display area for the vote result display application.
  • the display area of the vote result display application is not limited to a rectangular area, but may be a closed area of any shape around the display area of the program video.
  • the television receiver 100 that reproduces a program and displays a program video includes the counting result acquisition processing unit 142 and the counting result display processing unit 143.
  • the counting result display processing unit 143 counts for each of the eight types of emotion types according to the number of votes for that emotion type in the period corresponding to the information.
  • the object object unique to the emotion type
  • the object is displayed at the position of the home icon representing the emotion type, and the displayed group of objects is diffused from the position into the outer edge region of the display surface of the television receiver 100.
  • the totaling result display processing unit 143 displays a number of pink heart-shaped marks corresponding to the number of votes for the emotion type “love” in the upper right corner of the display surface, and then a group of heart-shaped marks To diffuse. That is, immediately after displaying the heart-shaped mark, each mark is moved leftward along the upper end of the display surface or moved downward along the right edge.
  • the television receiver 100 can allow the user to grasp at a glance how many votes have been received for each emotion type with respect to the broadcast contents of the program for a certain period of time. At the same time, it is possible to make the user grasp at a glance how many votes have been given to each emotion type regarding the broadcast contents of the program up to now.
  • the input device 1 selects the viewer for the television receiver 100 that transmits the vote information indicating the emotion type selected by the viewer from the eight emotion types to the server 200.
  • An input processing unit 20 for notifying the sent emotion type is provided.
  • the input device 1 includes an input receiving unit 10 that receives an operation for designating an emotion type to be notified to the television receiver 100 from eight types of emotion types.
  • the input processing unit 20 causes the audio output unit 30 to output a sound corresponding to the emotion type when the input receiving unit 10 receives an operation for designating the emotion type to be notified to the television receiver 100.
  • the input processing unit 20 notifies the television receiver 100 of the designated emotion type when the input receiving unit 10 accepts an operation for determining to notify the television receiver 100 of the designated emotion type. To do.
  • the user of the input device 1 who is viewing the program being played back by the television receiver 100 can select eight types of emotions that he / she has for the program while watching the video of the program. You can specify from among emotional species. This is because the input device 1 informs the user by voice which of the eight emotion types has been designated by the user, so that the user does not need to look at the input device 1 for operation.
  • the input device 1 allows the user to select the type of emotion (emotion type) that the user has from the eight types of emotions without reducing the user's concentration on viewing the program. it can.
  • the input device 1 has an effect of facilitating communication among a plurality of viewers who are watching the program in such a situation.
  • FIG. 19 is a block diagram showing the configuration of the program reproduction system according to this embodiment.
  • the program reproduction system includes a television receiver 100A and a server 200A.
  • the television receiver 100A is an embodiment of a display device that can display related information regarding an object in a video of a live broadcast program when the object in the video is designated. Realizing such a display device is one of the objects of the present invention.
  • the television receiver 100A includes a tuner unit 110, a playback unit 120, a touch panel display unit 130A, a communication unit 150, an object specifying unit 161, and a touch operation type specifying unit 162.
  • the tuner unit 110 extracts the video signal and audio signal of the selected channel from the received broadcast wave.
  • the reproduction unit 120 decodes the video signal and the audio signal, displays the decoded video on the touch panel display unit 130A, and outputs the decoded audio from a speaker (not shown).
  • the touch panel display unit 130A has both a touch panel that functions as an input device and a display that functions as a display device.
  • the communication unit 150 is a communication interface for the television receiver 100A to perform IP communication with an external device (such as the server 200A).
  • the object specifying unit 161 specifies an object such as a face image or object image designated by the user from the video displayed on the touch panel display unit 130A. Further, the object specifying unit 161 calculates the feature amount from the specified face image.
  • the touch operation type specifying unit 162 specifies what kind of touch operation the face image specified by the user is specified. That is, the touch operation type specifying unit 162 specifies the type of touch operation.
  • the server 200A includes a communication unit 210, an object specifying unit 223, and a storage unit 230A.
  • the communication unit 210 is a communication interface for the server 200A to perform IP communication with an external device (such as the television receiver 100A).
  • object specifying unit 223 Upon receiving the feature amount of the face image from an external device, the object specifying unit 223 registers the face image that matches the received face image in the face image DB 233 of the storage unit 230A based on the feature amount. Identify from various face images.
  • the object specifying unit 223 when the object specifying unit 223 receives an object image from an external device, the object specifying unit 223 specifies an object image that matches the received object image from various object images registered in the object image DB 234 of the storage unit 230A. .
  • the object identifying unit 223 returns the identified face image or object image name or related information (for example, advertising information of a celebrity corresponding to the face image or advertisement information of a product corresponding to the object image) to the external device. To do.
  • the storage unit 230A stores a face image DB 233, an object image DB 234, and an EPG information DB 235.
  • face images, names, related information, and voices are registered in association with various celebrities.
  • voices five kinds of voices of celebrities corresponding to identification values from “1” to “5” described later are registered for each celebrity.
  • object images, names, and sentences related to the objects are registered in association with various objects.
  • the EPG information DB 235 program information of each program broadcast in each broadcast area is registered.
  • the program information includes names of celebrities who appear in the program.
  • FIG. 20 the operation of the program playback system when the user touches the face image portion in the program video will be described with reference to FIGS. 20 and 21.
  • FIG. 20 the operation of the program playback system when the user touches the face image portion in the program video will be described with reference to FIGS. 20 and 21.
  • FIG. 20 is a flowchart showing the above operation of the program playback system.
  • FIG. 21 is an image diagram schematically showing the flow of the operation of the program reproduction system.
  • the object specifying unit 161 of the television receiver 100A first specifies the coordinates of the touch start position (S101).
  • the coordinates of the touch start position are the coordinates of the first touched position among various positions on the touch panel type display unit 130A touched by one touch operation.
  • the object specifying unit 161 detects a face image in the vicinity of the touch start position (S102), and calculates a feature amount of the detected face image (S103).
  • the detected face image may be displayed at a position touched by the user until the end of the touch operation is detected.
  • the touch operation type identifying unit 162 detects the type of the touch operation based on the locus of the contact point, and identifies an identification value (1 to 5) corresponding to the type of the touch operation. Any value) is supplied to the object specifying unit 161.
  • the touch operation type identification unit 162 detects a single tap event, and the touch operation type is “normal tap”. , And the identification value “1” is supplied to the object specifying unit 161. In addition, each touch operation of “strike while being frustrated”, “stroking like love”, “stroking like tickling” and “touching with a negative feeling toward the performer” is identified for each touch operation. Values “2” to “5” correspond.
  • the touch operation type identification unit 162 determines what touch operation has been performed based on the determination condition shown in FIG.
  • the object specifying unit 161 transmits the feature amount of the face image, the identification value corresponding to the touch operation, and the program ID of the program being reproduced to the server 200A (S105).
  • the object specifying unit 223 of the server 200A receives the feature amount of the face image, the identification value corresponding to the touch operation, and the program ID of the program being played back, as shown in FIG. (S151).
  • the object specifying unit 223 extracts program information related to the program being played back by the television receiver 100A from the EPG information DB 235, and analyzes the program information to determine the performers of the program. Specify (S152).
  • the object specifying unit 223 performs matching from the face image DB 233 based on the feature value of the received face image (the face image of a celebrity in the program video displayed on the television receiver 100A). ) Is specified (S153). Specifically, for each performer registered in the face image DB 233 (each performer identified in S152), the feature amount of the performer's face image is compared with the feature amount received in S151. , Specify the matching face image.
  • the object specifying unit 223 reads, from the face image DB 233, the sound corresponding to the identification value received in S151 among the five types of sounds recorded in association with the matching face image (S154). For example, when the identification value “2” is received in S 151, a voice of “Please calm down” with a tone that makes you feel calm is read from the face image DB 233. Also, for example, when the identification value “5” is received in S151, a voice of “I'm sorry” with a tone of asking for forgiveness is read from the face image DB233, and the celebrity registered in the face image DB233 is also registered. Read the name and related information.
  • the object specifying unit 223 After S154, the object specifying unit 223 returns the voice read in S154, the name of the celebrity, and related information to the television receiver 100A (S155).
  • the playback unit 120 plays back the sound returned in S155 while displaying the program, and displays the name of the celebrity and related information (S106).
  • FIG. 22 is an image diagram schematically showing the flow of the operation of the program reproduction system.
  • the object specifying unit 161 of the television receiver 100A first specifies the coordinates of the touch start position.
  • the object specifying unit 161 detects an image of an object in the vicinity of the touch start position.
  • the touch operation type specifying unit 162 detects the end of the touch operation, as illustrated in FIG. 22, the touch operation type specifying unit 162 transmits an object image obtained by cutting out an object image from the program video to the server 200A.
  • the object specifying unit 223 of the server 200A that has received the object image specifies an object image that matches the received object image from the object image DB 234, and the related information recorded in association with the matching object image is stored in the object image DB 234. Read from. For example, when the object image is an image of “sakura”, related information regarding the cherry tree may be read from the object image DB 234. When the object image is “wine”, the URL of a website selling the wine may be read from the object image DB 234 as related information. Similarly, when the object image is an image of “soccer shoes” shown in FIG. 22, the URL of a website selling the soccer shoes may be read from the object image DB 234 as related information.
  • the object specifying unit 223 returns the related information read from the object image DB 234 to the television receiver 100A, and the reproducing unit 120 of the television receiver 100A continues to reproduce the program.
  • the returned related information is displayed on the touch panel type display unit 130A.
  • the object specifying unit 161 may transmit the face image to the server 200A without extracting the feature amount from the face image. Then, the object specifying unit 223 extracts the feature amount from the received face image, and compares the extracted feature amount with the feature amount of each face image registered in the face image DB 233 to receive the feature amount. A face image that matches the face image may be specified from the face image DB 233.
  • the number of sounds is not limited to five. That is, in the face image DB 233, a plurality of types of voices may be registered for each celebrity, or only one type of voice may be registered. In the latter case, the television receiver 100A does not need to perform the process of S104 and does not have to transmit the identification value in S105. Moreover, the sound may not be registered in the face image DB 233. In that case, the television receiver 100A does not need to perform the process of S104, and does not need to transmit the identification value in S105. Then, the server 200A does not need to perform the process of S154, and does not transmit the voice in S155, but uses the celebrity information (related information such as name and advertisement information) registered in the face image DB in the television receiver 100A. Just send it to.
  • the celebrity information related information such as name and advertisement information
  • the server 200A may select an audio set corresponding to the program ID received in S151 from a plurality of audio sets recorded in association with the matching face image. Then, in S154, the server 200A may read the voice corresponding to the identification value received in S151 from the face image DB 233 among a plurality of voices (for example, five types of voices) constituting the selected voice set.
  • the television receiver 100 ⁇ / b> A has a case where the face image of the performer is designated by a touch operation during the reproduction of the program A and the program B for the performer who appears in both the program A and the program B.
  • different voices can be output depending on the face image of the performer specified by the same touch operation.
  • the television receiver 100A performs the above-described operation when a face image or an object image in the program video is designated by a touch operation, but the present invention is not limited to this. That is, the television receiver 100A performs the above-described operation only when the face image in the program video is touched, and when the user touches an object image in the program video, special processing resulting from the touch is performed. It is not necessary to do.
  • the television receiver 100A may not transmit the program ID of the program being reproduced to the server 200A. Further, the EPG information DB 235 may not be stored in the storage unit 230A of the server 200A, and the object specifying unit 223 includes the feature amount received in S151 and the feature amount of each face image registered in the face image DB 233. And the face image matching the face image in the program video may be specified from the face image DB 233.
  • the playback target is not limited to a broadcast program, and may be video content on a network or video of a package medium such as a DVD.
  • the television receiver 100A may transmit the program ID together with the object image to the server 200A.
  • the server 200A reads the program information of the program corresponding to the received program ID from the EPG information DB 235, and in the object image DB 234 similar to the received object image based on various keywords included in the program information. You may narrow down the matching object image from various object images.
  • the received object image is an object image of “cheese cake”, the object image of “cheese cake” and the object image of “short cake” are registered in the object image DB 234, and “cheese cake” is included in the program information.
  • the 200A may transmit the related information registered in association with the object image of “cheesecake” to the television receiver 100A.
  • the related information may be, for example, the URL of a site of a famous store of “cheesecake” (a sponsor of a business providing a service using the server 200A).
  • the server 200A may transmit information indicating the fact and the feature amount of the face image to the television receiver 100A.
  • the television receiver 100A determines whether or not the corresponding celebrity's face image is included in the program video based on the received feature amount, and if it is determined that it is included, the celebrity in the video Information indicating that the new voice is registered may be displayed in the screen corner of the touch panel display unit 130A. Note that some users of the television receiver 100A are urged by this display to try to touch the celebrity's face image in the program video. It can be said that the advertising effect of information (information on singer concerts, information on movies in which actors appear, etc.) can be enhanced.
  • the television receiver 100A and the server 200A may be configured such that the television receiver 100A can display related information regarding the performers of the program even if an object in the program video is not designated by the user.
  • the television receiver 100A may transmit the audio of the performer of the program to the server 200A as needed during the broadcast of the program.
  • the server 200A may execute the following processing 1 to processing 4 each time it receives the performer's voice from the television receiver 100A.
  • the server 200A extracts a voiceprint feature quantity from the transmitted voice.
  • the server 200A extracts a voiceprint feature amount extracted from the voice for each celebrity voice registered in the face image DB.
  • the server 200A compares the feature quantity extracted from the transmitted voice with each feature quantity extracted from the face image DB, thereby obtaining the feature quantity of the voiceprint that matches the feature quantity extracted from the transmitted voice. It is specified from the face image DB.
  • the server 200A returns celebrity information (related information such as name and advertisement information) recorded in the face image DB in association with the identified feature value of the voice print to the television receiver 100A.
  • the server 200A configured as described above receives, as a trigger, the reception of a face image in the program video designated by the user as a trigger for the celebrity's voice corresponding to the face image to the television receiver 100A. Then, the reception of the voice of the performer of the program is triggered to transmit the relevant information of the performer to the television receiver 100A.
  • the television receiver 100A configured as described above can automatically display related information about a performer every time a program performer speaks during real-time distribution (live broadcasting) of the program.
  • the television receiver 100A may be configured not to accept the designation of an object in the program video from the user, and the server 200A displays the face image in the program video designated by the user. When received, it may be configured not to perform matching between the received face image and the face image registered in the face image DB.
  • the TV receiver 100 ⁇ / b> A is a specific example of various touch operations such as “striking while being frustrated”, “stroking like love”, “stroking like tickling”, and “touching with negative feelings against performers”. It is also possible to provide a function of guiding to a site where a specific method is shown. If the television receiver 100A has such a function, the user can easily understand a specific touch operation method.
  • Premium audio may be registered in the face image DB 233 for each celebrity, in addition to the five types of audio corresponding to the type of touch operation described above. And when the frequency
  • the server 200A may store information on what touch operation the user of the television receiver 100A performed on which person's face image. Then, the server 200 ⁇ / b> A may create user preference information based on this information and supply advertisement information corresponding to the preference information to the television receiver 100 ⁇ / b> A. The television receiver 100A may present the supplied advertisement information.
  • an algorithm of processing executed by the object specifying unit 223 to return related information related to the object represented by the object image is not particularly limited, and any known algorithm can be employed.
  • the television receiver 100A may include a display panel that does not include a touch panel, instead of the touch panel display unit 130A.
  • the designation of the object in the video is performed using an operation device (not shown) for operating the television receiver 100A.
  • this operation device may be built in the television receiver 100A or may not be built in the television receiver 100A.
  • the operation device may be a remote control of the television receiver 100A, or may be a smartphone or a tablet terminal in which an application capable of operating the television receiver 100A is installed.
  • the operation device is preferably a device having a pointer function that can designate any coordinates in the display area. In this case, the user can designate the object by designating arbitrary coordinates within the display area of the object using the pointer function.
  • the television receiver 100A receives a touch operation on the touch panel type display unit 130A that displays the program video and the face image in the program video, the feature amount of the face image is changed to the face image of various celebrities. Is transmitted to the server 200A registered in association with the voice, and when the voice associated with the face image matching the face image for which the touch operation has been received is received from the server 200A, the voice is sent to the speaker. And a playback unit 120 that outputs the data.
  • the server 200A When the server 200A receives the feature amount of the face image from the external television receiver 100A, the server 200A specifies the face image that matches the face image from the face images of various celebrities based on the feature amount. The sound associated with the face image thus transmitted is transmitted to the television receiver 100A.
  • the program video may be a video of a program distributed in real time (live broadcast) from a broadcasting station, or a video of a program recorded on an HDD recorder or the like. Therefore, the television receiver 100A can output the sound (related information) of the celebrity when the face image of the celebrity is touched in the video of the broadcast program being reproduced.
  • an SNS cooperation system that acquires and presents information related to content to a user who is viewing the content from the SNS will be described.
  • the user can browse information on the SNS related to the program being viewed without performing cumbersome processing such as prior registration.
  • FIG. 23 is a diagram illustrating an example of a schematic configuration of the SNS cooperation system 1000.
  • the SNS cooperation system 1000 includes a program-related information presentation server (information presentation device) 200B, a broadcast reception display device (display device) 2, an information reception display device 3, an SNS server 4, and a presence server 5.
  • program-related information presentation server 200B is an embodiment of an information presentation device that allows a content viewer to easily browse messages posted by performers of the content. Realizing such an information presentation device is one of the objects of the present invention.
  • the program related information presentation server 200 ⁇ / b> B identifies the program being viewed on the broadcast receiving display device 2 and its performers, and the SNS account (SNS user identification information) related thereto. Further, the program related information presentation server 200B obtains the SNS writing by the specified account from the SNS server 4 and inquires of the presence server 5 whether or not the specified performer is participating in the SNS. Then, the program related information presentation server 200B notifies each of the broadcast reception display device 2 and the information reception display device 3 of the acquired writing (written message) and the inquiry result to the presence server 5.
  • the broadcast reception display device 2 is a device that receives and displays a broadcast.
  • the broadcast reception display device 2 is not particularly limited as long as it can display content and can notify the program-related information presentation server 200B of the content being displayed.
  • it may be terrestrial digital broadcast content, or satellite broadcast or IP broadcast content.
  • the information reception display device 3 is a device that receives and displays information transmitted by the program related information presentation server 200B.
  • the information reception display device 3 may be a portable device such as a smartphone, a tablet terminal, or a mobile phone terminal, or may be a stationary device such as a desktop PC. Note that transmission of information from the program-related information presentation server 200B to the information reception display device 3 is not essential, and the program-related information presentation server 200B may transmit information only to the broadcast reception display device 2.
  • the SNS server 4 is a server that provides SNS. In other words, the SNS server 4 accepts posting of a message from an SNS user and presents this message so that other users can view it.
  • the SNS server 4 manages the posted message in association with the poster and the posting time, and in response to a request from the program related information presentation server 200B, the SNS server 4 displays the managed message. Send to 200B.
  • the presence server 5 is a server that notifies that the SNS user is online. Specifically, in accordance with a request from the program related information presentation server 200B, the presence server 5 changes when the user's presence status (online / offline) of the account notified from the program related information presentation server 200B changes. Presence information indicating the presence status of is transmitted.
  • the broadcast reception display device 2 transmits program information relating to a program currently received and displayed to the program related information presentation server 200B.
  • the program information includes area information indicating the broadcast area of the program, channel selection information indicating the channel of the program, information indicating the broadcast time, and information indicating the performer.
  • information indicating the name of a program corner may be included. These pieces of information can be acquired from an EIT (Event Information Table) when the program being received is a digital terrestrial broadcast program.
  • EIT Event Information Table
  • the program-related information presentation server 200B that has received the program information refers to a predetermined database and identifies an account related to the program indicated by the program information. Then, the SNS server 4 is requested to transmit the write information within the broadcast time of the program among the write information which is a message written by the user of the account.
  • the program related information presentation server 200B transmits the write information transmitted from the SNS server 4 to each of the broadcast reception display device 2 and the information reception display device 3 in accordance with this request.
  • writings in the SNS such as performers of the program are displayed together with the program image.
  • a message written from the official account of the program and a message written from the performer of the program (“Murakami XX” in this example) are displayed.
  • SNS writing is also displayed on the information reception display device 3.
  • the display screen is small, and it is conceivable that the visibility is lowered when the program image and the writing are simultaneously displayed. For this reason, in the illustrated example, only the writing is displayed on the information reception display device 3.
  • the program related information presentation server 200B requests the presence server 5 for presence information of performers of the program indicated by the program information.
  • the program related information presentation server 200B determines that the presence state has changed based on the presence information transmitted from the presence server 5 in accordance with this request, it generates presence notification information indicating the change, and displays the broadcast reception display.
  • the data is transmitted to the device 2 and the information reception display device 3.
  • FIG. 24 is a diagram illustrating a presentation example of presence notification information in the information reception display device 3.
  • the presentation of the presence notification information in the broadcast reception display device 2 is the same, only a presentation example in the information reception display device 3 will be described here.
  • the program image includes three performers, and information related to each performer is displayed. Of these pieces of information, the lower two are the SNS writings by the performers, and the top information is the presence notification information of the performers.
  • the information presentation mode is not particularly limited. When new information is notified from the program-related information presentation server 200B, the latest information is displayed at the top, and the old information is expelled from the screen to check the latest information. It may be easy to do. In this case, it is preferable that the information evicted from the screen can be displayed again by scrolling the screen.
  • presence notification information is displayed indicating that the person “XX Kyoko” who appears in the program being displayed is logged in to the chat room. Thereby, the user can recognize that he / she can participate in the chat with “XX Kyoko” by logging in to the chat room.
  • the chat room may be accessed by the user starting up a browser on the information receiving display device 3 and inputting an address, etc., but a link is embedded in the presence notification information, and access is made by this link. It is preferable to be able to do this.
  • This configuration makes it possible to move to the chat room extremely easily and smoothly by touching the displayed presence notification information, for example, as shown in the figure.
  • the presence notification information is touched, for example, the display screen is changed to a display screen as shown in FIG.
  • the screen configuration is such that the user can exchange messages with performers of the program while watching the program being broadcast.
  • the upper right area of the display screen is the performer comment display area where messages written by performers are displayed, and the lower right area is the participant where messages written by each logged-in user are displayed. It is a comment display area.
  • the user can recognize that the chat with the performer is possible.
  • the user can enjoy watching the program together with the performers.
  • FIG. 25 is a block diagram illustrating an example of a main configuration of the program-related information presentation server 200B.
  • the program related information presentation server 200B includes a control unit 240 that controls the overall operation of the program related information presentation server 200B, a storage unit 230B that stores various data used by the program related information presentation server 200B, and
  • the program related information presentation server 200B includes a communication unit 210 for communicating with other devices.
  • the control unit 240 includes a program information acquisition unit 241, a performer identification unit (performer identification unit) 242, an account identification unit (identification information identification unit) 243, a presence notification unit (use notification unit) 244, and a message notification unit. (Message notification means) 245 is included.
  • the storage unit 230B stores account specifying information 236 and broadcast schedule information 237.
  • the program information acquisition unit 241 acquires program information of a program being viewed on the broadcast reception display device 2 from the broadcast reception display device 2. Further, the performer specifying unit 242 specifies the program being watched on the broadcast receiving display device 2 and the performer based on the program information. And the account specific
  • the presence notification unit 244 requests the presence server 5 to transmit presence information of the user of the account specified by the account specifying information 236, and generates presence notification information based on the presence information transmitted in response to the request. Then, the generated presence notification information is transmitted to the broadcast reception display device 2 and the information reception display device 3 to be displayed.
  • the acquisition of presence information, generation of presence notification information, and transmission of presence notification information may be executed in separate blocks.
  • the message notification unit 245 acquires the message of the user of the account specified by the account specifying information 236 from the SNS server 4 and transmits the message to the broadcast reception display device 2 and the information reception display device 3 to be displayed. Note that message acquisition and transmission may be performed in separate blocks.
  • the account specifying information 236 is information for specifying an account related to the program. Specifically, in the account identification information 236, a program name and an account of the program are associated with each other, and the name of a person who may be a performer of the program (for example, an entertainer) and the account of the person are included. The associated information.
  • the program account is an account for a person involved in the program to write, and is used for writing by staff and performers, for example.
  • Broadcast schedule information 237 is information indicating a broadcast schedule of a program. By referring to this information, it is possible to specify whether the program being viewed on the broadcast reception display device 2 is the first broadcast or has been broadcast in the past. In addition, the broadcast date and time can be specified for a program that has been broadcast in the past.
  • the account specifying information 236 and the broadcast schedule information 237 may be stored so that they can be referred to from the control unit 240, and may be stored in a device or a recording medium installed outside the program related information presentation server 200B. .
  • FIG. 26 is a timing chart illustrating an example of a method for acquiring presence information.
  • the presentity (terminal 2002) in the figure is a terminal (terminal of a program performer) who wants to know whether or not it is online.
  • the presence notification unit 244 of the program related information presentation server 200B issues a SUBSCRIBE to the presence server 5 to request notification of the presentity status when the status changes (F01). .
  • the presence server 5 When the presence server 5 accepts the SUBSCRIBE, it returns a 200 (ok) response (F02) and a NOTIFY indicating the presentity state at that time (F03). Then, the presence notification unit 244 that has received these pieces of information returns 200 (ok) to the presence server 5 (F04).
  • the presence server 5 receives the REGISTER request to turn on the power from the presentity, and the presence notification unit 244 is the same as that performed to the presence server 5.
  • the status notification is requested by the method (F05 to F06).
  • the presence notification unit 244 can determine that the presentity is in an online state. That is, NOTIFY indicating the online state corresponds to the presence information.
  • FIG. 27 is a flowchart illustrating an example of the SNS related information presentation process.
  • the program information acquisition unit 241 receives program information of a program received and output by the broadcast reception display device 2 from the broadcast reception display device 2 (S201), and uses the received program information as a performer identification unit. 242 and the account identification unit 243.
  • the broadcast reception display device 2 may automatically transmit program information while a program is displayed, or a predetermined operation (for example, an operation for instructing display of information related to a program) is performed by a user. Sometimes program information may be transmitted.
  • the performer identifying unit 242 that has received the program information identifies the performer of the program indicated by the program information (S202, performer identifying step), and generates a performer list indicating each identified performer. (S203), and transmits to the account identification unit 243. If the specified performer is one person, the process of S203 is omitted.
  • the account specifying unit 243 that has received the performer list specifies an account of each performer included in the performer list (S204, identification information specifying step). Specifically, the account specifying unit 243 specifies the account associated with each performer included in the performer list generated by the performer specifying unit 242 with reference to the account specifying information 236. Further, the account identification unit 243 also identifies an account associated with the program indicated by the program information received from the program information acquisition unit 241.
  • the account identification unit 243 that has identified the account as described above transmits the identified account to the presence notification unit 244 and the message notification unit 245. Accordingly, the message notification unit 245 performs SNS writing presentation processing (S205, message notification step), and the presence notification unit 244 performs presence information presentation processing (S206). Note that the order of these processes may be reversed or may be performed in parallel. Details of these processes will be described later.
  • the program information acquisition unit 241 determines whether the time indicated by the program information acquired in S1 has ended (S207). If it is determined that the end time has come (YES in S207), The SNS related information presentation process is terminated. On the other hand, when it is determined that the end time is before (NO in S207), the process returns to S205.
  • FIG. 28 is a flowchart illustrating an example of the SNS write presentation process.
  • the message notification unit 245 acquires from the SNS server 4 writing during the broadcast time of the program indicated by the program information received in S201 of FIG. 27 by the account received from the account specifying unit 243 (S210).
  • the message notification unit 245 transmits and displays the writing acquired in S210 to the broadcast reception display device 2 and the information reception display device 3 (S211).
  • the message notification unit 245 transmits and displays the writing acquired in S210 to the broadcast reception display device 2 and the information reception display device 3 (S211).
  • S211 writing after a predetermined time (for example, after 1 minute) from the current time may not be displayed, and writing after that may be displayed. Thereby, the probability that the writing corresponding to the scene that the user has viewed can be displayed.
  • the user confirms whether the keyword based on the information is included in the acquired writing and views the user. You may exclude the writing regarding the scene which has not been displayed from the display object. For example, when there is a performer who has not appeared in the currently displayed scene in the already broadcasted scene, writing including the performer name may be excluded from the display target. Thereby, it is possible to further increase the probability that the writing corresponding to the scene that the user has already viewed is displayed.
  • the written text data acquired in S210 is embedded in a template image for displaying writing in the broadcast receiving display device 2 like the image displayed on the broadcast receiving display device 2 in FIG. Image data may be generated and transmitted.
  • a transmission destination other than the broadcast reception display device 2 (in this example, the information reception display device 3) is registered in advance by the user of the broadcast reception display device 2 accessing the program related information presentation server 200B via the Internet or the like. Just keep it.
  • the message notification unit 245 refers to the broadcast schedule information 237 and confirms whether the program has been broadcast in the past (S212). Here, when it is confirmed that it has not been broadcast in the past (NO in S212), the message notification unit 245 ends the SNS writing presentation process.
  • the message notification unit 245 also acquires the writing during the broadcast time on the broadcast date and time (S213). For example, when a rebroadcast of a program is being viewed (when the program indicated by the program information is a rebroadcast), the writing during the broadcast time of the first broadcast of the program is also acquired. In addition, for example, when the program being viewed has already been broadcast in another area, the writing of the broadcasted program during the broadcast time is also acquired.
  • the message notification unit 245 determines the timing for displaying the acquired writing on the broadcast reception display device 2 and the information reception display device 3 (S214). Specifically, the message notification unit 245 determines the display timing so that the message is displayed in the scene in which the message is written (scene in the program). This makes it possible to match the time axis of the program broadcast at different timings and to match the scene where the writing has been performed with the scene where the message notification unit 245 displays the writing, and to write the scene at an appropriate timing. Can be presented.
  • the message notification unit 245 determines to display at the timing when the elapsed time after the start of the program at the time of writing coincides with the elapsed time after the start of the currently viewed program. For example, with respect to writing at 10 minutes after the start of the first broadcast program, it is determined to be displayed at 10 minutes after the start of the program being viewed.
  • the timing is determined based on that information so that the scene is displayed in the same scene. Also good. In addition to this, for example, when the scene in which the performer who performed the writing appears can be specified, it may be determined to display the scene. In these cases, even when the program structure has changed due to editing from the first broadcast, or when the length of the inserted CM is different from the first broadcast, etc., writing is performed at an appropriate timing. Can be displayed.
  • Metadata for matching the writing timing and the presentation timing may be added to the broadcast signal of the program, and the presentation timing may be determined using this metadata.
  • the start of the program is set to 0 min, the time during the program time (excluding the time of CM etc.) is counted, and the count value may be the above metadata.
  • the metadata of the program broadcast in the past is acquired, and the write timing during the broadcast time is specified by the count value of the metadata.
  • the start time is set to 0 min and the time during the program time (excluding CM time) is counted, and the count value of the broadcast program matches the count value indicating the write timing.
  • the timing is the presentation timing of the writing.
  • the message notification unit 245 transmits the writing acquired in S213 to the broadcast reception display device 2 and the information reception display device 3 for display at the timing determined as described above (S215).
  • the presentation process ends. Since the writing displayed in S215 and the writing displayed in S211 are different in the date and time when the writing was performed, the user can easily recognize the difference in the writing date and time by changing the background color of the message. It is preferable to make it.
  • FIG. 29 is a flowchart illustrating an example of presence notification processing.
  • the presence notification unit 244 requests the presence server 5 for the presence information of the account received from the account specifying unit 243 (S220), and acquires it (S221).
  • S220 as described above, when the presence state changes, the presence server 5 is requested to transmit presence information indicating the changed state. Therefore, the presence information is acquired in S221 when the presence state changes.
  • the presence notification unit 244 generates presence notification information for notifying the presence state indicated by the received presence information (S222). Specifically, when presence information indicating that the performer is online is received, it is determined that the performer is using the SNS, and presence notification information indicating that the performer is online is generated. On the other hand, when the presence information indicating that the performer has gone offline is received, it is determined that the performer has finished using the SNS, and presence notification information indicating that the performer has gone offline is generated. Then, the generated presence notification information is transmitted and displayed on the broadcast reception display device 2 and the information reception display device 3 (S223), thereby ending the presence notification processing.
  • the account identification information 236 includes the account of the overseas user
  • the broadcast schedule information 237 includes the broadcast schedule of the program with a different version overseas, so that the writing at the broadcast time of the program with a different version can also be acquired. It is good.
  • a performer of a program notifies the SNS whether or not it is in an online state has been shown.
  • an input of a scheduled time when the performer is online may be accepted from a performer or a related person, and the scheduled time or the remaining time until the scheduled time may be notified.
  • a performer is identified by receiving a program image from the broadcast reception display device 2, extracting a face portion in the received image by image analysis, and referring to a database for identifying a person from the face image. May be.
  • the performer can be specified even when the EIT does not include information indicating the performer, such as CM.
  • the performer can be specified at the timing when the performer is displayed on the screen, the writing of the performer can be displayed at this timing.
  • the message (writing) to display should just be the message in the service which presents the message posted from the service user to other service users, It is not limited to this example.
  • writing on a blog or a homepage may be displayed.
  • the celebrity's writing can be acquired from the blog or homepage.
  • the program-related information presentation server 200B performs all the processing of program and performer identification, account identification, presence status notification, and SNS writing notification.
  • the present invention is not limited thereto. Absent. These processes may be shared by a plurality of devices connected via a communication network.
  • the display device (television receiver 100) is a display device that reproduces a program and displays an image on a display unit (display unit 130).
  • N integer greater than or equal to 2
  • the latest constant including the period from the server that aggregates actions (votes, tweets) corresponding to the item of the viewer of the program.
  • An acquisition unit (aggregation result acquisition processing unit 142) that acquires information indicating the total number of actions of each item in the period, and each time the acquisition unit acquires the information, the information about each of the N items
  • the number of objects (ball-shaped or heart-shaped marks) corresponding to the total number of actions corresponding to the item in the period corresponding to
  • Object display control means (aggregation result display processing unit 143) that diffuses the displayed number of objects from the position into a predetermined area (voting result display application display area). It is characterized by having.
  • the predetermined area is preferably a frame-like area surrounding the video display area for displaying the video, for example.
  • the display device can determine how many votes each voting object has about the content of the broadcast for the most recent period without losing focus on viewing the program. It is possible to make the user grasp at a glance whether or not there has been.
  • the display device allows the user to determine how many votes have been given to each voting target regarding the broadcast content up to the present time without reducing the concentration of viewing the program. It can be grasped at a glance.
  • the display device has an effect of allowing a user to comfortably view highly interactive content.
  • a display method is a display method of a display device that reproduces a program and displays a video on a display unit.
  • N N: an integer greater than or equal to 2
  • An acquisition step to acquire, and each time the information is acquired in the acquisition step, for each of the N items, the number of objects corresponding to the total number of actions corresponding to the item in the period corresponding to the information
  • An object table that displays an object specific to the item at a predetermined position for the item and diffuses the displayed number of objects from the position into a predetermined area. It includes a control step, and is characterized in that.
  • a selection receiving means for receiving a selection from among N options, and each of the N options
  • the N items are further provided with transmission means (voting processing unit 141) that transmits selection information indicating that the option is selected to the server (server 200).
  • the server is transmitted from the own device and the other display devices to the server within the most recent fixed period. Based on the series of the selection information, it is desirable to aggregate the actions corresponding to the items in the period for each of the N items.
  • the said display apparatus can make a user grasp
  • the display device is the display device according to the first aspect or the second aspect, wherein the object display control means reduces the display size of the object with time, and then finalizes the object. Therefore, it is desirable to erase from the display unit.
  • the display device is the display device according to any one of the first aspect to the third aspect, wherein the object display control means has an object unique to the item other than the item. When contact is made with an object specific to the item, it is desirable to reduce the display size of the two touched objects or to erase the two touched objects.
  • the display device is the display device according to any one of the first aspect to the fourth aspect, wherein the N items are items representing different emotion types, and the object display The object unique to the item displayed by the control means is preferably a mark representing the emotion type corresponding to the item.
  • An input device is a display device (television receiver 100) that displays a program video, and displays selection information indicating options selected from N options by a viewer on a server (Notification means (input processing unit 20) for notifying the viewer of the selected option to the display device to be transmitted to the server 200), and the option to be notified to the display device from among the N options
  • Notification means input processing unit 20
  • the first receiving unit receives an operation for specifying an option
  • a voice corresponding to the option is sent to the voice output unit (voice output unit 30).
  • Voice output control means (input processing unit 20) to be output, and second accepting means for accepting an operation for deciding notifying the display device of an option designated by the operation accepted by the first accepting means ( And the notification means notifies the display device of the options specified by the operation received by the first reception means when the second reception means receives the operation to be determined. It is characterized by that.
  • the input device when the user specifies an option, the input device according to one aspect of the present invention outputs a sound corresponding to the option. That is, even when the user performs an operation of specifying an option without looking at the input device while gazing at the program video, the input device can inform the user which option has been specified by voice. The input device notifies the display device of the option when receiving an operation for determining to notify the display device of the specified option.
  • the input device enables an operation of selecting an option without reducing the user's ability to concentrate on viewing the program.
  • the input device has an effect of allowing the user to comfortably view highly interactive content.
  • a notification method of an input device is a display device that displays a program video, and transmits selection information indicating an option selected from N options by a viewer to a server.
  • an audio output control step for outputting a sound corresponding to the option to the audio output unit, and an option specified by the operation received in the first reception step
  • a second accepting step for accepting an operation for determining to notify the display device, wherein the notifying step is started when the second accepting means accepts the determining operation. It is.
  • the audio output control means when the audio output control means receives an operation of determining that the second reception means supplies the option to the display device, It is desirable to output a sound corresponding to the option from the sound output unit.
  • the communication device not only selects the option specified by the user but also the option (display device) selected by the user for the user who operates the communication device that is not in view while watching the program video.
  • the option that has been decided to be notified is also notified by voice.
  • the input device has an additional effect of allowing the user to grasp which option has been selected without disturbing viewing of the program.
  • the input device which concerns on the 9th aspect of this invention is a portable information terminal provided with the touch panel in the 7th aspect or the 8th aspect, and it is said N pieces for each of the N values i from 1 to N.
  • the operation of designating the i-th option from among the options is an operation of moving the finger in contact with the touch panel to the i-th area of the predetermined N areas included in the touch area of the touch panel.
  • the operation for determining to notify the display device of the option is preferably a tap operation on the touch panel.
  • the input device has an additional effect that the user can notify the display device of a desired option simply by operating the touch panel.
  • the input device which concerns on the 10th aspect of this invention is a portable information terminal provided with the touchscreen in a 7th aspect or the 8th aspect, and is said N piece for each of N value i from 1 to N
  • the operation for designating the i-th option from among the options is a swipe operation in the i-th direction among the predetermined N directions on the touch panel, and it is determined to notify the display device of the option.
  • the operation to be performed is preferably a tap operation on the touch panel.
  • the input device which concerns on the 11th aspect of this invention is a portable information terminal provided with the touch panel in the 7th aspect or the 8th aspect, and it is said N pieces for each of N values i from 1 to N.
  • the operation for designating the i-th option from among the options is a tap operation on the coordinates in the i-th region among the predetermined N regions included in the touch region of the touch panel, and the option is displayed on the display
  • the operation for determining to notify the device is a tap operation on an area other than the N ⁇ 1 areas in the touch area, and the N ⁇ 1 areas are the coordinates of the N areas. It is desirable that there are N ⁇ 1 areas excluding the area to which the
  • An input device is the joystick according to the seventh aspect or the eighth aspect, comprising a button and a lever that falls in N different directions.
  • the operation of designating the i-th option from among the N options is an operation of tilting the lever in the i-th direction among the N directions, and the option is displayed on the display device.
  • the operation for determining notification is desirably an operation of pressing the button.
  • a display device (television receiver 100A) includes a display unit (touch panel display unit 130A) for displaying a program video and an operation for designating an object (face image) in the program video.
  • transmission means object specifying unit 161 for transmitting information indicating the object (feature amount of the face image) to a predetermined server (server 200A) in which various objects are registered in association with the related information;
  • An output means for outputting related information of the object matching the object specified by the above operation (the celebrity voice represented by the face image) from the predetermined server;
  • the predetermined server receives information indicating the object from an external device (the television receiver 100A). If that, based on the information, the objects that match the object is specified from among the various objects, relevant information of the specified object and transmits to the external apparatus, and characterized in that.
  • the display device when the user performs an operation of designating an object in the program video, the display device outputs related information related to the object that matches the object.
  • the display device can output the related information of the object specified by the user.
  • the display device can output the related information of the talent A when the user performs an operation of designating the face image of the talent A in the program video.
  • the higher the matching accuracy in the server the more accurate the related information about the object specified by the user (in the above example, not the related information of the talent B similar to the talent A, Information related to talent A) can be output.
  • the display device can output related information about an object when the object in the video is designated even when the program video is not a video of a recorded program but a video of a live program.
  • the said display apparatus has an effect that a user can view a highly interactive content comfortably.
  • a display method is a display method of a display device including a display unit for displaying a program video, and when an operation for designating an object in the program video is received, the object is displayed.
  • a process of transmitting information to a predetermined server in which various objects are registered in association with the related information, and related information of an object that matches the object specified by the operation are received from the predetermined server. And outputting the related information, and when the predetermined server receives the information indicating the object from an external device, the predetermined server selects an object that matches the object based on the information among the various objects.
  • the display method has the same effect as the display device.
  • a display device is configured such that in the fourteenth aspect, N types (N: an integer of 2 or more) of touch operations on the object can be recognized as operations for designating the object. And when the object is designated by any one of the N types of touch operations, the transmitting means transmits an identification value unique to the touch operation together with information indicating the object to the predetermined server.
  • N an integer of 2 or more
  • the transmitting means transmits an identification value unique to the touch operation together with information indicating the object to the predetermined server.
  • various objects are registered in association with the N pieces of related information, and the predetermined server receives information indicating the object and the identification value from an external device. Based on the information, an object matching the object is identified from the various objects, and the identified object Related information corresponding to the identification value of the bets of the N relevant information transmitted to the external apparatus, it is desirable.
  • the display device has an additional effect that when the user performs various types of touch operations on the object, various related information of the object can be output.
  • the display device is preferably such that the object is a face image and the information indicating the object is a feature amount of the face image.
  • the display device has an additional effect that it can output related information about the person represented by the face image.
  • the display device is the display device according to the fifteenth aspect, wherein the various objects are registered in association with a person's name together with related information, and the transmission means is included in the program video.
  • the program ID of the program that is displaying the program video is transmitted to the predetermined server together with information indicating the object, and the predetermined server transmits the information indicating the object and the program ID.
  • the program ID is received from an external device, the performer of the program is identified by referring to the EPG information, and an object matching the object is selected from one or more objects associated with the identified performer name. It is desirable to specify from the inside.
  • the display device confirms whether or not only an object not associated with the name of the performer of the program matches the object designated by the user.
  • the display device has an additional effect that the processing load on the server side for identifying an object that matches the object designated by the user can be reduced.
  • the information presentation apparatus (program related information presentation server 200B) according to the nineteenth aspect of the present invention is displaying content related to a service for presenting a message posted by a service user to another service user.
  • Information display device to be displayed on the display device broadcast reception display device 2)
  • a performer specifying means for specifying the performer of the content displayed by the display device
  • the identification information specifying means (account specifying unit 243) for specifying the identification information of the performer specified by the person specifying means in the service and the person identified by the identification information specified by the identification information specifying means posted on the service
  • Message notification means (message notification unit 245) for acquiring the received message and transmitting it to the display device for display.
  • the performer of the content displayed on the display device is specified, and the identification information of the specified performer in the service is specified.
  • the person identified by the identified identification information acquires the message posted by the service and transmits it to the display device for display. Therefore, there is an effect that the content viewer can easily browse the message posted by the performer of the content.
  • the information presenting apparatus has an effect that the user can comfortably view highly interactive content.
  • the information presentation method displays information related to a service for presenting a message posted by a service user to another service user, and displays the content.
  • the information presenting method by the information presenting device to be displayed on the display device in the method, the performer identifying step (S202) for identifying the performer of the content displayed by the display device, and the performer identifying step
  • a message notification step S205
  • the information presentation method has the same effects as the information presentation device.
  • the message notification means of the information presentation device is the identification information specified by the identification information specifying means.
  • the identification information specifying means Of the messages posted by the person identified in (2), only the message posted during the broadcast time of the content may be transmitted to the display device for display.
  • the message notification means of the information presentation device when the content is content provided by broadcasting, is displayed on the display device. If the content being broadcast is content that has been broadcast in the past, out of messages posted by the person identified by the identification information identified by the identification information identifying means, messages posted during the past broadcast time of the content Alternatively, it may be transmitted to the display device and displayed.
  • the message posted in the past broadcast time of the content is displayed, the message posted by the performer while viewing the past broadcast can be viewed by the user currently viewing the content. Is possible.
  • the message notification means includes a message posted in a past broadcast time among messages acquired by the message notification means. You may display on the said display apparatus in the same scene as the scene of the said content when a message was posted.
  • An information presentation device is the information presentation apparatus according to any one of the nineteenth aspect to the twenty-second aspect, wherein the person identified by the identification information specified by the identification information specifying means is It may be provided with a usage notification means (presence notification unit 244) that determines whether the service is being used and, when it is determined that the service is being used, transmits information indicating that to the display device for display. .
  • a usage notification means Presence notification unit 244 that determines whether the service is being used and, when it is determined that the service is being used, transmits information indicating that to the display device for display.
  • the content viewer can communicate with the performer in real time via the service.
  • the information presentation device may be realized by a computer.
  • the computer is operated as each unit of the information presentation apparatus. Accordingly, a program for realizing the information presentation apparatus on a computer and a computer-readable recording medium on which the program is recorded also fall within the scope of the present invention.
  • the display device from the first aspect to the fifth aspect, each display device from the fourteenth aspect to the seventeenth aspect
  • the input device each input apparatus from the seventh aspect to the twelfth aspect
  • each block of the input device 1, the program related information presentation server 200 ⁇ / b> B, the television receiver 100, 100 ⁇ / b> A (hereinafter referred to as “each device”), in particular, the control unit 240 is formed on an integrated circuit (IC chip). Alternatively, it may be realized by hardware using a logic circuit, or may be realized by software using a CPU (Central Processing Unit).
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • each device includes a CPU that executes instructions of a program that implements each function, a ROM (Read Memory) that stores the program, a RAM (Random Access Memory) that expands the program, the program, and various data.
  • a storage device such as a memory for storing the.
  • An object of the present invention is to provide a recording medium on which a program code (execution format program, intermediate code program, source program) of a control program for each device, which is software that realizes the functions described above, is recorded so as to be readable by a computer. This can also be achieved by supplying each device and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).
  • Examples of the recording medium include non-transitory tangible media, such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and CD-ROM / MO.
  • Discs including optical disks such as / MD / DVD / CD-R, cards such as IC cards (including memory cards) / optical cards, and semiconductor memories such as mask ROM / EPROM / EEPROM (registered trademark) / flash ROM
  • logic circuits such as PLD (Programmable logic device) and FPGA (Field Programmable Gate array) can be used.
  • each device may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited as long as it can transmit the program code.
  • the Internet intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network (Virtual Private Network), telephone line network, mobile communication network, satellite communication network, etc. can be used.
  • the transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type.
  • wired lines such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), IEEE 802.11 wireless, HDR ( It can also be used by wireless such as High Data Rate (NFC), Near Field Communication (NFC), Digital Living Network Alliance (DLNA), mobile phone network, satellite line, and terrestrial digital network.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • the present invention can be suitably applied to a television receiver.
  • Input device 10 Input reception unit (input reception means) 20 Input processing unit (input processing means) 2 Broadcast reception display device (display device) 200B Program related information presentation server (information presentation device) 242 Performer identification part (performer identification means) 243 Account specifying part (identification information specifying means) 244 Presence notification unit (use notification means) 245 Message notification part (message notification means) 100 TV receiver (display device) 100A TV receiver (display device) 141 Voting processing section (voting processing means) 142 tabulation result acquisition processing unit (acquisition means) 143 Total result display processing unit (object display control means) 144 Download processing unit 200 server 200A server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

 取得処理部(142)は番組再生中に一定期間の経過毎に期間中の各感情種に対する投票の集計数を特定し、表示処理部(143)は、その度に、感情種毎に集計数に応じた個数のボールを対応する位置に表示し、表示した一群のボールを拡散させる。

Description

表示装置、入力装置、情報提示装置、プログラムおよび記録媒体
 本発明は、映像を表示する表示装置に関する。また、本発明は、表示装置に対して情報を通知する入力装置に関する。また、本発明は、情報を表示装置に提示させる情報提示装置に関する。また、本発明は、プログラムおよびプログラムが記録されている記録媒体に関する。
 近年、インターネットに接続可能であり、且つ、テレビ番組を受信可能な様々な機器が開発されている。そのような機器は、放送を通じて受信したテレビ番組の映像を表示しながら、通信を通じて、そのテレビ番組に関連する様々な情報の提供を受けることができるものも存在する。
 このような状況を受けて、映像に関連する情報を適切に提示する技術やインタラクティブ性のある映像コンテンツを提供するための技術等、映像に関連する様々な技術が提案されている。例えば、特許文献1には、映像コンテンツの同一のシーンについて付された様々なコメントのうち、同じような感情を表すコメントのみを閲覧者に提示するコメント蓄積装置が開示されている。また、特許文献2には、CGキャラクタ等の演出対象物がユーザの入力操作に応じた演出を行うような映像コンテンツを生成するコンテンツ生成装置が開示されている。
 さらに、特許文献3には、映像中の特定の領域(例えばスカートが表示されている領域)がクリックされると、関連情報(上述の例ではスカートの価格等の情報)を提示する情報閲覧装置が開示されており、特許文献4~特許文献8にも映像に関連する技術が開示されている。
 また、近年、Twitter(登録商標)等のコメントの投稿および閲覧によるコミュニケーションを提供するSNS(Social Networking Service)の普及に伴い、SNSを介してメッセージをやり取りしながら、複数人でテレビ番組を視聴する、街頭テレビ的な視聴スタイルが増えてきている。
 このような視聴スタイルを反映して、特許文献9のような技術も提案されている。この文献には、テレビにて視聴中の番組内容と連動した情報(同じチャンネルを視聴しているSNS上の友人の情報等)をインターネット上のWebサイトから収集してテレビに表示させる技術が開示されている。
 また、近年では、番組の出演者やスタッフが、番組放送中に、番組の公式アカウントや、自身のアカウントにて番組に関するコメントを投稿することも多い。さらに、コメントの投稿は、出演者等のブログ(ウェブログ)やホームページにて行われることもある。
日本国公開特許公報「特開2008-234431号公報(2008年10月2日公開)」 日本国公開特許公報「特開2008-257450号公報(2008年10月23日公開)」 日本国公開特許公報「特開2002-334092号公報(2002年11月22日公開)」 日本国公開特許公報「特開2003-24637号公報(2003年1月28日公開)」 日本国公開特許公報「特開2005-58449号公報(2005年3月10日公開)」 日本国公開特許公報「特開2004-088335号公報(2004年3月18日公開)」 日本国公表特許公報「特表2005-505847号公報(2005年2月24日公表)」 日本国公開特許公報「特開2008-257460号公報(2008年10月23日公開)」 日本国公開特許公報「特開2011-259383号公報(2011年12月22日公開)」
 しかしながら、従来の技術には、インタラクティブ性の高いコンテンツの視聴を実現する上で以下の1)~4)に示すような様々な問題が存在する。
 1)前述のテレビ番組に関連する様々な情報のひとつとして、テレビ番組を視聴している多数の視聴者の考えが反映された情報が挙げられる。例えば、テレビ番組を視聴している視聴者同士のチャットの内容や多数の視聴者の番組に対する投票の集計結果などがそのような情報に該当する。しかしながら、従来技術では、番組の視聴に対する集中力を妨げられることなく、放送中の番組の放送内容に対して、どの程度の視聴者がどのような考えを持っているかを把握することは容易ではない。例えば、チャットの内容を通じて現在の放送内容に対する視聴者の考えを把握しようとすると、チャットの内容を読んでいる間、番組の視聴に対する集中力が削がれてしまう。
 2)ユーザが番組に対して投票する時、投票のために使用する入力装置に対する操作に気を取られて番組の視聴に対する集中力を削がれてしまう。
 3)特許文献3の技術を用いても、リアルタイム配信(生放送)される番組の映像について、映像中の特定の領域をクリックしたときに、関連情報を表示装置に表示させることはできない。表示装置に関連情報を表示させるためには、情報登録者は、情報登録装置を用いて、録画済みの映像の内容を見ながらその内容に応じた各種情報(画面位置および画面範囲の情報等)の登録を行う必要があるためである。
 4)視聴中のコンテンツの出演者に関連する情報は、視聴者にとって興味の的である。そして、従来は、このような情報を閲覧するためには、SNSのバディリスト(連絡先リスト)に有名人を登録して、番組放送中に番組に関連する投稿情報がないかチェックする必要があった。しかしながら、バディリストへの登録は、ユーザにとって手間がかかるため、このような登録を行っているのはコンテンツの視聴者の一部に過ぎず、多くの視聴者は上記のような情報を閲覧することができなかった。つまり、従来技術では、コンテンツの出演者が投稿したメッセージを、そのコンテンツの視聴中に容易に閲覧することができないという問題があった。
 本発明は、上記様々な問題に鑑みて成されたものであり、その主な目的は、インタラクティブ性の高いコンテンツをユーザに快適に視聴させることが可能な表示装置を実現することにある。
 上記の課題を解決するために、本発明の一態様に係る表示装置は、番組を再生して映像を表示部に表示する表示装置において、上記番組の再生中に、一定期間が経過する度に、複数の項目の各々について上記番組の視聴者の上記項目に対応するアクションを集計するサーバから、上記一定期間を含む直近の一定期間における各上記項目のアクションの集計数を示す情報を取得する取得手段と、上記取得手段が上記情報を取得する度に、複数の上記項目の各々について、上記情報に対応する上記直近の一定期間における上記項目に対応するアクションの集計数に応じた個数の上記項目に固有のオブジェクトを上記表示部における上記項目用の所定の位置に表示し、上記オブジェクトを上記位置から上記表示部における所定の領域内に拡散させるオブジェクト表示制御手段と、を備えている、ことを特徴としている。
 上記の課題を解決するために、本発明の一態様に係る入力装置は、表示装置に表示された番組映像を視聴する視聴者によって指定された項目に対応する処理を行う入力装置であって、視聴者からの上記項目を指定する操作を受け付ける入力受付手段と、上記項目に対応する処理を行う入力処理手段と、上記項目に対応する音声を出力する音声出力手段と、を備え、上記入力処理手段は、上記入力受付手段が受け付けた操作に基づいて、上記項目を示す情報を表示装置に対して通知し、上記項目に応じた音声を上記音声出力手段に出力させ、上記入力受付手段が上記項目を上記表示装置に通知することを決定する操作を受け付けた時に、上記項目を上記表示装置に通知する、ことを特徴としている。
 上記の課題を解決するために、本発明の一態様に係る表示装置は、複数のオブジェクトと該オブジェクトの関連情報とを関連付けて登録してあるサーバに接続し、番組映像中のオブジェクトの関連情報を表示させる表示装置であって、上記番組映像を表示する表示手段と、視聴者による上記番組映像中のオブジェクトを指定する操作を受け付けると、上記サーバへ指定されたオブジェクトを示す情報を送信するオブジェクト情報送信手段と、を備え、上記サーバにて特定した上記番組映像中のオブジェクトの関連情報を受信する関連情報受信手段と、を備え、上記表示手段は、上記関連情報受信手段にて受信した上記番組映像中のオブジェクトの関連情報を出力する、ことを特徴としている。
 上記の課題を解決するために、本発明の一態様に係る情報提示装置は、利用者から投稿されたメッセージを他の利用者に提示するサービスに関連する情報を、コンテンツを表示中の表示装置に表示させる情報提示装置であって、上記表示装置が表示しているコンテンツの出演者を特定する出演者特定手段と、上記出演者特定手段が特定した出演者の上記サービスにおける識別情報を特定する識別情報特定手段と、上記識別情報特定手段が特定した識別情報で識別される者が上記サービスにて投稿したメッセージを取得し、上記表示装置に送信して表示させるメッセージ通知手段と、を備えていることを特徴としている。
 本発明の表示装置、入力装置、情報提示装置、プログラムおよび記録媒体は、インタラクティブ性の高いコンテンツをユーザに快適に視聴させることができるという効果を奏する。
本発明の実施形態1に係る番組再生システムの構成を示したブロック図である。 図1のテレビ受信機の表示画面を例示した図である。 図1のテレビ受信機の表示画面を例示した図である。 図3および図5において便宜的な表記で示されている各種オブジェクトの具体的な表示態様を例示した図である。 図1のテレビ受信機の表示画面を例示した図である。 図1のテレビ受信機の表示画面を例示した図である。 オブジェクトに関するパラメータと、壁に関するパラメータとを説明するための図である。 図1のテレビ受信機が投票結果表示アプリの実行中に行う動作を示したフローチャート図である。 図8のフローチャートにおける1工程をより具体的に示したフローチャート図である。 図9のフローチャートにおける1工程をより具体的に示したフローチャート図である。 図9のフローチャートにおける1工程をより具体的に示したフローチャート図である。 図8のフローチャートにおける1工程をより具体的に示したフローチャート図である。 図12のフローチャートにおける1工程をより具体的に示したフローチャート図である。 図1のテレビ受信機がサーバから投票の集計結果を取得する度に実行する動作を示すフローチャート図である。 図1の番組再生システムの全体的な動作を示したシーケンス図である。 図1の入力装置のバリエーションを例示した図である。 図1の番組再生システムの変形例を示した図である。 図1のテレビ受信機の表示画面を例示した図である。 本発明の実施形態2に係る番組再生システムの構成を示したブロック図である。 図19のテレビ受信機およびサーバの動作を示したフローチャート図である。 番組映像中の顔画像に対してタッチ操作が成された場合に、図19のテレビ受信機が、顔画像が表す有名人による、タッチ操作の種類に応じた内容の音声メッセージをサーバから取得して再生する、ことを模式的に示した図である。 番組映像中の物体画像に対してタッチ操作が成された場合に、図19のテレビ受信機が、物体画像が表す物体に関連する関連情報をサーバから取得して再生する、ことを模式的に示した図である。 本発明の実施形態3に係るSNS連携システムの概略構成の一例を示す図である。 図23のSNS連携システムに含まれる情報受信表示装置におけるプレゼンス通知情報の提示例を示す図である。 図23のSNS連携システムに含まれる番組関連情報提示サーバの要部構成の一例を示すブロック図である。 プレゼンス情報の取得方法の一例を示すタイミングチャートである。 図25の番組関連情報提示サーバが実行する、視聴中の番組に関するSNS上の情報を提示するSNS関連情報提示処理の一例を示すフローチャートである。 図27のSNS関連情報提示処理に含まれるSNS書き込み提示処理の一例を示すフローチャートである。 図27のSNS関連情報提示処理に含まれるプレゼンス通知処理の一例を示すフローチャートである。 テレビ受信機の表示画面を例示した図である。
 〔実施形態1〕
 本発明の一実施形態に係る番組再生システムについて、図面を参照しながら説明する。
 本実施形態に係る番組再生システムは、テレビ受信機を用いて番組を視聴している視聴者が、手元の入力装置を操作することで番組に対して投票を行うことが可能なシステムである。
 以下、本実施形態に係る番組再生システムについて図1~図3に基づいて説明する。
 図1は、本実施形態に係る番組再生システムの構成を示したブロック図であり、図2、図3および図5は、テレビ受信機の表示画面を例示した図である。また、図4は、図3および図5における表示画面内のオブジェクトの各種について、具体的な表示態様を示した図である。
 図1に示すように、本実施形態に係る番組再生システムは、入力装置1と、テレビ受信機100(以下、表示装置とも記載する。)と、サーバ200と、から構成されている。
 なお、テレビ受信機100は、番組の視聴に対する集中力を妨げられることなく、放送中の番組の放送内容(具体的には、直近の一部の放送内容と現在までの全放送内容との両方)に対して、どの程度の視聴者がおおよそどのような考えを持っているかを把握可能な表示装置の一実施形態である。また、入力装置1は、ユーザが番組に関して提示されている選択肢を選択する際、選択の操作に気を取られて番組の視聴に対する集中力を削がれてしまうことなく、選択の操作が可能な入力装置の一実施形態である。このような表示装置および入力装置を実現することは、本発明の主な目的のひとつである。
 〔入力装置1〕
 入力装置1は、ユーザが投票可能な複数の項目の中から所望の投票対象を指定し、指定した投票対象に一票を投じるための装置である。なお、入力装置1は、本実施形態では、テレビ受信機100を操作可能なスマートフォンであるが、後述するように、入力装置1は、スマートフォンのようなCPUを備えたデバイスに限られない。入力装置1は、入力機能を主機能として備え、さらに音声出力機能を備えたデバイスであってもよい。例えば、入力装置1は、キーボードやジョイスティック、リモコン等であってもよい。
 入力装置1は、入力受付部10、入力処理部20、音声出力部30および通信部40を備えている。なお、入力装置1のCPU(図示せず)が後述の投票アプリを実行している間、CPUが入力処理部20として機能する。
 〔入力受付部10〕
 入力受付部10は、所望の投票対象に一票を投じるための入力操作を受け付ける。ここでの入力操作とは、複数の投票対象の中から投票対象を指定する操作と、指定した投票対象がユーザの所望する投票対象である場合にその投票対象に対して一票を投じるための操作と、の2つの操作から構成される。なお、本実施形態では、投票対象は番組を視聴しているユーザが抱いている感情の種別(感情種)であり、ユーザは、所定の8つの投票対象(「喜」「愛」「笑」「恐」「怒」「悲」「快」「驚」)の中から現在の放送内容に対して抱いている感情の種別を指定する操作を行った上で、指定した種別に一票を投じるための操作を行うものとする。
 〔入力処理部20〕
 入力処理部20は、入力受付部10が投票対象を指定する操作を受け付けた場合にその投票対象に対応する音声を音声出力部30から出力する。また、入力処理部20は、入力受付部10が投票対象に対して一票を投じるための操作を受け付けた場合に、その投票対象に対応する音声を音声出力部30から出力するとともに、その投票対象に一票が投じられた旨を示す情報をテレビ受信機100に通信部40を介して送信する。
 例えば、入力処理部20は、ユーザが「驚」という投票対象を指定した場合には「へぇ~」という驚きを示す音声を音声出力部30から出力し、ユーザが「喜」という投票対象を指定した場合には「おお~!」という喜びを示す音声を音声出力部30から出力する。
 〔音声出力部30〕
 音声出力部30は、音声を出力するスピーカである。
 〔通信部40〕
 通信部40は、入力装置1が入力操作に応じた情報をテレビ受信機100に送信するための通信インタフェースである。
 〔テレビ受信機100〕
 テレビ受信機100は、チューナ部110、再生部120、表示部130、音声出力部135、投票処理部141、集計結果取得処理部142、集計結果表示処理部143、ダウンロード処理部144、通信部150、150’および記憶部160を備えている。なお、テレビ受信機100のCPU(図示せず)が後述の投票結果表示アプリを実行している間、CPUが、投票処理部141、集計結果取得処理部142および集計結果表示処理部143として機能する。また、テレビ受信機100がアプリのダウンロードの指示を受け付けたときに、CPUは、ダウンロード処理部144として機能する。
 〔チューナ部110〕
 チューナ部110は、受信した放送波から、選局されたチャンネルの映像信号および音声信号を抽出する。
 〔再生部120〕
 再生部120は、映像信号および音声信号をデコードし、デコード後の映像を表示部130の表示領域の中央部分に表示するとともに、デコード後の音声をスピーカ(図示せず)から出力する。
 〔表示部130〕
 表示部130は、映像を表示するディスプレイである。なお、図2に示すように、番組映像の表示領域は表示部130の表示領域の中央に位置し、投票結果表示アプリの表示領域は、表示部130の表示領域の外縁に位置する。
 〔音声出力部135〕
 音声出力部135は、音声を出力するスピーカである。
 〔投票処理部141〕
 投票処理部141は、通信部150’を通じて受信した情報に基づいて、ユーザにより一票が投じられた投票対象を示す投票情報をサーバ200に送信する。
 〔集計結果取得処理部142〕
 集計結果取得処理部142は、番組の再生中、一定期間が経過するたびに、その一定期間における投票の集計結果を示す情報をサーバ200から取得する。本実施形態では、サーバ200から1秒毎に直近の10秒間の集計結果を示す情報が送られてくるが、集計結果取得処理部142は、1秒毎に上記情報を取得する。
 〔集計結果表示処理部143〕
 集計結果表示処理部143は、一定期間が経過するたびに、集計結果取得処理部142から供給された集計結果を示す情報に基づいて、その一定期間における各投票対象に対する投票数を特定する。
 そして、集計結果表示処理部143は、対象期間における全投票対象に対する投票数を特定する度に、表示部130の表示領域の外縁部分(外縁領域)に様々な種類のオブジェクトを表示させる。具体的には、集計結果表示処理部143は、各投票対象について、その投票対象に対して定められた所定の位置にその投票対象に対する投票数に応じた個数のオブジェクト(その投票対象に対応する感情種を表すオブジェクト)を表示させ、表示させた一群のオブジェクトを、外縁領域内に拡散させる。例えば、集計結果表示処理部143は、「愛」という投票対象については、ピンク色のハート型をした一群のマークを表示領域の右上隅から拡散させる。
 〔ダウンロード処理部144〕
 ダウンロード処理部144は、再生中の番組が対応している入力装置1用のアプリおよびテレビ受信機100用のアプリをサーバ200からダウンロードする。本実施形態では、再生中の番組が、番組に対して投票を行うための投票アプリ(入力装置1用のアプリ)および投票の集計結果を表示するための投票結果表示アプリ(テレビ受信機100用のアプリ)に対応しているものとする。
 〔通信部150〕
 通信部150は、テレビ受信機100が外部の装置(サーバ200等)との間でIP通信を行うための通信インタフェースである。
 〔通信部150’〕
 通信部150’は、テレビ受信機100が入力装置1から入力操作に応じた情報を受信するための通信インタフェースである。
 〔記憶部160〕
 記憶部160には、再生中の番組のEPG情報(番組ID、番組タイトル、出演者、チャンネル番号等を示した情報)、および、サーバ200からダウンロードされたアプリ情報が保存される。
 〔サーバ200〕
 サーバ200は、通信部210、アクション集計処理部221および記憶部230を備えている。なお、サーバ200では、CPU(図示せず)がアクション集計処理部221として機能する。
 〔通信部210〕
 通信部210は、サーバ200が外部の装置(テレビ受信機100等)との間でIP通信を行うための通信インタフェースである。
 〔アクション集計処理部221〕
 アクション集計処理部221は、一定期間(本実施形態では1秒)が経過する度に、多数のテレビ受信機100から直近の一定期間(本実施形態では10秒)に受信した一連の投票情報に基づいてその期間(10秒)における投票を集計する。また、アクション集計処理部221は、一定期間(1秒)毎に、直近の一定期間における集計結果を集計情報DB231に登録する。
 アクション集計処理部221は、一定期間(1秒)毎に、直近の一定期間(10秒)における集計結果(各投票対象に対する投票数)を示す情報をテレビ受信機100に送信する。
 〔アプリ供給部222〕
 アプリ供給部222は、テレビ受信機100で再生中の番組の対応アプリのアプリ情報をテレビ受信機100に供給する。アプリ情報には、テレビ受信機100用のアプリケーション本体のデータ(プログラムデータ)に加え、そのアプリケーションに固有のID、および、入力装置1用のアプリケーションのダウンロード先のURLを示すURL情報が含まれている。また、番組の対応アプリとは、その番組を再生中のテレビ受信機100が正常に動作させることが可能なアプリである。一例を挙げると、試合をしている2チームに対する応援の投票が可能なアプリは、サッカー中継の番組の対応アプリであるが、歌番組の対応アプリではない。
 〔記憶部230〕
 記憶部230には、集計結果DB231および番組情報DB232が保存されている。
 番組情報DB232は、番組放送中、または、これから放送される予定の各番組について、対象番組の対応アプリを示したDBである。
 また、記憶部230には、各対応アプリのアプリ情報も保存されている。
 以上、番組再生システムの構成について説明した。
 〔テレビ受信機100の表示領域の外縁部分に対する表示処理について〕
 集計結果表示処理部143は、一定期間が経過する度に、以下の表1に示すように、各投票対象に対応するオブジェクトを所定の位置に表示させ、各位置からオブジェクトの一群を拡散させる。
Figure JPOXMLDOC01-appb-T000001
 具体的には、集計結果表示処理部143は、一定期間が経過する度に、投票数が相対的に多い(少ない)投票対象については、より多数(少数)のオブジェクトを対応する所定の位置に新たに表示させた上で、新たに表示させたオブジェクトの一群を拡散させる。
 集計結果表示処理部143は、以下の規則に従って、移動中のオブジェクトの表示を制御する。
・移動中のオブジェクトが他のオブジェクトに接触した場合、力学の法則に従って、2つのオブジェクトの移動方向を変化させる。
・移動中のオブジェクトが表示領域の端部に接触した場合、力学の法則に従って、オブジェクトの移動方向を変化させる。
・移動中のオブジェクトが他のオブジェクトまたは表示領域の端部に接触する度に、接触後における移動速度を接触前よりも減少させる。
・移動中のオブジェクトが他の種類のオブジェクトに接触する度に各オブジェクトの表示サイズを小さくし、他の種類のオブジェクトに一定回数接触したオブジェクトを消去する。この場合、オブジェクトの表示サイズを小さくする直前、および、オブジェクトを消去する直前には、そのオブジェクトに対して、爆発しているかのようなイメージのアニメーション効果を加える。
・時間の経過とともに、移動中のオブジェクトの表示サイズを小さくし、一度も他の種類のオブジェクトに接触しなかったとしても最終的にオブジェクトを消去する。
 以上のようにオブジェクトの表示を制御することで、一般的に、各所定の位置の周辺領域をその位置に対応する種類のオブジェクトが占有することになる。特に直近の期間の投票により多く投票された投票対象に対応するオブジェクトは、広範な領域を占有することになる。逆に、直近の期間の投票においてほとんど投票されなかった投票対象に対応する位置の周辺領域は、非常に多く投票された投票対象に対応する他の種類のオブジェクトに占有されることもある。例えば、図4からわかるように、図3の例では、「喜」に対応するオレンジ色(R=255,G=127、B=97)のボールを模した像が、表示領域の上端部分の略全体を占有し、「愛」に対応するハートマークが占有する領域、および、「驚」に対応する黄土色のボールを模した像が占有する領域を圧迫している。
 ユーザは、各位置の周辺領域にその位置に対応するオブジェクトがどの程度存在しているかを一目で確認できる。これにより、ユーザは、多くの視聴者が直近の一定期間(例えば、直近10秒間)の放送内容に対してどのような感情を抱いたかを一目で確認できる。例えば、図3の表示画面を見たユーザは、多くの視聴者が直近の一定期間の放送内容に対して喜びの感情を抱いたことを一目で認識できる。
 同時に、ユーザは、外縁領域全体に多く含まれている種類のオブジェクトを一目で確認することができる。これにより、ユーザは、多くの視聴者が番組の現在までの放送内容に対してどのような感情を抱いているかを一目で確認できる。例えば、図5の表示画面を見たユーザは、多くの視聴者が直近の一定期間(例えば、直近10秒間)の放送内容に対しては喜びの感情を抱いたが、番組放送開始から現在までの放送内容に対しては喜びよりもむしろ愛の感情を抱いていることを認識できる。
 また、ユーザは、表示中のオブジェクトの総数が多いか少ないかを一目で確認できる。これにより、ユーザは、投票が多いか少ないか(すなわち、ユーザが視聴している番組に人気があるか否か)を一目で確認できる。さらに、他者の投票の状況が、番組映像の周辺領域内をオブジェクト群が拡散する動きで表現されるため、番組映像を注視しているユーザは、番組映像を中心視野に入れたまま周辺視野にあるオブジェクトの動きを確認できる。したがって、ユーザは、番組の視聴中に、その都度視線を移動させることなく他者の投票の状況を確認できる。
 なお、図30の表示画面のように投票結果がグラフで示されている場合、ユーザは、どの投票対象に対してどの程度の投票があったかを把握するためには、番組映像から視線を逸らせて各グラフを注視する必要がある。一方、図3で示されている表示画面のように投票結果が色の異なる各オブジェクトの数および動きにより表現されている場合、ユーザは、番組映像から視線を逸らすことなく、どの投票対象に対してどの程度の投票があったかを把握することができる。
 〔投票結果表示アプリの詳細な表示処理アルゴリズムについて〕
 次に、投票結果表示アプリの詳細な表示処理アルゴリズムの一例について図6~図14を参照しながら説明する。
 図6~図14は、この表示処理アルゴリズムについて説明するための図である。
 投票結果表示アプリは、図7に示したような、表示中の各オブジェクトに関する配列Objと、アプリの表示領域の境界(壁)の位置を表す配列Wallと、を参照しながら各オブジェクトの表示位置を決定する。本実施形態では、アプリの表示領域の境界は、図6に示すように、8つの線分から構成されている。また、本実施形態において、配列Objは、図7に示した7種類のパラメータに対応する7つのメンバ変数から構成されている構造体型の変数である。
 以下、上記表示処理アルゴリズムに基づくテレビ受信機100の動作について、図8~図14を参照しながら説明する。
 テレビ受信機100の集計結果表示処理部143は、図8に示すように、S1からS5までの処理を、ユーザからアプリ(投票結果表示アプリ)の終了要求を受け付けるまで繰り返す。なお、S1における所定の時間とは非常に短い時間(例えば、0.05秒)である。
 以下、S4およびS5の処理の詳細について図9以降の図面を参照しながら説明するが、最初にS4の処理の詳細について説明する。なお、S4の処理の時点で表示中のオブジェクトの個数はn個であり、配列Objには表示中のn個のオブジェクトに関するn個の要素が含まれているものとする。
 集計結果表示処理部143は、1からnまでの各iについて以下の処理を行う。
 要素Obj[i]の衝突フラグFhの値を0にする(S11)。
 S11の後、要素Obj[i]の半径パラメータrが所定の値以上であるか否かを判定する(S12)。rが所定の値未満であると判定した場合にはS13に進み、rが所定の値以上であると判定した場合にはS14に進む。
 S13において、要素Obj[i]の各メンバ変数(各パラメータ)の値をnullに設定する。S13の後、i<nの場合にはiに1を加えてS11に戻り、i=nの場合にはS18に進む。
 S14において、要素Obj[i]の消滅フラグFdが1であるか否かを判定する。消滅フラグFdが1であると判定した場合にはS15に進み、消滅フラグFdが1でないと判定した場合にはS17に進む。
 S15において、要素Obj[i]の半径パラメータrを所定の値未満に減らし、S16に進む。
 S16において、要素Obj[i]の消滅フラグFdを1に設定し、S17に進む。
 S17において、座標値pxにvxの値をプラスするともに、座標値pyにvyの値をプラスする。S17の後、i<nの場合にはiに1を加えてS11に戻り、i=nの場合にはS18に進む。
 S18において、S13の処理の対象となった1つ以上の要素が存在する場合、各要素を配列Objから削除する。なお、S18の後における配列Objの要素数はn’であるものとする。
 S18の後、1からn’までの各iについて、S19およびS20からなる処理を実行するが、S19およびS20の処理の詳細について参照する図面を変えて説明する。
 まず、S19の処理について、図10を参照しながら説明する。なお、本実施形態において、図10におけるmの値は8である。
 S19において、集計結果表示処理部143は、図10に示すように、1からmまでの各jについて以下の処理を実行する。
 要素Obj[i]に対応するオブジェクトが要素Wall[j]が表す壁に衝突しているか否かを判定する(S191)。衝突していると判定した場合にはS192に進む。また、衝突していないと判定したときは、j<mのときはjに1を加えてS191に戻り、j=mのときはS20に進む。
 S192において、Obj[i]の速度ベクトルについて、Wall[j]が表す壁(線分)に垂直な方向の成分の符号を反転させる。例えば、S191において要素Obj[i]に対応するオブジェクトが図6に示した要素Wall[7]が表す壁に衝突していると判定した場合、S192においてObj[i]の速度ベクトルのx成分をプラスからマイナスに反転させる。S192の後、j<mのときはjに1を加えてS191に戻り、j=mのときはS20に進む。
 次に、S20の処理について、図11を参照しながら説明する。
 S20において、集計結果表示処理部143は、図11に示すように、1からn’までの各jについて以下の処理を実行する。
 要素Obj[i]に対応するオブジェクトと要素Obj[j]に対応するオブジェクトとが衝突しているか否かを判定する(S201)。衝突していると判定した場合にはS202に進む。また、衝突していないと判定した場合、j<n’のときはjに1を加えてS201に戻り、j=n’のときはS20の次のステップに進む。
 S202において、要素Obj[i]および要素Obj[j]の衝突フラグFhを1に設定し、S203に進む。
 S203において、要素Obj[i]および要素Obj[j]の速度ベクトルの値を変更し、S204に進む。
 S204において、要素Obj[i]の感情種と要素Obj[j]の感情種とが同じであるか異なっているかを判定する。異なっていると判定した場合にはS205に進む。また、同じであると判定した場合には、j<n’のときはjに1を加えてS201に戻り、j=n’のときはS20の次のステップに進む。
 S205において、要素Obj[i]および要素Obj[j]の消滅フラグFdを1に設定する。S205の後、j<n’のときはjに1を加えてS201に戻り、j=n’のときはS20の次のステップに進む。
 以上、S4の処理の詳細について説明した。次にS5の処理の詳細について、図12~図14を参照しながら説明する。
 図12に示すように、S31において、感情種毎に、その感情種に対応する表示すべきオブジェクトの個数を集計する。具体的には、配列Objのn’個の要素のうち感情種パラメータが1である要素Obj[i]の個数を集計する。2から8までの各値についても、感情種パラメータがそのような値である要素Obj[i]の個数を集計する。
 S31の処理の結果、8つの集計値のうちの最大値が、感情種パラメータがEである要素Obj[i]の個数の集計値と等しい場合、感情種パラメータEmaxの値をEとする(S32)。
 S32の後、感情種パラメータがEmaxである要素Obj[i]に対応するオブジェクトの通常時の色を表すRGB値およびα値を、それぞれ、変数CbgのRGB値およびα値として設定する(S33)。例えば、Emax=1である場合、変数CbgのRGB値を(255、127、97)に設定し、変数Cbgのα値を1に設定する。
 S33の後、変数Cbgのα値を0.5に変更する(S34)。
 S34の後、投票対象表示アプリの表示領域の背景色を変数Cbgが表す色にする(S35)。
 S35の後、S36において表示すべき各オブジェクトの描画処理を行い、S37において8つの感情種に対応する8つの絵柄(以下では、この絵柄を「ホームアイコン」とも称する)をそれぞれ所定の位置に描画する。
 S37の後、S1の処理に戻る。
 以下、S36の描画処理の詳細について図13を参照しながら説明する。
 S36において、集計結果表示処理部143は、図13に示すように、1からn’までの各iについて以下の処理を実行する。
 S361において、要素Obj[i]の生成フラグFbが1であるか否かを判定する。生成フラグFbが1であると判定された場合にはS362に進み、生成フラグFbが1でないと判定された場合にはS364に進む。
 S362において、要素Obj[i]の座標値(px、py)が示す位置に、要素Obj[i]の感情種パラメータに対応する生成時(すなわち、最初の描画時)の態様のオブジェクト(図4を参照)を描画する。S362の後、要素Obj[i]の生成フラグFbを0に設定する(S363)。S363の後、i<n’のときはiに1を加えてS361に戻り、i=n’のときはS37に進む。
 S364において、要素Obj[i]の座標値(px、py)が示す位置に、要素Obj[i]の感情種パラメータに対応する通常時の態様のオブジェクトを描画する。なお、要素Obj[i]に対応するオブジェクトが生成されてから一定時間が経過するまでは図4の「通常時態様」のオブジェクトを描画し、一定時間が経過してからは同図の「通常時態様2」のオブジェクトを描画する。
 S365において、要素Obj[i]の衝突フラグFhが1であるか否かを判定する。衝突フラグFhが1であると判定された場合にはS366に進み、衝突フラグFhが1でないと判定された場合にはS367に進む。
 S366において、描画した要素Obj[i]に対応するオブジェクトに対し、要素Obj[i]の感情種パラメータに対応する衝突時効果を加える。具体的には、表示中のオブジェクトを図4の衝突時態様のオブジェクトに変更する。なお、要素Obj[i]の感情種パラメータが1または3の場合のみS366の処理を行い、要素Obj[i]の感情種パラメータがそれ以外の値の場合にはS366をスキップしてS367に進む。
 S366の後、要素Obj[i]の消滅フラグFdが1であるか否かを判定する(S367)。消滅フラグFdが1であると判定された場合にはS368に進む。また、消滅フラグFdが1でないと判定された場合、i<n’のときはiに1を加えてS361に戻り、i=n’のときはS37に進む。
 S368において、描画した要素Obj[i]に対応するオブジェクトに対し、要素Obj[i]の感情種パラメータに対応する消滅時効果を加える。具体的には、表示中のオブジェクトを図4の消滅時態様のオブジェクトに変更する。S368の後、i<n’のときはiに1を加えてS361に戻り、i=n’のときはS37に進む。
 ところで、S1~S5の処理を繰り返す間、前述のように、集計結果表示処理部143は、サーバ200から送られてくる投票の集計結果を10秒毎に取得する。
 そして、集計結果表示処理部143は、集計結果を取得する度に、図14に示した処理を行う。
 すなわち、S51において、各感情種に対する投票数の総和に等しい個数の要素を配列Objに追加する。
 S51の後、追加した全要素の生成フラグFbを1に設定する(S52)。
 S52の後、感情種毎に、その感情種に対する投票数と等しい個数の各要素の感情種パラメータに、その感情種を示す値を設定する(S53)。例えば、集計結果が感情種「愛」に対する投票数が10であることを示している場合、追加した全要素のうち10個の要素について、その感情種パラメータを2に設定する。
 S53の後、追加した各要素の座標値を、その要素の感情種パラメータの値に対応するホームアイコン内の座標を示す値に設定する(S54)。例えば、感情種パラメータの値が2である要素の場合、その要素の座標値を表示領域の右上隅を示す値に設定する。
 S54の後、追加した全要素の速度ベクトル(vx、vy)および半径パラメータrをデフォルト値に設定する(S55)。速度ベクトルのデフォルト値は、その速度ベクトルの大きさが、10秒間でホームアイコンからある程度離れるような大きさである、ことが望ましい。
 S55の後、追加した全要素の消滅フラグFdおよび衝突フラグFhを0に設定し(S56)、処理を終了する。
 上記のS51~S56の処理により、新たに描画するオブジェクトに関する要素が配列に追加され、以降におけるS1~S5の処理の繰り返しによって、感情種毎に、新たに描画されたその感情種に対応する種類のオブジェクト群が、対応するホームアイコンの位置から分散することになる。
 なお、S51において、配列Objに追加する要素の個数は、各感情種に対する投票数の総和に応じた個数であれば、各感情種に対する投票数の総和より少なくてもよいし、多くてもよい。この場合、S53において、感情種毎に、その感情種に対する投票数が上記総和に対して占める割合に応じた個数の各要素の感情種パラメータに、その感情種を示す値が設定されることになる。
 〔システム全体の動作の詳細について〕
 本実施形態に係る番組再生システムの全体的な動作の詳細について、図15を参照しながら説明する。図15は、番組再生システムの一動作を示すシーケンス図である。
 図15に示すように、ユーザが、入力装置1に対して、テレビ受信機100の電源をオンにするための操作を行うと、入力装置1は、通信部40を介して、電源オンの信号をテレビ受信機100に送信する(S71)。信号を受信したテレビ受信機100は、放送局からの番組の受信を開始し(S72)、TSを逆多重化して得られる番組映像および番組音声の出力(番組の再生)を開始する(S73)。
 S73の後、ユーザが、入力装置1に対して、番組の対応アプリを起動するための操作を行うと、入力処理部20は、対応アプリを起動するための信号をテレビ受信機100に送信する(S74)。信号を受信したテレビ受信機100のダウンロード処理部144は、再生中の番組に関する番組情報(EPG情報)をサーバ200に送信する(S75)。
 EPG情報を受信したサーバ200は、EPG情報に基づいてテレビ受信機100で再生中の番組の番組IDを特定し、特定した番組IDおよび番組情報DBに基づいて、再生中の番組が対応しているテレビ受信機100用のアプリケーションを特定する(S76)。そして、サーバ200のアプリ供給部222は、特定したアプリケーションのアプリ情報をテレビ受信機100に送信する(S77)。なお、以下では、テレビ受信機100用のアプリケーションが投票結果表示アプリであり、入力装置1用のアプリケーションが投票アプリであるものとして、番組再生システムの動作の説明を継続する。
 S77の後、サーバ200は、テレビ受信機100で再生中の番組に対する投票の集計情報が集計情報DBに登録されているか否かを確認する。集計情報が登録されていない場合には、投票の集計処理を開始する(S78)。サーバ200は、直近10秒間の投票の集計結果を1秒毎にテレビ受信機100に送信する(S79)。
 アプリ情報を受信したテレビ受信機100のダウンロード処理部144は、そのアプリ情報を記憶部160に保存するとともに、入力装置1に送信する(S80)。その後、テレビ受信機100は、投票結果表示アプリを起動し(S81)、図2に示したような、番組映像と投票結果表示アプリの映像との同時表示を開始する(S82)。
 一方、アプリ情報を受信した入力装置1は、URL情報を参照することで投票アプリをダウンロードし、投票アプリを起動する(S83)。
 S83の後、ユーザが、投票対象を指定するための入力操作を入力装置1に対して行うものとする。この場合、入力処理部20は、入力受付部10が受け付けたその入力操作に基づいて、指定された投票対象を特定し、その投票対象を示す情報をテレビ受信機100に送信する(S84)。
 S84の後、入力処理部20は、特定した投票対象に応じた音声を音声出力部30から出力する(S85)。一方、指定された投票対象を示す情報を受信したテレビ受信機100は、指定された投票対象に応じた情報を表示部130に表示し、指定された投票対象に応じた音声を音声出力部30から出力する(S86、S87)。すなわち、入力装置1はどの投票対象を指定したかを音声でユーザに示し、テレビ受信機100は、どの投票対象を指定したかを、映像のみで、または、映像および音声の両方でユーザに示すことになる。
 一方、S84の後に、ユーザが指定されている投票対象に一票を投じるための入力操作を入力装置1に対して行うものとする。この場合、入力処理部20は、入力受付部10が受け付けたその入力操作に基づいて、票が投じられた投票対象を特定し、その投票対象を示す情報をテレビ受信機100に送信する(S88)。
 S88の後、入力処理部20は、特定した投票対象に応じた音声を音声出力部30から出力する(S89)。一方、票が投じられた投票対象を示す情報を受信したテレビ受信機100の投票処理部141は、票が投じられた投票対象に応じた情報を表示部130に表示し、票が投じられた投票対象に応じた音声を音声出力部30から出力する(S90、S91)。すなわち、入力装置1はどの投票対象に票を投じたかを音声でユーザに示し、テレビ受信機100は、どの投票対象に票を投じたかを、映像のみで、または、映像および音声の両方でユーザに示すことになる。
 S91の後、投票処理部141は、票が投じられた(すなわち、ユーザに選択された)投票対象を示す投票情報をサーバ200に送信する(S92)。
 以上、図15を参照しながら、番組再生システムの全体的な動作の詳細について説明した。なお、S82の後、テレビ受信機100は、図8~図14に示した表示処理を実行することになるが、図15ではこの表示処理に関する記載を省略している。
 〔入力装置1の他のバリエーションについて〕
 入力装置1は、例えば、図16(a)に示したようなジョイスティックとしても実現できるが、タブレット端末としても実現できる。入力装置1をタブレット端末として実現する場合には、図16(d)に示したタブレット端末として実現することが望ましいが、図16(c)または図16(d)に示したようなタブレット端末として実現してもよい。
 図16(a)に示したようなジョイスティックの8方向レバーにより入力可能な8つの方向は、8種類の感情種に対応している。ジョイスティックは、8方向レバーによる方向の入力を検出すると、その方向に対応する感情種を示す音声をスピーカから出力するとともに、その方向を示す信号をテレビ受信機100に送信する。テレビ受信機100は、どの感情種が指定されたかを当該信号の受信を以って検知する。
 また、入力装置1は、8方向レバーが倒れた状態で投票ボタンの押下を検出すると、倒れている方向に対応する感情種を示す音声をスピーカから出力するとともに、8方向レバーが倒れている方向を示す信号と投票ボタンの押下を示す信号とをテレビ受信機100に同時に送信する。テレビ受信機100は、両方の信号を同時に受信したことを以って、どの感情種に票が投じられたかを検知する。なお、入力装置1は、8方向レバーが直立した状態で投票ボタンの押下を検出した場合、直近で8方向レバーが倒れた方向に対応する感情種を示す音声をスピーカから出力するとともに、投票ボタンの押下を示す信号をテレビ受信機100に送信してもよい。そして、テレビ受信機100は、投票ボタンの押下を示す信号を受信したことを以って、直近で指定された感情種に対して票が投じられたことを検知してもよい。
 また、ジョイスティックには、記憶部(HDD、SDカード等)が設けられており、8種類の感情種の各々に対応する音声データが記憶部に保存されていることが望ましい。また、ジョイスティックの通信部40は、赤外線通信に対応した通信インタフェースであってもよいし、Bluetooth(登録商標)通信に対応した通信インタフェースであってもよいし、無線LANに対応した通信インタフェースであってもよい。
 図16(b)のタブレット端末は、投票アプリがフォアグラウンドで動作している間、スワイプ操作を、感情種を指定する操作と見做し、その後のタップ操作を、指定されている感情種に対する投票操作と見做すように構成されている。
 具体的には、このタブレット端末は、所定の方向A~方向Hの各々について、対象方向へのスワイプ操作を、その方向に対応する感情種を指定する操作と見做す(例えば、右上方向にスワイプする操作を、感情種「驚」を指定する操作と見做す)。そして、タブレット端末は、指定された感情種を示す音声をスピーカから出力するとともに、指定された感情種を示す情報をテレビ受信機100に送信する。その後、タブレット端末は、タップ操作を検出すると、そのタップ操作をスワイプ操作により指定された感情種に対する投票操作と見做す。例えば、右上方向にスワイプする操作を検出した後にタップ操作を検出すると、そのタップ操作を感情種「驚」に対する投票操作と見做す。そして、タブレット端末は、票が投じられた感情種を示す音声をスピーカから出力するとともに、票が投じられた感情種を示す情報をテレビ受信機100に送信する。
 図16(c)のタブレット端末は、投票アプリがフォアグラウンドで動作している間、タップイベント(具体的には、タップ、長タップ、またはダブルタップのいずれかのイベント)を検出した後に特定の領域へのタップを検出すると、そのタップを、最初のタップ(長タップまたはダブルタップ)により指定された感情種に対する投票操作と見做すように構成されている。
 より具体的には、このタブレット端末は、タッチパネルのタッチ領域内の所定の8つの領域A~領域Hの各々について、対象領域内の座標に対するタップ(長タップまたはダブルタップ)を、その領域に対応する感情種を指定する操作と見做す(例えば、図16(c)に示した8つの領域のうち「かなしぃ」という表示に最も近い領域へのタップを、感情種「悲」を指定する操作と見做す)。そして、タブレット端末は、指定された感情種を示す音声をスピーカから出力するとともに、タップされた領域内の絵柄を強調表示(例えば、拡大表示)し、指定された感情種を示す情報をテレビ受信機100に送信する。その後、タブレット端末は、指定された感情種に対応する領域(絵柄が強調表示されている領域)を除く7つの領域のいずれにも属さない特定の領域へのタップを検出すると、そのタップを指定された感情種に対する投票操作と見做す。例えば、「かなしぃ」という表示に最も近い領域に対するタップを検出した後にさらに上記特定の領域へのタップを検出すると、そのタップを感情種「驚」に対する投票操作と見做す。そして、タブレット端末は、票が投じられた感情種を示す音声をスピーカから出力するとともに、票が投じられた感情種を示す情報をテレビ受信機100に送信する。
 図16(d)のタブレット端末は、投票アプリがフォアグラウンドで動作している間、8通りの感情種について、タッチパネルに接触している指をその感情種のタブ表示領域またはその水平方向に位置するタブ表示領域以外の任意の領域に指を移動させる操作を、その感情種を指定する操作と見做す。そして、タブレット端末は、感情種を指定する操作の後のタップ操作を、指定した感情種に対する投票操作と見做すように構成されている。
 例えば、ユーザが感情種「悲」のタブ表示領域またはその水平方向に位置するタブ表示領域以外の任意の領域を始点として上方向に2段(約120ドット)ぶん指を移動させる場合、始点からの移動量が約60ドットになった時点で、タブレット端末は、感情種「美」が指定されたと認識する。その後、引き続き指を離さずに移動させ、始点からの移動量が約120ドットになった時点で、タブレット端末は、感情種「愛」が指定されたと認識する。そして、タブレット端末は、感情種の指定を認識するたびに、指定された感情種を示す音声をスピーカから出力するとともに、指定された感情種を示す情報をテレビ受信機100に送信する。
 タブレット端末は、感情種を指定する操作の検出後にタップ操作を検出すると、そのタップ操作を、指定されている感情種に対する投票操作と見做す。そして、タブレット端末は、票が投じられた感情種を示す音声をスピーカから出力するとともに、票が投じられた感情種を示す情報をテレビ受信機100に送信する。
 また、図示はしていないが、ユーザの8本の指(例えば、両手の親指を除く8本の指)を示す生体情報を登録可能なタブレット端末を入力装置1としてもよい。具体的には、入力装置1は、カメラ(図示せず)等により検出した指が登録済の生体情報が表す8本の指のうちのいずれかの指であることを認識した場合に、8つの感情種のうち、検出した指に対応する感情種が指定されたと認識してもよい。以下の表2に示すように、ユーザの左手の小指の接触を検出した場合には、感情種「喜」が指定されたと認識してもよい。入力装置1は、タップ操作を検出した場合に、タップ操作の検出を指定されている感情種に対する投票操作と見做すように構成されていてもよい。
Figure JPOXMLDOC01-appb-T000002
 〔実施形態1の付記事項1〕
 投票対象が「喜」「愛」「笑」「恐」「怒」「悲」「快」「驚」の8種類の感情種である例を挙げて実施形態1の説明を行ったが、本発明はこれに限定されない。
 例えば、番組が図18のようなサッカー中継の番組である場合、投票対象は、試合中の2つのチームであってもよい。すなわち、前述の8つの感情種のように番組の内容に関わらず採用可能な複数の投票対象を採用してもよいし、番組の内容に応じた複数の投票対象を採用してもよい。
 〔実施形態1の付記事項2〕
 実施形態1では、サーバ200は、多数のテレビ受信機100から送信された一連の投票情報に基づいて投票を集計し、テレビ受信機100は、投票の集計結果を示す情報に基づいて、各種オブジェクトの表示を制御するものとした。しかしながら、本発明はこのような構成に限定されない。
 サーバ200のアクション集計処理部221は、一定時間が経過する度に、以下の処理1~処理3を行っても良い。
処理1:該当期間における番組に対する各視聴者のツイートから、該当期間の放送内容に対して各視聴者が抱いている感情を分析する。
処理2:分析結果に基づいて、8種類の感情(「喜」「愛」「笑」「恐」「怒」「悲」「快」「驚」)の各々について、その種類の感情を表すツイートの数を集計する。
処理3:集計結果を示す情報をテレビ受信機100に送信する。
 そして、テレビ受信機100では、集計結果取得処理部142が集計結果を示す情報を受信する度に、集計結果表示処理部143が、集計結果に応じた個数の各種オブジェクトを新たに表示してもよい。
 〔実施形態1の付記事項3〕
 S76において、再生中の番組が対応しているテレビ受信機100用のアプリケーションを番組情報DBに基づいて特定できなかった場合、サーバ200は、すべての番組に対応しているデフォルトアプリケーションのアプリ情報をテレビ受信機100に送信してもよい。
 また、S76において、再生中の番組が対応しているテレビ受信機100用のアプリケーションを番組情報DBに基づいて複数特定した場合、サーバ200は、特定したすべてのアプリケーションのアプリ情報をテレビ受信機100に送信してもよい。また、サーバ200は、番組情報DBに対応アプリが複数登録されている各番組について、その番組のどの対応アプリのアプリ情報をテレビ受信機100に送信すべきかの指示をユーザから受け付け可能に構成されていてもよい。この場合、サーバ200は、特定した複数のアプリケーションのうちユーザから指定されたアプリケーションのみについて、そのアプリ情報をテレビ受信機100に送信することになる。
 なお、対応アプリが複数登録されている番組としては、例えば、男性用のアプリと女性用のアプリとの2つのアプリが登録されている番組が挙げられる。
 〔実施形態1の付記事項4〕
 番組再生システムには、入力装置1、テレビ受信機100およびサーバ200の他、図17に示すように、テレビ受信機100が再生する音声を出力する外部スピーカ300が含まれていてもよい。
 そして、テレビ受信機100は、図15のS87およびS91において、音声出力部30だけでなく外部スピーカ300からも音声を出力してもよい。
 〔実施形態1の付記事項5〕
 テレビ受信機100は、入力装置1用の全アプリケーションをほぼ常に記憶部160に保持するように構成されていてもよい。そのために、テレビ受信機100は、例えば、保持していないアプリケーションを所定のサーバから定期的にダウンロードしてもよい。
 この場合、S83において、入力装置1は、アプリ情報内のIDに対応する入力装置1用のアプリケーションをテレビ受信機100からダウンロードし、ダウンロードしたアプリケーションを起動してもよい。
 〔実施形態1の付記事項6〕
 入力装置1は、入力装置1用の全アプリケーションをほぼ常に記憶部(図示せず)に保持するように構成されていてもよい。そのために、入力装置1は、例えば、保持していないアプリケーションを所定のサーバから定期的にダウンロードしてもよい。
 この場合、S83において、入力装置1は、アプリ情報内のIDに対応するアプリケーションを記憶部の中から特定し、特定したアプリケーションを起動してもよい。
 〔実施形態1の付記事項7〕
 実施形態1では、番組映像の表示領域が表示部130の表示領域の中央に位置し、投票結果表示アプリの表示領域が表示部130の表示領域の外縁に位置するものとしたが、本発明はこのような構成に限定されない。
 例えば、番組映像の表示領域が表示部の表示領域内の上側(または下側)に位置し、投票結果表示アプリの表示領域が表示部の表示領域内の下側(または上側)に位置していてもよい。あるいは、番組映像の表示領域が表示部の表示領域内の右側(または左側)に位置し、投票結果表示アプリの表示領域が表示部の表示領域の左側(または右側)に位置していてもよい。
 あるいは、番組映像の表示領域が表示部の表示領域内の右下側(あるいは、右上側、左下側または右下側)に位置し、表示部の表示領域のうち番組映像の表示領域を除いた残りのL字状領域が投票結果表示アプリの表示領域となっていてもよい。
 より一般的には、投票結果表示アプリの表示領域は、矩形の領域に限らず、番組映像の表示領域の周囲にある任意の形状の閉じた領域であればよい。
 〔テレビ受信機100の利点1〕
 以上のように、番組を再生して番組映像を表示するテレビ受信機100は、集計結果取得処理部142および集計結果表示処理部143を備えている。
 集計結果取得処理部142は、番組の再生中に一定期間(1秒)が経過する度に、8種類の感情種の各々について上記番組の視聴者の当該感情種に対する投票を集計するサーバ200から、直近の一定期間(10秒)内における各感情種に対する投票の集計数を示す情報を取得する。
 また、集計結果表示処理部143は、集計結果取得処理部142が情報を取得する度に、8種類の感情種の各々について、その情報に対応する期間におけるその感情種に対する投票数に応じた個数のオブジェクト(その感情種に固有のオブジェクト)をその感情種を表すホームアイコンの位置に表示し、表示した一群のオブジェクトをその位置からテレビ受信機100の表示面の外縁領域内に拡散させる。例えば、集計結果表示処理部143は、「愛」という感情種に対する投票数に応じた個数のピンク色のハート型をしたマークを表示面の右上隅に表示させ、その後、一群のハート型のマークを拡散させる。すなわち、ハート型のマークの表示直後には、各マークを、表示面の上端に沿って左方向に移動させるか、または、右端に沿って下方向に移動させる。
 上記の構成により、テレビ受信機100は、番組の直近の一定期間の放送内容に関し、各感情種に対してどの程度の投票があったかをユーザに一目で把握させることができる。同時に、番組の現在までの放送内容に関し、各感情種に対してどの程度の投票があったかをユーザに一目で把握させることができる。
 〔テレビ受信機100の利点2〕
 また、以上のように、入力装置1は、8種類の感情種の中から視聴者に選択された感情種を示す投票情報をサーバ200に送信するテレビ受信機100に対して、視聴者に選択された感情種を通知する入力処理部20を備える。
 また、入力装置1は、8種類の感情種の中からテレビ受信機100に通知すべき感情種を指定する操作を受け付ける入力受付部10を備える。
 入力処理部20は、入力受付部10がテレビ受信機100に通知すべき感情種を指定する操作を受け付けた時に、その感情種に応じた音声を音声出力部30から出力させる。
 さらに、入力処理部20は、指定されている感情種をテレビ受信機100に通知することを決定する操作を入力受付部10が受け付けた時に、指定されている感情種をテレビ受信機100に通知する。
 上記の構成により、テレビ受信機100が再生中の番組を視聴している入力装置1のユーザは、番組の映像を注視しながら、自身が番組に対して抱いている感情の種類を8種類の感情種の中から指定できる。入力装置1は、8種類の感情種のうちどの感情種をユーザが指定したかを音声でユーザに知らせるので、ユーザは操作のために入力装置1に視線を向ける必要がないからである。
 したがって、入力装置1は、番組の視聴に対するユーザの集中力を削ぐことなく、ユーザに、番組に対して抱いている感情の種類(感情種)を8種類の感情種の中から選択させることができる。
 また、テレビ受信機100の前で複数人の視聴者が各自の入力装置1を持参している状況において、各視聴者は、他の視聴者が番組に対してどのような感情を抱いているかを当該他の視聴者が持参している入力装置1の音声出力部30から出力される音声により把握できる。したがって、入力装置1は、このような状況において、番組を視聴中の複数人の視聴者の間のコミュニケーションを円滑にする効果を奏すると言える。
 〔実施形態2〕
 本発明の別の一実施形態に係る番組再生システムについて、図19~図22に基づいて説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
 まず、本実施形態に係る番組再生システムの構成について説明する。
 図19は、本実施形態に係る番組再生システムの構成を示したブロック図である。
 図19に示すように、本実施形態に係る番組再生システムは、テレビ受信機100Aと、サーバ200Aと、から構成されている。
 なお、テレビ受信機100Aは、生放送される番組の映像について、映像中のオブジェクトが指定されたときに、そのオブジェクトに関する関連情報を表示することが可能な表示装置の一実施形態である。このような表示装置を実現することは、本発明の目的のひとつである。
 〔テレビ受信機100A〕
 テレビ受信機100Aは、チューナ部110、再生部120、タッチパネル式表示部130A、通信部150、オブジェクト特定部161およびタッチ操作種別特定部162を備えている。
 〔チューナ部110〕
 チューナ部110は、受信した放送波から、選局されたチャンネルの映像信号および音声信号を抽出する。
 〔再生部120〕
 再生部120は、映像信号および音声信号をデコードし、デコード後の映像をタッチパネル式表示部130Aに表示するとともに、デコード後の音声をスピーカ(図示せず)から出力する。
 〔タッチパネル式表示部130A〕
 タッチパネル式表示部130Aは、入力デバイスとして機能するタッチパネルと表示デバイスとして機能するディスプレイとを兼ね備えている。
 〔通信部150〕
 通信部150は、テレビ受信機100Aが外部の装置(サーバ200A等)との間でIP通信を行うための通信インタフェースである。
 〔オブジェクト特定部161〕
 オブジェクト特定部161は、タッチパネル式表示部130Aに表示されている映像中から、ユーザに指定された顔画像や物体画像等のオブジェクトを特定する。また、オブジェクト特定部161は、特定した顔画像からその特徴量を算出する。
 〔タッチ操作種別特定部162〕
 タッチ操作種別特定部162は、ユーザにより指定された顔画像がどのようなタッチ操作により指定された顔画像であるかを特定する。すなわち、タッチ操作種別特定部162は、タッチ操作の種類を特定する。
 〔サーバ200A〕
 サーバ200Aは、通信部210、オブジェクト特定部223および記憶部230Aを備えている。
 〔通信部210〕
 通信部210は、サーバ200Aが外部の装置(テレビ受信機100A等)との間でIP通信を行うための通信インタフェースである。
 〔オブジェクト特定部223〕
 オブジェクト特定部223は、顔画像の特徴量を外部の装置から受信すると、特徴量を受信した顔画像にマッチングする顔画像を、その特徴量に基づいて、記憶部230Aの顔画像DB233に登録されている様々な顔画像の中から特定する。
 また、オブジェクト特定部223は、物体画像を外部の装置から受信すると、受信した物体画像にマッチングする物体画像を、記憶部230Aの物体画像DB234に登録されている様々な物体画像の中から特定する。
 オブジェクト特定部223は、特定した顔画像または物体画像に関する名称や関連情報(例えば、顔画像に対応する著名人の宣伝情報や物体画像に対応する製品の広告情報等)を上記外部の装置に返却する。
 〔記憶部230A〕
 記憶部230Aには、顔画像DB233、物体画像DB234およびEPG情報DB235が保存されている。
 顔画像DB233には、様々な著名人について、顔画像、名前、関連情報および音声が関連付けて登録されている。なお、音声については、著名人毎に、後述の“1”から“5”までの識別値に対応する5通りのその著名人の音声が登録されている。
 物体画像DB234には、様々な物について、物体画像、名称、および、その物に関連する文章が関連付けて登録されている。
 EPG情報DB235には、放送地域毎に、その地域で放送される各番組の番組情報が登録されている。番組情報の中には、番組に出演する著名人の名前などが含まれている。
 以上、番組再生システムの構成について説明した。
 次に、ユーザが番組映像中の顔画像の部分をタッチした場合の番組再生システムの動作について図20および図21を参照しながら説明する。
 図20は、番組再生システムの上記動作を示すフローチャート図である。図21は、番組再生システムの上記動作の流れを概略的に示したイメージ図である。
 〔ユーザが番組映像中の顔画像をタッチした場合の番組再生システムの動作〕
 テレビ受信機100Aのオブジェクト特定部161は、図20(a)に示すように、最初に、タッチ開始位置の座標を特定する(S101)。ここで、タッチ開始位置の座標とは、1回のタッチ操作によりタッチされるタッチパネル式表示部130A上の様々な位置のうち最初にタッチされた位置の座標である。
 S101の後、オブジェクト特定部161は、タッチ開始位置の近傍にある顔画像を検出し(S102)、検出した顔画像の特徴量を算出する(S103)。なお、どの顔画像が検出されたかをユーザに把握させるために、タッチ操作の終了を検出するまでの間、ユーザがタッチしている位置に検出した顔画像を表示してもよい。
 S104において、タッチ操作種別特定部162は、タッチ操作の終了を検出すると、接触点の軌跡に基づいて、タッチ操作の種類を検出し、タッチ操作の種類に対応する識別値(1~5までのいずれかの値)をオブジェクト特定部161に供給する。
 タッチ操作の種類は、図21に示したように5種類存在するが、タッチ操作種別特定部162は、例えば、1回のタップイベントを検出した場合には、タッチ操作の種類が“通常のタップ”であることを検出し、識別値である“1”をオブジェクト特定部161に供給する。なお、“イラつきながら連打する”、“愛でるように撫でる”、“くすぐるように撫でる”および“出演者に対して否定的な思いを持ちながらタッチする”の各タッチ操作には、それぞれ、識別値“2”~“5”が対応している。タッチ操作種別特定部162は、どのようなタッチ操作が成されたかを、図21に示した判定条件に基づいて判定する。
 S104の後、オブジェクト特定部161は、顔画像の特徴量と、タッチ操作に対応する識別値と、再生中の番組の番組IDとをサーバ200Aに送信する(S105)。
 S105の後、サーバ200Aのオブジェクト特定部223は、図20(b)に示すように、顔画像の特徴量と、タッチ操作に対応する識別値と、再生中の番組の番組IDとを受信する(S151)。
 S151の後、オブジェクト特定部223は、受信した番組IDに基づいて、テレビ受信機100Aで再生中の番組に関する番組情報をEPG情報DB235から抽出し、番組情報を解析することで番組の出演者を特定する(S152)。
 S152の後、オブジェクト特定部223は、受信した顔画像の特徴量に基づいて、顔画像DB233の中からマッチングする顔画像(テレビ受信機100Aに表示されている番組映像中の著名人の顔画像)を特定する(S153)。具体的には、顔画像DB233に登録されている各出演者(S152で特定した各出演者)について、出演者の顔画像の特徴量と、S151で受信した特徴量と、を比較することで、マッチングする顔画像を特定する。
 S153の後、オブジェクト特定部223は、マッチングする顔画像と関連付けて記録されている5種類の音声のうち、S151で受信した識別値に対応する音声を顔画像DB233から読み出す(S154)。例えば、S151で識別値“2”を受信した場合には、気分を落ち着かせるような口調の「落ち着いてください」という音声を顔画像DB233から読み出す。また、例えば、S151で識別値“5”を受信した場合には、許しを請うような口調の「ごめんなさい」という音声を顔画像DB233から読み出し、あわせて顔画像DB233に登録されてある著名人の名称や関連情報を読み出す。
 S154の後、オブジェクト特定部223は、S154で読み出した音声及び著名人の名称や関連情報をテレビ受信機100Aに返却する(S155)。
 S155の後、テレビ受信機100Aでは、再生部120が、番組の再生を継続しながら、S155で返却された音声を再生し、著名人の名称や関連情報を表示する(S106)。
 〔ユーザが番組映像中の物体の像をタッチした場合の番組再生システムの動作〕
 次に、ユーザが番組映像中の物体の像をタッチした場合の番組再生システムの動作について図22を参照しながら説明する。
 図22は、番組再生システムの上記動作の流れを概略的に示したイメージ図である。
 テレビ受信機100Aのオブジェクト特定部161は、最初に、タッチ開始位置の座標を特定する。
 その後、オブジェクト特定部161は、タッチ開始位置の近傍にある物体の像を検出する。タッチ操作種別特定部162は、タッチ操作の終了を検出すると、図22に示すように、番組映像から物体の像を切り出して得られた物体画像をサーバ200Aに送信する。
 物体画像を受信したサーバ200Aのオブジェクト特定部223は、受信した物体画像にマッチングする物体画像を物体画像DB234の中から特定し、マッチングする物体画像と関連付けて記録されている関連情報を物体画像DB234の中から読み出す。例えば、物体画像が「桜」の画像である場合、桜に関する関連情報を物体画像DB234から読み出してもよい。また、物体画像が「ワイン」である場合には、関連情報として、そのワインを販売するウェブサイトのURLを物体画像DB234から読み出してもよい。同様に、物体画像が図22に示した「サッカーシューズ」の画像である場合には、関連情報として、そのサッカーシューズを販売するウェブサイトのURLを物体画像DB234から読み出してもよい。
 最後に、オブジェクト特定部223は、図22に示すように、物体画像DB234から読み出した関連情報をテレビ受信機100Aに返却し、テレビ受信機100Aの再生部120は、番組の再生を継続しながら、返却された関連情報をタッチパネル式表示部130Aに表示する。
 〔実施形態2の付記事項1〕
 オブジェクト特定部161は、顔画像から特徴量を抽出せずに顔画像をサーバ200Aに送信してもよい。そして、オブジェクト特定部223は、受信した顔画像から特徴量を抽出し、その抽出した特徴量と、顔画像DB233に登録されている各顔画像の特徴量と、を比較することで、受信した顔画像にマッチングする顔画像を顔画像DB233の中から特定してもよい。
 〔実施形態2の付記事項2〕
 顔画像DB233には、著名人毎に5種類の音声が登録されるものとしたが、言うまでもなく、音声は5種類に限定されない。すなわち、顔画像DB233には、著名人毎に複数種類の音声が登録されていてもよいし、ただ1種類の音声が登録されていてもよい。また、後者の場合、テレビ受信機100Aは、S104の処理を行う必要はなく、S105において識別値を送信しなくてもよい。また、音声は、顔画像DB233に登録されていなくてもよい。その場合、テレビ受信機100Aは、S104の処理を行う必要はなく、S105において、識別値を送信しなくてもよい。そして、サーバ200Aでは、S154の処理を行う必要はなく、S155において音声を送信せずに顔画像DBに登録されてある著名人の情報(名前や宣伝情報等の関連情報)をテレビ受信機100Aに送信すればよい。
 なお、著名人毎に音声セット(例えば、前述の5種類の音声からなる音声セット)が複数登録されている顔画像DB233においては、複数の音声セットには互いに異なる番組IDが関連づけて記録されていてもよい。また、サーバ200Aは、S154において、マッチングする顔画像に関連づけて記録されている複数の音声セットの中からS151にて受信した番組IDに対応する音声セットを選択してもよい。そして、サーバ200Aは、S154において、選択した音声セットを構成する複数の音声(例えば、5種類の音声)のうちS151にて受信した識別値に対応する音声を顔画像DB233から読み出してもよい。この場合、テレビ受信機100Aは、番組Aおよび番組Bの両方の番組に出演している出演者について、番組Aの再生中にその出演者の顔画像がタッチ操作により指定された場合と番組Bの再生中にその出演者の顔画像が同じタッチ操作により指定された場合とで異なる音声を出力できる。
 〔実施形態2の付記事項3〕
 テレビ受信機100Aは、番組映像中の顔画像または物体の像がタッチ操作により指定された場合に前述の動作を行うものとしたが、本発明はこれに限定されない。すなわち、テレビ受信機100Aは、番組映像中の顔画像がタッチされた場合に限って前述の動作を行い、番組映像中の物体の像をユーザがタッチした場合にはタッチに起因する特段の処理を行わなくとも良い。
 〔実施形態2の付記事項4〕
 テレビ受信機100Aは、再生中の番組の番組IDをサーバ200Aに送信しなくともよい。また、サーバ200Aの記憶部230Aには、EPG情報DB235が保存されていなくともよく、オブジェクト特定部223は、S151で受信した特徴量と、顔画像DB233に登録されている各顔画像の特徴量と、を比較することで、番組映像中の顔画像にマッチングする顔画像を顔画像DB233の中から特定してもよい。この場合、再生対象は放送番組に限られず、ネット上の動画コンテンツやDVD等のパッケージメディアの映像であっても構わない。
 〔実施形態2の付記事項5〕
 物体画像と関連付けて記録されている関連情報としては、前述の例のほか、例えば、物体を利用しているユーザのクチコミが掲載されているサイトのURL、物体の詳細情報が掲載されているサイトのURL等が挙げられる。
 〔実施形態2の付記事項6〕
 テレビ受信機100Aは、物体画像とともに番組IDをサーバ200Aに送信してもよい。この場合、サーバ200Aは、受信した番組IDに対応する番組の番組情報をEPG情報DB235から読み出し、番組情報に含まれる様々なキーワードに基づいて、受信した物体画像に似ている物体画像DB234中の様々な物体画像の中から、マッチングする物体画像を絞り込んでもよい。例えば、受信した物体画像が「チーズケーキ」の物体画像であり、物体画像DB234に「チーズケーキ」の物体画像と「ショートケーキ」の物体画像とが登録されており、番組情報に「チーズケーキ」という文言が含まれている場合、サーバ200Aは、「チーズケーキ」の物体画像に関連付けて登録されている関連情報をテレビ受信機100Aに送信してもよい。なお、関連情報は、例えば、「チーズケーキ」の有名店(サーバ200Aを用いたサービスを提供している事業者のスポンサー)のサイトのURLであってもよい。
 〔実施形態2の付記事項7〕
 サーバ200Aは、顔画像が登録されている著名人の新しい音声が顔画像DB233に登録された場合、その旨を示す情報と顔画像の特徴量とをテレビ受信機100Aに送信してもよい。テレビ受信機100Aは、受信した特徴量に基づいて、該当著名人の顔画像が番組映像内に含まれているか否かを判定し、含まれていると判定した場合に、映像内の著名人の新しい音声が登録された旨を示す情報をタッチパネル式表示部130Aの画面隅に表示してもよい。なお、テレビ受信機100Aのユーザの中には、この表示に促されて、番組映像内の著名人の顔画像にタッチしようとする者もいると考えられるので、上記の表示により、著名人に関する情報(歌手のコンサートの情報や俳優の出演する映画の情報等)の宣伝効果を高めることができると言える。
 〔実施形態2の付記事項8〕
 テレビ受信機100Aは、サーバ200Aから著名人の音声と名称と関連情報を受け取った時に既に名称や関連情報を表示済みである場合には、その時に受け取った名称や関連情報を表示しないように制御してもよい。
 〔実施形態2の付記事項9〕
 テレビ受信機100Aおよびサーバ200Aは、テレビ受信機100Aが番組映像中のオブジェクトがユーザに指定されていなくともその番組の出演者に関する関連情報を表示できるように構成されていてもよい。
 すなわち、テレビ受信機100Aは、番組の放送中に、その番組の出演者の音声を随時サーバ200Aに送信してもよい。サーバ200Aは、テレビ受信機100Aから出演者の音声を受信する度に以下の処理1~処理4を実行してもよい。
 処理1)サーバ200Aは、送信された音声から声紋の特徴量を抽出する。処理2)サーバ200Aは、顔画像DBに登録されている各著名人の音声について音声から抽出した声紋の特徴量を抽出する。処理3)サーバ200Aは、送信された音声から抽出した特徴量と顔画像DBから抽出した各特徴量とを比較することで、送信された音声から抽出した特徴量にマッチングする声紋の特徴量を顔画像DBの中から特定する。処理4)サーバ200Aは、顔画像DBにおいて、特定した声紋の特徴量に関連付けて記録されている著名人の情報(名前や宣伝情報等の関連情報)をテレビ受信機100Aに返却する。
 上記のように構成されたサーバ200Aは、ユーザに指定された番組映像中の顔画像を受信したことをトリガとしてその顔画像にマッチングする顔画像に対応する著名人の音声をテレビ受信機100Aに送信し、番組の出演者の音声を受信したことをトリガとしてその出演者の関連情報をテレビ受信機100Aに送信する。
 したがって、上記のように構成されたテレビ受信機100Aは、番組のリアルタイム配信(生放送)中に番組の出演者が発言するたびに、その出演者に関する関連情報を自動的に表示できる。なお、この場合、テレビ受信機100Aは、番組映像中のオブジェクトの指定をユーザから受け付けることができないように構成されていてもよく、サーバ200Aは、ユーザに指定された番組映像中の顔画像を受信した場合に、受信した顔画像と顔画像DBに登録されている顔画像とのマッチングを行わないように構成されていてもよい。
 〔実施形態2のその他の付記事項〕
 テレビ受信機100Aは、“イラつきながら連打する”、“愛でるように撫でる”、“くすぐるように撫でる”および“出演者に対して否定的な思いを持ちながらタッチする”といった各種タッチ操作の具体的な方法が示されたサイトに誘導する機能を備えても良い。テレビ受信機100Aにこのような機能が備わっていれば、ユーザは、具体的なタッチ操作方法を容易に理解することができる。
 顔画像DB233には、著名人毎に、前述のタッチ操作の種類に応じた5種類の音声に加え、プレミアム音声が登録されていてもよい。そして、テレビ受信機100Aにおける同一人物の顔画像に対するタッチ操作の回数が一定回数に達した場合、テレビ受信機100Aは、サーバ200Aから対象人物のプレミアム音声を取得して、再生してもよい。これにより、ユーザが顔画像にタッチするモチベーションが高まることになる。
 サーバ200Aは、テレビ受信機100Aのユーザがどの人物の顔画像に対してどのようなタッチ操作を行ったかについての情報を蓄積してもよい。そして、サーバ200Aは、この情報に基づいて、ユーザの嗜好情報を作成し、嗜好情報に応じた宣伝情報をテレビ受信機100Aに供給してもよい。テレビ受信機100Aは、供給された宣伝情報を提示してもよい。
 物体画像を受信した場合にその物体画像が表す物体に関する関連情報を返却するためにオブジェクト特定部223が実行する処理のアルゴリズムは特に限定されず、公知の任意のアルゴリズムを採用することができる。
 テレビ受信機100Aは、タッチパネル式表示部130Aの代わりに、タッチパネルを備えていない表示パネルを備えていてもよい。この場合、映像中のオブジェクトの指定は、テレビ受信機100Aを操作するための操作デバイス(図示せず)を用いて行われる。
なお、この操作デバイスは、テレビ受信機100Aに内蔵されていてもよいし、テレビ受信機100Aに内蔵されていないものであってもよい。後者の場合、操作デバイスは、テレビ受信機100Aのリモコンであってもよいし、テレビ受信機100Aを操作可能なアプリケーションがインストールされたスマートフォンまたはタブレット端末であってもよい。なお、操作デバイスは、特に表示領域内の任意の座標を指定できるようなポインタ機能を持つデバイスであることが望ましい。この場合、ユーザは、ポインタ機能を用いてオブジェクトの表示領域内の任意の座標を指定することで、そのオブジェクトを指定できる。
 〔テレビ受信機100Aの利点〕
 以上のように、テレビ受信機100Aは、番組映像を表示するタッチパネル式表示部130Aと、番組映像中の顔画像に対するタッチ操作を受け付けると、顔画像の特徴量を、様々な著名人の顔画像がその音声と関連付けて登録されているサーバ200Aに送信するオブジェクト特定部161と、タッチ操作を受け付けた顔画像にマッチングする顔画像に関連付けられた音声をサーバ200Aから受信した場合に、音声をスピーカから出力する再生部120と、を備えている。
 サーバ200Aは、顔画像の特徴量を外部のテレビ受信機100Aから受信すると、その特徴量に基づいて、該顔画像にマッチングする顔画像を様々な著名人の顔画像の中から特定し、特定した顔画像に関連付けられている音声をテレビ受信機100Aに送信する。
 上記番組映像は、放送局からリアルタイム配信(生放送)される番組の映像であってもよいし、HDDレコーダ等に録画した番組の映像であってもよい。したがって、テレビ受信機100Aは、再生している放送番組の映像内にある著名人の顔画像がタッチされた場合に、その著名人の音声(関連情報)を出力できる。
 〔実施形態3〕
 本発明のさらに別の一実施形態について、図23~図29に基づいて説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
 〔システム構成〕
 本実施形態では、コンテンツを視聴中のユーザに、そのコンテンツに関連する情報をSNSから取得して提示するSNS連携システムについて説明する。このSNS連携システムによれば、ユーザは、事前の登録等の煩瑣な処理を行うことなく、視聴中の番組に関連するSNS上の情報を閲覧することができる。
 まず、本実施形態のSNS連携システムの概略構成を図23に基づいて説明する。図23は、SNS連携システム1000の概略構成の一例を示す図である。図示のように、SNS連携システム1000は、番組関連情報提示サーバ(情報提示装置)200B、放送受信表示装置(表示装置)2、情報受信表示装置3、SNSサーバ4、およびプレゼンスサーバ5を含む。
 なお、番組関連情報提示サーバ200Bは、コンテンツの視聴者に、該コンテンツの出演者が投稿したメッセージを容易に閲覧させることができる情報提示装置の一実施形態である。このような情報提示装置を実現することは、本発明の目的のひとつである。
 番組関連情報提示サーバ200Bは、放送受信表示装置2で視聴中の番組およびその出演者と、これに関するSNSのアカウント(SNS利用者の識別情報)を特定する。また、番組関連情報提示サーバ200Bは、特定したアカウントによるSNSでの書き込みをSNSサーバ4から取得すると共に、特定した出演者がSNSに参加中であるか否かをプレゼンスサーバ5に問い合わせる。そして、番組関連情報提示サーバ200Bは、取得した書き込み(書き込まれたメッセージ)と、プレゼンスサーバ5への問合せ結果とを、放送受信表示装置2および情報受信表示装置3のそれぞれに通知する。
 放送受信表示装置2は、放送を受信して表示する装置である。放送受信表示装置2は、コンテンツを表示することができ、また表示中のコンテンツを番組関連情報提示サーバ200Bに通知することができるものであればよく、表示対象となるコンテンツは特に限定されない。例えば、地上デジタル放送のコンテンツであってもよいし、衛星放送やIP放送のコンテンツであってもよい。
 情報受信表示装置3は、番組関連情報提示サーバ200Bが送信する情報を受信して表示する装置である。情報受信表示装置3は、例えばスマートフォン、タブレット端末、または携帯電話端末等の携帯型の機器であってもよいし、デスクトップPCのような据え置き型の機器であってもよい。なお、番組関連情報提示サーバ200Bから情報受信表示装置3への情報の送信は必須ではなく、番組関連情報提示サーバ200Bは放送受信表示装置2のみに情報を送信するようにしてもよい。
 SNSサーバ4は、SNSを提供するサーバである。すなわち、SNSサーバ4は、SNSのユーザからのメッセージの投稿を受け付け、このメッセージを他のユーザが閲覧できるように提示する。また、SNSサーバ4は、投稿されたメッセージを投稿者および投稿時刻と対応付けて管理しており、番組関連情報提示サーバ200Bからの要求に応じて、管理しているメッセージを番組関連情報提示サーバ200Bに送信する。
 プレゼンスサーバ5は、SNSのユーザがオンラインになったことを通知するサーバである。具体的には、プレゼンスサーバ5は、番組関連情報提示サーバ200Bの要求に従い、該番組関連情報提示サーバ200Bから通知されたアカウントのユーザのプレゼンス状態(オンライン/オフライン)が変化したときに、変化後のプレゼンス状態を示すプレゼンス情報を送信する。
 以上の装置を含むSNS連携システム1000において行われる処理の概要を、同図に基づいて以下説明する。まず、放送受信表示装置2は、現在受信して表示している番組に関する番組情報を番組関連情報提示サーバ200Bに送信する。なお、この番組情報には、当該番組の放送地域を示す地域情報、番組のチャンネルを示す選局情報、放送時間を示す情報、および出演者を示す情報が含まれる。また、これらの情報の他に、番組のコーナー名を示す情報等が含まれていてもよい。これらの情報は、受信中の番組が地上デジタル放送の番組である場合、EIT(Event Information Table)から取得することができる。
 次に、上記番組情報を受信した番組関連情報提示サーバ200Bは、所定のデータベースを参照して、該番組情報が示す番組に関するアカウントを特定する。そして、上記アカウントのユーザによって書き込まれたメッセージである書き込み情報のうち、この番組の放送時間内における書き込み情報の送信をSNSサーバ4に要求する。
 そして、番組関連情報提示サーバ200Bは、この要求に従ってSNSサーバ4から送信される書き込み情報を放送受信表示装置2および情報受信表示装置3のそれぞれに送信する。これにより、放送受信表示装置2の表示画面には、番組の画像と共に、該番組の出演者等のSNSにおける書き込みが表示される。例えば、図示の例では、SNSにおいて、番組の公式アカウントから書き込まれたメッセージと、番組の出演者(この例では「村上 ○○」)から書き込まれたメッセージとが表示されている。
 また、情報受信表示装置3にも、SNSの書き込みが表示される。なお、情報受信表示装置3が携帯型の装置である場合等には、表示画面が小さく、番組の画像と書き込みとを同時に表示させると視認性が低下することも考えられる。このため、図示の例では、情報受信表示装置3には書き込みのみを表示させている。
 さらに、番組関連情報提示サーバ200Bは、上記番組情報が示す番組の出演者のプレゼンス情報をプレゼンスサーバ5に要求する。そして、番組関連情報提示サーバ200Bは、この要求に従ってプレゼンスサーバ5から送信されるプレゼンス情報に基づき、プレゼンス状態が変化したと判断したときには、その変化を示すプレゼンス通知情報を生成して、放送受信表示装置2および情報受信表示装置3に送信する。
 これにより、放送受信表示装置2の表示画面には、番組の画像と共に、該番組の出演者がSNSにおいてオンラインとなったこと、またはオフラインとなったことを示す情報が表示される。情報受信表示装置3においても同様である。
 〔プレゼンス通知情報の提示例〕
 続いて、プレゼンス通知情報の提示例を図24に基づいて説明する。図24は、情報受信表示装置3におけるプレゼンス通知情報の提示例を示す図である。なお、放送受信表示装置2におけるプレゼンス通知情報の提示も同様であるから、ここでは情報受信表示装置3における提示例のみを説明する。
 図24の(a)の例では、情報受信表示装置3の表示画面に、番組の画像と共に、該番組の出演者のプレゼンス通知情報およびSNSにおける書き込みが表示されている。より詳細には、番組の画像には3人の出演者が含まれており、各出演者に関連する情報が表示されている。これらの情報のうち、下2つは出演者によるSNSにおける書き込みであり、一番上の情報が出演者のプレゼンス通知情報である。情報の提示態様は特に限定されないが、新規の情報が番組関連情報提示サーバ200Bから通知されたときには、最新の情報を先頭に表示し、古い情報は画面から追い出すようにして、最新の情報を確認しやすくしてもよい。この場合、画面から追い出された情報については、画面をスクロールして再表示させることができるようにすることが好ましい。
 この例では、表示中の番組に出演している「○○京子」本人がチャットルームにログインしていることを示すプレゼンス通知情報が表示されている。これにより、ユーザは、チャットルームにログインすることによって、「○○京子」とのチャットに参加可能であることを認識することができる。
 なお、チャットルームへのアクセスは、ユーザが、情報受信表示装置3においてブラウザを起動させ、アドレスを入力する等して行うようにしてもよいが、プレゼンス通知情報にリンクを埋め込み、このリンクによってアクセスできるようにすることが好ましい。
 この構成により、例えば図示のように、表示されているプレゼンス通知情報にタッチすることによって、極めて容易かつスムーズにチャットルームに移動することも可能になる。そして、プレゼンス通知情報にタッチされたときには、例えば同図の(b)のような表示画面に遷移させる。
 同図の(b)の例では、放送中の番組を見ながら、ユーザが番組の出演者とメッセージのやり取りをするための画面構成としている。具体的には、表示画面の右上のエリアを、出演者が書き込んだメッセージが表示される出演者コメント表示エリアとし、右下のエリアを、ログインした各ユーザが書き込んだメッセージが表示される参加者コメント表示エリアとしている。
 これにより、複数のユーザから多数の書き込みがあった場合でも、それにより出演者の書き込んだメッセージが画面から追い出されることがない。また、出演者は、多数のメッセージの中から目に留まったものにレスポンスのメッセージを書き込めばよい。
 このように、プレゼンス通知情報を表示させることにより、ユーザは出演者とのチャットが可能であることを認識することができる。そして、チャットルームにアクセスすることによって、ユーザは、出演者と一緒に番組の視聴を楽しむことができる。
 〔番組関連情報提示サーバの構成〕
 続いて、番組関連情報提示サーバ200Bのより詳細な構成を図25に基づいて説明する。図25は、番組関連情報提示サーバ200Bの要部構成の一例を示すブロック図である。
 図示のように、番組関連情報提示サーバ200Bは、番組関連情報提示サーバ200Bの動作を統括して制御する制御部240、番組関連情報提示サーバ200Bが使用する各種データを記憶する記憶部230B、および番組関連情報提示サーバ200Bが他の装置と通信するための通信部210を備えている。
 また、制御部240は、番組情報取得部241、出演者特定部(出演者特定手段)242、アカウント特定部(識別情報特定手段)243、プレゼンス通知部(利用通知手段)244、およびメッセージ通知部(メッセージ通知手段)245を含む。そして、記憶部230Bには、アカウント特定情報236および放送スケジュール情報237が格納されている。
 番組情報取得部241は、放送受信表示装置2で視聴中の番組の番組情報を当該放送受信表示装置2から取得する。また、出演者特定部242は、上記番組情報に基づいて放送受信表示装置2で視聴中の番組およびその出演者を特定する。そして、アカウント特定部243は、特定された番組およびその出演者に関するアカウント(SNSのアカウント)を特定する。
 プレゼンス通知部244は、アカウント特定情報236により特定されるアカウントのユーザのプレゼンス情報の送信をプレゼンスサーバ5に要求し、この要求に応じて送信されるプレゼンス情報に基づいてプレゼンス通知情報を生成する。そして、生成したプレゼンス通知情報を放送受信表示装置2および情報受信表示装置3に送信して表示させる。なお、プレゼンス情報の取得と、プレゼンス通知情報の生成と、プレゼンス通知情報の送信とは、それぞれ個別のブロックで実行するようにしてもよい。
 メッセージ通知部245は、アカウント特定情報236により特定されたアカウントのユーザのメッセージをSNSサーバ4から取得し、放送受信表示装置2および情報受信表示装置3に送信して表示させる。なお、メッセージの取得と送信とは、それぞれ個別のブロックで実行するようにしてもよい。
 アカウント特定情報236は、番組に関連するアカウントを特定するための情報である。具体的には、アカウント特定情報236は、番組名と該番組のアカウントとが対応付けられ、また番組の出演者となる可能性のある者(例えば芸能人)の名前と、その者のアカウントとが対応付けられた情報である。なお、番組のアカウントとは、番組関係者が書き込みを行うためのアカウントであり、例えばスタッフおよび出演者による書き込みに用いられる。また、近時では、プログラム制御により、自動で書き込みに対して返信を行ったり、自発的に書き込みを行ったりするアカウントを提供するサービスも行われており、これを利用する芸能人も多い。このため、このような自動書き込みのアカウントについても、アカウント特定情報236に含めておいてもよい。
 放送スケジュール情報237は、番組の放送スケジュールを示す情報である。この情報を参照することによって、放送受信表示装置2で視聴中の番組が、初回放送であるか過去に放送済みであるかを特定することができる。また、過去に放送済みの番組について、その放送日時を特定することもできる。
 なお、アカウント特定情報236および放送スケジュール情報237は、制御部240から参照可能に格納されていればよく、番組関連情報提示サーバ200Bの外部に設置された装置または記録媒体に格納されていてもよい。
 〔プレゼンス情報の取得方法〕
 続いて、プレゼンス情報の取得方法について図26に基づいて説明する。図26は、プレゼンス情報の取得方法の一例を示すタイミングチャートである。なお、同図のプレゼンティティ(2002番の端末)が、オンラインであるか否かの状態を知りたい端末(番組の出演者の端末)である。
 まず、番組関連情報提示サーバ200Bのプレゼンス通知部244は、プレゼンスサーバ5に対して、SUBSCRIBEを発行して、プレゼンティティの状態を、その状態が変化したときに通知することを要求する(F01)。
 プレゼンスサーバ5は、上記SUBSCRIBEを受諾する場合、200(ok)の応答(F02)を返すと共に、その時点のプレゼンティティの状態を示すNOTIFYを返す(F03)。そして、これらの情報を受信したプレゼンス通知部244は、プレゼンスサーバ5に200(ok)を返す(F04)。
 次に、プレゼンスサーバ5は、プレゼンティティの状態を管理するために、プレゼンティティから電源ONのREGISTER要求を受信したことを契機として、プレゼンス通知部244がプレゼンスサーバ5に向けて行ったのと同様の方法で状態通知を要求する(F05~F06)。
 そして、プレゼンティティがオンライン状態となったときには、そのことを示すNOTIFYがプレゼンスサーバ5に通知され(F07)、プレゼンスサーバ5がこの通知をプレゼンス通知部244に転送する(F08~F09)。これにより、プレゼンス通知部244は、プレゼンティティがオンライン状態となったことを判定することができる。つまり、オンライン状態となったことを示すNOTIFYが上記のプレゼンス情報に相当する。
 〔SNS関連情報提示処理〕
 次に、視聴中の番組に関するSNS上の情報を提示するSNS関連情報提示処理(情報提示方法)の流れを図27に基づいて説明する。図27は、SNS関連情報提示処理の一例を示すフローチャートである。
 まず、番組情報取得部241は、放送受信表示装置2から、該放送受信表示装置2が受信して出力している番組の番組情報を受信し(S201)、受信した番組情報を出演者特定部242およびアカウント特定部243に送信する。なお、放送受信表示装置2は、番組の表示中に自動的に番組情報を送信してもよいし、ユーザから所定の操作(例えば番組に関連する情報の表示を指示する操作)が行われたときに番組情報を送信してもよい。
 次に、番組情報を受信した出演者特定部242は、この番組情報が示す番組の出演者を特定し(S202、出演者特定ステップ)、特定した各出演者を示す出演者リストを生成して(S203)、アカウント特定部243に送信する。なお、特定された出演者が一人であった場合には、S203の処理は省略する。
 続いて、出演者リストを受信したアカウント特定部243は、この出演者リストに含まれる各出演者のアカウントを特定する(S204、識別情報特定ステップ)。具体的には、アカウント特定部243は、アカウント特定情報236を参照して、出演者特定部242が生成した出演者リストに含まれる各出演者に対応付けられたアカウントを特定する。また、アカウント特定部243は、番組情報取得部241から受信した番組情報が示す番組に対応付けられたアカウントも特定する。
 以上のようにしてアカウントを特定したアカウント特定部243は、特定したアカウントをプレゼンス通知部244およびメッセージ通知部245に送信する。これにより、メッセージ通知部245がSNS書き込み提示処理を行い(S205、メッセージ通知ステップ)、プレゼンス通知部244がプレゼンス情報提示処理を行う(S206)。なお、これらの処理の順序は逆であってもよいし、並行して行ってもよい。また、これらの処理の詳細は後述する。
 最後に、番組情報取得部241は、S1で取得した番組情報が示す番組が終了する時刻となったか判断し(S207)、終了時刻となっていると判断した場合(S207でYES)には、SNS関連情報提示処理を終了する。一方、終了時刻前であると判断した場合(S207でNO)には、S205の処理に戻る。
 〔SNS書き込み提示処理〕
 続いて、図27のS205で行われるSNS書き込み提示処理の詳細を図28に基づいて説明する。図28は、SNS書き込み提示処理の一例を示すフローチャートである。
 まず、メッセージ通知部245は、アカウント特定部243から受信したアカウントによる、図27のS201で受信された番組情報が示す番組の放送時間中の書き込みをSNSサーバ4から取得する(S210)。
 続いて、メッセージ通知部245は、S210で取得した書き込みを放送受信表示装置2および情報受信表示装置3に送信して表示させる(S211)。なお、番組の途中から視聴が開始された場合、視聴を開始したユーザが見ていなかったシーン(現在表示中のシーンよりも前のシーン)に関する書き込みが表示される可能性がある。このため、S211では、現在時刻から所定時間後(例えば1分後)までの書き込みは表示させず、それ以降の書き込みを表示させるようにしてもよい。これにより、ユーザが視聴済みのシーンに対応する書き込みが表示される確率を高めることができる。また、番組情報から番組を構成する各シーンについての情報(出演者やコーナー名等)を取得できる場合には、該情報に基づくキーワードが取得した書き込みに含まれるか確認して、ユーザが視聴していないシーンに関する書き込みを表示対象から排除してもよい。例えば、既に放送済みのシーンに現在表示中のシーンには登場していない出演者がいた場合、この出演者名を含む書き込みを表示対象から排除してもよい。これにより、ユーザが視聴済みのシーンに対応する書き込みが表示される確率をさらに高めることができる。
 また、S211では、例えば図23の放送受信表示装置2に表示されている画像のように、放送受信表示装置2において書き込みを表示するテンプレート画像にS210で取得した書き込みのテキストデータを埋め込んで提示用画像データを生成し、これを送信してもよい。情報受信表示装置3に対しても同様である。放送受信表示装置2以外の送信先(この例では情報受信表示装置3)は、放送受信表示装置2のユーザ等が、インターネット等を経由して番組関連情報提示サーバ200Bにアクセスし、予め登録しておけばよい。
 次に、メッセージ通知部245は、放送スケジュール情報237を参照して、上記番組が過去に放送されたかを確認する(S212)。ここで、過去に放送されていないことが確認された場合(S212でNO)、メッセージ通知部245は、SNS書き込み提示処理を終了する。
 一方、過去に放送されたことが確認された場合(S212でYES)には、メッセージ通知部245は、その放送日時における放送時間中の書き込みも取得する(S213)。例えば、番組の再放送が視聴されている場合(番組情報の示す番組が再放送である場合)には、その番組の初回放送の放送時間中の書き込みも取得する。また、例えば、視聴中の番組が他の地域では既に放送済みであるような場合には、放送済みの番組の放送時間中の書き込みも取得する。
 続いて、メッセージ通知部245は、取得した書き込みを放送受信表示装置2および情報受信表示装置3に表示させるタイミングを決定する(S214)。具体的には、メッセージ通知部245は、そのメッセージが書き込まれたシーン(番組におけるシーン)で、そのメッセージが表示されるように表示タイミングを決定する。これにより、異なるタイミングで放送された番組の時間軸を合わせ、書き込みが行われたシーンと、メッセージ通知部245が書き込みを表示させるシーンとを一致させることができ、シーンに関する書き込みを適切なタイミングで提示することができる。
 具体的には、メッセージ通知部245は、書き込みが行われたときの番組開始後の経過時間と、現在視聴中の番組開始後の経過時間とが一致するタイミングで表示させることを決定する。例えば初回放送の番組の開始後10分の時点における書き込みについては、視聴中の番組の開始後10分の時点で表示させることを決定する。
 なお、番組情報に、番組のコーナー名のような、番組のシーンを特定可能な情報が含まれている場合には、その情報に基づいて、同じシーンで表示されるようにタイミングを決定してもよい。この他にも、例えば、書き込みを行った出演者が登場したシーンを特定できる場合、その登場シーンで表示させることを決定してもよい。これらの場合、初回の放送から番組の構成が編集等によって変化している場合や、挿入されるCMの長さが初回の放送と異なっている場合等であっても、適切なタイミングで書き込みを表示させることができる。
 また、番組の放送信号に、書き込みのタイミングと提示のタイミングとを整合させるためのメタデータを付与し、このメタデータを利用して提示のタイミングを決定してもよい。例えば、番組の開始を0minとして、番組時間中(CM等の時間を除く)の時間のカウントを行い、そのカウント値を上記のメタデータとしてもよい。この場合、過去に放送された番組の上記メタデータを取得して、その放送時間中の書き込みタイミングを該メタデータのカウント値で特定する。そして、現在放送中の番組についても、開始を0minとして番組時間中(CM等の時間を除く)の時間のカウントを行い、放送中の番組のカウント値が、書き込みタイミングを示すカウント値と一致したタイミングを、その書き込みの提示タイミングとする。
 そして、メッセージ通知部245は、以上のようにして決定したタイミングで、S213で取得した書き込みを、放送受信表示装置2および情報受信表示装置3に送信して表示させ(S215)、これによりSNS書き込み提示処理は終了する。なお、S215で表示させる書き込みと、S211で表示させる書き込みとは、書き込みが行われた日時に隔たりがあるため、メッセージの背景色を変える等して書き込み日時の相違をユーザが容易に認識できるようにすることが好ましい。
 〔プレゼンス通知処理〕
 続いて、図27のS206で行われるプレゼンス通知処理の詳細を図29に基づいて説明する。図29は、プレゼンス通知処理の一例を示すフローチャートである。
 まず、プレゼンス通知部244は、アカウント特定部243から受信したアカウントのプレゼンス情報をプレゼンスサーバ5に要求し(S220)、これを取得する(S221)。なお、S220では、上述のように、プレゼンス状態が変化したときに、変化後の状態を示すプレゼンス情報の送信をプレゼンスサーバ5に要求する。このため、S221でプレゼンス情報が取得されるのは、プレゼンス状態が変化したときである。
 次に、プレゼンス通知部244は、受信したプレゼンス情報の示すプレゼンス状態を通知するためのプレゼンス通知情報を生成する(S222)。具体的には、オンラインとなったことを示すプレゼンス情報を受信したときには、出演者がSNSを利用中であると判定し、該出演者がオンラインとなったことを示すプレゼンス通知情報を生成する。一方、オフラインとなったことを示すプレゼンス情報を受信したときには、出演者がSNSの利用を終了したと判定し、該出演者がオフラインとなったことを示すプレゼンス通知情報を生成する。そして、生成したプレゼンス通知情報を、放送受信表示装置2および情報受信表示装置3に送信して表示させ(S223)、これによりプレゼンス通知処理は終了する。
 〔変形例〕
 上記では、放送中の番組を視聴しているときに、SNSの書き込み等を表示させる例を説明したが、録画番組の視聴中に、その番組が放送された時間における書き込みを取得して表示させてもよい。この場合、録画時に番組情報を記録しておき、再生時にこの番組情報を番組関連情報提示サーバ200Bに送信すればよい。
 また、上記では、同じ番組の過去の放送における書き込み取得の対象とする例を説明したが、海外で放送された番組が国内において、吹き替えなどの編集がなされた別バージョンとして放送されることがある。また、SNSによっては、複数の国にユーザが存在するものもある。このため、アカウント特定情報236には海外ユーザのアカウントを含め、また放送スケジュール情報237には海外におけるバージョン違いの番組の放送スケジュールを含めることにより、バージョン違いの番組の放送時間における書き込みも取得の対象としてもよい。
 さらに、上記では、番組の出演者がSNSにオンラインの状態であるか否かを通知する例を示したが、オンライン状態となる予定についても通知するようにしてもよい。例えば、出演者やその関係者等から、出演者がオンラインとなる予定時刻の入力を受け付けて、その予定時刻や、予定時刻までの残り時間についても通知するようにしてもよい。
 また、上記では、番組情報に基づいて出演者を特定する例を示したが、番組の画像に基づいて出演者を特定してもよい。例えば、放送受信表示装置2から番組の画像を受信して、受信した画像中の顔部分を画像解析により抽出し、顔画像から人物を特定するためのデータベースを参照することにより、出演者を特定してもよい。この方法によれば、CM等のように、EITに出演者を示す情報が含まれていない場合等においても、出演者を特定することができる。また、出演者が画面に表示されているタイミングで、その出演者を特定することができるので、このタイミングでその出演者の書き込みを表示させることも可能になる。
 さらに、上記では、SNSの書き込みを表示させる例を示したが、表示させるメッセージ(書き込み)は、サービス利用者から投稿されたメッセージを他のサービス利用者に提示するサービスにおけるメッセージであればよく、この例に限られない。例えば、ブログやホームページ等における書き込みを表示させてもよい。この場合、有名人のブログやホームページにおいてその有名人を識別する情報を予め登録しておくことにより、そのブログやホームページから有名人の書き込みを取得することが可能である。
 また、上記では、番組および出演者の特定、アカウントの特定、プレゼンス状態の通知、およびSNSの書き込みの通知の処理を、全て番組関連情報提示サーバ200Bが行う例を示したが、これに限られない。これらの処理は、通信ネットワークを介して接続された複数の装置で分担して行うようにしてもよい。
 そして、上記では、番組の視聴中に、その番組に関連する書き込みをSNSサーバ4から取得する例を示したが、書き込みは予め取得して記憶部230B等の制御部240が参照可能な記録装置に格納しておいてもよい。例えば、アカウント特定情報236に含まれるアカウントによる書き込みを収集して格納しておいてもよく、これにより、書き込みの後削除される等してSNSサーバ4からは取得不能となったメッセージを提示することも可能になる。
 〔まとめ〕
 本発明の第1の態様に係る表示装置(テレビ受信機100)は、番組を再生して映像を表示部(表示部130)に表示する表示装置において、上記番組の再生中に、一定期間が経過する度に、N個(N:2以上の整数)の項目の各々について上記番組の視聴者の当該項目に対応するアクション(投票、ツイート)を集計するサーバから、当該期間を含む直近の一定期間における各項目のアクションの集計数を示す情報を取得する取得手段(集計結果取得処理部142)と、上記取得手段が上記情報を取得する度に、上記N個の項目の各々について、当該情報に対応する期間における当該項目に対応するアクションの集計数に応じた個数のオブジェクト(ボール型やハート形のマーク)であって当該項目に固有のオブジェクトを当該項目用の所定の位置(ホームアイコンの位置)に表示し、表示した当該個数のオブジェクトを当該位置から所定の領域(投票結果表示アプリの表示領域)内に拡散させるオブジェクト表示制御手段(集計結果表示処理部143)と、を備えている、ことを特徴としている。なお、上記所定の領域は、例えば、上記映像を表示するための映像表示領域を取り囲む枠状領域であることが望ましい。
 上記の構成によれば、本発明の一態様に係る表示装置は、番組の視聴に対する集中力を削がれることなく、直近の一定期間の放送内容に関し、各投票対象に対してどの程度の投票があったかをユーザに一目で把握させることができる。同時に、本発明の一態様に係る表示装置は、番組の視聴に対する集中力を削がれることなく、番組の現在までの放送内容に関し、各投票対象に対してどの程度の投票があったかをユーザに一目で把握させることができる。
 したがって、本発明の一態様に係る表示装置は、インタラクティブ性の高いコンテンツをユーザに快適に視聴させることができるという効果を奏する。
 本発明の第6の態様に係る表示方法は、番組を再生して映像を表示部に表示する表示装置の表示方法において、上記番組の再生中に、一定期間が経過する度に、N個(N:2以上の整数)の項目の各々について上記番組の視聴者の当該項目に対応するアクションを集計するサーバから、当該期間を含む直近の一定期間における各項目のアクションの集計数を示す情報を取得する取得工程と、上記取得工程にて上記情報を取得する度に、上記N個の項目の各々について、当該情報に対応する期間における当該項目に対応するアクションの集計数に応じた個数のオブジェクトであって当該項目に固有のオブジェクトを当該項目用の所定の位置に表示し、表示した当該個数のオブジェクトを当該位置から所定の領域内に拡散させるオブジェクト表示制御工程と、を含んでいる、ことを特徴としている。
 本発明の第2の態様に係る表示装置は、第1の態様において、N個の選択肢の中からの選択を受け付ける選択受付手段(投票処理部141)と、上記N個の選択肢の各々について、当該選択肢が視聴者に選択されると、当該選択肢が選択された旨を示す選択情報をサーバ(サーバ200)に送信する送信手段(投票処理部141)と、を更に備え、上記N個の項目は上記N個の選択肢であり、上記項目に対応するアクションは上記選択肢を選択する操作であり、上記サーバは、上記直近の一定期間内に自装置および他の上記表示装置から上記サーバに送信された一連の上記選択情報に基づいて、上記N個の項目の各々について当該期間内における該項目に対応するアクションを集計する、ことが望ましい。
 上記の構成によれば、上記表示装置は、放送中の番組の放送内容に対して、どの程度の視聴者がおおよそどのような考えを持っているかをユーザにより正確に把握させることができる、というさらなる効果を奏する。
 本発明の第3の態様に係る表示装置は、第1の態様または第2の態様において、上記オブジェクト表示制御手段が、上記オブジェクトの表示サイズを時間の経過とともに小さくした上で、上記オブジェクトを最終的に上記表示部から消去する、ことが望ましい。
 本発明の第4の態様に係る表示装置は、第1の態様から第3の態様までのいずれかの態様において、上記オブジェクト表示制御手段が、上記項目に固有のオブジェクトが当該項目以外の他の項目に固有のオブジェクトと接触すると、接触した2つの上記オブジェクトの表示サイズを小さくするか、または、接触した2つの上記オブジェクトを消去する、ことが望ましい。
 本発明の第5の態様に係る表示装置は、第1の態様から第4の態様までのいずれかの態様において、上記N個の項目は、互いに異なる感情種を表す項目であり、上記オブジェクト表示制御手段が表示する上記項目に固有のオブジェクトは、当該項目に対応する感情種を表すマークである、ことが望ましい。
 上記の構成によれば、放送中の番組の放送内容に対して、どの程度の視聴者がどのような感情を抱いているかをユーザに把握させることができる、というさらなる効果を奏する。
 本発明の第7の態様に係る入力装置は、番組映像を表示する表示装置(テレビ受信機100)であって視聴者によってN個の選択肢の中から選択された選択肢を示す選択情報をサーバ(サーバ200)に送信する表示装置に対して、視聴者に選択された選択肢を通知する通知手段(入力処理部20)と、上記N個の選択肢の中から上記表示装置に対して通知すべき選択肢を指定する操作を受け付ける第1受付手段(入力受付部10)と、第1受付手段が選択肢を指定する操作を受け付けた時に、当該選択肢に応じた音声を音声出力部(音声出力部30)に出力させる音声出力制御手段(入力処理部20)と、第1受付手段が受け付けた操作により指定された選択肢を上記表示装置に通知することを決定する操作を受け付ける第2受付手段(入力受付部10)と、を備え、上記通知手段は、第2受付手段が上記決定する操作を受け付けた時に、第1受付手段が受け付けた操作により指定された選択肢を上記表示装置に通知する、ことを特徴としている。
 上記の構成によれば、本発明の一態様に係る入力装置は、ユーザが選択肢を指定すると、その選択肢に応じた音声を出力する。すなわち、上記入力装置は、ユーザが番組映像を注視しながら入力装置を見ずに選択肢を指定する操作を行った場合にも、ユーザに、どの選択肢を指定したかを音声で知らせることができる。そして、上記入力装置は、指定された選択肢を上記表示装置に通知することを決定する操作を受け付けた時に、選択肢を表示装置に通知する。
 したがって、本発明の一態様に係る入力装置は、ユーザの番組の視聴に対する集中力を削ぐことなく、選択肢を選択する操作を可能にする。これにより、上記入力装置は、インタラクティブ性の高いコンテンツをユーザに快適に視聴させることができるという効果を奏する。
 本発明の第13の態様に係る、入力装置の通知方法は、番組映像を表示する表示装置であって視聴者によってN個の選択肢の中から選択された選択肢を示す選択情報をサーバに送信する表示装置に対して、視聴者に選択された選択肢を通知する通知工程と、上記N個の選択肢の中から上記表示装置に対して通知すべき選択肢を指定する操作を受け付ける第1受付工程と、第1受付工程にて選択肢を指定する操作を受け付けた時に、当該選択肢に応じた音声を音声出力部に出力させる音声出力制御工程と、第1受付工程にて受け付けた操作により指定された選択肢を上記表示装置に通知することを決定する操作を受け付ける第2受付工程と、を含み、上記通知工程は、第2受付手段が上記決定する操作を受け付けた時に開始する、ことを特徴としている。
 本発明の第8の態様に係る入力装置は、第7の態様において、上記音声出力制御手段が、第2受付手段が選択肢を上記表示装置に供給することを決定する操作を受け付けた時にも、当該選択肢に応じた音声を上記音声出力部から出力させる、ことが望ましい。
 上記の構成によれば、上記通信装置は、番組映像を注視しながら視界に入っていない上記通信装置を操作するユーザに対し、ユーザが指定した選択肢だけでなく、ユーザが選択した選択肢(表示装置に通知することを決定した選択肢)をも音声で知らせる。
 したがって、上記入力装置は、上記ユーザに対し、番組の視聴を妨げることなく、どの選択肢を選択したかを把握させることができるというさらなる効果を奏する。
 本発明の第9の態様に係る入力装置は、第7の態様または第8の態様において、タッチパネルを備えた携帯情報端末であり、1からNまでのN個の各値iについて、上記N個の選択肢の中から第iの選択肢を指定する操作は、上記タッチパネルに接触している指を上記タッチパネルのタッチ領域に含まれる所定のN個の領域のうちの第iの領域に移動させる操作であり、上記選択肢を上記表示装置に通知することを決定する操作は、上記タッチパネルに対するタップ操作である、ことが望ましい。
 上記の各構成によれば、上記入力装置は、ユーザに、タッチパネルに対する操作だけで所望の選択肢を上記表示装置に通知させることができる、というさらなる効果を奏する。
 本発明の第10の態様に係る入力装置は、第7の態様または第8の態様において、タッチパネルを備えた携帯情報端末であり、1からNまでのN個の各値iについて、上記N個の選択肢の中から第iの選択肢を指定する操作は、上記タッチパネルに対する所定のN通りの方向のうちの第iの方向へのスワイプ操作であり、上記選択肢を上記表示装置に通知することを決定する操作は、上記タッチパネルに対するタップ操作である、ことが望ましい。
 本発明の第11の態様に係る入力装置は、第7の態様または第8の態様において、タッチパネルを備えた携帯情報端末であり、1からNまでのN個の各値iについて、上記N個の選択肢の中から第iの選択肢を指定する操作は、上記タッチパネルのタッチ領域に含まれる所定のN個の領域のうちの第iの領域内の座標に対するタップ操作であり、上記選択肢を上記表示装置に通知することを決定する操作は、上記タッチ領域における、N-1個の上記領域以外の領域に対するタップ操作であり、上記N-1個の領域は、上記N個の領域のうち上記座標が属する領域を除くN-1個の領域である、ことが望ましい。
 本発明の第12の態様に係る入力装置は、第7の態様または第8の態様において、ボタンとN通りの方向に倒れるレバーとを備えたジョイスティックであり、1からNまでのN個の各値iについて、上記N個の選択肢の中から第iの選択肢を指定する操作は、上記N通りの方向のうちの第iの方向に上記レバーを倒す操作であり、上記選択肢を上記表示装置に通知することを決定する操作は、上記ボタンを押下する操作である、ことが望ましい。
 本発明の第14の態様に係る表示装置(テレビ受信機100A)は、番組映像を表示する表示部(タッチパネル式表示部130A)と、上記番組映像中のオブジェクト(顔画像)を指定する操作を受け付けると、該オブジェクトを示す情報(顔画像の特徴量)を、各種オブジェクトがその関連情報と関連付けて登録されている所定のサーバ(サーバ200A)に送信する送信手段(オブジェクト特定部161)と、上記操作により指定されたオブジェクトにマッチングするオブジェクトの関連情報(顔画像が表す有名人の音声)を上記所定のサーバから受信した場合に、該関連情報を出力する出力手段(再生部120、スピーカ)と、を備え、上記所定のサーバは、オブジェクトを示す情報を外部の装置(テレビ受信機100A)から受信すると、該情報に基づいて、該オブジェクトにマッチングするオブジェクトを上記各種オブジェクトの中から特定し、特定したオブジェクトの関連情報を上記外部の装置に送信する、ことを特徴としている。
 上記の構成によれば、上記表示装置は、ユーザが番組映像中のオブジェクトを指定する操作を行った場合に、そのオブジェクトにマッチングするオブジェクトに関連する関連情報を出力する。
 したがって、上記表示装置は、ユーザが指定したオブジェクトの関連情報を出力することができる。例えば、上記表示装置は、ユーザが番組映像内のタレントAの顔画像を指定する操作を行った場合、タレントAの関連情報を出力することができる。特に、上記サーバにおけるマッチングの精度が高ければ高いほど、上記表示装置は、ユーザが指定したオブジェクトに関する正確な関連情報(上述の例で言えば、タレントAに似たタレントBの関連情報ではなく、タレントAの関連情報)を出力することができる。
 そして、上記表示装置は、上記番組映像が録画番組の映像ではなく生番組の映像である場合であっても、映像中のオブジェクトが指定されたときに、そのオブジェクトに関する関連情報を出力できる。これにより、上記表示装置は、インタラクティブ性の高いコンテンツをユーザに快適に視聴させることができるという効果を奏する。
 本発明の第18の態様に係る表示方法は、番組映像を表示する表示部を備えた表示装置の表示方法であって、上記番組映像中のオブジェクトを指定する操作を受け付けると、該オブジェクトを示す情報を、各種オブジェクトがその関連情報と関連付けて登録されている所定のサーバに送信する送信工程と、上記操作により指定されたオブジェクトにマッチングするオブジェクトの関連情報を上記所定のサーバから受信した場合に、該関連情報を出力する出力工程と、を含み、上記所定のサーバは、オブジェクトを示す情報を外部の装置から受信すると、該情報に基づいて、該オブジェクトにマッチングするオブジェクトを上記各種オブジェクトの中から特定し、特定したオブジェクトの関連情報を上記外部の装置に送信するサーバである、ことを特徴としている。
 上記の構成によれば、上記表示方法は、上記表示装置と同様の作用効果を奏する。
 本発明の第15の態様に係る表示装置は、第14の態様において、上記オブジェクトに対するN種類(N:2以上の整数)のタッチ操作を、上記オブジェクトを指定する操作として認識可能に構成されており、上記送信手段は、上記N種類のタッチ操作のうちの何れかのタッチ操作により上記オブジェクトが指定された場合に、該オブジェクトを示す情報とともに該タッチ操作に固有の識別値を上記所定のサーバに送信し、上記所定のサーバには、各種オブジェクトがそのN個の関連情報と関連付けて登録されており、上記所定のサーバは、オブジェクトを示す情報と上記識別値とを外部の装置から受信すると、該情報に基づいて、該オブジェクトにマッチングするオブジェクトを上記各種オブジェクトの中から特定し、特定したオブジェクトのN個の関連情報のうち上記識別値に対応する関連情報を上記外部の装置に送信する、ことが望ましい。
 上記の構成によれば、上記表示装置は、ユーザがオブジェクトに対して様々な種類のタッチ操作を行った場合に、そのオブジェクトの様々な関連情報を出力することができるというさらなる効果を奏する。
 本発明の第16の態様に係る表示装置は、第14の態様または第15の態様において、上記オブジェクトが顔画像であり、上記オブジェクトを示す情報が顔画像の特徴量である、ことが望ましい。
 上記の構成によれば、上記表示装置は、顔画像が表す人物に関する関連情報を出力することができるというさらなる効果を奏する。
 また、本発明の第17の態様に係る表示装置は、第15の態様において、上記各種オブジェクトには、関連情報とともに人物の名前が関連付けて登録されており、上記送信手段は、上記番組映像中のオブジェクトを指定する操作を受け付けると、該オブジェクトを示す情報とともに上記番組映像を表示中の番組の番組IDを上記所定のサーバに送信し、上記所定のサーバは、オブジェクトを示す情報と上記番組の番組IDとを外部の装置から受信すると、EPG情報を参照することで上記番組の出演者を特定し、該オブジェクトにマッチングするオブジェクトを、特定した出演者の名前が関連付けられた1以上のオブジェクトの中から特定する、ことが望ましい。
 上記の構成によれば、上記表示装置は、上記番組の出演者の名前が関連付けられていないオブジェクトについてのみ、ユーザに指定されたオブジェクトとマッチングするか否かを確認する。
 したがって、上記表示装置は、ユーザに指定されたオブジェクトにマッチングするオブジェクトを特定するというサーバ側の処理の負荷を低減できる、というさらなる効果を奏する。
 本発明の第19の態様に係る情報提示装置(番組関連情報提示サーバ200B)は、サービス利用者から投稿されたメッセージを他のサービス利用者に提示するサービスに関連する情報を、コンテンツを表示中の表示装置(放送受信表示装置2)に表示させる情報提示装置であって、上記表示装置が表示しているコンテンツの出演者を特定する出演者特定手段(出演者特定部242)と、上記出演者特定手段が特定した出演者の上記サービスにおける識別情報を特定する識別情報特定手段(アカウント特定部243)と、上記識別情報特定手段が特定した識別情報で識別される者が上記サービスにて投稿したメッセージを取得し、上記表示装置に送信して表示させるメッセージ通知手段(メッセージ通知部245)と、を備えている。
 上記の構成によれば、表示装置が表示しているコンテンツの出演者を特定し、特定した出演者の上記サービスにおける識別情報を特定する。そして、特定した識別情報で識別される者が上記サービスにて投稿したメッセージを取得し、表示装置に送信して表示させる。したがって、コンテンツの視聴者に、該コンテンツの出演者が投稿したメッセージを容易に閲覧させることができるという効果を奏する。これにより、上記情報提示装置は、インタラクティブ性の高いコンテンツをユーザに快適に視聴させることができるという効果を奏する。
 また、本発明の第24の態様に係る情報提示方法(SNS関連情報提示処理)は、サービス利用者から投稿されたメッセージを他のサービス利用者に提示するサービスに関連する情報を、コンテンツを表示中の表示装置に表示させる情報提示装置による情報提示方法であって、上記表示装置が表示しているコンテンツの出演者を特定する出演者特定ステップ(S202)と、上記出演者特定ステップで特定した出演者の上記サービスにおける識別情報を特定する識別情報特定ステップ(S204)と、上記識別情報特定ステップで特定した識別情報で識別される者が上記サービスにて投稿したメッセージを取得し、上記表示装置に送信して表示させるメッセージ通知ステップ(S205)と、を含むことを特徴としている。
 上記の構成によれば、上記情報提示方法は、上記情報提示装置と同様の作用効果を奏する。
 さらに、第19の態様において、上記コンテンツが放送によって提供されるコンテンツである場合、本発明の第20の態様に係る情報提示装置の上記メッセージ通知手段は、上記識別情報特定手段が特定した識別情報で識別される者が投稿したメッセージのうち、上記コンテンツの放送時間に投稿されたメッセージのみを、上記表示装置に送信して表示させてもよい。
 上記の構成によれば、コンテンツの放送時間に投稿されたメッセージのみを表示させるので、出演者がコンテンツを視聴しながら投稿したメッセージが表示される確率を高めることができる。そして、これにより、コンテンツの視聴者に、出演者と一緒にコンテンツを視聴しているかのような連帯感を与えることができる。
 また、第19の態様または第20の態様において、上記コンテンツが放送によって提供されるコンテンツである場合、本発明の第21の態様に係る情報提示装置の上記メッセージ通知手段は、上記表示装置が表示しているコンテンツが過去に放送済みのコンテンツである場合、上記識別情報特定手段が特定した識別情報で識別される者が投稿したメッセージのうち、上記コンテンツの過去の放送時間に投稿されたメッセージを、上記表示装置に送信して表示させてもよい。
 上記の構成によれば、コンテンツの過去の放送時間に投稿されたメッセージを表示させるので、出演者が過去の放送を視聴しながら投稿したメッセージを、現在コンテンツを視聴しているユーザに閲覧させることが可能になる。
 また、本発明の第22の態様に係る情報提示装置では、第21の態様において、上記メッセージ通知手段は、上記メッセージ通知手段が取得したメッセージのうち過去の放送時間に投稿されたメッセージを、該メッセージが投稿されたときの上記コンテンツのシーンと同じシーンで上記表示装置に表示させてもよい。
 上記の構成によれば、過去の放送時間に投稿されたメッセージを、該メッセージの投稿時と同じシーンで表示させるので、特定のシーンについての投稿を適切なタイミングで閲覧させることができる。
 また、本発明の第23の態様に係る情報提示装置は、第19の態様から第22の態様までのいずれかの態様において、上記識別情報特定手段が特定した識別情報で識別される者が上記サービスを利用中であるか判定し、利用中であると判定した場合に、その旨を示す情報を上記表示装置に送信して表示させる利用通知手段(プレゼンス通知部244)を備えていてもよい。
 上記の構成によれば、特定した識別情報で識別される者が上記サービスを利用中であるか判定し、利用中であると判定した場合に、その旨を示す情報を表示させる。このため、コンテンツの視聴者に、コンテンツの出演者がサービスを利用中であることを認識させることが可能になる。これにより、コンテンツの視聴者は、上記サービスを介して、出演者とリアルタイムでコミュニケーションを取ることも可能になる。
 なお、上記情報提示装置(第19の態様から第23の態様までの各情報提示装置)は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報提示装置の各手段として動作させることにより、上記情報提示装置をコンピュータにて実現させるプログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。上記表示装置(第1の態様から第5の態様まで、第14の態様から第17の態様までの各表示装置)および上記入力装置(第7の態様から第12の態様までの各入力装置)についても同様である。
 本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
 〔ソフトウェアによる実現例〕
 最後に、入力装置1、番組関連情報提示サーバ200B、テレビ受信機100、100A(以下、「各装置」と称する)の各ブロック、特に制御部240は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
 後者の場合、各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
 上記記録媒体としては、一時的でない有形の媒体(non-transitory tangible medium)、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD/CD-R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
 また、各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance、登録商標)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
 本発明は、テレビ受信機に好適に適用することができる。
 1    入力装置
 10   入力受付部(入力受付手段)
 20   入力処理部(入力処理手段)
 2    放送受信表示装置(表示装置)
 200B 番組関連情報提示サーバ(情報提示装置)
 242   出演者特定部(出演者特定手段)
 243   アカウント特定部(識別情報特定手段)
 244   プレゼンス通知部(利用通知手段)
 245   メッセージ通知部(メッセージ通知手段)
 100  テレビ受信機(表示装置)
 100A テレビ受信機(表示装置)
 141  投票処理部(投票処理手段)
 142  集計結果取得処理部(取得手段)
 143  集計結果表示処理部(オブジェクト表示制御手段)
 144  ダウンロード処理部
 200  サーバ
 200A サーバ

Claims (10)

  1.  番組を再生して映像を表示部に表示する表示装置において、
     上記番組の再生中に、一定期間が経過する度に、複数の項目の各々について上記番組の視聴者の上記項目に対応するアクションを集計するサーバから、上記一定期間を含む直近の一定期間における各上記項目のアクションの集計数を示す情報を取得する取得手段と、
     上記取得手段が上記情報を取得する度に、複数の上記項目の各々について、上記情報に対応する上記直近の一定期間における上記項目に対応するアクションの集計数に応じた個数の上記項目に固有のオブジェクトを上記表示部における上記項目用の所定の位置に表示し、上記オブジェクトを上記位置から上記表示部における所定の領域内に拡散させるオブジェクト表示制御手段と、を備えている、ことを特徴とする表示装置。
  2.  複数の上記項目の中からの選択を受け付け、
     複数の上記項目の各々について、上記項目が視聴者に選択されると、上記項目が選択された旨を示す選択情報をサーバに送信する投票処理手段を更に備えることを特徴とする、請求項1に記載の表示装置。
  3.  上記オブジェクト表示制御手段は、上記オブジェクトの表示サイズを時間の経過とともに小さくした上で、上記オブジェクトを最終的に上記表示部から消去する、ことを特徴とする、請求項1または2に記載の表示装置。
  4.  上記オブジェクト表示制御手段は、上記項目に固有の上記オブジェクトが上記項目以外の他の項目に固有のオブジェクトと接触すると、接触した2つのオブジェクトの表示サイズを小さくするか、または、接触した2つのオブジェクトを消去する、ことを特徴とする、請求項1から3のいずれか1項に記載の表示装置。
  5.  複数の上記項目は、互いに異なる感情種を表す項目であり、
     上記オブジェクトは、上記項目に対応する感情種を表すマークである、ことを特徴とする、請求項1から4のいずれか1項に記載の表示装置。
  6.  表示装置に表示された番組映像を視聴する視聴者によって指定された項目に対応する処理を行う入力装置であって、
     視聴者からの上記項目を指定する操作を受け付ける入力受付手段と、
     上記項目に対応する処理を行う入力処理手段と、
     上記項目に対応する音声を出力する音声出力手段と、を備え、
     上記入力処理手段は、上記入力受付手段が受け付けた操作に基づいて、上記項目を示す情報を表示装置に対して通知し、上記項目に応じた音声を上記音声出力手段に出力させ、
     上記入力受付手段が上記項目を上記表示装置に通知することを決定する操作を受け付けた時に、上記項目を上記表示装置に通知する、ことを特徴とする入力装置。
  7.  複数のオブジェクトと該オブジェクトの関連情報とを関連付けて登録してあるサーバに接続し、番組映像中のオブジェクトの関連情報を表示させる表示装置であって、
     上記番組映像を表示する表示手段と、
     視聴者による上記番組映像中のオブジェクトを指定する操作を受け付けると、上記サーバへ指定されたオブジェクトを示す情報を送信するオブジェクト情報送信手段と、
     上記サーバにて特定した上記番組映像中のオブジェクトの関連情報を受信する関連情報受信手段と、を備え、
     上記表示手段は、上記関連情報受信手段にて受信した上記番組映像中のオブジェクトの関連情報を出力する、ことを特徴とする表示装置。
  8.  利用者から投稿されたメッセージを他の利用者に提示するサービスに関連する情報を、コンテンツを表示中の表示装置に表示させる情報提示装置であって、
     上記表示装置が表示しているコンテンツの出演者を特定する出演者特定手段と、
     上記出演者特定手段が特定した出演者の上記サービスにおける識別情報を特定する識別情報特定手段と、
     上記識別情報特定手段が特定した識別情報で識別される者が上記サービスにて投稿したメッセージを取得し、上記表示装置に送信して表示させるメッセージ通知手段と、を備えていることを特徴とする情報提示装置。
  9.  請求項1から5の何れか1項に記載の表示装置としてコンピュータを動作させるためのプログラムであって、上記コンピュータを上記各手段として機能させるためのプログラム。
  10.  請求項9に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2013/081391 2012-12-20 2013-11-21 表示装置、入力装置、情報提示装置、プログラムおよび記録媒体 WO2014097814A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014553035A JPWO2014097814A1 (ja) 2012-12-20 2013-11-21 表示装置、入力装置、情報提示装置、プログラムおよび記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-278703 2012-12-20
JP2012278703 2012-12-20

Publications (1)

Publication Number Publication Date
WO2014097814A1 true WO2014097814A1 (ja) 2014-06-26

Family

ID=50978157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/081391 WO2014097814A1 (ja) 2012-12-20 2013-11-21 表示装置、入力装置、情報提示装置、プログラムおよび記録媒体

Country Status (2)

Country Link
JP (1) JPWO2014097814A1 (ja)
WO (1) WO2014097814A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017537487A (ja) * 2014-09-04 2017-12-14 タグステーション,エルエルシー ラジオステーションガイドの提示およびインターネットを介した補助コンテンツの送信のためのシステムおよび方法
JP2019024157A (ja) * 2017-07-21 2019-02-14 株式会社ookami 試合観戦装置、試合観戦端末、試合観戦方法及びそのためのプログラム
JP2019092186A (ja) * 2017-11-13 2019-06-13 株式会社ドワンゴ 配信サーバ、配信プログラムおよび端末
JP6788756B1 (ja) * 2020-01-27 2020-11-25 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
JP6823150B1 (ja) * 2019-11-29 2021-01-27 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
JP2021022803A (ja) * 2019-07-26 2021-02-18 株式会社リンクコーポレイトコミュニケーションズ 情報処理装置、端末装置、情報処理方法、およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1056676A (ja) * 1996-08-09 1998-02-24 Matsushita Electric Ind Co Ltd 音声応答付きリモコン装置、リモコン被制御装置およびリモコンシステム
JP2003283981A (ja) * 2002-03-20 2003-10-03 Nippon Telegr & Teleph Corp <Ntt> 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体
JP2004064431A (ja) * 2002-07-29 2004-02-26 Sony Corp 文字情報検出装置及び文字情報検出方法、並びにプログラム及び記録媒体
JP2007228220A (ja) * 2006-02-23 2007-09-06 Funai Electric Co Ltd ハードディスクドライブ内蔵型テレビジョン受像機、及びテレビジョン受像機
JP2012099969A (ja) * 2010-10-29 2012-05-24 Toshiba Corp 表示装置、通信装置及び制御方法
JP2012205186A (ja) * 2011-03-28 2012-10-22 Dentsu Inc 詳細情報管理システム
JP2012227760A (ja) * 2011-04-20 2012-11-15 Funai Electric Co Ltd 録画装置、再生装置およびサーバー装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1056676A (ja) * 1996-08-09 1998-02-24 Matsushita Electric Ind Co Ltd 音声応答付きリモコン装置、リモコン被制御装置およびリモコンシステム
JP2003283981A (ja) * 2002-03-20 2003-10-03 Nippon Telegr & Teleph Corp <Ntt> 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体
JP2004064431A (ja) * 2002-07-29 2004-02-26 Sony Corp 文字情報検出装置及び文字情報検出方法、並びにプログラム及び記録媒体
JP2007228220A (ja) * 2006-02-23 2007-09-06 Funai Electric Co Ltd ハードディスクドライブ内蔵型テレビジョン受像機、及びテレビジョン受像機
JP2012099969A (ja) * 2010-10-29 2012-05-24 Toshiba Corp 表示装置、通信装置及び制御方法
JP2012205186A (ja) * 2011-03-28 2012-10-22 Dentsu Inc 詳細情報管理システム
JP2012227760A (ja) * 2011-04-20 2012-11-15 Funai Electric Co Ltd 録画装置、再生装置およびサーバー装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017537487A (ja) * 2014-09-04 2017-12-14 タグステーション,エルエルシー ラジオステーションガイドの提示およびインターネットを介した補助コンテンツの送信のためのシステムおよび方法
JP2019024157A (ja) * 2017-07-21 2019-02-14 株式会社ookami 試合観戦装置、試合観戦端末、試合観戦方法及びそのためのプログラム
JP2019092186A (ja) * 2017-11-13 2019-06-13 株式会社ドワンゴ 配信サーバ、配信プログラムおよび端末
JP7159067B2 (ja) 2017-11-13 2022-10-24 株式会社ドワンゴ コンピュータプログラムおよび配信サーバ
JP7001645B2 (ja) 2019-07-26 2022-01-19 株式会社リンクコーポレイトコミュニケーションズ 情報処理装置、端末装置、情報処理方法、およびプログラム
JP2021022803A (ja) * 2019-07-26 2021-02-18 株式会社リンクコーポレイトコミュニケーションズ 情報処理装置、端末装置、情報処理方法、およびプログラム
JP2021087150A (ja) * 2019-11-29 2021-06-03 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
JP6823150B1 (ja) * 2019-11-29 2021-01-27 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
JP2021117721A (ja) * 2020-01-27 2021-08-10 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
JP2021118540A (ja) * 2020-01-27 2021-08-10 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
JP6788756B1 (ja) * 2020-01-27 2020-11-25 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
JP7165176B2 (ja) 2020-01-27 2022-11-02 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
JP2023012486A (ja) * 2020-01-27 2023-01-25 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
JP7418708B2 (ja) 2020-01-27 2024-01-22 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JPWO2014097814A1 (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
US11228555B2 (en) Interactive content in a messaging platform
US11743544B2 (en) Interactive content feedback system
CN104756514B (zh) 通过社交网络共享电视和视频节目
US8966513B2 (en) System and method for processing media highlights
WO2014097814A1 (ja) 表示装置、入力装置、情報提示装置、プログラムおよび記録媒体
US20140171179A1 (en) Real-time presentation of fan-generated content
TW201826805A (zh) 播放處理方法、裝置和設備
US20100023871A1 (en) Methods and Systems Providing an Interactive Social Ticker
US20220201363A1 (en) Methods, systems, and media for facilitating interaction between viewers of a stream of content
KR101530122B1 (ko) 소셜 네트워크 서비스 제공방법 및 이를 위한 서버
KR20220027694A (ko) 라이브 방송에서의 시청자 인터랙션을 위한 채팅 인터페이스 제공방법
US20140325540A1 (en) Media synchronized advertising overlay
WO2022247220A9 (zh) 界面处理方法及装置
KR20140113435A (ko) 텔레비전 등의 디스플레이 장치의 제어를 위한 직관적인 이미지 기반의 프로그램 가이드
US11792610B2 (en) Complex computing network for improving establishment and streaming of audio communication among mobile computing devices
CN112445389A (zh) 分享提示方法、装置、客户端、服务端和存储介质
JP2014212490A (ja) 端末装置、コメント配信システム、及びプログラム
CN114257822A (zh) 用于网络平台的虚拟物品展示方法和设备
KR102384182B1 (ko) 시청자 참여형 양방향 인터랙션 방송 서비스 제공 방법, 장치 및 컴퓨터프로그램
US11864066B2 (en) Complex computing network for improving establishment and streaming of audio communication among mobile computing devices
JP7313641B1 (ja) 端末及びコンピュータプログラム
WO2024113679A1 (zh) 多媒体资源处理方法、装置和设备
US20240137733A1 (en) Complex computing network for improving establishment and access of audio communication among mobile computing devices
Ntoa et al. User generated content for enhanced professional productions: a mobile application for content contributors and a study on the factors influencing their satisfaction and loyalty
JP2022127068A (ja) 投げ銭管理装置、投げ銭管理方法、および投げ銭管理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13864060

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014553035

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13864060

Country of ref document: EP

Kind code of ref document: A1