WO2022124289A1 - 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法 - Google Patents

制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法 Download PDF

Info

Publication number
WO2022124289A1
WO2022124289A1 PCT/JP2021/044843 JP2021044843W WO2022124289A1 WO 2022124289 A1 WO2022124289 A1 WO 2022124289A1 JP 2021044843 W JP2021044843 W JP 2021044843W WO 2022124289 A1 WO2022124289 A1 WO 2022124289A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewing quality
viewer
viewing
quality value
display
Prior art date
Application number
PCT/JP2021/044843
Other languages
English (en)
French (fr)
Inventor
康士 郡谷
Original Assignee
Ｔｖｉｓｉｏｎ Ｉｎｓｉｇｈｔｓ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｔｖｉｓｉｏｎ Ｉｎｓｉｇｈｔｓ株式会社 filed Critical Ｔｖｉｓｉｏｎ Ｉｎｓｉｇｈｔｓ株式会社
Priority to CN202180082672.XA priority Critical patent/CN116601964A/zh
Priority to KR1020237019298A priority patent/KR20230117733A/ko
Publication of WO2022124289A1 publication Critical patent/WO2022124289A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43078—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen for seamlessly watching content streams when changing device, e.g. when watching the same program sequentially on a TV and then on a tablet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present invention relates to a control program, a control device and a control method, and a viewing quality output program, a viewing quality output device and a viewing quality output method.
  • Patent Document 1 a camera is arranged so as to capture a viewing area of a television, and the number of people existing in the viewing area from the obtained image data and the number of people engaged in the video in the viewing area. A technique for quantifying and is disclosed.
  • An object of the present invention is to provide a control program, a control device and a control method for photographing a viewing area of a television and performing various processes, and a viewing quality output program, a viewing quality output device and a viewing quality output method. ..
  • a viewer detection unit that detects the state of a viewer in the viewing area based on an image from a camera arranged to capture the viewing area of the display, and the viewing.
  • a control device including a device control unit that controls a device to be controlled based on a person's state is provided.
  • a display state detection unit that detects the state of the display based on audio information from the display is provided, and the device control unit controls the control target device based on the state of the viewer and the state of the display. You may.
  • the display state detection unit detects the content being played on the display as the state of the display, and the device control unit controls the controlled device based on the content being played on the display. You may.
  • the control target device is the viewer's mobile terminal, and the device control unit may control the viewer's mobile terminal to display information about the content being played on the display.
  • the controlled device is an interactive speaker, and the device control unit may control the interactive speaker to output information about the content being played on the display.
  • the viewer detection unit detects whether or not the viewer is gazing at the display as the state of the viewer, and the device control unit detects whether or not the viewer is gazing at the display.
  • the controlled device may be controlled based on the above.
  • the control target device is a mobile terminal of the viewer
  • the viewer detection unit detects whether or not the viewer is looking at the mobile terminal as the state of the viewer
  • the device control unit When the viewer is looking at the mobile terminal, the mobile terminal may be controlled.
  • the computer is a viewer detection unit that detects the state of a viewer in the viewing area based on an image from a camera arranged to capture the viewing area of the display.
  • a control program that functions as a device control unit that controls a device to be controlled based on the state of the viewer is provided.
  • the state of the viewer in the viewing area is detected based on the image from the camera arranged to capture the viewing area of the display, and the state of the viewer is based on the state of the viewer.
  • a control method for controlling the controlled device is provided.
  • a computer is provided with a setting receiving means that accepts at least one setting of a broadcasting station, a period, a content, and an attribute of a viewer, and for each broadcasting station and date and time, or for each content.
  • a viewing quality output program that functions as an output control means is provided.
  • the output control means may display information on the viewing quality value on the display.
  • the day is set in a predetermined direction
  • the time axis is set in a direction orthogonal to the predetermined direction
  • the display mode of the position corresponding to each day and each time zone corresponds to the information regarding the viewing quality value.
  • the viewing quality information may be displayed on the display.
  • the setting receiving means may accept the setting of the totaling time, and the unit of the time axis may correspond to the totaling time.
  • the output control means may display the viewing quality information on the display for each of the selected broadcasting stations.
  • a computer is used as an acquisition means for acquiring a viewing quality value from a storage means that stores a viewing quality value of a viewer for each broadcasting station and date and time, or for each content, and a day in a predetermined direction.
  • the time axis is set in the direction orthogonal to the predetermined direction, and the display mode of the position corresponding to each day and each time zone is an output control means for outputting the viewing quality information corresponding to the information regarding the viewing quality value.
  • a viewer quality output program that functions as, is provided.
  • the output control means may display the viewing quality information on a display.
  • the position corresponding to each day of the week and each time zone may be darker as the viewing quality value is higher, or may be a color corresponding to the information regarding the viewing quality value.
  • the output control means may display information on the viewing quality value at positions corresponding to each day of the week and each time zone.
  • the output control means may display the viewing quality information on the display for each of all broadcasting stations.
  • the computer is replayed a plurality of times, with an acquisition means for acquiring the viewing quality value from a storage means that stores the viewing quality value of the viewer for each of the contents to be played a plurality of times.
  • a viewer quality output program that functions as an output control means for outputting a change in information regarding each viewer quality value of the content in a graph is provided.
  • the first axis of the graph may indicate time, and the second axis of the graph may indicate a value related to the viewing quality value of the content played at the time indicated by the first axis.
  • the first axis of the graph is a value obtained by integrating the audience rating when a specific content is displayed
  • the second axis of the graph is a value related to the audience rating value with respect to the value indicated by the first axis. You may.
  • a setting receiving means for accepting at least one setting of a broadcasting station, a period, a content, and an attribute of a viewer, and a viewer for each broadcasting station and date and time, or for each content. From the storage means that stores the viewing quality value in association with the attribute of, the acquisition means that acquires the viewing quality value according to the accepted setting, and the output control that outputs the information about the viewing quality value according to the accepted setting.
  • a viewer quality output device comprising means and means is provided.
  • At least one of the broadcast station, period, content, and viewer attributes is accepted and associated with the viewer attributes by broadcast station and date and time, or by content.
  • a viewing quality output method that acquires a viewing quality value according to the accepted setting from a storage means that stores the viewing quality value and outputs information about the viewing quality value according to the accepted setting. ..
  • an acquisition means for acquiring a viewer's viewing quality value from a storage means for storing the viewing quality value of a viewer and a day in a predetermined direction are set for each broadcasting station and date and time or for each content.
  • the output control means is provided, wherein the time axis is set in a direction orthogonal to the predetermined direction, and the display mode of the position corresponding to each day and each time zone outputs the viewing quality information corresponding to the information regarding the viewing quality value.
  • a viewer quality output device is provided.
  • the viewing quality value is acquired from the storage means that stores the viewing quality value of the viewer for each broadcasting station and date and time, or for each content, and the day is set in a predetermined direction.
  • a viewing quality output method is provided in which a time axis is set in a direction orthogonal to the direction, and the viewing quality information corresponding to the information regarding the viewing quality value is output in the display mode of the position corresponding to each day and each time zone.
  • the acquisition means for each of the contents to be played a plurality of times, the acquisition means for acquiring the viewing quality value from the storage means for storing the viewing quality value of the viewer and the content to be played a plurality of times respectively.
  • a viewer quality output device including an output control means for outputting a change in information regarding the viewer quality value of the above in a graph is provided.
  • a step of acquiring the viewing quality value from a storage means for storing the viewing quality value of the viewer and each of the contents to be played a plurality of times a step of acquiring the viewing quality value from a storage means for storing the viewing quality value of the viewer and each of the contents to be played a plurality of times.
  • a viewer quality output method comprising a step of outputting a change in information regarding a viewer quality value in a graph is provided.
  • FIG. 1 is a diagram schematically showing a control system according to the first embodiment.
  • the control system includes a camera 21, a microphone 22, and a control device 23.
  • FIG. 1 also shows a television 100 installed in the living room and a viewing area in front of the television 100.
  • the camera 21 is arranged so as to capture the viewing area of the television 100, such as the frame of the television 100 or the ceiling of the living room.
  • the microphone 22 is arranged so as to acquire sound from the television 100, such as in the vicinity of the speaker of the television 100.
  • the control device 23 controls an arbitrary control target device 24 based on the video image taken by the camera 21 and / or the sound acquired by the microphone 22. If the control device 23 can directly acquire the audio information from the television 100 from the television 100 (for example, if the earphone jack or audio output terminal of the television 100 can be connected to the control device 23), the microphone 22 is not provided. May be good.
  • FIG. 2 is a block diagram showing a schematic configuration of the control system according to the first embodiment.
  • the control device 23 in this control system includes a communication unit 231, a viewer detection unit 232, a television state detection unit 233, and a device control unit 234.
  • the control device 23 may be a computer having a processor and a memory, and a part or all of the functions of each of these parts may be realized by the processor executing a predetermined program stored in the memory.
  • the communication unit 231 communicates with the camera 21, the microphone 22, and the controlled device 24.
  • the type of communication is not particularly limited, and may be wired communication or wireless communication such as short-range wireless communication or wireless LAN.
  • the communication unit 231 receives information from the camera 21 and the microphone 22. Further, the communication unit 231 transmits information for controlling the camera 21, the microphone 22, and the control target device 24.
  • the viewer detection unit 232 detects the state of the viewer in the viewing area based on the image from the camera 21. As a specific processing example, the viewer detection unit 232 identifies a viewer (or no viewer in the viewing area) in the viewing area by performing face recognition from the image from the camera 21 or the like. .. The viewer detection unit 232 may perform human body recognition, which is a part of the object recognition function, take out the face included in the detected human body, and collate it with the face photograph registered in advance. Then, the viewer detection unit 232 detects whether or not each viewer is gazing at the television 100, or whether or not each viewer is watching his or her own mobile terminal (smartphone, tablet, or the like). In this specification, a person in the viewing area of television may be referred to as a "viewer" (regardless of whether or not he / she is actually watching).
  • the viewer detection unit 232 may detect facial expressions such as attributes (gender, age, etc.) and emotions of each identified viewer. In addition, the viewer detection unit 232 detects the number of viewers in the viewing area, the time each viewer is gazing at the television 100, the distance between the television 100 and the viewer, and the like as the viewer status. May be good. The viewer detection unit 232 may perform the detection process by utilizing artificial intelligence, or may perform the detection process by a known method.
  • the TV state detection unit 233 detects the state of the TV 100 based on the audio information from the TV 100.
  • the state of the television 100 is whether the television 100 is on or off, which content is being played, and the like.
  • the content may be a program, a commercial, or a specific scene (certain incident, accident, etc.), and the unit of the content is arbitrary. Further, the content here may be currently being broadcast (real time) or may be recorded. Further, as the content, the content may be specified, or the genre of the content (sports, movie, news, etc.) may be detected. Further, the content is not limited to the content provided by the broadcast wave, and includes the content provided via the Internet (in this case, the content may be a mere display instead of the television 100). An example of a method for identifying the content being played on the television 100 will be described in the second embodiment.
  • the device control unit 234 controls the control target device 24 based on the detection result by the viewer detection unit 232 and / or the television state detection unit 233. More specifically, the device control unit 234 controls the control target device 24 by generating control information for controlling the control target device 24 and transmitting the control information via the communication unit 231.
  • the controlled device 24 may be, for example, the television 100 itself, a speaker other than the television, lighting (in the living room or other room where the television is installed), a portable terminal of the viewer, and an interactive speaker (having an AI assistant function). It may be a so-called "smart speaker").
  • the device control unit 234 controls a control target device 24 (television, speaker, lighting, etc. installed in the home) that is not network-connected to the external device via short-range wireless communication or a home LAN. May be directly controlled by controlling the device 24 to be controlled.
  • the controlled device 24 portable terminal, interactive speaker, etc. connected to the network with an external device such as a server is controlled by transmitting a control signal to the external device such as a server via the Internet line.
  • the target device 24 may be indirectly controlled (that is, an external device controls the control target device 24 in response to a control signal from the device control unit 234).
  • the device control unit 234 is a viewer (father or mother in the home where the television is installed) that can be specified by the viewer detection unit 232 in order to control the mobile terminal of the specified viewer individual. It is desirable to know in advance the correspondence between (or, etc.) and the mobile terminal used by the viewer.
  • the device control unit 234 may control the control target device 24 by using both of them. Alternatively, the device control unit 234 may control the control target device 24 using only one of them. Hereinafter, specific examples of control by the device control unit 234 will be given.
  • the device control unit 234 when the TV 100 is turned on even though there is no viewer in the viewing area, the device control unit 234 turns off the TV 100 or turns off the lighting of the room in which the TV 100 is installed. May be good.
  • the device control unit 234 may turn on the television 100 when the viewer is out of the viewing area. Further, when the viewer is in a state where there is no viewer in the viewing area and the viewer gazes at the television 100, the device control unit 234 may turn on the television 100.
  • the device control unit 234 may control the contents of the television 100. For example, when the viewer is not watching the television 100, an image for attracting the viewer may be displayed on at least a part of the display of the television 100, or the sound may be output from the speaker of the television 100. good. Such images and sounds may be predetermined or may be tailored to the attributes and preferences of the viewer.
  • the device control unit 234 may control the control target device 24 based on the content being played on the television 100.
  • the device control unit 234 may output information about the content from the interactive speaker or display it on the viewer's mobile terminal. More specifically, the device control unit 234 transmits information indicating the content being played to an external server connected to the mobile terminal or the interactive speaker. As a result, under the control of the external server, information about the content is recommended from the interactive speaker, and an advertisement related to the content is displayed on the viewer's mobile terminal.
  • the device control unit 234 may control the mobile terminal when the viewer is looking at the mobile terminal. Alternatively, the device control unit 234 may control the mobile terminal, assuming that the viewer may be watching the mobile terminal when the viewer is not watching the television. As a specific example, the device control unit 234 may display information about the CM being played on the television in real time on the mobile terminal. As a result, even if the viewer does not pay attention to the CM being played on the television, the viewer can see the advertisement having the same content as or related to the CM.
  • the viewing area of the television 100 is photographed by the camera 21, and the controlled device 24 is controlled based on the obtained image. Therefore, the controlled device 24 is appropriately controlled according to various situations in the viewing area, such as whether or not there is a viewer in the viewing area, what kind of viewer is there, and whether or not the user is watching TV. Can be controlled. Further, in the first embodiment, by controlling the control target device 24 in consideration of the state of the television 100 acquired from the sound of the television 100, more diverse control becomes possible.
  • the "household audience rating" has been widely used as a guideline for the percentage of households who have watched a specific TV program.
  • the household audience rating only corresponds to the proportion of households in which the television program is selected, and does not necessarily correlate with the proportion of households watching the television program.
  • audience ratings on an individual basis rather than on a household basis.
  • the audience rating for each individual is recorded as if the program was viewed by providing a button associated with each member of the family on a predetermined device and selecting the button associated with the person watching the television. ing.
  • the audience rating of each individual the person is not always actually watching TV, and there is a possibility that he or she just keeps the TV on.
  • Patent Document 1 described above focuses on the "quality" of viewing, and determines the number of people present in the viewing area in front of the display and the number of people engaged in the video in the viewing area. It discloses a technique for quantifying. However, Patent Document 1 merely discloses that these numbers are quantified, and does not consider how to present them to the user.
  • the second embodiment described below makes it possible to present the viewing quality in an easy-to-understand manner.
  • the viewing quality is quantified as the viewing quality value.
  • an index of how many viewers were able to watch TV (Viewability Index, hereinafter referred to as "VI value") and an index of how many viewers watched TV (Attention Index, "below”. " “AI value”
  • VI value indicates the degree of stay of the viewer, and the higher the value, the more viewers are located in front of the TV per TV.
  • AI value indicates the degree of gaze of the viewer, and the higher the AI value, the more the viewer gazes at the content of the television in the audience rating.
  • FIG. 3A is a block diagram showing a schematic configuration of an audience quality acquisition system.
  • the viewing quality acquisition system includes a viewing information acquisition device 1, a channel / broadcast time database 2, and a viewing quality management device 3.
  • the viewing information acquisition device 1 is installed for each household, and it is assumed that the viewing quality management device 3 aggregates the information from the viewing information acquisition device 1 of each household.
  • the viewing information acquisition device 1 is installed for each household.
  • the persons (household members) belonging to each household are predetermined.
  • the household in which the viewing information acquisition device 1 is installed includes three household members A, B, and C.
  • the viewing information acquisition device 1 includes a camera 11, an IR sensor 12, a viewer detection unit 13, a microphone 14, a television state detection unit 15, and a transmission unit 16.
  • the camera 11 captures the viewing area of the television (in front of the television) and supplies the camera image to the viewer detection unit 13.
  • the IR sensor 12 has a light emitting unit that irradiates the viewing area with infrared rays, and a light receiving unit that detects infrared rays reflected from an object (particularly, the viewer). Then, the IR sensor 12 generates a depth image showing the distance between the light emitting unit and the object based on the infrared rays detected by the light receiving unit, and supplies the depth image to the viewer detection unit 13.
  • the viewer detection unit 13 has a resident detection unit 131 and a gaze person detection unit 132.
  • the resident detection unit 131 detects the resident in the viewing area by performing face recognition from the camera image and the depth image, or based on the walking style and body shape. More specifically, the resident detection unit 131 identifies whether the resident is a household member A to C. Then, the resident detection unit 131 generates resident information indicating which viewer was staying at each time.
  • FIG. 3B schematically shows the resident information.
  • the resident information indicates whether or not each of the household members A to C stayed in the viewing area at each time.
  • the circles in the figure indicate that they were staying, and the crosses indicate that they were not staying.
  • the household member A stays in the viewing area at 19:00:00 on January 3, 2020, 19:00:05 on the same day, and 19:00:10 on the same day.
  • Resident information can be said to indicate the number of residents at each time.
  • the resident is detected in units of 5 seconds, but the unit is not particularly limited.
  • the gaze person detection unit 132 detects a resident who is gazing at the television by analyzing the viewer's gesture, movement, face direction, gaze movement, etc. from the camera image and the depth image. More specifically, the gaze person detection unit 132 identifies whether the gaze person is a household member A to C. Then, the gaze person detection unit 132 generates gaze person information indicating which viewer was watching the television at each time.
  • FIG. 3C schematically shows the gaze person information.
  • the gaze person information indicates whether or not each of the household members A to C was watching the television at each time.
  • the circles in the figure indicate that they were watching, and the cross marks indicate that they were not watching. For example, household member A was watching TV at 19:00:00 and 19:00:10 on January 3, 2020, but was watching TV at 19:00:05 on the same day. Not done.
  • the gaze person information indicates the number of gaze people at each time.
  • the gaze person is detected in units of 5 seconds, but the unit is not particularly limited.
  • the microphone 14 collects the sound reproduced from the television and supplies it to the television state detection unit 15.
  • the TV state detection unit 15 acquires the state of the TV based on the audio information from the TV. Specifically, the television state detection unit 15 has a fingerprint generation unit 151 and a channel / broadcast time information acquisition unit 152.
  • the fingerprint generation unit 151 processes the voice from the microphone 14 to generate an audio fingerprint (hereinafter, simply referred to as "figer print") F.
  • the channel / broadcast time information acquisition unit 152 acquires the state of the television at each time based on the channel / broadcast time database 2 that stores the correspondence between the fingerprint F and the channel (broadcast station) and the broadcast time. Generate TV status information.
  • the television status information indicates the broadcasting station and the broadcasting date and time of the content displayed on the television at each time.
  • the channel / broadcast time information acquisition unit 152 transmits the generated fingerprint F to the service having the channel / broadcast time database 2. Then, the channel / broadcast time information acquisition unit 152 receives information indicating the channel and the broadcast time specified by the service based on the fingerprint F.
  • FIG. 4A is a diagram showing an example of the structure of the channel / broadcast time database 2.
  • the fingerprint is stored in association with the broadcasting station and the broadcasting date and time and the viewing date and time. For example, at a specific time, if the fingerprint F2 was generated by the fingerprint generation unit 151 of FIG. 3A, it was being played on the television from 19:00 on January 3, 2020. It can be seen that the program was broadcast by the broadcasting station Q at 19:00:05 on the same day.
  • Figure 3D schematically shows the TV status information. For example, at 19:00:00 on January 3, 2020 and 19:00:05 on the same day, broadcasting station X at 19:00:00 on January 3, 2020 and 19:00:05 on the same day. The content that was being broadcast in seconds is displayed on the TV. In FIG. 3D, the television state is detected in units of 5 seconds, but the unit is not particularly limited.
  • the transmission unit 16 of the viewing information acquisition device 1 transmits the resident information (FIG. 3B), the gaze person information (FIG. 3C), and the television status information (FIG. 3D) to the viewing quality management device 3. Similar information is transmitted from each viewing information acquisition device 1 to the viewing quality management device 3.
  • the viewing information acquisition device 1 in FIG. 3A does not require all the configurations shown in the figure.
  • the IR sensor 12 may be omitted, and the gaze person detection unit 132 may detect the gaze person only from the camera image.
  • the viewing quality management device 3 includes an attribute detection unit 31, a program information acquisition unit 32, a VI value calculation unit 33, an AI value calculation unit 34, a database writing unit 35, a program database 36, and a viewing quality database 37. Have.
  • the attribute detection unit 31 detects the attributes of the viewer. Specifically, the attribute detection unit 31 associates with each viewing information acquisition device 1 and sets the attributes (gender, age, annual income, etc.) of the household members of the household in which the viewing information acquisition device 1 is installed. There is. For example, the attributes of the above-mentioned three household members A to C are set. Then, the attribute detection unit 31 is based on the resident information and the gaze person information from the viewing information acquisition device 1, the viewer staying in the viewing area at each time and the viewer watching the television at each time. Specify each attribute. As the age and gender, for example, which of the categories used in marketing (C, T, M1 to M3, F1 to F3) may be specified.
  • the program information acquisition unit 32 refers to the program database 36 that stores the correspondence between the channel (broadcast station) and the broadcast time and the program, and is broadcast on the channel (broadcast station) and the broadcast time indicated by the television status information. Identify the program that was broadcast.
  • FIG. 4B is a diagram showing an example of the structure of the program database 36.
  • the broadcasting station and the broadcasting time are stored in association with the program broadcast at each broadcasting time at each broadcasting station.
  • the program broadcast by the broadcasting station Q from 19:00 to 21:00 on January 3, 2020 is professional baseball B.
  • the television state detection unit 15 and the program information acquisition unit 32 can cooperate to acquire the content being played on the television.
  • the program may be directly specified from the fingerprint F without specifying the channel and the broadcast time. Alternatively, it may only specify the channel and broadcast time.
  • FIG. 4B shows an example in which the content is stored in the program database 36 in units of content, but the unit is finer than the content (so-called program, content in a narrow sense) (for example, CM or a specific scene in the content (content in a broad sense). )) May be stored in the program database 36.
  • program content in a narrow sense
  • CM complementary metal-oxide-semiconductor
  • the VI value calculation unit 33 totals the number of residents based on the resident information from each viewing information acquisition device 1, and the viewers are counted for each broadcasting station and date and time (or each content, the same applies hereinafter).
  • the VI value is calculated in association with the attribute of.
  • the AI value calculation unit 34 totals the number of gaze persons based on the gaze person information from each viewing information acquisition device 1, and calculates the AI value in association with the attributes of the viewer for each broadcasting station and date and time.
  • the database writing unit 35 writes the VI value and the AI value to the viewing quality database 37 in association with the attributes of the viewer for each broadcasting station and date and time.
  • FIG. 5 is a diagram showing an example of the structure of the audience quality database 37.
  • the VI and AI values are stored in association with the viewer's attributes (here, gender, age and income).
  • the AI value of "News A" broadcast on January 3, 2020 from 19:00 to 19:30 is 0.2 for viewers with income of 3 million yen or less in the M1 layer.
  • the VI value is 0.15.
  • the viewing quality value information is stored in the viewing quality database 37. It should be noted that the above description is only an example, and it is sufficient if the viewing quality value can be stored for each broadcasting station and date and time, and it can be changed as appropriate. For example, as an attribute, one or two of gender, age, and annual income may be used, other elements may be included, or the attribute may be omitted. Further, as the viewing quality value, an index other than the VI value and the AI value may be applied.
  • FIG. 6 is a block diagram showing a schematic configuration of the viewing quality display system according to the second embodiment.
  • the viewing quality display system includes a viewing quality display device 5 and a viewing quality database 37 of FIG.
  • the viewing quality display device 5 may be any computer such as a personal computer, a smartphone, or a tablet, and includes an input interface 51, a display 52, a setting reception unit 53, a viewing quality acquisition unit 54, and an output control unit 55. Have. At least a part of the functions of the setting reception unit 53, the viewing quality acquisition unit 54, and the output control unit 55 may be realized by the processor of the viewing quality display device 5 executing a predetermined program.
  • the setting reception unit 53 receives the setting of what kind of viewing quality is to be displayed (that is, the target of the viewing quality to be displayed) from the user via the input interface 51.
  • This setting may include, for example, at least one of a broadcasting station, a period, a program, an attribute of a viewer, and an aggregation time.
  • the viewing quality acquisition unit 54 accesses the viewing quality database 37 and acquires the viewing quality value according to the setting accepted by the setting receiving unit 53.
  • the output control unit 55 outputs a screen for accepting the above settings and information indicating the viewing quality value acquired by the viewing quality acquisition unit 54.
  • the output control unit 55 may display information indicating the viewing quality value on the display 52, may print it with a printer (not shown), or may generate and output an electronic file such as a CSV. , May be output to the outside by API as electronic data.
  • a printer not shown
  • FIG. 7A is an example of a screen displayed on the display 52 in order to accept the setting of the broadcasting station.
  • a check box is provided for each broadcasting station, and one or more check boxes can be checked.
  • the viewing quality acquisition unit 54 acquires the viewing quality value for the program of the selected broadcasting station.
  • the viewing quality display device 5 may display the viewing quality value of all broadcasting stations that can be broadcast in a specific area without setting the broadcasting station.
  • FIG. 7B is an example of a screen displayed on the display 52 in order to accept the setting of the period.
  • FIG. 7B is an example of designating a period in units of one week, and a field for inputting a year, a month, and a week in which the viewing quality value is to be displayed is provided.
  • the user specifies the period by inputting the period for which the viewing quality is desired to be displayed via the input interface 51.
  • the viewing quality acquisition unit 54 acquires the viewing quality value within the designated period.
  • the method for setting the period is not limited, and the start and end may be specified by date or date, and the unit of the period is not limited to one week, but may be a specific day or one month. .. You may be able to display a calendar or clock and select the beginning and end of the period. Further, the setting of the period is arbitrary, and the viewing quality display device 5 may display the viewing quality value of a predetermined period such as the latest one week without setting the period.
  • the setting reception unit 53 may accept selection for each program instead of designating the broadcasting station and the period.
  • selection may be accepted not only for individual programs but also for genres such as news and sports.
  • FIG. 7C is an example of a screen displayed on the display 52 in order to accept the setting of the attribute.
  • radio buttons are provided for each of "male”, “female” and “both”, and only one radio button can be exclusively selected. ..
  • the viewing quality acquisition unit 54 acquires the viewing quality value for the selected gender (regardless of gender when "both" is selected).
  • check boxes are provided for each of the age groups, and one or more check boxes can be checked.
  • the user specifies the age group by checking the check box of the age group for which the viewing quality value is to be displayed.
  • the viewing quality acquisition unit 54 acquires the viewing quality value for the designated age group.
  • the age may be arbitrarily specified by the user in 1-year increments.
  • gender and age group may be set at the same time in categories such as C, T, M1 to M3, and F1 to F3.
  • a check box is provided for each income group, and one or more check boxes can be checked.
  • the user specifies the income group by checking the check box of the income group for which the viewing quality value is to be displayed.
  • the viewing quality acquisition unit 54 acquires the viewing quality value for the designated income group.
  • the attribute setting is arbitrary, and the viewer quality display device 5 may display the viewer quality value of all viewers without setting the attribute. Further, one or two settings of gender, age and income may be possible, and other attributes may be set depending on the configuration of the audience quality database 37.
  • FIG. 7D is an example of a screen displayed on the display 52 in order to accept the setting of the aggregation time.
  • a field for inputting the total time is provided.
  • the viewing quality acquisition unit 54 acquires the viewing quality value and aggregates the viewing quality value in the set aggregation time unit. For example, if the aggregation time is 1 hour, the viewing quality acquisition unit 54 aggregates the viewing quality values in 1-hour units, and if the aggregation time is 1 day, the viewing quality acquisition unit 54 aggregates the viewing quality values for 1 day. Aggregate by unit.
  • the unit of aggregation is arbitrary, and may be 1 minute unit, 10 minute unit, 1 hour unit, or 1 day unit.
  • the viewing quality display device 5 may total the viewing quality values at a predetermined totaling time such as 2 hours without setting the totaling time.
  • FIG. 8A is an example of a screen displaying information indicating the viewing quality value.
  • the setting reception unit 53 sets the broadcasting station P, the first week of March 2020, and one hour as the total time. Further, it is assumed that M2 (male aged 35 to 49) is specified as an attribute, and for convenience, the viewing quality value (here, the VI value) is shown only for a part of the date and time.
  • the day of the week is set in the horizontal direction and the time axis is set in the vertical direction.
  • the time axis is a unit corresponding to the totaling time (in this example, the totaling time is 1 hour, so it is in 1-hour units). Then, the display mode of the position corresponding to each day of the week and each time zone corresponds to the viewing quality value on that day of the week and the time zone.
  • the viewing quality value itself may be displayed at a position corresponding to each day of the week and each time zone. For example, in FIG. 8A, the viewing quality value at 5 o'clock on Monday is 0.3, and the viewing quality value at 5 o'clock on Tuesday is 0.35 (other days and other time zones are not shown). Yes).
  • the color or color density of the position (cell) corresponding to each day of the week and each time zone may correspond to the viewing quality value.
  • the higher the viewing quality value the darker the color may be.
  • the viewing quality value and the display mode may have a one-to-one correspondence, or may be a specific display mode when the viewing quality value is within a certain range (for example, every time the viewing quality value increases by 0.1). 1 step darker).
  • FIG. 8A for convenience, the higher the viewing quality value, the denser the spots are. With such a display, it is possible to intuitively grasp the outline of the viewing quality value on each day of the week and each time zone. According to FIG. 8A, it can be seen that the viewing quality is generally high after 19:00 when returning home from work, followed by the viewing quality from 7 to 8 o'clock on Saturdays, Sundays, and before going to work.
  • FIG. 8B is another screen example for displaying information indicating the viewing quality value.
  • F2 female aged 35 to 49
  • M2 is specified as the attribute.
  • the attributes by setting the attributes by the user, it is possible to grasp the tendency of the viewing quality according to the attributes. For example, when considering the placement of a TV advertisement for a product for middle-aged men, it is preferable to display the viewing quality information 6 of FIG. 8A. On the other hand, when considering the placement of a TV advertisement for a product for middle-aged women, it is preferable to display the viewing quality information 6 in FIG. 8B.
  • the output control unit 55 displays the viewing quality information 6 shown in FIG. 8 for each of them. Further, when the number of broadcasting stations is not so large, the output control unit 55 may display the viewing quality information 6 for all broadcasting stations (which can be broadcast in a specific area).
  • FIG. 9 is another screen example for displaying information indicating the viewing quality value.
  • the difference from the viewing quality information 6 in FIG. 8 is that the days set in the horizontal direction are divided into two categories, weekdays and weekends. That is, the value that summarizes the viewing quality values from Monday to Friday (for example, the average value) is used as the viewing quality value on weekdays, and the value that summarizes the viewing quality values on Saturday and Sunday (for example, the average value) is used as the viewing quality value on Saturday and Sunday. .. Further, the time axes set in the vertical direction do not have to be evenly spaced.
  • the user sets the target for displaying the viewing quality value, and the output control unit 55 displays the viewing quality information 6 according to the setting. Therefore, it is possible to display the viewing quality value desired by the user. Further, in the present embodiment, since the output control unit 55 shows the viewing quality values in a matrix for each day of the week and the time zone, the user can easily grasp the viewing quality values for each day of the week and each time zone.
  • the viewing quality values for a plurality of broadcasting stations and periods may be aggregated and displayed. For example, for a specific information program in the morning, the viewing quality value aggregated in a specified predetermined period may be displayed. Alternatively, for a program of a specific genre, the viewing quality value aggregated across broadcasting stations may be displayed. It is possible to accept from the user the setting of what kind of aggregation is to be performed.
  • the content to be played a plurality of times may be, for example, a CM that is repeatedly broadcast, a serial drama, a program that is rebroadcast, and the like, but in the following, it is referred to as a CM.
  • FIG. 10A is an example of a screen displaying the viewing quality as a line graph.
  • the solid line is the CM for the beverage A
  • the broken line is the CM for the beverage B
  • the dotted line is the average of these.
  • the horizontal axis of the line graph shows time (in FIG. 10A, one month unit), and in FIG. 10A, one month is the unit of time.
  • the vertical axis of the line graph shows the value related to the viewing quality value (in FIG. 10A, the product of the VI value and the AI value) of the content played at the time indicated by the corresponding horizontal axis.
  • the arrow F in FIG. 10A is the product of the VI value and the AI value of the CM for the beverage A regenerated in June.
  • the CM related to the beverage A is reproduced a plurality of times in the same month, the average value or the cumulative value of each time may be used.
  • the viewing quality value of the TV viewer is stored in the viewing quality database 37 (FIG. 6) for each of the contents to be played a plurality of times, and the necessary viewing quality information is stored in the viewing quality acquisition unit.
  • the 54 acquires it it is displayed by the output control unit 55.
  • "for each of the contents” here may be for each reproduction, or may be aggregated in a specific period (for example, one day, one week, one month, etc.).
  • the time unit on the horizontal axis is not limited to one month, but may be one week or one year.
  • the setting reception unit 53 may receive the time unit setting from the user via the input interface 51, and the output control unit 55 may set the horizontal axis according to the received time unit.
  • the viewing quality value on the vertical axis may be a total of a plurality of broadcasting stations and periods.
  • the setting reception unit 53 may receive the designation of any part of the line graph from the user via the input interface 51, and the output control unit 55 may display detailed information corresponding to the designated part.
  • the output control unit 55 controls the beverage A and the beverage B.
  • the viewing quality value of may be displayed numerically.
  • FIG. 10C when the user specifies the beverage A (for example, when the user moves the cursor to the area corresponding to the beverage A on the display 52), the output control unit 55 is in each month of the beverage A.
  • the viewing quality value of may be displayed numerically.
  • the output control unit 55 may display the CM, the program in which the CM is played, and the time in which the CM is played. For example, when the user specifies September of the beverage A, the program or time when the CM related to the beverage A is played may be displayed. From such a display, it is possible to infer the reason why the viewing quality value was high or low.
  • the viewing quality when the viewing quality is stored in association with the attribute, the viewing trend of the viewer having a specific attribute can be tracked. For example, by tracking the content having a high viewing quality value with respect to the M1 layer, the content instructed by the M1 layer can be grasped.
  • the VI value and the AI value are mainly exemplified as the viewing quality, but other indexes may be used.
  • the number of gaze persons unique reach number
  • gaze rate unique reach rate
  • cumulative gaze Gross Attention
  • cumulative gaze rate cumulative gaze rate
  • gaze content rate a display of the display.
  • the number of people watching is the total number of people watching specific content.
  • the gaze rate is the ratio of the number of gaze persons to the reference value (for example, the total number of panels or the number of persons having a specific attribute).
  • a person who gazes at a specific content for a very short time may be included in the number of gaze persons, it is desirable to include only a person who gazes at a predetermined time or more in the number of gaze persons.
  • the predetermined time can be, for example, 3 seconds when the content is a CM of about 15 seconds. This is because, according to the findings of the inventors of the present application, the recognition of CM advances when the gaze time is 3 seconds or longer.
  • the predetermined time may be a fixed value, a value according to the length of the content, or may be arbitrarily set by the user. Further, when a specific content is gazed at a predetermined number of times or more, it may be included in the number of gaze persons, and the predetermined number of times may be arbitrarily set by the user.
  • the predetermined time is 3 seconds and the standard value is 2,000 people, and 100 people watch the specific content for 3 seconds or more.
  • the number of gaze persons is 100, and the gaze rate is 5% (100 / 2,000).
  • the cumulative gaze rate is a value obtained by accumulating the gaze rate of each content in the content played multiple times.
  • the gaze content rate is a cumulative gaze rate for a value obtained by accumulating the audience rating of each content in the content played a plurality of times.
  • the content to be played a plurality of times is, for example, a CM that is repeatedly broadcast, a serial drama, a program that is rebroadcast, and the like.
  • the index for the number of gazes is also called "frequency".
  • Frequency refers to the number or proportion of people who gaze at a specific content (typically CM) for a predetermined time (for example, 3 seconds) as one gaze, and the number of gazes is a predetermined number of times (for example, 3 times) or more. ..
  • CM does not lead to recognition unless it is seen more than a certain number of times, but frequency can be an index to measure how much CM is recognized.
  • the gaze person counting unit 132 in the viewer detection unit 13 in FIG. 3A also measures the time during which each viewer is gazing at the television.
  • the gaze time of each viewer is transmitted to the viewing information management device 3.
  • the gaze information calculation unit may be provided in the viewing information management device 3 of FIG. 3A, and the gaze rate, the cumulative gaze rate, and the gaze content rate may be calculated based on the gaze time of each viewer.
  • the gaze rate, cumulative gaze rate, gaze content rate, and frequency are the viewing qualities related to the number of viewing qualities in which the content is gazed for a predetermined time or longer. Such viewing qualities can also be presented to the user as in FIGS. 8A, 8B and 9 via the same interface as in FIGS. 7A-7D.
  • the audience rating may be the product of the AI value and the VI value, the ratio of the AI value or the VI value to the reference value, the total value of the household audience rating, and the like.
  • FIGS. 10A and 10B are time, other parameters may be used as the horizontal axis.
  • the horizontal axis is GRP (value obtained by integrating the audience rating when a specific content or the like is displayed (cumulative audience rating)), and the vertical axis is the audience quality value (for example, AI value).
  • a line graph may be displayed.
  • the output control unit 55 may display a line graph in which the horizontal axis is the number of contacts (the number of times a specific content is touched) and the vertical axis is the viewing quality value.
  • the output control unit 55 may display a line graph in which the horizontal axis is the elapsed time (the elapsed time from the start of the specific content) and the vertical axis is the viewing quality value. In this way, the horizontal axis can be arbitrarily set to display the change in the information regarding the viewing quality value in a graph.
  • first embodiment may be incorporated into the second embodiment, or a part or all of the second embodiment may be incorporated into the first embodiment.
  • processing for each program has been mainly described, but the processing may be performed in any unit as the content such as for each CM or for each specific scene.

Abstract

テレビの視聴エリアを撮影し、種々の処理を行う制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法を提供する。　本発明の一態様によれば、テレビの視聴エリアを撮影するように配置されたカメラからの映像に基づいて、前記視聴エリア内にいる視聴者の状態を検知する視聴者検知部と、前記視聴者の状態に基づいて、制御対象機器を制御する機器制御部と、を備える制御装置が提供される。

Description

制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法
　本発明は、制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法に関する。
　特許文献１には、テレビの視聴エリアを撮像するようにカメラを配置し、得られた画像データから視聴エリア中に存在する人々の数と、視聴エリア中のビデオにエンゲージしている人々の数とを定量化する技術が開示されている。
特表２０１９－５０７５３３号公報
　本発明の課題は、テレビの視聴エリアを撮影し、種々の処理を行う制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法を提供することである。
　本発明の一態様によれば、ディスプレイの視聴エリアを撮影するように配置されたカメラからの映像に基づいて、前記視聴エリア内にいる視聴者の状態を検知する視聴者検知部と、前記視聴者の状態に基づいて、制御対象機器を制御する機器制御部と、を備える制御装置が提供される。
　前記ディスプレイからの音声情報に基づいて、前記ディスプレイの状態を検知するディスプレイ状態検知部を備え、前記機器制御部は、前記視聴者の状態および前記ディスプレイの状態に基づいて、前記制御対象機器を制御してもよい。
　前記ディスプレイ状態検知部は、前記ディスプレイの状態として、前記ディスプレイで再生されているコンテンツを検知し、前記機器制御部は、前記ディスプレイで再生されているコンテンツに基づいて、前記制御対象機器を制御してもよい。
　前記制御対象機器は、前記視聴者の携帯端末であり、前記機器制御部は、前記ディスプレイで再生されているコンテンツに関する情報が前記視聴者の携帯端末に表示されるよう制御を行ってもよい。
　前記制御対象機器は、対話型スピーカであり、前記機器制御部は、前記ディスプレイで再生されているコンテンツに関する情報が前記対話型スピーカから出力されるよう制御を行ってもよい。
　前記視聴者検知部は、前記視聴者の状態として、前記視聴者が前記ディスプレイを注視しているか否かを検知し、前記機器制御部は、前記視聴者が前記ディスプレイを注視しているか否かに基づいて、前記制御対象機器を制御してもよい。
　前記制御対象機器は、前記視聴者の携帯端末であり、前記視聴者検知部は、前記視聴者の状態として、前記視聴者が携帯端末を見ているか否かを検知し、前記機器制御部は、前記視聴者が携帯端末を見ている場合、前記携帯端末を制御してもよい。
　本発明の一態様によれば、コンピュータを、ディスプレイの視聴エリアを撮影するように配置されたカメラからの映像に基づいて、前記視聴エリア内にいる視聴者の状態を検知する視聴者検知部と、前記視聴者の状態に基づいて、制御対象機器を制御する機器制御部と、として機能させる制御プログラムが提供される。
　本発明の一態様によれば、ディスプレイの視聴エリアを撮影するように配置されたカメラからの映像に基づいて、前記視聴エリア内にいる視聴者の状態を検知し、前記視聴者の状態に基づいて、制御対象機器を制御する、制御方法が提供される。
　本発明の一態様によれば、コンピュータを、放送局、期間、コンテンツ、および、視聴者の属性のうちの少なくとも１つの設定を受け付ける設定受付手段と、放送局および日時毎、または、コンテンツ毎に、視聴者の属性と関連付けて視聴質値を記憶した記憶手段から、前記受け付けた設定に応じた視聴質値を取得する取得手段と、前記受け付けた設定に応じて、視聴質値に関する情報を出力させる出力制御手段と、として機能させる視聴質出力プログラムが提供される。
　前記出力制御手段は、前記視聴質値に関する情報をディスプレイに表示させてもよい。
　前記出力制御手段は、所定方向に曜日が設定され、前記所定方向と直交する方向に時間軸が設定され、各曜日および各時間帯に対応する位置の表示態様が視聴質値に関する情報に対応する視聴質情報を前記ディスプレイに表示させてもよい。
　前記設定受付手段は、集計時間の設定を受け付け、前記時間軸の単位は、前記集計時間に対応してもよい。
　前記受け付けた設定が放送局の選択を含む場合、前記出力制御手段は、選択された放送局のそれぞれについて前記視聴質情報をディスプレイに表示させてもよい。
　本発明の一態様によれば、コンピュータを、放送局および日時毎、または、コンテンツ毎に、視聴者の視聴質値を記憶した記憶手段から視聴質値を取得する取得手段と、所定方向に曜日が設定され、前記所定方向と直交する方向に時間軸が設定され、各曜日および各時間帯に対応する位置の表示態様が視聴質値に関する情報に対応する視聴質情報を出力させる出力制御手段と、として機能させる視聴質出力プログラムが提供される。
　前記出力制御手段は、前記視聴質情報をディスプレイに表示させてもよい。
　各曜日および各時間帯に対応する位置は、前記視聴質値が高いほど色が濃い、あるいは、視聴質値に関する情報に応じた色であってもよい。
　前記出力制御手段は、各曜日および各時間帯に対応する位置に、視聴質値に関する情報を表示させてもよい。
　前記出力制御手段は、全放送局のそれぞれについて前記視聴質情報をディスプレイに表示させてもよい。
　本発明の一態様によれば、コンピュータを、複数回再生されるコンテンツのそれぞれについて、視聴者の視聴質値を記憶した記憶手段から視聴質値を取得する取得手段と、前記複数回再生されるコンテンツのそれぞれの視聴質値に関する情報の変化をグラフで出力させる出力制御手段と、として機能させる、視聴質出力プログラムが提供される。
　前記グラフの第１軸は、時間を示し、前記グラフの第２軸は、前記第１軸が示す時間に再生されたコンテンツの前記視聴質値に関する値を示してもよい。
　前記グラフの第１軸は、特定のコンテンツが表示された時の視聴率を積算した値であり、前記グラフの第２軸は、前記第１軸が示す値に対する、視聴質値に関する値であってもよい。
　本発明の一態様によれば、放送局、期間、コンテンツ、および、視聴者の属性のうちの少なくとも１つの設定を受け付ける設定受付手段と、放送局および日時毎、または、コンテンツ毎に、視聴者の属性と関連付けて視聴質値を記憶した記憶手段から、前記受け付けた設定に応じた視聴質値を取得する取得手段と、前記受け付けた設定に応じて、視聴質値に関する情報を出力させる出力制御手段と、を備える視聴質出力装置が提供される。
　本発明の一態様によれば、放送局、期間、コンテンツ、および、視聴者の属性のうちの少なくとも１つの設定を受け付け、放送局および日時毎、または、コンテンツ毎に、視聴者の属性と関連付けて視聴質値を記憶した記憶手段から、前記受け付けた設定に応じた視聴質値を取得し、前記受け付けた設定に応じて、視聴質値に関する情報を出力させる、視聴質出力方法が提供される。
　本発明の一態様によれば、放送局および日時毎、または、コンテンツ毎に、視聴者の視聴質値を記憶した記憶手段から視聴質値を取得する取得手段と、所定方向に曜日が設定され、前記所定方向と直交する方向に時間軸が設定され、各曜日および各時間帯に対応する位置の表示態様が視聴質値に関する情報に対応する視聴質情報を出力させる出力制御手段と、を備える視聴質出力装置が提供される。
　本発明の一態様によれば、放送局および日時毎、または、コンテンツ毎に、視聴者の視聴質値を記憶した記憶手段から視聴質値を取得し、所定方向に曜日が設定され、前記所定方向と直交する方向に時間軸が設定され、各曜日および各時間帯に対応する位置の表示態様が視聴質値に関する情報に対応する視聴質情報を出力させる、視聴質出力方法が提供される。
　本発明の一態様によれば、複数回再生されるコンテンツのそれぞれについて、視聴者の視聴質値を記憶した記憶手段から視聴質値を取得する取得手段と、前記複数回再生されるコンテンツのそれぞれの視聴質値に関する情報の変化をグラフで出力させる出力制御手段と、を備える視聴質出力装置が提供される。
　本発明の一態様によれば、複数回再生されるコンテンツのそれぞれについて、視聴者の視聴質値を記憶した記憶手段から視聴質値を取得するステップと、前記複数回再生されるコンテンツのそれぞれの視聴質値に関する情報の変化をグラフで出力させるステップと、を備える視聴質出力方法が提供される。
　テレビの視聴エリアを撮影し、種々の処理を行うことができる。
第１の実施形態に係る制御システムを模式的に示す図。 第１の実施形態に係る制御システムの概略構成を示すブロック図。 視聴質取得システムの概略構成を示すブロック図。 滞在者情報を模式的に示す図。 注視者情報を模式的に示す図。 テレビ状態情報を模式的に示す図。 チャンネル・放送時間データベース２の構造の一例を示す図。 番組データベース３６の構造の一例を示す図。 視聴質データベース３７の構造の一例を示す図。 第２の実施形態に係る視聴質表示システムの概略構成を示すブロック図。 放送局の設定を受け付けるためにディスプレイ５２に表示される画面例。 期間の設定を受け付けるためにディスプレイ５２に表示される画面例。 属性の設定を受け付けるためにディスプレイ５２に表示される画面例。 集計時間の設定を受け付けるためにディスプレイ５２に表示される画面例。 視聴質値を示す情報を表示する画面例。 視聴質値を示す情報を表示する別の画面例。 視聴質値を示す情報を表示する別の画面例。 視聴質値を線グラフで表示する画面例。 視聴質値を線グラフで表示する画面例。 視聴質値を線グラフで表示する画面例。
　以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。
（第１の実施形態）
　第１の実施形態は、テレビの視聴エリアをカメラで撮影し、得られた映像に基づいて任意の機器を制御するものである。
　図１は、第１の実施形態に係る制御システムを模式的に示す図である。本制御システムは、カメラ２１と、マイク２２と、制御装置２３とを備える。図１は、リビングに設置されたテレビ１００と、その前方の視聴エリアも示している。
　カメラ２１は、テレビ１００の枠やリビングの天井など、テレビ１００の視聴エリアを撮影するように配置される。マイク２２は、テレビ１００のスピーカの近傍など、テレビ１００からの音声を取得するように配置される。制御装置２３は、カメラ２１で撮影された映像および／またはマイク２２で取得された音声に基づき、任意の制御対象機器２４を制御する。なお、制御装置２３がテレビ１００からの音声情報をテレビ１００から直接取得できる場合（例えばテレビ１００のイヤフォンジャックや音声出力端子と制御装置２３とを接続できる場合）には、マイク２２を設けなくてもよい。
　図２は、第１の実施形態に係る制御システムの概略構成を示すブロック図である。本制御システムにおける制御装置２３は、通信部２３１と、視聴者検知部２３２と、テレビ状態検知部２３３と、機器制御部２３４とを備える。制御装置２３はプロセッサおよびメモリを有するコンピュータであってよく、これら各部の機能の一部または全部は、メモリに記憶された所定のプログラムをプロセッサが実行することによって実現されてもよい。
　通信部２３１は、カメラ２１、マイク２２および制御対象機器２４との通信を行う。通信の種類に特に制限はなく、有線通信でもよいし、近距離無線通信や無線ＬＡＮなどの無線通信でもよい。具体的には、通信部２３１はカメラ２１やマイク２２からの情報を受信する。また、通信部２３１は、カメラ２１、マイク２２および制御対象機器２４を制御するための情報を送信する。
　視聴者検知部２３２は、カメラ２１からの映像に基づき、視聴エリア内にいる視聴者の状態を検知する。具体的な処理例として、視聴者検知部２３２は、カメラ２１からの映像から顔認識を行うなどにより、視聴エリア内にいる視聴者（あるいは、視聴エリア内に視聴者がいないこと）を特定する。視聴者検知部２３２は、物体認識の一部の機能である人体認識を行い、検知された人体に含まれる顔を取り出して、予め登録された顔写真との照合を行ってもよい。そして、視聴者検知部２３２は、各視聴者がテレビ１００を注視しているか否か、あるいは、各視聴者が自身の携帯端末（スマートフォンやタブレットなど）を見ているか否かなどを検知する。なお、本明細書では、テレビの視聴エリアにいる人を（実際に視聴しているか否かにかかわらず）「視聴者」と呼ぶことがある。
　また、視聴者検知部２３２は特定された各視聴者の属性（性別、年齢など）や喜怒哀楽といった表情を検知してもよい。その他、視聴者検知部２３２は、視聴エリア内にいる視聴者の数、各視聴者がテレビ１００を注視している時間、テレビ１００と視聴者との距離などを視聴者の状態として検知してもよい。視聴者検知部２３２は人工知能を活用して検知処理を行ってもよいし、公知の手法で検知処理を行ってもよい。
　テレビ状態検知部２３３は、テレビ１００からの音声情報に基づき、テレビ１００の状態を検知する。テレビ１００の状態とは、テレビ１００がオンしているかオフしているか、どのコンテンツが再生されているか、などである。コンテンツは、番組であってもよいし、ＣＭであってもよいし、特定のシーン（一定の事件や事故など）であってもよく、コンテンツの単位は任意である。また、ここでのコンテンツは、現在放送中（リアルタイム）のものでもよいし、録画したものでもよい。また、コンテンツとして、コンテンツを特定してもよいし、コンテンツのジャンル（スポーツ、映画、ニュースなど）を検知してもよい。また、コンテンツは放送波によるものに限られず、インターネット経由で提供されるコンテンツも含む（この場合、テレビ１００でなく単なるディスプレイであってよい）。テレビ１００で再生されているコンテンツを特定する手法の例は第２の実施形態で述べる。
　機器制御部２３４は、視聴者検知部２３２および／またはテレビ状態検知部２３３による検知結果に基づき、制御対象機器２４を制御する。より詳しくは、機器制御部２３４は制御対象機器２４を制御するための制御情報を生成し、通信部２３１を介して制御情報を送信することによって制御対象機器２４を制御する。制御対象機器２４は、例えばテレビ１００そのものでもよいし、テレビ以外のスピーカ、（テレビが設置されたリビングあるいは他の部屋の）照明、視聴者の携帯端末、対話型スピーカ（ＡＩアシスタント機能を有する、いわゆる「スマートスピーカ」と呼ばれるもの）などであってよい。
　ここで、機器制御部２３４は、外部機器とネットワーク接続されない制御対象機器２４（家庭内に設置されるテレビ、スピーカ、照明など）に対して、近距離無線通信や家庭内ＬＡＮを介して制御信号を送信することにより、制御対象機器２４を直接的に制御してもよい。また、サーバなどの外部機器とネットワーク接続される制御対象機器２４（携帯端末、対話型スピーカなど）に対しては、インターネット回線を介してサーバなどの外部機器に制御信号を送信することにより、制御対象機器２４を間接的に制御（すなわち、機器制御部２３４からの制御信号に応じて、外部機器が制御対象機器２４を制御）してもよい。
　なお、機器制御部２３４は、特定された視聴者個人の携帯端末を制御すべく、視聴者検知部２３２によって特定され得る視聴者（テレビが設置された家庭内における父であるか、母であるか、など）と、その視聴者が用いる携帯端末との対応関係を予め把握しておくのが望ましい。
　上述したように、カメラ２１を利用することで視聴エリア内にいる視聴者を検知でき、かつ、マイク２２を利用することでテレビ１００の状態を検知できる。そこで、その両者を用いて機器制御部２３４は制御対象機器２４を制御してもよい。あるいは、その一方のみを用いて機器制御部２３４は制御対象機器２４を制御してもよい。以下、機器制御部２３４による制御の具体例を挙げる。
　例えば、視聴エリア内に視聴者がいないにも拘らずテレビ１００がオンしている場合、機器制御部２３４はテレビ１００をオフしたり、テレビ１００が設置された部屋の照明をオフしたりしてもよい。あるいは、視聴エリア内に視聴者がいない状態からいる状態になった場合に、機器制御部２３４はテレビ１００をオンしてもよい。また、視聴エリア内に視聴者がいない状態からいる状態になり、かつ、その視聴者がテレビ１００を注視した場合、機器制御部２３４はテレビ１００をオンしてもよい。
　また、機器制御部２３４はテレビ１００のコンテンツを制御してもよい。例えば、視聴者がテレビ１００を注視していない場合、視聴者の気を惹くための画像をテレビ１００のディスプレイの少なくとも一部に表示させたり、音声をテレビ１００のスピーカから出力させたりしてもよい。このような画像や音声は、予め定めたものでもよいし、視聴者の属性や好みに合わせたものでもよい。
　また、機器制御部２３４はテレビ１００で再生されているコンテンツに基づいて制御対象機器２４を制御してもよい。具体例として、機器制御部２３４は、コンテンツに関する情報を対話型スピーカから出力させたり、視聴者の携帯端末に表示させたりしてもよい。より詳細には、機器制御部２３４は再生されているコンテンツを示す情報を、携帯端末や対話型スピーカに接続される外部サーバに送信する。これにより、外部サーバからの制御を受けて、対話型スピーカから当該コンテンツに関する情報がレコメンドされたり、当該コンテンツに関する広告が視聴者の携帯端末に表示されたりする。
　また、機器制御部２３４は、視聴者が携帯端末を見ている場合に、その携帯端末を制御してもよい。あるいは、機器制御部２３４は、視聴者がテレビを注視していない場合、視聴者が携帯端末を見ている可能性があるとして、その携帯端末を制御してもよい。具体例として、機器制御部２３４はテレビで再生されているＣＭに関する情報が携帯端末にリアルタイムに表示されるようにしてもよい。これにより、テレビで再生されているＣＭを視聴者が注視していないとしても、このＣＭと同内容あるいは関連する内容の広告を視聴者に見てもらうことができる。
　以上述べたように、第１の実施形態では、テレビ１００の視聴エリアをカメラ２１で撮影し、得られた映像に基づいて制御対象機器２４を制御する。そのため、視聴エリアに視聴者がいるか否か、いる場合に、どのような視聴者がいるか、テレビを見ているか否か、といった視聴エリアの様々な状況に応じて、制御対象機器２４を適切に制御できる。さらに、第１の実施形態では、テレビ１００の音声から取得されるテレビ１００の状態を考慮して制御対象機器２４を制御することによって、より多様な制御が可能となる。
（第２の実施形態）
　従来から、特定のテレビ番組を視聴した世帯の割合を示す目安として「世帯視聴率」が広く用いられてきた。しかしながら、世帯視聴率は、そのテレビ番組が選局されている世帯の割合に対応するにすぎず、必ずしもそのテレビ番組を視聴している世帯の割合と相関するとは限らない。
　また、近年では、世帯の割合単位ではなく、個人単位で視聴率を取得することも行われている。個人単位の視聴率は、所定の装置に家族の構成員それぞれに対応付けたボタンを設け、テレビを見る人が自身に対応付けられたボタンを選択することで、番組を視聴したものとして記録している。しかしながら、個人単位の視聴率に関しても、必ずしもその人が実際にテレビを視聴しているとは限らず、何となくテレビをつけっぱなしにしているだけである可能性もある。
　これに対し、上述した特許文献１は、視聴の「質」に着目し、ディスプレイの前の視聴エリア中に存在する人々の数と、視聴エリア中のビデオにエンゲージしている人々の数とを定量化する技術を開示している。しかし、特許文献１は、単にこれらの数を定量化することを開示するのみで、どのようにユーザに提示すればよいか何ら考慮がなされていない。
　次に述べる第２の実施形態は、視聴質をより分かりやすく提示できるようにするものである。
　第２の実施形態では、視聴質を視聴質値として定量化する。視聴質の例として、どれほどの視聴者がテレビを視聴可能であったかの指標（Viewability Index、以下「ＶＩ値」という）と、どれほどの視聴者がテレビを注視したかの指標（Attention Index、「以下「ＡＩ値」という）を用いる。ＶＩ値は視聴者の滞在度合いを示しており、高ければ高いほど、１台のテレビにつき、より多くの視聴者がテレビの前に位置したことを示す。一方、ＡＩ値は、視聴者の注視度合いを示しており、高ければ高いほど、その視聴率において、より多くの視聴者がテレビのコンテンツに注視したことを示す。
　まずは、ＶＩ値およびＡＩ値取得法の一例を説明する。
　図３Ａは、視聴質取得システムの概略構成を示すブロック図である。視聴質取得システムは、視聴情報取得装置１と、チャンネル・放送時間データベース２と、視聴質管理装置３とを備えている。視聴情報取得装置１は世帯ごとに設置され、各世帯の視聴情報取得装置１からの情報を視聴質管理装置３が集約することを想定している。
　視聴情報取得装置１は世帯ごとに設置される。また、各世帯に属する者（世帯構成員）は予め定まっている。以下では、視聴情報取得装置１が設置された世帯に世帯構成員Ａ，Ｂ，Ｃの３人が含まれるものとして説明する。
　視聴情報取得装置１は、カメラ１１と、ＩＲセンサ１２と、視聴者検知部１３と、マイク１４と、テレビ状態検知部１５と、送信部１６とを有する。
　カメラ１１は、テレビの視聴エリア（テレビの前方）を撮影し、カメラ画像を視聴者検知部１３に供給する。
　ＩＲセンサ１２は、視聴エリアに赤外線を照射する発光部と、物体（特に、視聴者）から反射された赤外線を検出する受光部とを有する。そして、ＩＲセンサ１２は、受光部によって検出された赤外線に基づき、発光部と物体との距離を示す深度画像を生成して視聴者検知部１３に供給する。
　視聴者検知部１３は、滞在者検知部１３１と、注視者検知部１３２とを有する。
　滞在者検知部１３１は、カメラ画像および深度画像から顔認識を行うなどにより、あるいは、歩き方や体型などに基づいて、視聴エリアにいる滞在者を検知する。より具体的には、滞在者検知部１３１は滞在者が世帯構成員Ａ～Ｃのいずれであるかを特定する。そして、滞在者検知部１３１は各時刻にどの視聴者が滞在していたかを示す滞在者情報を生成する。
　図３Ｂに滞在者情報を模式的に示す。同図に示すように、滞在者情報は各時刻に世帯構成員Ａ～Ｃのそれぞれが視聴エリアに滞在していたか否かを示す。同図の丸印は滞在していたことを示し、バツ印は滞在していなかったことを示している。例えば、世帯構成員Ａは、２０２０年１月３日の１９時００分００秒、同日１９時００分０５秒、同日１９時００分１０秒のいずれも視聴エリアに滞在している。
　滞在者情報は各時刻における滞在者数を示すとも言える。なお、図３Ｂでは５秒単位で滞在者を検知しているが、単位に特に制限はない。
　注視者検知部１３２は、カメラ画像および深度画像から視聴者のジェスチャ、動き、顔の向き、視線の動きを分析するなどにより、テレビを注視している滞在者を検知する。より具体的には、注視者検知部１３２は注視者が世帯構成員Ａ～Ｃのいずれであるかを特定する。そして、注視者検知部１３２は各時刻にどの視聴者がテレビを注視していたかを示す注視者情報を生成する。
　図３Ｃに注視者情報を模式的に示す。同図に示すように、注視者情報は各時刻に世帯構成員Ａ～Ｃのそれぞれがテレビを注視していたか否かを示す。同図の丸印は注視していたことを示し、バツ印は注視していなかったことを示している。例えば、世帯構成員Ａは、２０２０年１月３日の１９時００分００秒および同日１９時００分１０秒にはテレビを注視していたが、同日１９時００分０５秒ではテレビを注視していない。
　注視者情報は各時刻における注視者数を示すとも言える。なお、図３Ｂでは５秒単位で注視者を検知しているが、単位に特に制限はない。
　図３Ａに戻り、マイク１４は、テレビから再生される音声を集音し、テレビ状態検知部１５に供給する。
　テレビ状態検知部１５は、テレビからの音声情報に基づいて、テレビの状態を取得する。具体的には、テレビ状態検知部１５は、フィンガープリント生成部１５１と、チャンネル・放送時間情報取得部１５２とを有する。
　フィンガープリント生成部１５１はマイク１４からの音声を処理して、オーディオフィンガープリント（以下、単に「フィガープリント」という）Ｆを生成する。
　チャンネル・放送時間情報取得部１５２は、フィンガープリントＦと、チャンネル（放送局）および放送時間との対応関係を記憶したチャンネル・放送時間データベース２に基づいて、各時刻におけるテレビの状態を取得し、テレビ状態情報を生成する。テレビ状態情報は、各時刻にテレビに表示されていたコンテンツの放送局および放送日時を示す。
　具体的な処理の例として、チャンネル・放送時間情報取得部１５２は、チャンネル・放送時間データベース２を有するサービスに、生成されたフィンガープリントＦを送信する。そして、フィンガープリントＦに基づいて同サービスによって特定されるチャンネルおよび放送時間を示す情報をチャンネル・放送時間情報取得部１５２は受信する。
　図４Ａは、チャンネル・放送時間データベース２の構造の一例を示す図である。図示のように、フィンガープリントが放送局および放送日時と視聴日時を関連づけて記憶される。例えば、特定の時刻において、図３Ａのフィンガープリント生成部１５１によって生成されたのがフィンガープリントＦ２であった場合、テレビで再生されていたのは２０２０年１月３日１９時００分００秒～同日１９時００分０５秒に放送局Ｑによって放送されていた番組であることが分かる。
　図３Ｄにテレビ状態情報を模式的に示す。例えば、２０２０年１月３日の１９時００分００秒および同日１９時００分０５秒には、放送局Ｘで２０２０年１月３日の１９時００分００秒および同日１９時００分０５秒にそれぞれ放送されていたコンテンツがテレビに表示されている。なお、図３Ｄでは５秒単位でテレビ状態を検知しているが、単位に特に制限はない。
　図３Ａに戻り、視聴情報取得装置１の送信部１６は、滞在者情報（図３Ｂ）、注視者情報（図３Ｃ）およびテレビ状態情報（図３Ｄ）を視聴質管理装置３に送信する。視聴質管理装置３には、各視聴情報取得装置１から同様の情報が送信される。
　なお、図３Ａの視聴情報取得装置１は、図示するすべての構成を必須とするものではない。例えば、ＩＲセンサ１２を省略し、注視者検知部１３２はカメラ画像のみから注視者の検知を行ってもよい。
　続いて、視聴質管理装置３について述べる。視聴質管理装置３は、属性検出部３１と、番組情報取得部３２と、ＶＩ値算出部３３と、ＡＩ値算出部３４と、データベース書き込み部３５と、番組データベース３６と、視聴質データベース３７とを有する。
　属性検出部３１は視聴者の属性を検出する。具体的には、属性検出部３１は、各視聴情報取得装置１と関連付けて、その視聴情報取得装置１が設置される世帯の世帯構成員の属性（性別、年齢、年収など）が設定されている。例えば、上述した世帯構成員Ａ～Ｃの３人の属性が設定されている。そして、属性検出部３１は、視聴情報取得装置１からの滞在者情報および注視者情報に基づき、各時刻に視聴エリアに滞在していた視聴者および各時刻にテレビを注視していた視聴者の属性をそれぞれ特定する。年齢および性別として、例えばマーケティングで用いられる区分（Ｃ、Ｔ、Ｍ１～Ｍ３、Ｆ１～Ｆ３）のいずれであるかを特定してもよい。
　番組情報取得部３２は、チャンネル（放送局）および放送時間と、番組との対応関係を記憶した番組データベース３６を参照して、テレビ状態情報が示すチャンネル（放送局）および放送時間に放送されていた番組を特定する。
　図４Ｂは、番組データベース３６の構造の一例を示す図である。図示のように、放送局および放送時間と、各放送局で各放送時間に放送されていた番組とが関連付けて記憶される。例えば、２０２０年１月３日１９時～２１時に放送局Ｑによって放送されていた番組はプロ野球Ｂである。
　以上のようにして、テレビ状態検知部１５と番組情報取得部３２が協働して、テレビで再生されているコンテンツを取得できる。なお、データベースの構造によっては、チャンネルおよび放送時間を特定することなく、フィンガープリントＦから番組を直接特定してもよい。あるいは、チャンネルおよび放送時間を特定するだけであってもよい。
　フィンガープリントＦを利用して番組を特定する手法によれば、リアルタイムに放送されている番組のみならず、録画されタイムシフト視聴されている番組を特定することもできる。
　なお、図４Ｂは、コンテンツ単位で番組データベース３６に記憶される例を示したが、コンテンツ（いわゆる番組、狭義のコンテンツ））より細かい単位（例えば、ＣＭや、コンテンツにおける特定のシーン（広義のコンテンツ））で番組データベース３６に記憶されていてもよい。
　図３Ａに戻り、ＶＩ値算出部３３は、各視聴情報取得装置１からの滞在者情報に基づいて滞在者数を集計し、放送局および日時ごと（あるいはコンテンツごと、以下同じ）に、視聴者の属性と関連付けてＶＩ値を算出する。ＡＩ値算出部３４は、各視聴情報取得装置１からの注視者情報に基づいて注視者数を集計し、放送局および日時ごとに、視聴者の属性と関連付けてＡＩ値を算出する。データベース書き込み部３５は、放送局および日時ごとに、視聴者の属性と関連付けてＶＩ値およびＡＩ値を視聴質データベース３７に書き込む。
　図５は、視聴質データベース３７の構造の一例を示す図である。図示の例では、番組（放送日時および放送局）ごとに、ＶＩ値およびＡＩ値が視聴者の属性（ここでは、性別、年齢および収入）と関連付けて記憶される。例えば、２０２０年１月３日の１９時～１９時３０分に放送局Ｐで放送された「ニュースＡ」の、Ｍ１層の収入３００万円以下の視聴者におけるＡＩ値は０．２であり、ＶＩ値は０．１５である。
　以上のようにして、視聴質データベース３７に視聴質値の情報が記憶される。なお、以上述べたのは一例にすぎず、放送局および日時毎に視聴質値を記憶できればよく、適宜の変更が可能である。例えば、属性として、性別、年齢および年収のうちの１または２つを用いてもよいし、他の要素を含めてもよいし、属性を省略してもよい。また視聴質値として、ＶＩ値およびＡＩ値以外の指標を適用してもよい。
　続いて、視聴質の表示について説明する。
　図６は、第２の実施形態に係る視聴質表示システムの概略構成を示すブロック図である。視聴質表示システムは、視聴質表示装置５と、図１の視聴質データベース３７とを備えている。
　視聴質表示装置５は、パーソナルコンピュータ、スマートフォン、タブレットなど任意のコンピュータであってよく、入力インターフェース５１と、ディスプレイ５２と、設定受付部５３と、視聴質取得部５４と、出力制御部５５とを有する。設定受付部５３、視聴質取得部５４および出力制御部５５の機能の少なくとも一部は、視聴質表示装置５のプロセッサが所定のプログラムを実行することによって実現されてもよい。
　設定受付部５３は、どのような視聴質を表示させるか（すなわち、表示させる視聴質の対象）の設定を、入力インターフェース５１を介してユーザから受け付ける。この設定は、例えば、放送局、期間、番組、視聴者の属性、集計時間の少なくとも１つを含み得る。視聴質取得部５４は、視聴質データベース３７にアクセスし、設定受付部５３が受け付けた設定に応じた視聴質値を取得する。出力制御部５５は、上記の設定を受け付けるための画面や、視聴質取得部５４が取得した視聴質値を示す情報を出力する。
　出力制御部５５は、視聴質値を示す情報をディスプレイ５２に表示させてもよいし、不図示のプリンタで印刷してもよいし、ＣＳＶ等の電子ファイルを生成して出力してもよいし、電子データとしてＡＰＩで外部に出力してもよい。以下では、出力制御部５５が視聴質値を示す情報をディスプレイ５２に表示させる例を主に述べるが、同様の印刷を行ってもよいし、同様の画面を表示させるための電子ファイルや電子データを出力してもよい。
　図７Ａは、放送局の設定を受け付けるためにディスプレイ５２に表示される画面例である。図示のように、放送局毎にチェックボックスが設けられ、１以上のチェックボックスにチェックを入れることできる。入力インターフェース５１を介して、ユーザは視聴質値を表示させたい放送局のチェックボックスにチェックを入れることで、放送局を選択する。視聴質取得部５４は選択された放送局の番組についての視聴質値を取得する。
　なお、放送局の設定は任意であり、視聴質表示装置５は放送局の設定を行うことなく、特定の地域で放送可能な全放送局の視聴質値を表示させることとしてもよい。
　図７Ｂは、期間の設定を受け付けるためにディスプレイ５２に表示される画面例である。図７Ｂは１週間単位で期間を指定する例であり、何年何月何週目の視聴質値を表示させるかを入力する欄が設けられる。入力インターフェース５１を介して、ユーザは視聴質を表示させたい期間を入力することで、期間を指定する。視聴質取得部５４は指定された期間内の視聴質値を取得する。
　なお、期間の設定法に制限はなくは、日付あるいは日時で始期および終期を指定できてもよいし、期間の単位は１週間に限られず、特定の１日や１か月であってもよい。カレンダーや時計を表示させて、期間の始期および終期を選択できてもよい。また、期間の設定は任意であり、視聴質表示装置５は期間の設定を行うことなく、直近１週間など予め定めた期間の視聴質値を表示させることとしてもよい。
　また、設定受付部５３は、放送局と期間を指定する代わりに、番組単位で選択を受け付けてもよい。また、個別の番組単位のみならず、ニュースやスポーツといったジャンルの単位で選択を受け付けてもよい。
　図７Ｃは、属性の設定を受け付けるためにディスプレイ５２に表示される画面例である。
　図７Ｃ（ａ）に示すように、視聴者の性別の設定に関して、「男性」、「女性」および「両方」のそれぞれにラジオボタンが設けられ、排他的に１つのみのラジオボタンを選択できる。入力インターフェース５１を介して、ユーザは視聴質値を表示させたい性別を選択する。視聴質取得部５４は、選択された性別（「両方」が選択された場合は性別問わず）についての視聴質値を取得する。
　図７Ｃ（ｂ）に示すように、視聴者の年齢の選択に関して、年齢層のそれぞれにチェックボックスが設けられ、１以上のチェックボックスにチェックを入れることできる。入力インターフェース５１を介して、ユーザは視聴質値を表示させたい年齢層のチェックボックスにチェックを入れることで、年齢層を指定する。視聴質取得部５４は指定された年齢層についての視聴質値を取得する。なお、年齢の選択は１歳刻みで任意にユーザが指定できてもよい。
　なお、Ｃ、Ｔ、Ｍ１～Ｍ３、Ｆ１～Ｆ３といった区分で性別および年齢層を同時に設定できるようにしてもよい。
　図７Ｃ（ｃ）に示すように、視聴者の収入の設定に関して、収入層のそれぞれにチェックボックスが設けられ、１以上のチェックボックスにチェックを入れることできる。入力インターフェース５１を介して、ユーザは視聴質値を表示させたい収入層のチェックボックスにチェックを入れることで、収入層を指定する。視聴質取得部５４は指定された収入層についての視聴質値を取得する。
　なお、属性の設定は任意であり、視聴質表示装置５は属性の設定を行うことなく全視聴者の視聴質値を表示させることとしてもよい。また、性別、年齢および収入の１または２つの設定が可能でもよいし、視聴質データベース３７の構成に応じて他の属性を設定可能でもよい。
　図７Ｄは、集計時間の設定を受け付けるためにディスプレイ５２に表示される画面例である。図示のように、集計時間を入力する欄が設けられる。入力インターフェース５１を介して、ユーザは視聴質値を集計する単位となる時間を入力する。視聴質取得部５４は視聴質値を取得し、設定された集計時間の単位で視聴質値を集計する。例えば、集計時間が１時間であれば、視聴質取得部５４は視聴質値を１時間単位で集計するし、集計時間が１日であれば、視聴質取得部５４は視聴質値を１日単位で集計する。集計の単位は任意であり、１分単位、１０分単位、１時間単位、１日単位であってもよい。
　なお、集計時間の設定は任意であり、視聴質表示装置５は集計時間の設定を行うことなく、２時間など予め定めた集計時間で視聴質値を集計してもよい。
　図８Ａは、視聴質値を示す情報を表示する画面例である。同図では、設定受付部５３により、放送局Ｐ、２０２０年３月１週目、集計時間として１時間が設定されたことを想定している。また、属性としてＭ２（３５～４９才の男性）が指定されたものとし、便宜上、一部の日時についてのみ視聴質値（ここではＶＩ値とする）を示している。
　視聴質情報６として、水平方向に曜日が設定され、鉛直方向に時間軸が設定される。時間軸は集計時間に対応した単位となる（本例では、集計時間が１時間であるため、１時間単位）。そして、各曜日および各時間帯に対応する位置の表示態様が、その曜日および時間帯での視聴質値と対応する。
　表示態様として、各曜日および各時間帯に対応する位置に、視聴質値そのものが表示されてもよい。例えば、図８Ａにおいて、月曜日５時台の視聴質値は０．３であり、火曜日５時台の視聴質値は０．３５である（他の曜日および他の時間帯は図示を省略している）。
　また、表示態様として、各曜日および各時間帯に対応する位置（セル）の色や色の濃さが、視聴質値と対応していてもよい。具体例として、視聴質値が高いほど色が濃くてもよい。視聴質値と表示態様が１対１に対応してもよいし、視聴質値がある範囲にある場合に特定の表示態様であってもよい（例えば、視聴質値が０．１増えるごとに、１段階色が濃くなる）。
　図８Ａでは、便宜上、視聴質値が高いほど密度が濃いスポットを付している。このような表示によれば、各曜日および各時間帯における視聴質値の概要を直感的に把握できる。図８Ａによれば、概して、勤務先から帰宅する１９時以降で視聴質が高く、次いで、土日や出勤前である７～８時の視聴質が高いことが分かる。
　図８Ｂは、視聴質値を示す情報を表示する別の画面例である。図８Ａとの違いは、属性としてＦ２（３５～４９才の女性）が指定されたものとしている。属性としてＭ２を指定した図８Ａと異なり、昼間の時間帯に視聴質が高いことが分かる。
　このように、ユーザが属性を設定することで、属性に応じた視聴質の傾向を把握できる。例えば、中年男性向け商品のテレビ広告出稿を検討する際には、図８Ａの視聴質情報６を表示させるのがよい。一方、中年女性向け商品のテレビ広告出稿を検討する際には、図８Ｂの視聴質情報６を表示させるのがよい。
　なお、放送局が複数選択された場合、そのそれぞれについて出力制御部５５は図８に示す視聴質情報６を表示する。また、放送局の数がそれほど多くない場合、出力制御部５５は全て（特定の地域で放送可能な）全ての放送局について視聴質情報６を表示してもよい。
　図９は、視聴質値を示す情報を表示する別の画面例である。図８の視聴質情報６との違いとして、水平方向に設定される曜日は、平日および土日の２区分となっている。すなわち、月曜日～金曜日の視聴質値をまとめた値（例えば平均値）を平日の視聴質値とし、土曜日および日曜日の視聴質値をまとめた値（例えば平均値）を土日の視聴質値としている。また、鉛直方向に設定される時間軸は等間隔でなくてもよい。
　以上説明したように、視聴質値を表示させる対象をユーザが設定し、その設定に応じて出力制御部５５が視聴質情報６を表示させる。そのため、ユーザが所望する視聴質値を表示させることができる。また、本実施形態では、出力制御部５５が曜日および時間帯ごとにマトリクス状に視聴質値を示すため、ユーザは各曜日および各時間帯の視聴質値を把握しやすい。
　なお、複数の放送局や期間における視聴質値をまとめて集計して表示するようにしてもよい。例えば、朝の特定の情報番組について、指定した所定期間で集計した視聴質値を表示してもよい。あるいは、特定のジャンルの番組について、放送局を跨いで集計した視聴質値を表示してもよい。どのような集計を行うかの設定をユーザから受け付けることができる。
　続いて、複数回再生されるコンテンツにおいて、コンテンツの視聴質の遷移を線グラフで表示させる態様を説明する。ここで、複数回再生されるコンテンツとは、例えば繰り返し放送されるＣＭ、連続ドラマ、再放送される番組などであり得るが、以下ではＣＭであるとする。
　図１０Ａは、視聴質を線グラフで表示する画面例である。実線は飲料Ａに関するＣＭ、破線は飲料Ｂに関するＣＭ、点線はこれらの平均である。線グラフの横軸は時間（図１０Ａでは、１か月単位）を示しており、図１０Ａでは１か月を時間の単位としている。線グラフの縦軸は対応する横軸が示す時間に再生されたコンテンツの視聴質値（図１０Ａでは、ＶＩ値とＡＩ値との積）に関する値を示している。
　例えば、図１０Ａの矢印Ｆは、６月に再生された飲料Ａに関するＣＭのＶＩ値とＡＩ値との積である。同月に飲料Ａに関するＣＭが複数回再生された場合、各回の平均値でもよいし、累積値でもよい。
　このような線グラフは、複数回再生されるコンテンツのそれぞれについて、テレビ視聴者の視聴質値を視聴質データベース３７（図６）に記憶しておき、必要な視聴質の情報を視聴質取得部５４が取得することにより、出力制御部５５によって表示される。なお、ここでの「コンテンツのそれぞれについて」とは、１回の再生ごとでもよいし、特定の期間（例えば１日、１週間、１か月など）で集計したものでもよい。
　なお、横軸の時間単位は１か月に限られず、１週間や１年であってもよい。また、入力インターフェース５１を介して設定受付部５３がユーザから時間単位の設定を受け付け、受け付けた時間単位に応じて出力制御部５５が横軸を設定してもよい。また、縦軸の視聴質値は複数の放送局や期間をまとめて集計したものであってもよい。
　また、入力インターフェース５１を介して設定受付部５３が線グラフにおけるいずれかの部分の指定をユーザから受け付け、指定された部分に応じた詳細な情報を出力制御部５５が表示させてもよい。
　例えば、図１０Ｂに示すように、ユーザが４月を指定した場合（例えば、ディスプレイ５２における４月に対応する領域にユーザがカーソルを移動させた場合）、出力制御部５５は飲料Ａおよび飲料Ｂの視聴質値を数値で表示させてもよい。また、図１０Ｃに示すように、ユーザが飲料Ａを指定した場合（例えば、ディスプレイ５２における飲料Ａに対応する領域にユーザがカーソルを移動させた場合）、出力制御部５５は飲料Ａの各月の視聴質値を数値で表示させてもよい。
　その他、出力制御部５５は、ＣＭと、そのＣＭが再生された番組や、そのＣＭが再生された時間を表示させてもよい。例えば、ユーザが飲料Ａの９月を指定した場合、飲料Ａに関するＣＭが再生された番組や時間を表示させてもよい。このような表示により、視聴質値が高かった理由や低かった理由を推測できる。
　このように、視聴質値を線グラフで表示させることにより、視聴質値の遷移を把握可能となる。
　その他、図５に示すように、属性と関連付けて視聴質を記憶する場合、特定の属性を有する視聴者の視聴動向を追跡することもできる。例えば、Ｍ１層に対して視聴質値が高いコンテンツを追跡することで、Ｍ１層に指示されるコンテンツを把握できる。
　また、属性として、各視聴者に事前にアンケート行うことで、各視聴者の趣味や嗜好を取得することもできる。この場合、特定の趣味や嗜好を有する視聴者の視聴動向を追跡することもできる。例えば、喫煙者に対して視聴質値が高いＣＭを追跡することで、喫煙者がどのような銘柄に着目しているかを把握できる。
　上述した第２の実施形態は、主に視聴質としてＶＩ値およびＡＩ値を例示したが、他の指標を用いてもよい。例えば、次に述べる注視者数（ユニークリーチ数）、注視率（ユニークリーチ率）、累積注視（Gross Attention）数、累積注視率、注視含有率、注視回数についての指標の少なくとも１つを視聴質として用いてもよい。また、テレビでなく、インターネット経由で提供されるディスプレイであってもよいのは第１の実施形態と同様である。
　注視者数は特定のコンテンツを注視した人の総数である。また、例えば、注視率は基準値（例えば、全パネル数や、特定の属性である者の数）に対する注視者の数の割合である。ここで、特定のコンテンツをごく短時間でも注視した人を注視者数に含めてもよいが、所定時間以上注視した人のみを注視者数に含めるようにするのが望ましい。所定時間として、例えばコンテンツが１５秒程度のＣＭである場合に、３秒とすることができる。本願発明者らの知見によれば、注視した時間が３秒以上となるとＣＭの認知が進むためである。この所定時間は、固定値でもよいし、コンテンツの長さに応じた値でもよいし、ユーザが任意に設定できてもよい。また、特定のコンテンツを所定回数以上注視した場合に注視者数に含めるようにしてもよく、この所定回数をユーザが任意に設定できてもよい。
　例えば、上記所定時間が３秒であり、基準値が２，０００人であるうち、１００人が特定のコンテンツを３秒以上注視したとする。この場合、注視者数は１００人であり、注視率は５％（１００／２，００００）である。
　また、累積注視率は、複数回再生されるコンテンツにおいて、各コンテンツの注視率を累積した値である。注視含有率は、複数回再生されるコンテンツにおいて、各コンテンツの視聴率を累積した値に対する累積注視率である。複数回再生されるコンテンツとは、例えば繰り返し放送されるＣＭ、連続ドラマ、再放送される番組などである。
　例えば、あるＣＭが３回放送され、その視聴率がそれぞれ１０％、１５％および２０％であり、その注視率がそれぞれ５％、６％および７％であったとする。この場合、累積注視率は１８（＝５＋６＋７）％である。また、注視含有率は６０（＝（５＋６＋７）／（１０＋１５＋２０））％である。
　注視回数についての指標は「フリクエンシー」とも呼ばれる指標である。フリクエンシーは、特定のコンテンツ（典型的にはＣＭ）を所定時間（例えば３秒間）注視したことを１回の注視とし、注視回数が所定回数（例えば３回）以上の人の数あるいは割合を指す。ＣＭは一定回数以上見ないと認知に結びつかないとの見解があるが、フリクエンシーはどの程度ＣＭが認知されたのかを測定する指標となり得る。
　注視率、累積注視率、注視含有率、フリクエンシーを取得するためには、例えば図３Ａの視聴者検知部１３における注視者カウント部１３２が、各視聴者がテレビを注視してる時間も計測し、各視聴者の注視時間が視聴情報管理装置３に送信されるようにする。そして、図３Ａの視聴情報管理装置３内に注視情報算出部を設け、各視聴者の注視時間に基づいて注視率、累積注視率、注視含有率を算出すればよい。
　注視率、累積注視率、注視含有率、フリクエンシーは、コンテンツを所定時間以上注視した視聴質の数に関する視聴質と言える。このような視聴質も、図７Ａ～図７Ｄと同様のインターフェースを介して、図８Ａ、図８Ｂおよび図９と同様にユーザに提示することができる。
　その他、視聴質値として、ＡＩ値とＶＩ値の積、ＡＩ値あるいはＶＩ値の基準値に対する比率、世帯視聴率を合算した値などであってもよい。
　また、図１０Ａおよび図１０Ｂにおける横軸は時間であるが、他のパラメータを横軸としてもよい。
　例えば、出力制御部５５は、横軸をＧＲＰ（特定のコンテンツ等が表示された時の視聴率を積算した値（累積視聴率））とし、縦軸を視聴質値（例えばＡＩ値）とする線グラフを表示させてもよい。また、出力制御部５５は、横軸を接触数（特定のコンテンツに接した回数）とし、縦軸を視聴質値とする線グラフを表示させてもよい。あるいは、出力制御部５５は、横軸を経過時間（特定のコンテンツが始まったときからの経過時間）とし、縦軸を視聴質値とする線グラフを表示させてもよい。このように、横軸を任意に設定して、視聴質値に関する情報の変化をグラフで表示させることができる。
　なお、上述した第１の実施形態の一部または全部を第２の実施形態に組み込んでもよいし、第２の実施形態の一部または全部を第１の実施形態に組み込んでもよい。また、上述した実施形態では番組毎の処理を主に説明したが、ＣＭ毎や特定のシーン毎など、コンテンツとして任意の単位で処理をしてもよい。
　上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。
２１　カメラ
２２　マイク
２３　制御装置
２３１　通信部
２３２　視聴者検知部
２３３　テレビ状態検知部
２３４　機器制御部
２４　制御対象機器
１　視聴情報取得装置
１１　カメラ
１２　ＩＲセンサ
１３　視聴者検知部
１３１　滞在者検知部
１３２　注視者検知部
１４　マイク
１５　テレビ状態検知部
１５１　フィンガープリント生成部
１５２　チャンネル・放送時間情報取得部
１６　送信部
２　チャンネル・放送時間データベース
３　視聴質管理装置
３１　属性検出部
３２　番組情報取得部
３３　ＶＩ値算出部
３４　ＡＩ値算出部
３５　データベース書き込み部
３６　番組データベース
３７　視聴質データベース
５　視聴質表示装置
５１　入力インターフェース
５２　ディスプレイ
５３　設定受付部
５４　視聴質取得部
５５　出力制御部
６　視聴質情報

Claims (28)

  1. 　ディスプレイの視聴エリアを撮影するように配置されたカメラからの映像に基づいて、前記視聴エリア内にいる視聴者の状態を検知する視聴者検知部と、
    　前記視聴者の状態に基づいて、制御対象機器を制御する機器制御部と、を備える制御装置。
  2. 　前記ディスプレイからの音声情報に基づいて、前記ディスプレイの状態を検知するディスプレイ状態検知部を備え、
    　前記機器制御部は、前記視聴者の状態および前記ディスプレイの状態に基づいて、前記制御対象機器を制御する、請求項１に記載の制御装置。
  3. 　前記ディスプレイ状態検知部は、前記ディスプレイの状態として、前記ディスプレイで再生されているコンテンツを検知し、
    　前記機器制御部は、前記ディスプレイで再生されているコンテンツに基づいて、前記制御対象機器を制御する、請求項２に記載の制御装置。
  4. 　前記制御対象機器は、前記視聴者の携帯端末であり、
    　前記機器制御部は、前記ディスプレイで再生されているコンテンツに関する情報が前記視聴者の携帯端末に表示されるよう制御を行う、請求項３に記載の制御装置。
  5. 　前記制御対象機器は、対話型スピーカであり、
    　前記機器制御部は、前記ディスプレイで再生されているコンテンツに関する情報が前記対話型スピーカから出力されるよう制御を行う、請求項３に記載の制御装置。
  6. 　前記視聴者検知部は、前記視聴者の状態として、前記視聴者が前記ディスプレイを注視しているか否かを検知し、
    　前記機器制御部は、前記視聴者が前記ディスプレイを注視しているか否かに基づいて、前記制御対象機器を制御する、請求項１乃至５のいずれかに記載の制御装置。
  7. 　前記制御対象機器は、前記視聴者の携帯端末であり、
    　前記視聴者検知部は、前記視聴者の状態として、前記視聴者が携帯端末を見ているか否かを検知し、
    　前記機器制御部は、前記視聴者が携帯端末を見ている場合、前記携帯端末を制御する、請求項１乃至６のいずれかに記載の制御装置。
  8. 　コンピュータを、
    　ディスプレイの視聴エリアを撮影するように配置されたカメラからの映像に基づいて、前記視聴エリア内にいる視聴者の状態を検知する視聴者検知部と、
    　前記視聴者の状態に基づいて、制御対象機器を制御する機器制御部と、として機能させる制御プログラム。
  9. 　ディスプレイの視聴エリアを撮影するように配置されたカメラからの映像に基づいて、前記視聴エリア内にいる視聴者の状態を検知し、
    　前記視聴者の状態に基づいて、制御対象機器を制御する、制御方法。
  10. 　コンピュータを、
    　放送局、期間、コンテンツ、および、視聴者の属性のうちの少なくとも１つの設定を受け付ける設定受付手段と、
    　放送局および日時毎、または、コンテンツ毎に、視聴者の属性と関連付けて視聴質値を記憶した記憶手段から、前記受け付けた設定に応じた視聴質値を取得する取得手段と、
    　前記受け付けた設定に応じて、視聴質値に関する情報を出力させる出力制御手段と、として機能させる視聴質出力プログラム。
  11. 　前記出力制御手段は、前記視聴質値に関する情報をディスプレイに表示させる、請求項１０に記載の視聴質出力プログラム。
  12. 　前記出力制御手段は、所定方向に曜日が設定され、前記所定方向と直交する方向に時間軸が設定され、各曜日および各時間帯に対応する位置の表示態様が視聴質値に関する情報に対応する視聴質情報を前記ディスプレイに表示させる、請求項１１に記載の視聴質出力プログラム。
  13. 　前記設定受付手段は、集計時間の設定を受け付け、
    　前記時間軸の単位は、前記集計時間に対応する、請求項１２に記載の視聴質出力プログラム。
  14. 　前記受け付けた設定が放送局の選択を含む場合、前記出力制御手段は、選択された放送局のそれぞれについて前記視聴質情報をディスプレイに表示させる、請求項１２または１３に記載の視聴質出力プログラム。
  15. 　コンピュータを、
    　放送局および日時毎、または、コンテンツ毎に、視聴者の視聴質値を記憶した記憶手段から視聴質値を取得する取得手段と、
    　所定方向に曜日が設定され、前記所定方向と直交する方向に時間軸が設定され、各曜日および各時間帯に対応する位置の表示態様が視聴質値に関する情報に対応する視聴質情報を出力させる出力制御手段と、として機能させる視聴質出力プログラム。
  16. 　前記出力制御手段は、前記視聴質情報をディスプレイに表示させる、請求項１５に記載の視聴質出力プログラム。
  17. 　各曜日および各時間帯に対応する位置は、前記視聴質値が高いほど色が濃い、あるいは、視聴質値に関する情報に応じた色である、請求項１２または１６に記載の視聴質出力プログラム。
  18. 　前記出力制御手段は、各曜日および各時間帯に対応する位置に、視聴質値に関する情報を表示させる、請求項１２または１６に記載の視聴質出力プログラム。
  19. 　前記出力制御手段は、全放送局のそれぞれについて前記視聴質情報をディスプレイに表示させる、請求項１２または１６に記載の視聴質出力プログラム。
  20. 　コンピュータを、
    　複数回再生されるコンテンツのそれぞれについて、視聴者の視聴質値を記憶した記憶手段から視聴質値を取得する取得手段と、
    　前記複数回再生されるコンテンツのそれぞれの視聴質値に関する情報の変化をグラフで出力させる出力制御手段と、として機能させる、視聴質出力プログラム。
  21. 　前記グラフの第１軸は、時間を示し、
    　前記グラフの第２軸は、前記第１軸が示す時間に再生されたコンテンツの前記視聴質値に関する値を示す、請求項２０に記載の視聴質出力プログラム。
  22. 　前記グラフの第１軸は、特定のコンテンツが表示された時の視聴率を積算した値であり、
    　前記グラフの第２軸は、前記第１軸が示す値に対する、視聴質値に関する値である、請求項２０に記載の視聴質出力プログラム。
  23. 　放送局、期間、コンテンツ、および、視聴者の属性のうちの少なくとも１つの設定を受け付ける設定受付手段と、
    　放送局および日時毎、または、コンテンツ毎に、視聴者の属性と関連付けて視聴質値を記憶した記憶手段から、前記受け付けた設定に応じた視聴質値を取得する取得手段と、
    　前記受け付けた設定に応じて、視聴質値に関する情報を出力させる出力制御手段と、を備える視聴質出力装置。
  24. 　放送局、期間、コンテンツ、および、視聴者の属性のうちの少なくとも１つの設定を受け付け、
    　放送局および日時毎、または、コンテンツ毎に、視聴者の属性と関連付けて視聴質値を記憶した記憶手段から、前記受け付けた設定に応じた視聴質値を取得し、
    　前記受け付けた設定に応じて、視聴質値に関する情報を出力させる、視聴質出力方法。
  25. 　放送局および日時毎、または、コンテンツ毎に、視聴者の視聴質値を記憶した記憶手段から視聴質値を取得する取得手段と、
    　所定方向に曜日が設定され、前記所定方向と直交する方向に時間軸が設定され、各曜日および各時間帯に対応する位置の表示態様が視聴質値に関する情報に対応する視聴質情報を出力させる出力制御手段と、を備える視聴質出力装置。
  26. 　放送局および日時毎、または、コンテンツ毎に、視聴者の視聴質値を記憶した記憶手段から視聴質値を取得し、
    　所定方向に曜日が設定され、前記所定方向と直交する方向に時間軸が設定され、各曜日および各時間帯に対応する位置の表示態様が視聴質値に関する情報に対応する視聴質情報を出力させる、視聴質出力方法。
  27. 　複数回再生されるコンテンツのそれぞれについて、視聴者の視聴質値を記憶した記憶手段から視聴質値を取得する取得手段と、
    　前記複数回再生されるコンテンツのそれぞれの視聴質値に関する情報の変化をグラフで出力させる出力制御手段と、を備える視聴質出力装置。
  28. 　複数回再生されるコンテンツのそれぞれについて、視聴者の視聴質値を記憶した記憶手段から視聴質値を取得するステップと、
    　前記複数回再生されるコンテンツのそれぞれの視聴質値に関する情報の変化をグラフで出力させるステップと、を備える視聴質出力方法。
PCT/JP2021/044843 2020-12-08 2021-12-07 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法 WO2022124289A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180082672.XA CN116601964A (zh) 2020-12-08 2021-12-07 控制程序、控制装置及控制方法、以及视听质量输出程序、视听质量输出装置及视听质量输出方法
KR1020237019298A KR20230117733A (ko) 2020-12-08 2021-12-07 제어 프로그램, 제어 장치 및 제어 방법 및, 시청질 출력 프로그램, 시청질 출력장치 및 시청질 출력 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-203142 2020-12-08
JP2020203142A JP2022090692A (ja) 2020-12-08 2020-12-08 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法

Publications (1)

Publication Number Publication Date
WO2022124289A1 true WO2022124289A1 (ja) 2022-06-16

Family

ID=81974447

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044843 WO2022124289A1 (ja) 2020-12-08 2021-12-07 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法

Country Status (4)

Country Link
JP (1) JP2022090692A (ja)
KR (1) KR20230117733A (ja)
CN (1) CN116601964A (ja)
WO (1) WO2022124289A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257216A (ja) * 2007-03-12 2008-10-23 Akira Tomono 公衆用情報提示装置
JP2011077913A (ja) * 2009-09-30 2011-04-14 Nhk Service Center Inc 情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラム
JP2014195236A (ja) * 2013-02-28 2014-10-09 Hakuhodo Inc 視聴操作ログデータ生成装置およびプログラム
JP2014195224A (ja) * 2013-03-29 2014-10-09 Video Research:Kk 調査装置及びシステム及び方法及びプログラム
JP2015506158A (ja) * 2011-12-19 2015-02-26 ザ ニールセン カンパニー （ユーエス） エルエルシー メディア提示装置をクレジットするための方法及び装置
JP2016005083A (ja) * 2014-06-16 2016-01-12 ソニー株式会社 情報処理装置、情報処理方法及び端末装置
JP2019507533A (ja) * 2016-01-06 2019-03-14 テレビジョン・インサイツ、インコーポレイテッド 視聴者エンゲージメントを評価するためのシステムおよび方法
JP2019146098A (ja) * 2018-02-23 2019-08-29 日本電気株式会社 視聴履歴記録システム、視聴履歴記録装置、記録方法及びプログラム
JP2019192991A (ja) * 2018-04-19 2019-10-31 日本放送協会 視聴距離誘導装置およびプログラム
JP2020150349A (ja) * 2019-03-12 2020-09-17 シャープ株式会社 映像再生システム及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257216A (ja) * 2007-03-12 2008-10-23 Akira Tomono 公衆用情報提示装置
JP2011077913A (ja) * 2009-09-30 2011-04-14 Nhk Service Center Inc 情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラム
JP2015506158A (ja) * 2011-12-19 2015-02-26 ザ ニールセン カンパニー （ユーエス） エルエルシー メディア提示装置をクレジットするための方法及び装置
JP2014195236A (ja) * 2013-02-28 2014-10-09 Hakuhodo Inc 視聴操作ログデータ生成装置およびプログラム
JP2014195224A (ja) * 2013-03-29 2014-10-09 Video Research:Kk 調査装置及びシステム及び方法及びプログラム
JP2016005083A (ja) * 2014-06-16 2016-01-12 ソニー株式会社 情報処理装置、情報処理方法及び端末装置
JP2019507533A (ja) * 2016-01-06 2019-03-14 テレビジョン・インサイツ、インコーポレイテッド 視聴者エンゲージメントを評価するためのシステムおよび方法
JP2019146098A (ja) * 2018-02-23 2019-08-29 日本電気株式会社 視聴履歴記録システム、視聴履歴記録装置、記録方法及びプログラム
JP2019192991A (ja) * 2018-04-19 2019-10-31 日本放送協会 視聴距離誘導装置およびプログラム
JP2020150349A (ja) * 2019-03-12 2020-09-17 シャープ株式会社 映像再生システム及びプログラム

Also Published As

Publication number Publication date
CN116601964A (zh) 2023-08-15
JP2022090692A (ja) 2022-06-20
KR20230117733A (ko) 2023-08-09

Similar Documents

Publication Publication Date Title
US11509956B2 (en) Systems and methods for assessing viewer engagement
US10021454B2 (en) Method and apparatus for providing personalized content
JP4335642B2 (ja) 視聴者反応情報収集方法と、視聴者反応情報収集システムで用いられるユーザ端末及び視聴者反応情報提供装置と、そのユーザ端末・視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラム
US20030061183A1 (en) Real-time event recommender for media progamming using "Fuzzy-Now" and "Personal Scheduler"
US20130167168A1 (en) Systems and methods for providing custom movie lists
US9232247B2 (en) System and method for correlating audio and/or images presented to a user with facial characteristics and expressions of the user
US20140157312A1 (en) Custom electronic program guides
US20070271518A1 (en) Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Attentiveness
WO2015167915A1 (en) Systems and methods for determining a likelihood of user termination of services
JP6351515B2 (ja) 的を絞った広告
CN105808182A (zh) 显示控制方法及系统、广告破口判断装置、影音处理装置
US20190124402A1 (en) Information provision device, reception device, information provision system, information provision method and program
KR20130091131A (ko) 시청 정보와 메타 데이터를 사용한 선호도 추론 장치 및 방법
JP2015039094A (ja) コンテンツ提供装置、コンテンツ提供装置にて実行されるプログラム、テレビ受像機、プログラムを記憶した記憶媒体
TW201424359A (zh) 電視節目切換系統及方法
US10735780B2 (en) Dynamically interactive digital media delivery
KR20160090123A (ko) 선호채널 설정 장치 및 방법
JP2007501581A (ja) Ｔｖ番組の視聴状態に依存した推薦スコアの変換
US10034038B2 (en) Video channel selection
TWI540894B (zh) 顯示系統及其節目選擇方法
JP7042543B1 (ja) 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法
WO2022124289A1 (ja) 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法
JP6675736B2 (ja) 映像と音声を上映するための映像音声管理装置および上映システム
JP2013150086A (ja) 行動情報認識システム、情報処理装置および行動情報認識方法
JP2015126364A (ja) 予約連動装置および予約連動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21903388

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180082672.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21903388

Country of ref document: EP

Kind code of ref document: A1