WO2008072739A1 - 視聴傾向管理装置、システム及びプログラム - Google Patents

視聴傾向管理装置、システム及びプログラム Download PDF

Info

Publication number
WO2008072739A1
WO2008072739A1 PCT/JP2007/074156 JP2007074156W WO2008072739A1 WO 2008072739 A1 WO2008072739 A1 WO 2008072739A1 JP 2007074156 W JP2007074156 W JP 2007074156W WO 2008072739 A1 WO2008072739 A1 WO 2008072739A1
Authority
WO
WIPO (PCT)
Prior art keywords
interest
viewing tendency
content
viewer
information
Prior art date
Application number
PCT/JP2007/074156
Other languages
English (en)
French (fr)
Inventor
Koichi Kikuchi
Seiji Ozaki
Naoki Kanamori
Hiroyuki Kaneta
Wataru Kurashima
Tsuyoshi Hanamura
Original Assignee
Visual Interactive Sensitivity Research Institute Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visual Interactive Sensitivity Research Institute Co., Ltd. filed Critical Visual Interactive Sensitivity Research Institute Co., Ltd.
Priority to JP2008549381A priority Critical patent/JP4865811B2/ja
Publication of WO2008072739A1 publication Critical patent/WO2008072739A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • G06F16/436Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • G06F16/437Administration of user profiles, e.g. generation, initialisation, adaptation, distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252Processing of multiple end-users' preferences to derive collaborative data

Definitions

  • the present invention evaluates a viewer response to content based on a viewer's physiological response.
  • It relates to a technique for analyzing viewing tendency from the evaluation result.
  • This video content evaluation apparatus takes an eyeball of a viewer who views video content with an infrared camera, binarizes the eyeball image signal to obtain eye movement data, and displays a graph of the eye movement data on the time axis. The video content is evaluated by displaying it on the display.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2004-282471
  • the video content evaluation apparatus accumulates information that evaluates the video content and, for example, generates information that the viewer likes based on the accumulated information, the preference information is transmitted to the viewer. It can be useful information with high utility value even for a video content provider.
  • the video content evaluation apparatus described above is merely an apparatus for evaluating video content by measuring a passive response of a viewer to unilaterally presented video content. Therefore, based on the evaluation information, it is not intended to generate and present useful information that is highly useful to viewers and content providers.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to obtain a complex tendency such as data input and key operation by obtaining a viewing tendency with respect to content.
  • the present invention measures and analyzes the physiological response information (for example, eye movement) of the viewer when the viewer is watching the content, calculates the interest / degree of interest in the content, and determines the viewing tendency. It is characterized by analyzing and generating information for presentation to viewers and content providers from the analysis results. It should be noted that generating information for presentation includes selecting necessary contents from a plurality of contents and information.
  • the viewing tendency management device is based on the physical reaction information of the viewer who views the content, the interest “interest for calculating the interest level”, the interest level calculation unit, and the interest / interest
  • a viewing tendency analysis unit that analyzes the change of interest / interest degree calculated by the degree calculation unit on a time axis and generates information indicating a viewing tendency when the viewer views the content; and the viewing tendency analysis unit And an information processing unit for generating presentation information from the viewing tendency information generated by.
  • a viewing tendency management system includes a content distribution device that distributes content requested by a viewer, a terminal device that receives the distributed content and displays the content on a display, and a physiological reaction of the viewer Physiological reaction measuring device that measures the content, and viewing tendency that obtains physiological response information of the viewer who views the content displayed on the display device from the physiological response measuring device, analyzes the viewing tendency, and generates presentation information
  • a viewing tendency management system in which a management device is connected to each other via a communication network, wherein the content distribution device reads content according to a viewer's request from a content database in which a plurality of content is stored, and the terminal device A distribution unit that distributes to the viewer, and that the terminal device has viewed the content displayed on the display by the viewer.
  • the physiologic response measuring device includes a transmitting unit that inputs the physiological response information and transmits the physiological response information to the viewing tendency management device. Receive and respond to content based on this physiological response information Interest ⁇ Interest calculation to calculate the interest level and the interests calculated by the interest and interest level calculation unit are analyzed on the time axis and the viewer views the content. And an information processing unit that generates presentation information from the viewing tendency information generated by the viewing tendency analysis unit.
  • a viewing tendency management program is a program for managing a viewing tendency of a viewer by a device for inputting a response of a viewer who is viewing the content, and a computer constituting the device.
  • the procedure to calculate the interest and interest level of the content and the change of the calculated interest It is characterized in that a process for generating information indicating a viewing tendency when viewing and a process for generating presentation information from the generated viewing tendency information are executed.
  • the present invention by obtaining the viewing tendency of content, it is highly useful and useful for viewers or content providers who do not perform complicated operations such as data input operations. It is possible to realize a viewing tendency management device, system and program capable of presenting information.
  • FIG. 1 is a block diagram showing an overall configuration of a viewing tendency management system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of the viewing tendency management server in FIG.
  • FIG. 3 is a flowchart showing an initial process.
  • FIG. 4 is a diagram showing a flow of information in the process of FIG.
  • FIG. 5 is a flowchart showing viewing tendency analysis processing.
  • FIG. 7 is a diagram showing area division of a web page.
  • FIG. 8 is a diagram showing the transition of interest / interest level classified by region.
  • FIG. 9 is a flowchart showing recommended content presentation processing.
  • FIG. 10 is a diagram showing a flow of information in the process of FIG.
  • FIG. 11 is a diagram showing screen transition in recommended content presentation processing.
  • FIG. 12 is a flowchart showing attention object information presentation processing.
  • FIG. 13 is a diagram showing screen transition in attention object information presentation processing.
  • FIG. 14 is a flowchart showing viewing tendency influence degree information presentation processing.
  • FIG. 15 is a diagram for explaining viewing tendency influence degree information presentation processing.
  • FIG. 16 is a block diagram showing an overall configuration of a viewing tendency management system for explaining a presentation content switching process.
  • FIG. 17 Interest for explaining the presented content switching process.
  • FIG. 18 is a flowchart showing presented content switching processing.
  • FIG. 19 is a diagram for explaining a presentation content determination process in the flowchart of FIG. 18.
  • FIG. 20 is a flowchart showing attention level determination processing.
  • FIG. 21 is a diagram showing a transition of interest / interest level for explaining the attention level determination process.
  • FIG. 22 is a diagram showing objects for explaining attention level determination processing.
  • FIG. 23 is a flowchart showing a favorable feeling / disgusting judgment process.
  • FIG. 24 is a flowchart showing an impression evaluation process.
  • FIG. 25 is a flowchart showing designated area emotional effect processing.
  • FIG. 26 Interests are diagrams for explaining the interest duration.
  • FIG. 27 is a diagram showing an example of an interest level of interest in an object in which disgust and an object in which favorable feeling are generated.
  • FIG. 1 is a block diagram showing the overall configuration of a viewing tendency management system according to an embodiment of the present invention.
  • This viewing tendency management system 2 inputs the physiological response (eye movement) information and viewer response to the content by the viewer 1 who is the viewer, calculates the interest of the viewer 1 for the content, and calculates the interest level. The viewing tendency is analyzed based on the degree of interest, and useful information is generated and presented to the viewer 1 or the content provider from the viewing tendency.
  • the viewing tendency management system 2 includes a display 11 for presenting content and preference information to the viewer 1, an input device 12 such as a mouse that is input by the viewer 1 for a viewer response, and an infrared lamp.
  • the IR light 14 captures the eye movement of the viewer 1 Physiological reaction measurement device 13 including a camera, the input unit that displays the content on the display 11 and inputs physiological response information and the viewer response from the input device 12, And viewing tendency management Content presentation 'physiological response' viewer response measuring device (terminal device) equipped with a transmission unit that sends physiological response information etc.
  • this content presentation ⁇ physiological reaction ⁇ viewer response measurement Viewing trend management server 100 that receives physiological response information from the device 10 and manages the viewing trend of the viewer 1, physiological response viewer response database 101, reference content data Database 102, personal attributes / viewing tendency database 103, presentation content database 106 with stored moving image content, content read from presentation content database 106 according to the request from viewer 1 Physical reaction ⁇ Content distribution server 105 with a distribution unit that distributes to the viewer response measuring device 10, content presentation 'physiological reaction' viewer response measuring device 10, viewing tendency management server 100, and content distribution server 105
  • the network 104 is configured to be connected to each other by network communication such as the Internet or a LAN.
  • the content presentation / physiological reaction / viewer response measuring apparatus 10 reads the content from the presentation content database 106 via the content distribution server 105 and the network 104 and displays the content on the display 11.
  • a viewer response according to the operation of the input device 12 by the viewer 1 is input, and the physiological reaction information that is an eyeball image of the viewer 1 is input from the physiological response measuring device 13 in synchronization with this.
  • the viewer response and physiological response information are stored in the physiological response and viewer response database 101 via the network 104 and the viewing tendency management server 100.
  • the content presentation / physiological reaction / viewer response measuring apparatus 10 receives the preference information of the viewer 1 generated by the viewing tendency management server 100 and displays it on the display 11.
  • FIG. 2 is a block diagram showing a configuration of the viewing tendency management server 100 shown in FIG.
  • This viewing tendency management server 100 includes a content reading and presentation unit 110, an information capturing unit 120, an interest 'interest level calculation unit 130, a viewing tendency An analysis unit 140 and an information processing unit 150 are provided.
  • the viewing tendency management server 100 is connected to a physiological response “viewer response database 101, a reference content database 102, and a personal attribute“ viewing tendency database 103 ”to write and read various information.
  • the physiological response 'viewer response database 101 sequentially stores the physiological response information and the viewer response to the viewer's content.
  • the viewer's interest and interest in the content is sequentially stored, and viewing tendency information such as viewing tendency vectors is also stored in sequence.
  • the viewing tendency management server 100 performs a series of processes (1) to (4) below.
  • the interest level and the viewer tendency vector for the reference content are calculated and stored in the personal attribute / viewing tendency database 103, and the personal attribute information c of the viewer is collected.
  • Stored in the database 103 such as personal attributes' viewing tendency.
  • the reference content refers to content for collecting auxiliary data that can be used to determine the viewing tendency and viewing preference of individual viewers. For example, an image without a pattern, an image in which a symbol is moved or an image of a landscape, or any content existing on a network provided for them can be used.
  • location information of the content is recorded in the reference content database 102.
  • the personal attribute information c is information such as the viewer's individual occupation, occupation, gender, age, married / unmarried, past address, current address, annual income, and household composition.
  • Physiological response information a and viewer response b for the content viewed by the viewer are stored in the physiological response / viewer response database 101.
  • the physiological response information a refers to information on the eye movement of the viewer who is watching the content.
  • the viewer response is information such as the mouse curl position (coordinates) and mouse click position (coordinates) specified by the operation of the input device 12 in synchronization with the content being viewed by the viewer! / Uh.
  • Interest in content viewed by viewers ⁇ Calculate the degree of interest and personal attributes ⁇ Viewing inclination Accumulate in the second database 103.
  • the average value of interest / interest per unit time is calculated to obtain the viewing tendency vector, and the average value of interest and the viewing tendency vector are stored in the personal attribute / viewing tendency database 103 as viewing tendency information. .
  • viewing tendency information is sequentially stored for each combination of viewer and content. The viewing tendency information accumulated in this way is used to generate information that matches the viewer's preference.
  • the viewing tendency information such as the viewing tendency vector generated by the viewing tendency process, information to be presented to the viewer, content provider, etc. is generated.
  • FIG. 3 is a flowchart showing the initial processing
  • FIG. 4 is a diagram showing the flow of information in the initial processing.
  • reference content is stored in advance in reference content database 102.
  • the content reading / presenting unit 110 reads the reference content from the reference content database 102 and transmits it to the content presentation / physiological reaction / viewer response measuring device 10 via the network 104, and the time such as the frame number of the reference content.
  • the information is output to the information fetching unit 120.
  • the transmitted reference content is displayed on the display 11 by the content presentation “physiological reaction” viewer response measuring device 10 (step S301).
  • Information fetching unit 120 inputs time information of reference content from content reading / presenting unit 110.
  • the information capturing unit 120 displays the content presentation / physiological reaction / viewer response measuring apparatus 10 and the network 104. Enter physiological response information a and viewer response b. Then, the information capturing unit 120 generates synchronization information based on the time information of the input content so that the physiological response information a and the viewer response b can be associated with the reference content.
  • Interest / interest level calculator 130 inputs physiological response information a, viewer response b, and synchronization information from information capture unit 120 (step S302), calculates the pupil diameter of viewer 1, The interest level and the viewpoint position are calculated, and the interest level, the interest position, the viewpoint position, and the synchronization information are stored in the personal attribute / viewing tendency database 103 and output to the viewing tendency analysis unit 140 (step S303). Specifically, the interest / interest level calculation unit 130 extracts a pupil image from the physiological response information a, and calculates the viewpoint position based on the center position of the pupil, position information on the screen set in advance, and the like.
  • gaze movement data such as the movement speed of the visual point and the trajectory of the visual point can also be obtained by calculating the visual point position with time change.
  • the pupil diameter is calculated based on the extracted pupil image.
  • the blink occurrence frequency can be calculated based on the temporal change of the extracted pupil image, and the number of blinks can be obtained.
  • the pupil diameter change speed and acceleration can be obtained.
  • the interest / interest level calculation unit 130 calculates the interest level as shown below using the calculated pupil diameter.
  • the interest / interest level calculator 130 may calculate the interest level based on information obtained from a pupil image such as eye movement data, blink frequency, or pupil size.
  • P (t) is the pupil diameter at time t
  • I (t) is the interest-interest level at time t
  • the interest / interest level calculator 130 first calculates a high-frequency component for the pupil diameter P (t). In order to remove measurement noise, low-pass filter processing is performed by performing operations such as moving average.
  • Pmax is the maximum value of pupil diameter P (t) in the measurement data sequence within a predetermined time
  • Pmin is the minimum value
  • th is the threshold value.
  • an intermediate value between the maximum value Pmax and the minimum value Pmin is used, for example, as in the following equation.
  • the interest / interest level calculation unit 130 determines whether or not the calculated blink occurrence frequency is larger than a preset threshold value, and continuously becomes larger than the threshold value! /
  • the interest / interest level I (t) may be forced to 0 for the continuous blinking interval.
  • the viewing tendency analysis unit 140 inputs the interest / interest level, viewpoint position, and synchronization information from the interest / interest level calculation unit 130 or the personal attribute / viewing trend database 103 to calculate a viewing trend vector and the like. Then, the synchronization information of the reference content and the viewing tendency vector are stored in the personal attribute-viewing tendency database 103 (step S304). Details of the method of calculating the viewing tendency vector will be described later.
  • the information capturing unit 120 inputs the personal attribute information c through the network 104 by the operation of the input device 12 by the viewer 1, and stores the personal attribute information c in the database 103 such as personal attribute. S 305).
  • physiological response information / viewer response accumulation processing will be described. Through this process, physiological response information and viewer responses to the content presented to the viewer 1 are accumulated in the physiological response-viewer response database 101.
  • content distribution server 105 reads the content from presentation content database 106 and distributes it to content presentation “physiological reaction” viewer response measuring apparatus 10 via network 104.
  • the distributed content is displayed on the display 11 by the content presentation / physiological reaction / viewer response measuring device 10.
  • the content reading and presentation unit 110 of the viewing tendency management server 100 inputs time information such as the frame number of the content via the network 104, and the information capturing unit Output to 120.
  • the information capturing unit 120 inputs time information of content from the content reading / presenting unit 110.
  • the physiological response information a and the viewer response b are input via the network 104. Then, the information capturing unit 120 generates synchronization information based on the time information of the input content so that the physiological response information a and the viewer response b can be associated with the content. Then, the information capturing unit 120 accumulates the physiological response information a, the viewer response b, and the synchronization information in the physiological response / viewer response database 101.
  • FIG. 5 is a flowchart showing the viewing tendency analysis processing.
  • (2) physiological response information 'viewer response accumulation process described above causes information capture unit 120 to send physiological response information a, viewer response b, and synchronization information to physiological response-viewer response.
  • the information is stored in the database 101 and the information is output to the interest / interest degree calculation unit 130.
  • the interest / interest level calculator 130 inputs the physiological response information a, the viewer response b, and the synchronization information from the information capture unit 120 or the physiological response / viewer response database 101, and calculates the pupil diameter ( In step S501), the interest / interest level is calculated from the pupil diameter, and the interest 'interest level, viewpoint position, and synchronization information are output to the viewing tendency analysis unit 140 and stored in the database 103 such as personal attributes / viewing tendency ( Step S502). Specifically, as described above, the interest / interest degree calculation unit 130 extracts the pupil image from the physiological response information a and calculates the viewpoint position. Also, gaze movement data such as viewpoint movement speed and viewpoint trajectory is obtained, and the pupil diameter is calculated based on the pupil image.
  • the blink occurrence frequency is calculated based on the temporal change of the extracted pupil image, and the number of blinks is obtained. Then, using the calculated pupil diameter, the interest / interest level calculator 130 calculates the interest level as shown in the above-described equation (1).
  • the viewing tendency analysis unit 140 inputs the interest / interest level and synchronization information from the interest / interest level calculation unit 130 or the personal attribute / viewing trend database 103, calculates the viewing trend vector, etc., and synchronizes the content. Information and viewing tendency vectors, etc. The data is stored in the database 103 (step S503). As a result, in the personal attribute 'viewing tendency database 103, viewing tendency vectors and the like are stored independently for each viewer and for each content viewed by the viewer (for each combination of viewer and content).
  • the viewing tendency vector calculation method will be described separately for the case where the content is a moving image and the case of a web page or the like.
  • the viewing tendency analysis unit 140 performs the time variation of the interest level in the time interval j corresponding to the continuous frames (sequence, scene, cut, etc.) of the moving image media I (t)
  • the average value per unit time is calculated as follows.
  • the time interval j corresponding to the sequence, scene, cut, etc. is set in advance by manual input or the like.
  • the viewing tendency analysis unit 140 converts the viewing tendency vector of the viewer X into the interest / interest level for each continuous time interval [0, n]! Set by a sequence of average values per hour.
  • Q x (q ,, i ⁇ ( ⁇ i ⁇ n) (5)
  • X is a number that identifies the viewer.
  • the viewing tendency vector in this case is the average value of the interest level per unit time in each area of the web page.
  • the viewing tendency analysis unit 140 first identifies and labels the viewpoint stay area based on the viewpoint position information in the interest / interest degree I (t) shown in FIG.
  • the viewpoint stay area in time interval j1-4 is labeled as A (AO)
  • the viewpoint stay area in interval j1-3 is labeled as B (B0)
  • This labeling is performed according to the magnitude relationship between the coordinate values of the four vertices of the rectangle that defines each region and the coordinate values of the viewpoint at that time.
  • the residence time in each time zone dBO, dBl, dB2,..., DBn—1 is ⁇ , TBI, TB2, TB3,.
  • Interest ⁇ Average value of interest level per unit time qB is as follows.
  • TB is the total time that the viewpoint stays in area B and is calculated as follows.
  • the viewing tendency analysis unit 140 converts the viewing tendency vector of the viewer X into the interest for each area of the divided web page.
  • x is a number that identifies the viewer.
  • the viewing tendency analysis unit 140 calculates an average value per unit time of the interest level of the content scene for the processing of the viewing tendency influence processing unit 153 in the information processing unit 150 described later.
  • the average value is calculated as the above-described formulas (3) and (4), and is stored in the personal attribute / viewing tendency database 103 as viewing direction information and is output to the information processing unit 150.
  • the viewing tendency analysis unit 140 performs processing of a favorable feeling / aversion determination processing unit 156, an impression evaluation processing unit 157, and a designated area emotional (emotion) effect processing unit 158 in the information processing unit 150 described later.
  • the interest / degree of interest in a predetermined area is stored in the personal attribute / viewing tendency database 103 as viewing tendency information, and is output to the information processing unit 150.
  • the information processing unit 150 has a function of generating presentation information based on viewing tendency information such as a viewing tendency title, and includes recommended content processing means 151, attention object information processing means 152, A viewing tendency influence degree processing means 153, a presentation content switching processing means 154, a degree-of-interest determination processing means 155, a favorable feeling / aversion judgment processing means 156, an impression evaluation processing means 157, and a designated area emotional effect processing means 158 are provided.
  • the presentation information generated by the recommended content processing means 151 is recommended content, and the recommended content processing means 151 identifies viewers with similar viewing trends for the currently viewed content based on the viewing tendency vector! The content associated with the content being viewed is identified, the content of the related content is also identified with the content of interest and interest of similar viewers, and the content is presented to the viewing viewer 1. Further, the presentation information generated by the attention object information processing means 152 is attention object information, and the attention object information processing means 152 identifies a region of high interest level based on the viewing tendency vector, The object contained in is identified, and information about the object is presented to the viewing viewer 1.
  • the presentation information generated by the viewing tendency influence degree processing unit 153 is the viewing tendency influence degree information
  • the viewing tendency influence degree processing means 1 53 has two consecutive scenes in which the immediately preceding scene is the subsequent scene. The degree of influence on the viewing tendency is calculated, and the degree of influence is presented to the content provider as viewing tendency influence information.
  • the presentation information generated (changed) by the presentation content switching processing unit 154 is the presentation content, and the presentation content switching processing unit 154 determines the presentation content based on viewing tendencies by a plurality of viewers 1, and this determination The presented content is presented to multiple viewers 1 as presentation information.
  • the presentation information generated by the attention level determination processing unit 155 is attention level information on the analysis target in the screen, and the attention level determination processing unit 155 includes the interest / interest level and the viewer 1 of the analysis target. Based on the response (for example, button press by viewer 1), the degree of attention to the analysis target is determined, and this attention degree information is presented to the content provider as presentation information.
  • the presentation information generated by the favorable / disgusting judgment processing means 156 Favorable / disgusting sensitivity, and the favorable / disgusting determination processing means 156 determines whether the object is favorable or disgusting based on the duration of the interest / interesting level that satisfies the predetermined condition for the object to be analyzed.
  • the likability and aversion sensitivity are calculated, and the information on the likability and aversion sensitivity is presented to the content provider as presentation information.
  • the presentation information generated by the impression evaluation processing means 157 is an impression level indicating the impression degree! /, Which is given to the viewer 1 by the viewer in the screen.
  • the impression evaluation processing means 157 is the object to be analyzed.
  • the impression degree is calculated by combining the above-mentioned favorable sensitivity and aversion sensitivity, and information on the impression degree is presented to the content provider as presentation information.
  • the presentation information generated by the designated area emotional effect processing means 158 is an emotional degree indicating a temporary emotional level caused by the viewer 1 looking at the object in the screen, and is designated area emotional.
  • the effect processing means 158 calculates the designated area emotional degree based on the above-mentioned favorable sensitivity and aversion sensitivity to the object to be analyzed and the final operation of the viewer 1 (for example, the mouse operation by the viewer 1).
  • the designated area emotional level is presented to the content provider as presentation information.
  • Each process of the means 157 and the designated area emotional effect processing means 158 will be described in detail.
  • FIG. 9 is a flowchart showing recommended content presentation processing.
  • FIG. 10 is a diagram showing a flow of information in the processing of FIG. Assume that the viewer 1 (X) is viewing the content ⁇ presented from the presented content database 106. In this case, the above-described (2) physiological response information / viewer response accumulation processing and (3) viewing tendency analysis processing are performed for the viewer 1 ( ⁇ ) who is viewing the content ⁇ (step S901, S902). That is, the viewing tendency analysis unit 140 views a viewing tendency vector for the content ⁇ being viewed by the viewer 1 (X) (hereinafter, referred to as solid ⁇ nore Qx (a)) Is calculated.
  • solid ⁇ nore Qx (a) solid ⁇ nore Qx (a)
  • the recommended content processing means 151 of the information processing unit 150 has a preference tendency similar to that of the viewer 1 (X). Identify viewers with orientation. Specifically, the recommended content processing means 151 reads the personal attribute information c of each viewer including the viewer 1 (X) from the personal attribute-viewing tendency database 103 and the personal attribute of the viewer 1 (X). And matching with the personal attributes of other viewers (step S903). For example, for the age in the personal attribute information c, a viewer who has an age within a preset range with respect to the age of the viewer 1 (X) is determined as a matched viewer. Let the matched viewers be Y, Z, U, V, ⁇ .
  • the recommended content processing means 151 receives the viewing tendency vector Qx (a) of the viewer 1 (X) from the viewing tendency analysis unit 140, and performs matching from the personal attribute / viewing tendency database 103.
  • the viewing tendency vectors Qy ( ⁇ ), Qz ( «) ⁇ , that is,--... >> for the content ⁇ such as the viewer ⁇ , Z, etc. are read, and the viewer ⁇ ⁇ , The degree of correlation between the viewing tendency and the like is calculated (step S904), and similar viewers are identified (step S905).
  • the personal attribute / viewing tendency database 103 stores the viewing tendency vector for each viewer's content ⁇ by the above (3) viewing tendency vector calculation and storage processing!
  • a method of calculating the viewing tendency correlation will be described.
  • the following describes a method for calculating the viewing tendency correlation degree Rv for the same content between the viewer X and the viewer ⁇ .
  • the recommended content processing means 151 calculates an inner product between the viewing tendency vector Qx of the viewer X and the viewing tendency vector Qy of the viewer Y, and normalizes this by the number of dimensions of the vector to determine the viewing tendency correlation degree Rv.
  • the recommended content processing means 151 may calculate the viewing tendency correlation degree Rv by the following mathematical formula.
  • the viewing tendency correlation degree is calculated not only when the content is a moving image but also when it is a web page by the same method.
  • the viewing tendency correlation degree Rv may be calculated for a preset time interval that is calculated for each time interval such as a sequence or a scene.
  • the recommended content processing unit 151 determines that the viewer is a similar viewer when the correlation degree is equal to or greater than a preset threshold value. Further, when the viewing tendency correlation degree is calculated by the equation (12), it is determined that the viewer is a similar viewer when the correlation degree is equal to or less than a preset threshold value. In this way, the recommended content processing means 151 identifies similar viewers from the matched viewers Z, Z, and the like.
  • the recommended content processing means 151 reads a list of content a, b, ... related to the content ⁇ from a related content table (not shown) (step S906), and stores it in the related content a, b, c, etc.
  • a content including a scene or the like in which the similar viewer identified in step S905 shows a high interest level is specified as a recommended content and presented to the viewer 1 (step S907).
  • the content that is viewed by the viewer 1 is selected from the presented content, and the display screen of the display 11 is switched to the content of interest.
  • the related content table content genre, scene in video, etc. Accordingly, related content is set in advance for each content.
  • contents a, b,... are set as contents related to the content ⁇ .
  • the similarity of keywords in the metadata of content described by a method (not shown), the similarity of color tone in the video, and the like can be used as a determination method.
  • the determination of similarity is not limited to these methods.
  • the contents of the related content table may be set in advance, or may be updated before or after any step of the recommended content presentation processing (steps S901 to S907).
  • This related content table can be set or updated by manual generation by a system operator or automatic generation based on the state of the system (not shown). For example, in the content stored in a server connected to the network or a storage device connected to the operation terminal, any content that the similar viewer identified in step S905 has viewed in the past. It is possible to create a related content table by extracting from.
  • the recommended content processing means 151 has the highest interest / interest level of similar viewers for the content a, or an element of the viewing tendency extraordinary factor (the average per unit time of the interest level in the time interval). The largest element of (value) is obtained, and similarly, content c is obtained, and the content having the highest interest / interest level or viewing tendency vector element value is specified as the recommended content. Also, for example, a content list is generated in descending order of interest and interest level, in descending order, or in a viewing tendency vector, and specified as recommended content.
  • Such a viewing tendency correlation calculation method is applied not only when the content is a moving image but also when the content is a web page, a still image, or the like.
  • FIG. 11 is a diagram showing screen transition in the recommended content presentation processing.
  • viewer 1 When viewer 1 is viewing content on display 11 (A), if search operation is performed using input device 12, recommended content that matches viewer 1's viewing tendency is presented (B). .
  • viewer 1 pays attention to the content he wants to see, the screen switches to that content (C).
  • Such a series of processing is realized by the viewing tendency management server 100.
  • the taste 'interest level calculator 130 calculates the temporal variation of interest' interest level from the physiological response information etc. of the viewer who is watching the content, and the viewing trend analyzer 140 calculates the viewing trend threshold and recommends it
  • the content processing means 151 identifies similar viewers from the viewing tendency vector, identifies recommended content from the related content, and presents it to the viewing viewer as useful preference information. This allows viewers to obtain content that suits their own preferences that they have not viewed. That is, it is possible to obtain useful information that suits one's preference without performing complicated operations such as data input and key operations.
  • FIG. 12 is a flowchart showing target object information presentation processing.
  • a viewer's interest / interest level for an object displayed in a program is calculated, and information (information such as sales sites and services) about the object is presented.
  • information information such as sales sites and services
  • the viewer 1 is viewing the content ⁇ presented from the presented content database 106.
  • the above-mentioned (2) physiological response information / viewer response accumulation processing and (3) viewing tendency analysis processing are performed on the viewer 1 who is viewing the content ⁇ ! (Step S 1 201). That is, the viewing tendency analysis unit 140 calculates a viewing tendency vector for the content ⁇ that the viewer 1 is viewing.
  • the object-of-interest information processing means 152 of the information processing unit 150 uses the interest tendency information from the viewing trend vector.
  • a region of high interest is identified (step S1202). For example, the region with the highest interest level is specified for the viewing tendency vector composed of the elements of interest / interest level for each region shown in Equation (10).
  • the object displayed in the area is specified by a preset table (table in which the area in the content is associated with the object) (step S 1203), and information related to the specified object is determined. Is extracted from an object information data table (not shown), and information about products, services, sales sites, etc.
  • Step S 1204 when the viewer 1 has finished viewing the content ⁇ , the attention object information processing means 152 The end of the search mode may be determined in accordance with the operation of the input device 12 by the viewer 1, and information on the object, information on the sales site, etc. may be displayed on the display 11 or transmitted by e-mail.
  • FIG. 13 is a diagram showing screen transition in the attention object information presentation processing.
  • the object of interest information that matches viewer 1's viewing trend is presented (B).
  • the viewer switches to the detailed information screen for the object item (C).
  • the object-of-interest information processing means 152 displays information related to the object that is viewed by the viewer 1 on the same screen of the viewing target content shown in FIG. You may make it show.
  • control information for processing instructions necessary for product purchase such as placing a product in a virtual shopping cart is transmitted to an external system.
  • the interest / interest level calculation unit 130 calculates the interest / interest level for each region on the screen from the physiological response information or the like by the attention object presentation process.
  • the viewing tendency analysis unit 140 calculates a viewing tendency vector, and the attention object information processing means 152 identifies an object in a region of high interest / interest level and presents information on the object.
  • the viewer can obtain useful information without performing complicated operations such as data input and key operations when obtaining information related to the outside of the object displayed as content.
  • FIG. 14 is a flowchart showing viewing tendency influence degree information presentation processing.
  • FIG. 15 is a diagram for explaining this process.
  • the interest of the later scene Interest in previous scenes' It is known to be affected by interest.
  • the degree of influence of the viewing tendency of the immediately preceding scene on the subsequent scene is calculated and presented as viewing tendency influence degree information.
  • the viewing tendency influence degree is calculated when the sequence A of the video is presented in the order of scene A ⁇ scene 1 and the sequence B is presented in the order of scene B ⁇ scene 1.
  • Interest per unit time of scene A and scene 1 in sequence A 'Interest level is qA, 0, qA, 1 and interest per unit time in scene B and scene 1 in sequence B.
  • Interest level is qB, 0, Let qB, 1 be the interest in scene 1 alone.
  • the viewing tendency analysis unit 140 calculates the interest level of interest in the scene A in the sequence A and the interest level in the scene 1 from the interest 'interest level calculation unit 130 or the database 103 such as the personal attribute / viewing trend database 103. Enter the interest / interest of scene B in B and the interest / interest of scene 1 as the interest / interest of single scene 1. It is assumed that the personal attribute 'viewing tendency etc. database 103 stores such information in advance. Then, the viewing tendency analysis unit 140 calculates the interest / interest level qA, 0, qA, 1, qB, 0, qB, 1, qO, 1 per unit time according to the above-described equations (3) and (4). Each is calculated (step S1401).
  • the interest of the scene 1 portion in the sequence A can be expressed as follows.
  • the viewing tendency influence degree processing means 153 of the information processing unit 150 inputs each interest 'interest level calculated by the viewing tendency analysis unit 140, and uses the above-described equations (13) and (14), The viewing tendency influence degree k (qA, 0) that scene A gives to scene 1 and the viewing tendency influence degree k (qB, 0) that scene B gives to scene 1 are calculated (step S 1402).
  • the viewing tendency influence degree calculated in this way is provided to, for example, a content provider.
  • the viewing tendency influence degree information presentation process allows viewing with sufficient time intervals in the three sequences shown in FIG.
  • the mentality calculation unit 130 calculates the temporal variation of interest / interest level
  • the viewing tendency analysis unit 140 calculates interest / interest level per unit time in each scene
  • the viewing tendency influence degree processing means 15 3 force scene
  • the viewing tendency influence level that A gives to scene 1 and the viewing tendency influence degree that scene B gives to scene 1 are calculated.
  • Power S can be. For example, the power of the viewing tendency influence that scene A has on scene 1 is higher than the viewing tendency influence that scene B has on scene 1! / If scene B is more interested in scene 1 than scene B It turns out that the interest raising effect is great. This enables content providers to obtain useful information when evaluating content.
  • FIG. 16 is a block diagram showing the overall configuration of the viewing tendency management system for explaining the presented content switching processing.
  • Fig. 17 is a diagram showing the transition of interest and interest level for explaining the presented content switching process.
  • FIG. 18 is a flowchart showing the presented content switching process.
  • FIG. 19 is a diagram for explaining the presented content determination process in the flowchart shown in FIG. Figure 16
  • the viewing tendency management system 200 for explaining the presented content switching processing is the same as the viewing tendency management system 2 shown in FIG. ⁇ 10- n, display 11 1;! ⁇ 11 1 !!, input device 12-;! ⁇ 12 n, physiological response measuring device 13-;! ⁇ 13 n and IR light 14-;! ⁇ 14-n It is prepared for.
  • This processing is performed in the viewing tendency management system 200 of FIG. 16 when a plurality of viewers 1- ;! to 1-n are viewing / listening to the same content. Based on the viewing tendency of n, the content to be presented is determined and presented. Now, it is assumed that the viewers 1-1 to 1-n watch the content presented from the presented content database 106! /.
  • a setting unit (not shown in FIG. 2) sets a target audience (step S 1801).
  • the setting unit sets the time interval for analyzing the viewing tendency from the past time intervals (0 to j) (step S1802), and selects “entire screen”, “area”, “object” as the analysis target. "Is set (step S 1803). For example, in the content of a video or web page, if the subject of analysis is “entire screen”, it is a sports program, drama, news, CM (commercial), etc. If it is “area”, the person in the screen, The area includes articles, products, news objects, CM objects, etc.
  • the “object” is an area including objects such as persons, articles, products, news objects, CM objects in the screen.
  • objects such as persons, articles, products, news objects, CM objects in the screen.
  • Setting “Area” specify any area from the entire screen by specifying coordinates.
  • object is set, the area of the object to be analyzed is set by specifying coordinates.
  • the viewing tendency analysis unit 140 reads the interest / interest level and the viewpoint position from the personal attribute / viewing tendency database 103, Alternatively, the interest 'interest level' and the viewpoint position are input from the interest 'interest level calculation unit 130 (step S1804), and the preset viewer;!;! For each “area” and “object”, the interest and interest levels I (t), I (t),..., I (t) are set for the time that the viewpoint stayed in the analysis target.
  • the perspective is that
  • viewing tendency analysis department 140 calculates, for each analysis target of the viewer 11 1 n, a viewing tendency vector in a preset time interval, that is, an average value per unit time of the interest level in the time interval (step S1805). Since the method for calculating the viewing tendency vector has been described above, a description thereof is omitted here.
  • the viewing tendency analysis unit 140 personalizes the interest level I (t), I (t),..., I (t) and the viewing tendency vector of each viewer 1 1 n
  • Attribute ⁇ Stored in the viewing tendency database 103.
  • the viewing trend analysis unit 140 performs the viewing trend vector ( Interest ⁇ Average value of interest level per unit time as an element for each time interval).
  • the presented content switching processing means 154 of the information processing unit 150 is an average value of the interest level that is an element of the threshold value preset by the setting unit and the viewing tendency vector calculated by the viewing tendency analysis unit 140. And the number of viewers who have an average value of interest level exceeding the threshold is counted (step S1806). For example, the number of viewers is counted even if the interest / interest level in one of the preset time intervals exceeds the threshold.
  • the presented content switching processing means 154 calculates a ratio from the viewer count and a threshold value preset by a setting unit (not shown in FIG. 2), and the ratio value is preset by the setting unit. If the viewer exceeds the threshold, the viewer determines that he / she is interested in the analysis target, and the content set in advance corresponding to the analysis target by the setting unit in the time interval j + 1 to be presented The display content is determined (step S 1807).
  • the setting unit performs analysis "object” and content A, analysis target "area” and content B, analysis target “whole screen” and content C, and other cases. It is assumed that content D has a corresponding! /, And is set! /.
  • the presentation content switching processing means 154 presents any content in the content AD when the viewer count exceeds the threshold for each analysis target. Decide as a number. In order to determine any one of a plurality of contents, a preset priority order is used. For example, when only the viewer count of “object” exceeds the threshold, content A is determined as the presented content.
  • content presentation ⁇ physiological reaction ⁇ viewer response measuring device 10-l ⁇ 10 -n, display 1 1 1;! ⁇ 11—n, input device 12 — ;! ⁇ 12—n, physiological response measuring device 13 — !! ⁇ 13n and IR light 14 — ;! ⁇ 14n can be configured to share all or part of it.
  • the viewing tendency analysis unit 140 causes the viewer's analysis target (“whole screen”, “area”, “ The interest / interest level is set for each object), the viewing tendency vector is calculated for each time interval, and the presentation content switching processing means 154 counts the number of viewers with high interest / interest level for each analysis target. The presentation content is determined based on the viewer count. This allows viewers to switch to highly interested content without performing complicated operations such as data entry and key operations among a plurality of preset viewers.
  • FIG. 20 is a flowchart showing attention level determination processing.
  • the interest / interest level of the viewer and the viewing tendency vector for the object displayed in the program are calculated, and the attention level information for the object is presented.
  • the setting unit (not shown in FIG. 2) Then, the “whole screen”, “area”, “object” and its time zone (time interval) are preset (step S2001).
  • the analysis target is as described above.
  • the viewing tendency analysis unit 140 reads the interest / interest level and the viewpoint position from the personal attribute / viewing trend database 103 or inputs the interest “interest” and the viewpoint position from the interest “interest level calculation unit 130”. For each set analysis target “entire screen”, “area”, and “object”, set the interest / interest level for the analysis time period in which the viewpoint stayed in the analysis target. The interest / degree of interest is 0 when the viewpoint is not retained in the analysis target. Then, the viewing tendency analysis unit 140 calculates, for each analysis target, a viewing tendency vector in a preset analysis time period, that is, an average value per unit time of interest level in that time period (step S2002). ). Since the method for calculating the viewing tendency vector has been described above, a description thereof is omitted here.
  • the attention level determination processing means 155 of the information processing unit 150 views the presence / absence of a viewer response to a mouse click or button press in a preset analysis time period from the physiological response / viewer response database 101.
  • the person response is read and determined (step S2003).
  • the attention level determination processing means 155 has a high level of attention for the analysis time zone for each analysis target when the following three conditions or at least one condition is satisfied. If none of the conditions are satisfied, it is determined that the degree of attention is low, and is presented as presentation information (step S2004).
  • the viewpoint exists within the analysis target area. In the case of interest / interest level power 3 ⁇ 4 in the analysis time zone, the viewpoint does not exist in the analysis target area.
  • attention level determination processing a plurality of objects (regions including objects) and time zones are set in advance for content having a video sequence, and whether or not the viewer pays attention to each object. , Calculate the ratio (attention rate) of the objects that noticed out of the set objects, and respond to the objects that were determined to be noticed Time (reaction time) is calculated, and these pieces of information are output as presentation information.
  • an object may be analyzed, and a plurality of objects may be set in advance, and the entire force screen that is processed for each object may be processed as an analysis target.
  • a plurality of regions may be set in advance with a region having an arbitrary shape as an analysis target, and processing may be performed for each region.
  • the shape of the set area is saved as bitmap information (the analysis target part is saved as 1 and the others are saved as 0). If the bitmap information at the viewpoint position is 1, it is within that area. If it is 0, it is determined that it is not in that area.
  • FIG. 21 is a diagram showing the transition of the interest level for explaining the attention level determination process.
  • FIG. 22 is a diagram illustrating an object for explaining the attention level determination process.
  • the setting unit sets the time interval j ⁇ 1 [ ⁇ , ⁇ ] where the object A is presented as the time zone of the interest level determination interval on the time axis indicating the transition of the interest level of interest shown in FIG. here
  • T is the start time of time interval j 1 and T is the end time.
  • the area including the object A shown in FIG. 22 is set.
  • the area including object A is
  • the attention level determination processing means 155 performs the time interval j ⁇ 1 (time interval [ ⁇ , T
  • Viewing tendency database 103 stores interest, interest level (see Fig. 21), viewpoint position and synchronization information for a certain content, and physiological response / viewer response database 101 stores Viewer responses such as mouse clicks and button presses on the content and synchronization information are stored.
  • the viewing tendency analysis unit 140 reads the interest / interest level, the viewpoint position, and the synchronization information from the personal attribute / viewing tendency database 103, and at the time t (T ⁇ t ⁇ T) based on the synchronization information.
  • Viewpoint viewpoint position
  • the time interval when it is determined that the viewpoint is in the area including the object A is T ⁇ t ⁇
  • the viewing tendency analysis unit 140 calculates an average value per unit time for the interest / interest level in the viewpoint coincidence section.
  • the viewing tendency analysis unit 140 stores the average value per unit time of interest / interest in the viewpoint coincidence section in the personal attribute / viewing tendency database 103 together with the synchronization information and the information on the viewpoint coincidence section.
  • the degree-of-attention determination processing means 155 of the information processing unit 150 inputs an average value per unit time of interest / interesting degree in the viewpoint coincidence section from the viewing tendency analysis unit 140 or the personal attribute / viewing tendency database 103. , Physiological reaction ⁇ Viewer response database 101 Input viewer response and synchronization information. Then, the attention level determination processing means 155 determines whether or not the viewer response is received in the viewpoint coincidence interval based on the synchronization information. If it is determined that there is a viewer response within the viewpoint coincidence time period, the interest- Whether the average value q of the heart rate per unit time exceeds a preset threshold th
  • the viewing tendency analysis unit 140 calculates the integral value Q of the interest / interest level in the time point coincidence section, and the attention degree determination processing means 155 is calculated by the viewing tendency analysis unit 140.
  • the attention level determination processing unit 155 determines whether or not attention has been paid to a plurality of preset objects in a preset time zone. For example, in Fig. 21, if the time zone for object B is set to time interval j, the time zone for object C is set to time interval j + 2, and the time zone for object D is set to time interval j + 4, the degree of attention The determination processing means 155 determines whether or not attention is paid to each object.
  • the attention level determination processing means 155 calculates the attention rate R by the following equation.
  • N indicates the number of objects set in advance
  • n indicates the number of objects determined to be focused.
  • the attention level determination processing means 155 determines the response time when it is determined that attention has been paid (Reaction time) is calculated.
  • Reaction time the response time S for object A can be expressed as
  • T is the viewer response time (eg, button press time) and ⁇ is the time interval
  • the response time refers to the time from the start time when the attention degree determination process for object A is performed (after object A shown in FIG. 22 is presented (displayed on the screen)) to the button press time by the viewer. .
  • the attention level determination processing means 155 calculates the average value, variance, etc. of the response time, and uses these information to determine the tendency of the viewer's response response Information is provided to content providers.
  • the interest / interest degree calculator 130 calculates the interest and the degree of interest, and the viewing tendency analyzer Calculate the integrated value or the average value per unit time for the interest / interest level in the point of view coincidence in the analysis time zone where 140 is preset. Then, the attention level determination processing means 155 determines whether or not the object A has been noticed for each of a plurality of viewers. Further, the attention degree determination processing unit 155 pays attention to the object A by dividing the number of viewers determined to have paid attention to the object A by! /, The number of viewers set in advance. Calculate the percentage of viewers who were engaged.
  • the viewpoint of the viewer who was paying attention to object A is in the area including object A (area to be analyzed)! /, And the time length is calculated, paying attention to object A! /, The average value, variance value, standard deviation value, and maximum value for all viewers who were paying attention to object A from the integrated value of interest / interest level or the average value per unit time during the viewpoint coincidence period And the minimum value is calculated.
  • the attention level determination processing unit 155 performs the interest level determination process for a predetermined analysis target (a plurality of objects) and a time zone. Based on the integrated value of the degree of interest or the average value per unit time, it is determined whether or not the viewer is paying attention to each object, the attention rate is calculated, and further, the object determined to be paying attention is calculated. ! /, And the response time (reaction time) was calculated, and this information was presented as attention degree information. As a result, content providers, etc. It is possible to obtain attention level information as useful information for content evaluation without performing complicated operations such as data entry and key operations in the specified analysis target and time zone.
  • the attention level determination processing means 155 determines viewers who have focused attention on the object to be analyzed among a plurality of preset viewers, and the ratio, the length of time for which the analysis target has been viewed, etc. Statistical information was calculated. These statistical information can be used to judge the effectiveness of the specified area of the content. Thereby, the content provider can obtain useful information for content evaluation.
  • the attention level determination process uses, for example, content that captures a scene where a human operates a machine! /, Or content that captures a scene imitating the operation.
  • content that captures a scene imitating the operation it is possible to educate viewers on how to operate the machine and safety.
  • the viewer receiving the education is provided with a monitor that displays the operation status of the facility, an operation status lamp, an alarm lamp, etc. View the content that captured the status of the control panel.
  • the attention level determination processing means 155 determines whether or not each of a plurality of preset analysis targets (for example, an area including an alarm lamp) and a time zone pay attention to! And the response time is calculated.
  • the attention level determination processing means 155 determines whether or not the viewer has focused on the lighting of the alarm lamp, and after performing a predetermined operation (viewer response Response time until) is calculated.
  • the attention level determination processing means 155 presets information related to necessary operations on the analysis target (operation information) and a threshold for the response time of the analysis target, and based on the viewer response and the above-described operation information. If the viewer response matches the operation information, it is determined that the correct operation has been performed, and if it does not match, it is determined that the correct operation has not been performed.
  • the attention level determination processing means 155 determines that the operation timing is appropriate when the response time is within the threshold based on the response time and the above-described threshold, and when the response time is not within the threshold, Judge that the timing was not appropriate. Also, the attention level determination processing means 155 determines whether or not an effective operation has been performed within an appropriate time when the warning lamp is lit by these determinations, and includes the determination result. Present as information. Further, the attention degree determination processing means 155 Then, the above-described processing is performed for a plurality of analysis objects, and the ratio is calculated by dividing the number of analysis objects for which effective operations are performed within an appropriate time by the total number of analysis objects, and the ratio of the viewer is calculated based on the ratio.
  • the proficiency level is calculated (for example, the calculated ratio is regarded as the proficiency level) and presented as attention level information. Accordingly, the viewer can determine the analysis target that should be focused in spite of the attention and the level of proficiency of the viewer based on the presented attention level information. In this way, by using content that captured machine operations, the ability of viewers to become proficient in machine operations, the power that should be focused on, and the safe operation Therefore, it is possible to use the viewing tendency management server 100 that performs such attention degree determination processing as a tool for machine operation education. it can.
  • FIG. 23 is a flowchart showing the favorable / disgusting determination process.
  • the viewer's preference or dislike sensitivity for the object displayed in the program is calculated and the information is presented.
  • the setting unit (not shown in FIG. 2) presets a region including the “object” to be analyzed and its time zone (step S2301).
  • the viewing tendency analysis unit 140 reads the interest, the interest level, and the viewpoint position from the personal attribute / viewing tendency database 103, or inputs the interest “interesting” interest level and the viewpoint position from the interest “interest level calculation unit 130” and analyzes them.
  • set the interest / interest level of the viewpoint coincidence section indicating the time when the viewpoint stays in the area including the preset “object” to be analyzed!
  • the interest / interest level when the viewpoint does not stay in the area is 0.
  • the viewing tendency analysis unit 140 calculates a time (interest / interest duration) that satisfies a predetermined condition from the interest level of interest in the interval of viewpoint coincidence (step S2302), and uses the interest / interest duration as viewing trend information.
  • the time satisfying the predetermined condition means the time from the point in time when the interest-interest level becomes equal to or higher than a preset threshold to the point in time when the viewpoint deviates from the area.
  • the interest / interest level is expected during the time that satisfies the predetermined condition. It can also be the time between the time when the threshold is set higher than the preset threshold and the time when the interest / interest level falls below the preset threshold.
  • the likability / disgust determination processing means 156 of the information processing unit 150 inputs the viewing tendency information of interest / interest duration in the area including the “object” to be analyzed from the viewing tendency analysis unit 140, Compared with the set threshold value, a favorable feeling and a disgusting feeling are determined (step S2303). Similarly, likability and disgust are determined for a plurality of areas in which the same “object” is analyzed. Favorability is calculated based on the total number of analysis targets and the number of analysis target areas determined to be favorable, and the total number of analysis target areas and analysis target areas determined to be disgusting are calculated. Based on the number, the aversion sensitivity is calculated and the information is output as presentation information (step S2304).
  • this likability / dislikeness determination process is to set the object (area including the object) and the time zone to be analyzed in advance for the content having a video sequence, and the viewer can set the object for the set object. It is determined whether the person has a good feeling! /, Or a bad feeling! /, And the goodness is calculated from the number of objects (number of areas) that has been determined to have a good feeling. Disgust is calculated from the determined number of objects (number of areas), and this information is output as presentation information.
  • a setting unit (not shown) in FIG. 2 presets a region including the “object” to be analyzed and its time zone. For example, when the object / object A is presented on the time axis indicating the transition of interest and interest shown in Fig. 21! /, The time interval] 1 [ ⁇ , T] is the target of analysis
  • T is the start time of time interval j-1 and T is the end time
  • time interval j1 Indicates the time.
  • object A is presented over the entire time, but it may not necessarily be presented over the entire time, and there may be times when it is presented multiple times. Also good.
  • the setting unit sets an area including the object A shown in FIG. Here, the area containing object A is
  • X ⁇ AR (t) A rectangular area specified by ( ⁇ ( ⁇ ), AR (t)).
  • the favorable / disgusting judgment processing means 156 determines the time interval of content j ⁇ l [T, ⁇ ]
  • likability is calculated based on the number of object A (number of regions) determined to be favorable, and the number of object A determined to be disgusting ( The aversion sensitivity is output as presentation information based on the number of areas).
  • the personal attribute / viewing tendency database 103 stores interest 'interest level (for example, see Fig. 21), viewpoint position, and synchronization information for a certain content.
  • the viewing tendency analysis unit 140 reads the interest / interest level, viewpoint position, and synchronization information from the personal attribute / viewing trend database 103, and uses the synchronization information at time t (T ⁇ t ⁇ T).
  • Viewpoint viewpoint position
  • E ⁇ t) ⁇ (E x (t), E y (t)) is within the region including the object A is determined by the following expression.
  • the viewpoint coincidence interval determined that the viewpoint is in the area including the object A is T
  • viewing tendency analysis section 140 determines whether interest / interest level I (t) in the point-of-view coincidence interval is greater than or equal to threshold th by an expression of I (t) ⁇ th. And T is used as a reference
  • the time t at which the interest / interest degree I (t) is first determined to be equal to or greater than the threshold th is identified. So
  • Interest in interest and interest duration ⁇ is calculated by the following formula.
  • the interest / interest duration T in the area including object A is used as viewing tendency information.
  • the interest / interest duration T in the area including object A is
  • the setting unit (not shown in FIG. 2) may set the entire force screen in which one place in the rectangular area in the screen is set as the “object” to be analyzed.
  • An area having an arbitrary shape may be set.
  • an area including a plurality of objects other than one object may be set.
  • the setting unit stores the shape of the set region as bitmap information (the target region is stored as 1 and the others are stored as 0), and the viewing direction analysis unit 140 stores the bitmap information of the viewpoint position. If it is 1, it is determined that it is in that area, and if it is 0, it is determined that it is not in that area.
  • Favorable / disgusting judgment processing means 156 of the information processing unit 150 inputs the interest in the region including the object A from the viewing tendency analysis unit 140 or the personal attribute 'viewing tendency database 103; ⁇ Interest duration T and preset object
  • the setting unit sets a plurality of areas for the same object A on the screen, and the favorable / disgust determination processing means 156 determines the positive and negative feelings of the object A for each area. To do.
  • the favorable feeling / disgusting judgment processing means 156 is set as an analysis target. N is the total number of areas, n is the number of areas determined to be favorable, and g is determined to be disgusting g
  • the favorable sensitivity Pg and the aversion sensitivity Pb are calculated by the following formulas, and these b
  • the information is presented to the content provider, etc. as information for judging the degree of likability and dislike of object A! /.
  • 100 is multiplied to display the percentage.
  • FIG. 27 shows the interest / interest level data collected by the experiment.
  • the vertical axis represents the region of interest to the viewer 1 (where the viewpoint position exists) and the interest-interest level
  • the horizontal axis represents the elapsed time.
  • the solid line indicates the area that is viewed by viewer 1
  • the dotted line indicates the interest level.
  • different objects that cause disgust are presented in the areas A to D
  • different objects that cause positive feelings are presented in the areas A ′ to D ′.
  • Fig. 27 (1) viewer 1 has four objects that are disgusted: region B-> outside region-> region A-> outside region-> region A-> outside region-> region ⁇ -> ⁇
  • the viewpoint moves in the order of power. It can also be seen that the degree of interest at that time gradually increases, but tends to decrease without staying in the attention area for a long time, or to divert the viewpoint from the attention area.
  • the interest / interest continuation time is less than or equal to the disgust threshold, that is, if the viewer's 1 emotion on the object is a certain force S, and the gaze is diverted in a short time, the object has disgust. Can be determined.
  • viewer 1 determines the region for the four objects that are favorable. It can be seen that the viewpoint moves in the order of area A ′ ⁇ outside area ⁇ area B ′ ⁇ outside area ⁇ area B ′ ⁇ outside area ⁇ area B ′ ⁇ . It also shows that the interest and interest level at that time gradually increases and tends to be maintained for a long time. In other words, if the interest / interest continuation time is greater than or equal to the favorable threshold, that is, if the viewer 1 is interested in the object and does not look away, Can be judged.
  • the likability-aversion determination processing unit 156 performs the likability-aversion determination processing unit 156 according to the preset object to be analyzed and the time zone. Judgment of likability and disgust is calculated, likability is calculated based on the number of areas including objects determined as likable, and aversion sensitivity is calculated based on the number of areas including objects determined as hateful. This information was presented. As a result, content providers can obtain positive and negative information as useful information for evaluating objects to be analyzed without complicated operations such as data entry and key operations. Become.
  • FIG. 24 is a flowchart showing the impression evaluation process.
  • the degree of impression is calculated by combining the viewer's likability or aversion to the object displayed during the program, and this information is presented.
  • step S2401 of the impression evaluation process to step S2404 is the same as the process from step S2301 to step S2304 of the favorable / disgust determination process shown in FIG. The description is omitted here.
  • the impression evaluation processing means 157 of the information processing unit 150 calculates an impression degree based on the favorable sensitivity and the disgusting sensitivity, and outputs this information as presentation information (step S2405). Specifically, if the total number of areas set as analysis targets is N, the number of areas determined to be favorable is n, and the number of areas determined to be disgust is n, the impression
  • the impression evaluation processing means 157 includes the number n of areas determined to be favorable and n
  • the degree may be calculated. Further, the impression evaluation processing means 157 is set so that the analysis target set by the setting unit is the entire screen, and the analysis time period is a few seconds (for example, 5 to 6 seconds) from when the screen is viewed. The impression degree may be calculated for the analysis target and the analysis time zone. As a result, the impression corresponding to the emotional reaction can be evaluated, and the impression that the entire screen gives to the viewer 1 in a short time can be improved.
  • the impression evaluation processing means 157 gives a good feeling and a bad feeling for the preset object to be analyzed and the time zone by the impression evaluation process.
  • the degree of impression was calculated based on the number of areas that included the objects that were determined to be favorable and the objects that were determined to be disgusted, and this information was presented.
  • the content provider can obtain impression information as useful information for evaluation on the object to be analyzed without performing complicated operations such as data input and key operations.
  • FIG. 25 is a flowchart showing the designated area emotional effect processing.
  • this processing calculates the emotional level that indicates the degree of temporary emotion that is rapidly caused for an object displayed during the program based on the favorable and disgusting sensitivity to the object and the final operation of viewer 1. This information is presented.
  • the setting unit presets the area including the “object” to be analyzed, its time zone, and the final operation target area (step S2501).
  • the final operation target area is the final operation (for example, by pressing a button, a mouse operation, or blinking) as a response response by the viewer 1 to the object. This is an area for inputting an instruction operation or the like.
  • the viewing tendency analysis unit 140 determines, based on the interest-interest level in the point-of-view matching interval, for the region including the “object” to be analyzed. Interest / interest duration is calculated (step S2502).
  • the designated area emotional effect processing means 158 of the information processing unit 150 reads the final operation information in the final operation target area, which is the viewer response information b, from the physiological response / viewer response database, and determines whether or not there is a final operation. Is determined (step S2503). Then, the designated area emotional effect processing means 158 determines the favorable feeling by comparing the interest / interest duration and the preset threshold value in the same manner as in step S2303 and step S2304 in FIG. 23, and calculates the favorable feeling. (Step S2504, Step S2505).
  • the designated area emotional effect processing means 158 indicates that the number of all areas set as the analysis target is N, the number of areas determined to be favorable is n, and the presence or absence of the final operation is G (final operation).
  • the specified area emotional effect M is calculated by the following formula, and this information is rapidly applied to the object. It is presented to the content provider, etc., as information for determining the degree of temporary emotion that is caused (step S2506). In the following formula, 100 is multiplied to display the percentage.
  • the designated area emotional effect processing means 158 determines a favorable feeling for the preset object to be analyzed and the time zone by the designated area emotional effect process. Based on the number of areas including objects judged to be favorable and the presence / absence of viewer 1's final operation, the designated area emotional level was calculated and this information was presented. As a result, the content provider or the like, for example, browses the product expected by the viewer 1 on the web page and shows whether or not the final operation such as purchasing the product as a result of showing the interest is shown. Can be determined. In addition, as useful information for evaluating objects that do not require complicated operations such as data entry and key operations, it is possible to obtain information on the temporary emotional degree V that is rapidly caused to objects. Become.
  • the display 11 may be a screen screen panel or a liquid crystal display panel of a projector in addition to a normal cathode ray tube receiver.
  • the camera provided in the physiological reaction measuring device 13 is preferably an infrared camera using the IR light 14, but is not limited thereto. In the case of an infrared camera, it is possible to obtain a high-contrast image that excludes external images reflected in the iris, and is effective in that image processing and data analysis can be performed stably and at high speed.
  • the physiological reaction measuring device 13 when inputting physiological response information from the viewer 1, for example, a stand for imaging the eyeball of the viewer 1 at a position 50 to 100 cm away from the viewer 1 is used.
  • the physiological reaction measuring device 13 is set. In this case, a chin rest may be used to fix the position of the viewer's 1 head.
  • the physiological reaction measuring device 13 It is also possible to obtain eye movement physiological response information with high accuracy by automatically tracking the position of the face and the position of the eyeball.
  • the camera may be attached to the head of the viewer 1 using a head-mounted device.
  • a general scene that can be visually recognized by the viewer 1 may be used instead of using the video content previously captured as a viewing target.
  • a separate camera that is mounted in the opposite direction to the camera of the physiological response measuring device 13 is simultaneously photographed for the scene within the viewing angle of the viewer 1, and the photographed video is presented as the presented video content. You may make it process as an equivalent.
  • the hardware of the content presentation / physiological reaction / viewer response measuring device 10, the viewing inclination management server 100, and the content distribution server 105 is of the personal computer (personal computer) class. Also good.
  • the content presentation / physiological reaction / listener response measuring device 10 may be a desktop computer equipped with a large display 11 or a portable information terminal such as a mobile phone equipped with a camera. Good.
  • the input device 12 may be a button, keyboard, touch panel panel, remote control, or controller attached to a game device, and a viewer response is generated as time series data by the operation of the viewer 1. Anything is acceptable.
  • the physiological response / viewer response database 101, the reference content database 102, and the personal attribute / viewing tendency database 103 are connected to the viewing tendency management server 100 via the network 104. May be.
  • the content distributed by the content distribution server 105 has a format including at least one of video data, web page data, computer game data, and computer program output data.
  • the display 11 displays at least one of a character string, a figure, a symbol, a picture, a photograph, and a video, and information for making the viewer 1 respond.
  • the content read-out display unit 110 performs reference content (for example, content in which a full-screen black and white screen becomes a still image for about several seconds). Is appropriately presented to the viewer 1 so that the interest level and the interest tendency vector are corrected based on the physiological response information and the viewer response. May be.
  • the interest / interest level calculator 130 calculates the maximum value Pmax and the minimum value Pmin of the pupil diameter in the black screen scene and the white screen scene, respectively, and uses these values for calculating the interest level (interest level) ( (See equations (1) and (2)). This makes it possible to calculate the degree of interest / interest that absorbs individual differences in pupil dilation and dilation. Therefore, the viewing tendency vector can be normalized, and the accuracy of the processing of viewing tendency information can be improved.
  • the viewing tendency management server 100 is configured by a computer including a volatile storage medium such as a CPU and RAM, a nonvolatile storage medium such as a ROM, an interface, and the like.
  • a volatile storage medium such as a CPU and RAM
  • a nonvolatile storage medium such as a ROM, an interface, and the like.
  • the functions of the content reading and presentation unit 110, the information capture unit 120, the interest 'interest level calculation unit 130, the viewing tendency analysis unit 140, and the information processing unit 150 provided in the viewing trend management server 100 describe these functions. Each is realized by causing the CPU to execute the program.
  • These programs are stored in a storage medium such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, and distributed.

Abstract

 コンテンツに対する視聴傾向を求めることにより、データ入力やキー操作等の複雑な操作を行うことなく、利用価値の高い有用な情報を生成する。  視聴傾向管理サーバ100の興味・関心度算出部130は、コンテンツを視聴している視聴者1の生理反応情報等を入力し興味・関心度の時間変動を算出する。視聴傾向分析部140は、興味・関心度の時間変動から視聴傾向ベクトルを算出する。そして、推薦コンテンツ処理手段151は、視聴傾向ベクトルから類似視聴者を特定し、関連コンテンツの中から推奨コンテンツを特定し、これを有用な嗜好情報として視聴中の視聴者1へ提示する。これにより、視聴者は、視聴したことのない自己の嗜好に合ったコンテンツを得ることができる。

Description

明 細 書
視聴傾向管理装置、システム及びプログラム
技術分野
[0001] 本発明は、視聴者の生理反応に基づいてコンテンツに対する視聴者応答を評価し
、その評価結果から視聴傾向を分析する技術に関するものである。
背景技術
[0002] 従来、視聴者の生理反応の一つである眼球運動に基づいて映像コンテンツを評価 する装置が知られている(特許文献 1を参照)。この映像コンテンツ評価装置は、映像 コンテンツを視聴する視聴者の眼球を赤外線カメラで撮影し、その眼球画像信号を 二値化処理して眼球運動データを得て、時間軸における眼球運動データのグラフを ディスプレイに表示することにより、映像コンテンツを評価するものである。
[0003] 特許文献 1 :特開 2004— 282471号公報
発明の開示
発明が解決しょうとする課題
[0004] ところで、映像コンテンツ評価装置が映像コンテンツを評価した情報を蓄積し、例え ば、その蓄積情報に基づいて視聴者が嗜好する情報を生成した場合には、この嗜好 情報は、視聴者にとっても映像コンテンツを提供する業者にとっても利用価値の高い 有用な情報と成り得る。
[0005] 前述した映像コンテンツ評価装置は、一方的に提示された映像コンテンツに対して 視聴者の受動的な反応を測定することにより、映像コンテンツを評価するものに過ぎ ない。したがって、評価情報に基づいて、視聴者やコンテンツ提供事業者にとって利 用価値の高レ、有用な情報を生成し提示するものではなレ、。
[0006] また、視聴者へ嗜好情報を提示する場合、視聴して!/、る映像コンテンツに対する視 聴者の応答を評価し、その映像コンテンツに対する視聴者の興味や関心に応じた情 報を、視聴者により複雑な操作がなされることなく提示できることが望ましい。
[0007] そこで、本発明は前記課題を解決するためになされたものであり、その目的は、コン テンッに対する視聴傾向を求めることにより、データ入力やキー操作等の複雑な操 作を行うことなぐ視聴者またはコンテンツ提供者等にとって利用価値の高い有用な 情報を提示可能な視聴傾向管理装置、システム及びプログラムを提供することにある 課題を解決するための手段
[0008] 本発明は、視聴者がコンテンツを視聴しているときに、視聴者の生理反応情報 (例 えば眼球運動)を測定及び解析し、コンテンツに対する興味 ·関心度を算出して視聴 傾向を分析し、そして、その分析結果から視聴者やコンテンツ提供事業者等に提示 するための情報を生成することを特徴とする。尚、提示するための情報を生成するこ とには、複数のコンテンツや情報の中から必要なコンテンツ等を選択することも含むも のとする。
[0009] すなわち、本発明による視聴傾向管理装置は、コンテンツを視聴する視聴者の生 理反応情報に基づいて、コンテンツに対する興味 '関心度を算出する興味 '関心度 算出部と、前記興味 ·関心度算出部により算出された興味 ·関心度の変化を時間軸 上で分析し、前記視聴者がコンテンツを視聴するときの視聴傾向を表す情報を生成 する視聴傾向分析部と、前記視聴傾向分析部により生成された視聴傾向情報から提 示情報を生成する情報処理部とを備えたことを特徴とする。
[0010] また、本発明による視聴傾向管理システムは、視聴者により要求されたコンテンツを 配信するコンテンツ配信装置、前記配信されたコンテンツを受信して表示器に表示 する端末装置、視聴者の生理反応を計測する生理反応計測装置、及び、前記表示 器に表示されたコンテンツを視聴する視聴者の生理反応情報を前記生理反応計測 装置から得て、視聴傾向を分析し、提示情報を生成する視聴傾向管理装置が通信 ネットワークによりそれぞれ接続される視聴傾向管理システムであって、前記コンテン ッ配信装置が、複数のコンテンツが蓄積されたコンテンツデータベースから、視聴者 の要求に従ったコンテンツを読み出し、前記端末装置へ配信する配信部を備え、前 記端末装置が、視聴者が表示器に表示されたコンテンツを視聴したときの生理反応 情報を計測する生理反応計測装置力 前記生理反応情報を入力し、前記視聴傾向 管理装置へ送信する送信部を備え、前記視聴傾向管理装置が、端末装置から送信 された生理反応情報を受信し、この生理反応情報に基づいて、コンテンツに対する 興味 ·関心度を算出する興味 ·関心度算出部と、前記興味 ·関心度算出部により算出 された興味'関心度の変化を時間軸上で分析し、前記視聴者がコンテンツを視聴す るときの視聴傾向分析部と、前記視聴傾向分析部により生成された視聴傾向情報か ら提示情報を生成する情報処理部とを備えたことを特徴とする。
[0011] また、本発明による視聴傾向管理プログラムは、コンテンツを視聴している視聴者の 応答を入力する装置により、前記視聴者の視聴傾向を管理するプログラムであって、 前記装置を構成するコンピュータに、コンテンツを視聴する視聴者の生理反応情報 に基づいて、コンテンツに対する興味 ·関心度を算出する処置と、前記算出した興味 •関心度の変化を時間軸上で分析し、視聴者がコンテンツを視聴するときの視聴傾 向を表す情報を生成する処理と、前記生成した視聴傾向情報から提示情報を生成 する処理とを実行させることを特徴とする。
発明の効果
[0012] 本発明によれば、コンテンツに対する視聴傾向を求めることにより、データ入力ゃキ 一操作等の複雑な操作を行うことなぐ視聴者またはコンテンツ提供者等にとって利 用価値の高レ、有用な情報を提示可能な視聴傾向管理装置、システム及びプログラム を実現すること力できる。
図面の簡単な説明
[0013] [図 1]本発明の実施の形態による視聴傾向管理システムの全体構成を示すブロック 図である。
[図 2]図 1の視聴傾向管理サーバの構成を示すブロック図である。
[図 3]初期処理を示すフローチャート図である。
[図 4]図 3の処理における情報の流れを示す図である。
[図 5]視聴傾向分析処理を示すフローチャート図である。
[図 6]興味 ·関心度の推移を示す図である。
[図 7]ウェブページの領域分割を示す図である。
[図 8]領域毎に区分される興味 ·関心度の推移を示す図である。
[図 9]推薦コンテンツ提示処理を示すフローチャート図である。
[図 10]図 9の処理における情報の流れを示す図である。 [図 11]推薦コンテンツ提示処理における画面推移を示す図である。
[図 12]注目オブジェクト情報提示処理を示すフローチャート図である。
[図 13]注目オブジェクト情報提示処理における画面推移を示す図である。
[図 14]視聴傾向影響度情報提示処理を示すフローチャート図である。
[図 15]視聴傾向影響度情報提示処理を説明する図である。
[図 16]提示コンテンツ切替処理を説明するための視聴傾向管理システムの全体構成 を示すブロック図である。
[図 17]提示コンテンツ切替処理を説明するための興味 '関心度の推移を示す図であ
[図 18]提示コンテンツ切替処理を示すフローチャート図である。
[図 19]図 18のフローチャートにおける提示コンテンツ決定処理を説明する図である。
[図 20]注目度判定処理を示すフローチャート図である。
[図 21]注目度判定処理を説明するための興味 ·関心度の推移を示す図である。
[図 22]注目度判定処理を説明するためのオブジェクトを示す図である。
[図 23]好感 '嫌悪感判定処理を示すフローチャート図である。
[図 24]インプレツション評価処理を示すフローチャート図である。
[図 25]指定領域ェモーショナル効果処理を示すフローチャート図である。
[図 26]興味 ·関心継続時間を説明するための図である。
[図 27]嫌悪感が生じるオブジェクト及び好感が生じるオブジェクトに対する興味 '関心 度の例を示す図である。
符号の説明
1 視聴者
2, 200 視聴傾向管理システム
10 コンテンツ提示 ·生理反応 ·視聴者応答計測装置
11 ディスプレイ
12 入力デバイス
13 生理反応計測装置
14 IRライト 100 視聴傾向管理サーバ
101 生理反応'視聴者応答データベース
102 基準コンテンツ用データベース
103 個人属性'視聴傾向等データベース
104 ネットワーク
105 コンテンツ配信サーバ
106 提示コンテンツ用データベース
110 コンテンツ読出提示部
120 情報取込部
130 興味,関心度算出部
140 視聴傾向分析部
150 情報処理部
151 推薦コンテンツ処理手段
152 注目オブジェクト情報処理手段
153 視聴傾向影響度処理手段
154 提示コンテンツ切替処理手段
155 注目度判定処理手段
156 好感,嫌悪感判定処理手段
157 インプレッション評価処理手段
158 指定領域ェモーショナル効果処理手段
発明を実施するための最良の形態
以下、本発明を実施するための最良の形態について図面を参照して説明する。 図 1は、本発明の実施の形態による視聴傾向管理システムの全体構成を示すブロッ ク図である。この視聴傾向管理システム 2は、視聴者である視聴者 1によるコンテンツ に対する生理反応(眼球運動)情報及び視聴者応答を入力し、コンテンツに対する 視聴者 1の興味 ·関心度を算出し、この興味 ·関心度に基づいて視聴傾向を分析し、 視聴傾向から視聴者 1またはコンテンツ提供事業者等に対して有用な情報を生成し 提示するものである。 [0016] 視聴傾向管理システム 2は、視聴者 1に対するコンテンツ提示用及び嗜好情報提 示用のディスプレイ 11、視聴者 1により視聴者応答の入力操作がされるマウス等の入 力デバイス 12、赤外線ランプである IRライト 14により視聴者 1の眼球運動を撮影する カメラを含む生理反応計測装置 13、コンテンツをディスプレイ 11に表示して生理反 応情報及び視聴者応答を入力デバイス 12から入力する入力部、及び視聴傾向管理 サーバ 100へ生理反応情報等を送信する送信部等を備えたコンテンツ提示'生理反 応'視聴者応答計測装置 (端末装置) 10、このコンテンツ提示 ·生理反応 ·視聴者応 答計測装置 10から生理反応情報等を受信して視聴者 1の視聴傾向を管理する視聴 傾向管理サーバ 100、生理反応'視聴者応答データベース 101、基準コンテンツ用 データベース 102、個人属性 ·視聴傾向等データベース 103、提示用の動画像コン テンッが蓄積された提示コンテンツ用データベース 106、視聴者 1からの要求に従い 提示コンテンツ用データベース 106からコンテンツを読み出してコンテンツ提示 '生 理反応 ·視聴者応答計測装置 10へ配信する配信部を備えたコンテンツ配信サーバ 105、及び、コンテンツ提示'生理反応'視聴者応答計測装置 10と視聴傾向管理サ ーバ 100とコンテンツ配信サーバ 105との間をインターネットや LAN等のネットワーク 通信により接続するネットワーク 104を備えて構成される。
[0017] コンテンツ提示 ·生理反応 ·視聴者応答計測装置 10は、提示コンテンツ用データべ ース 106からコンテンツ配信サーバ 105及びネットワーク 104を介してコンテンツを読 み出し、ディスプレイ 11に表示する。また、視聴者 1による入力デバイス 12の操作に 従った視聴者応答を入力すると共に、これに同期して、視聴者 1の眼球画像である生 理反応情報を生理反応計測装置 13から入力する。これらの視聴者応答及び生理反 応情報は、ネットワーク 104及び視聴傾向管理サーバ 100を介して生理反応,視聴 者応答データベース 101に蓄積される。また、コンテンツ提示.生理反応.視聴者応 答計測装置 10は、視聴傾向管理サーバ 100により生成された視聴者 1の嗜好情報 を受信し、ディスプレイ 11に表示する。
[0018] 次に、視聴傾向管理サーバ 100について説明する。図 2は、図 1に示した視聴傾向 管理サーバ 100の構成を示すブロック図である。この視聴傾向管理サーバ 100は、 コンテンツ読出提示部 110、情報取込部 120、興味 '関心度算出部 130、視聴傾向 分析部 140及び情報処理部 150を備えている。また、視聴傾向管理サーバ 100には 、生理反応'視聴者応答データベース 101、基準コンテンツ用データベース 102及 び個人属性'視聴傾向等データベース 103が接続され、各種情報の書き込み及び 読み出しが行われる。視聴者 1がコンテンツを視聴しているときに、生理反応'視聴者 応答データベース 101には、その視聴者のコンテンツに対する生理反応情報及び視 聴者応答が順次蓄積され、個人属性 ·視聴傾向等データベース 103には、その視聴 者のコンテンツに対する興味 ·関心度が順次蓄積され、また視聴傾向ベクトル等の視 聴傾向情報も順次蓄積される。
視聴傾向管理サーバ 100は、以下の(1)〜(4)までの一連の処理を行う。
(1)初期処理
視聴者 1である視聴者毎に、基準コンテンツに対する興味'関心度及び視聴者傾向 ベクトルを算出して個人属性 ·視聴傾向等データベース 103に蓄積すると共に、視聴 者の個人属性情報 cを収集して個人属性'視聴傾向等データベース 103に蓄積する 。ここで、基準コンテンツとは、視聴者個人の視聴傾向や視聴嗜好の判断材料となる 補助データを収集するためのコンテンツをいう。例えば、模様無し画像、記号が移動 するだけの画像または風景の画像、または、これらの用に供するネットワーク上に存 在する任意のコンテンツも利用可能である。外部コンテンツを利用する場合、基準コ ンテンッ用データベース 102にはそのコンテンツのロケーション情報が記録される。ま た、個人属性情報 cとは、視聴者個人の職業、職種、性別、年齢、既婚/未婚、過去 の住所、現在の住所、年収、世帯構成等の情報をいう。
(2)生理反応情報 ·視聴者応答蓄積処理
視聴者が視聴しているコンテンツに対する生理反応情報 a及び視聴者応答 bを生理 反応.視聴者応答データベース 101に蓄積する。ここで、生理反応情報 aとは、コンテ ンッを視聴している視聴者の眼球運動に関する情報等をいう。また、視聴者応答 と は、視聴者が視聴しているコンテンツに同期して、入力デバイス 12の操作により指示 されるマウスカーカレ位置 (座標)及びマウスクリック位置 (座標)等の情報を!/、う。
(3)視聴傾向分析処理
視聴者が視聴してレ、るコンテンツに対する興味 ·関心度を算出して個人属性 ·視聴傾 向等データベース 103に蓄積する。また、興味 ·関心度の単位時間あたりの平均値を 算出して視聴傾向ベクトルを求め、興味関心度の平均値及び視聴傾向ベクトル等を 視聴傾向情報として個人属性 ·視聴傾向等データベース 103に蓄積する。この処理 により、視聴者及びコンテンツの組み合わせ毎に視聴傾向情報が順次蓄積される。 このように蓄積された視聴傾向情報は、視聴者の嗜好に合わせた情報等の生成のた めに用いられる。
(4)提示情報生成処理
視聴傾向処理により生成された視聴傾向ベクトル等の視聴傾向情報に基づいて、視 聴者やコンテンツ提供事業者等へ提示するための情報を生成する。
以下、(1)〜(4)の各処理につ!/、て詳細に説明する。
[0020] 〔初期処理〕
まず、(1)初期処理について説明する。この初期処理により、基準コンテンツに対 する興味 ·関心度及び視聴者傾向ベクトル、さらに個人属性情報 cが個人属性 *視聴 傾向等データベース 103に蓄積される。図 3は初期処理を示すフローチャート図、図 4は初期処理における情報の流れを示す図である。図 2を参照して、基準コンテンツ 用データベース 102には、基準コンテンツが予め蓄積されているものとする。コンテン ッ読出提示部 110は、基準コンテンツ用データベース 102から基準コンテンツを読み 出し、ネットワーク 104を介してコンテンツ提示 ·生理反応 ·視聴者応答計測装置 10 へ送信すると共に、基準コンテンツのフレーム番号等の時間情報を情報取込部 120 に出力する。この送信された基準コンテンツは、コンテンツ提示'生理反応'視聴者応 答計測装置 10によりディスプレイ 11に表示される (ステップ S301)。
[0021] 情報取込部 120は、コンテンツ読出提示部 110から基準コンテンツの時間情報を 入力する。また、視聴者 1がディスプレイ 1 1に表示された基準コンテンツを視聴し、入 力デバイス 12を操作すると、情報取込部 120は、コンテンツ提示 ·生理反応 ·視聴者 応答計測装置 10及びネットワーク 104を介して生理反応情報 a及び視聴者応答 bを 入力する。そして、情報取込部 120は、生理反応情報 a及び視聴者応答 bと基準コン テンッとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて 同期情報を生成して、生理反応情報 a、視聴者応答 b及び同期情報を生理反応 -視 聴者応答データベース 101に蓄積すると共に、興味'関心度算出部 130に出力する
[0022] 興味 ·関心度算出部 130は、情報取込部 120から生理反応情報 a、視聴者応答 b 及び同期情報を入力し (ステップ S302)、視聴者 1の瞳孔径を算出して興味 '関心度 及び視点位置を算出し、興味 '関心度、視点位置及び同期情報を個人属性 ·視聴傾 向等データベース 103に蓄積すると共に、視聴傾向分析部 140に出力する(ステツ プ S303)。具体的には、興味 ·関心度算出部 130は、生理反応情報 aから瞳孔画像 を抽出し、瞳孔の中心位置及び予め設定された画面上の位置情報等に基づいて視 点位置を算出する。この場合、時間変化における視点位置を算出することにより、視 点の移動速度や視点の軌跡等の視線運動データを求めることもできる。また、抽出し た瞳孔画像に基づいて、瞳孔径を算出する。さらに、抽出した瞳孔画像の時間的変 化に基づいて、瞬目発生頻度を算出し、瞬目回数を求めることもできる。また、同時 に瞳孔径の変化速度及び加速度等を求めることもできる。
[0023] そして、興味 ·関心度算出部 130は、算出した瞳孔径を用いて、興味 '関心度を以 下のように算出する。尚、興味 ·関心度算出部 130は、視線運動データ、瞬目発生頻 度または瞳孔の大きさ等の瞳孔画像から得られる情報に基づいて、興味'関心度を 算出するようにしてもよい。 P (t)を時刻 tにおける瞳孔径、 I (t)を時刻 tにおける興味- 関心度とすると、興味 ·関心度算出部 130は、まず、瞳孔径 P (t)に対して、高周波成 分及び測定ノイズを除去するために、移動平均等の演算を施すことにより、低域フィ ルタ処理を行う。
[0024] そして、以下の式により、値域を [0, 100]とした時系列の興味 ·関心度 I (t)を算出 する。
( 100 ' ^=¾ - , if P(t) > th
I{t) = - ' · · · ( 1 )
0, else ここで、所定時間内における測定データ系列中の瞳孔径 P (t)の最大値を Pmax、最 小値を Pmin、閾値を thとする。 [0025] 閾値 thは、例えば以下の式のように、最大値 Pmaxと最小値 Pminとの間の中間値 が用いられる。
[数 2] 一丄 rain "I" f ynax ♦ · · ( 2 )
2
[0026] 尚、興味 ·関心度算出部 130は、算出した瞬目発生頻度が、予め設定された閾値 よりも大きレ、か否かを判断し、連続的に閾値よりも大きくなつて!/、る連続的瞬目発生 区間については興味 ·関心度 I (t)を強制的に 0にするようにしてもよい。
[0027] 視聴傾向分析部 140は、興味 ·関心度算出部 130または個人属性 ·視聴傾向等デ ータベース 103から興味 ·関心度、視点位置及び同期情報を入力し、視聴傾向べク トル等を算出し、基準コンテンツの同期情報及び視聴傾向ベクトル等を個人属性 -視 聴傾向等データベース 103に蓄積する(ステップ S304)。視聴傾向ベクトルの算出 手法の詳細については後述する。
[0028] また、情報取込部 120は、視聴者 1による入力デバイス 12の操作により、ネットヮー ク 104を介して個人属性情報 cを入力し、個人属性.視聴傾向等データベース 103に 蓄積する(ステップ S 305)。
[0029] 〔生理反応情報 ·視聴者応答蓄積処理〕
次に、(2)生理反応情報 ·視聴者応答蓄積処理について説明する。この処理により 、視聴者 1に提示されたコンテンツに対する生理反応情報及び視聴者応答が生理反 応-視聴者応答データベース 101に蓄積される。
[0030] 視聴者 1の要求に従って、コンテンツ配信サーバ 105は、提示コンテンツ用データ ベース 106からコンテンツを読み出し、ネットワーク 104を介してコンテンツ提示'生理 反応'視聴者応答計測装置 10へ配信する。この配信されたコンテンツは、コンテンツ 提示 ·生理反応 ·視聴者応答計測装置 10によりディスプレイ 11に表示される。また、 コンテンツ配信サーバ 105によるコンテンツの配信に伴い、視聴傾向管理サーバ 10 0のコンテンツ読出提示部 110は、そのコンテンツのフレーム番号等の時間情報をネ ットワーク 104を介して入力し、情報取込部 120に出力する。 [0031] 情報取込部 120は、コンテンツ読出提示部 110からコンテンツの時間情報を入力 する。また、視聴者 1がディスプレイ 1 1に表示された基準コンテンツを視聴し、入力デ バイス 12を操作すると、ネットワーク 104を介して生理反応情報 a及び視聴者応答 b を入力する。そして、情報取込部 120は、生理反応情報 a及び視聴者応答 bとコンテ ンッとの間の対応付けができるように、入力したコンテンツの時間情報に基づいて同 期情報を生成する。そして、情報取込部 120は、生理反応情報 a、視聴者応答 b及び 同期情報を生理反応 ·視聴者応答データベース 101に蓄積する。
[0032] 〔視聴傾向分析処理〕
次に、(3)視聴傾向分析処理について説明する。この処理により、視聴者のコンテ ンッに対する興味 ·関心度及び視聴傾向ベクトル等の視聴傾向情報が個人属性 ·視 聴傾向等データベース 103に蓄積される。図 5は、視聴傾向分析処理を示すフロー チャート図である。図 2を参照して、前述の(2)生理反応情報 '視聴者応答蓄積処理 により、情報取込部 120が、生理反応情報 a、視聴者応答 b及び同期情報を生理反 応-視聴者応答データベース 101に蓄積すると共に、これらの情報を興味 ·関心度算 出部 130に出力する。
[0033] 興味 ·関心度算出部 130は、情報取込部 120または生理反応 ·視聴者応答データ ベース 101から生理反応情報 a、視聴者応答 b及び同期情報を入力し、瞳孔径を算 出し (ステップ S 501)、瞳孔径から興味 ·関心度を算出し、興味 '関心度、視点位置 及び同期情報を視聴傾向分析部 140に出力すると共に、個人属性 ·視聴傾向等デ ータベース 103に蓄積する(ステップ S502)。具体的には、興味'関心度算出部 130 は、前述したように、生理反応情報 aから瞳孔画像を抽出して視点位置を算出する。 また、視点の移動速度や視点の軌跡等の視線運動データを求め、瞳孔画像に基づ いて瞳孔径を算出する。さらに、抽出した瞳孔画像の時間的変化に基づいて、瞬目 発生頻度を算出し、瞬目回数を求める。そして、興味,関心度算出部 130は、算出し た瞳孔径を用いて、前述の(1)式に示したように、興味'関心度を算出する。
[0034] 視聴傾向分析部 140は、興味 ·関心度算出部 130または個人属性 ·視聴傾向等デ ータベース 103から興味 ·関心度及び同期情報を入力し、視聴傾向ベクトル等を算 出し、コンテンツの同期情報及び視聴傾向ベクトル等を個人属性'視聴傾向等デー タベース 103に蓄積する(ステップ S503)。これにより、個人属性'視聴傾向等データ ベース 103には、視聴傾向ベクトル等が視聴者毎及び視聴者が視聴したコンテンツ 毎 (視聴者及びコンテンツの組み合わせ毎)に独立して蓄積される。
[0035] 以下、視聴傾向ベクトルの算出手法について、コンテンツが動画の場合と、ウェブ ページ等の場合に分けて説明する。まず、コンテンツが動画の場合について説明す る。図 6に示すように、視聴傾向分析部 140は、動画メディアの連続する複数フレー ム(シーケンス、シーン、カット等)に対応する時間区間 jにおいて、興味'関心度の時 間変動 I (t)の単位時間あたりの平均値 (興味 ·関心度の平均値 qj)を以下のように算 出する。シーケンス、シーン、カット等に対応する時間区間 jは、予め手入力等により 設定される。
[数 3]
1
I(t)dt
一 ( 3 ) t L Jt
[0036] これを、サ 周波数 Sでサ された離散値 I (i)により表現すると、以 下のようになる
[数 4]
Figure imgf000014_0001
ここで、 tl , t2に対応するサンプル点をそれぞれ i = u, Vとする。
[0037] そして、視聴傾向分析部 140は、視聴者 Xの視聴傾向ベクトルを、連続する時間区 間 [0 , n]毎の興味 ·関心度にお!/、てその興味 ·関心度の単位時間あたりの平均値 の数列により設定する。
[数 5]
Qx = {q,,i} ( < i≤ n ) ( 5 ) ここで、 Xは視聴者を特定する番号である。
[0038] 次に、コンテンツがウェブページの場合について説明する。この場合の視聴傾向べ タトルは、ウェブページの各領域において、興味'関心度の単位時間あたりの平均値 である。図 7に示すように、ウェブページが A〜Gの各領域に予め分割されているもの とする。視聴傾向分析部 140は、まず、図 8に示す興味 ·関心度 I(t)において、視点 位置の情報に基づいて、視点の滞留領域を特定しラベル付けする。図 8において、 時間区間 j一 4の視点滞留領域は A (AO)、区間 j一 3の視点滞留領域は B (B0)等の ようにラベル付けする。このラベル付けは、各領域を規定する矩形の 4つの頂点の座 標値と当該時間での視点の座標値との間の大小関係により行われる。
[0039] 例えば、 B領域に着目して、時間区間 j一 3, j, j + 2, j + 4, ···, j+(n— 1)のラベ ノレ BO, Bl, B2, B3, ·· ·Βη— 1について、それぞれの時間帯 dBO, dBl, dB2, ··· , dBn— 1における滞留時間を ΤΒΟ, TBI, TB2, TB3, ···, TBn— 1とすると、領 域 Bに対する興味 ·関心度の単位時間あたりの平均値 qBは、以下のようになる。
[数 6]
Figure imgf000015_0001
ここで、 TBは、領域 Bに視点が滞留している総時間で以下によって算出する。
[数 7] n—1
∑TBk (7) k=0 これを、サンプリング周波数を Sとして各時間区間におけるサンプル点数を SBO, S Bl, SB2, SB3, ···, SBn—lにより表現すると、以下のようになる。
[数 8] gお = i(t) (8)
Figure imgf000015_0002
ここで、 SBは、領域 Bに視点が滞留している時間の総サンプル点数であり、以下によ つて算出する。
[数 9] η-ί
SB ( 9 ) k=0
[0041] そして、視聴傾向分析部 140は、視聴者 Xの視聴傾向ベクトルを、分割されたゥェ ブページの領域毎の興味 ·関心度においてその興味 ·関心度の単位時間あたりの平 均値 qrの数列により設定する。ここで、 rは領域番号 (ラベル)を示し、図 7及び図 8で は r=A, B, C - - - , Gである。
[数 10]
Ol = { qx,r } (r = A, B, C, ... , G) (10) ここで、 xは視聴者を特定する番号である。以上、コンテンツがウェブページの場合に ついて説明したが、コンテンツが静止画像の場合も、同様にして視聴傾向ベクトルを 算出すること力 Sでさる。
[0042] また、視聴傾向分析部 140は、後述する情報処理部 150における視聴傾向影響度 処理手段 153の処理のために、コンテンツのシーンに対する興味'関心度の単位時 間あたりの平均値を、前述の(3)式及び (4)式のように算出し、この平均値を視聴傾 向情報として個人属性 ·視聴傾向等データベース 103に蓄積すると共に、情報処理 部 150に出力する。また、視聴傾向分析部 140は、後述する情報処理部 150におけ る好感 '嫌悪感判定処理手段 156、インプレッション(印象)評価処理手段 157及び 指定領域ェモーショナル (情動)効果処理手段 158の処理のために、所定領域にお ける興味 ·関心度等を視聴傾向情報として個人属性 ·視聴傾向等データベース 103 に蓄積すると共に、情報処理部 150に出力する。
[0043] 〔提示情報生成処理〕 次に、(4)提示情報生成処理について説明する。この処理により、提示情報が生成 され、視聴者等へ提示される。図 2を参照して、情報処理部 150は、視聴傾向べタト ル等の視聴傾向情報に基づいて提示情報を生成する機能を有し、推薦コンテンツ処 理手段 151、注目オブジェクト情報処理手段 152、視聴傾向影響度処理手段 153、 提示コンテンツ切替処理手段 154、注目度判定処理手段 155、好感 '嫌悪感判定処 理手段 156、インプレッション評価処理手段 157及び指定領域ェモーショナル効果 処理手段 158を備えている。
推薦コンテンツ処理手段 151により生成される提示情報は推薦コンテンツであり、 推薦コンテンツ処理手段 151は、視聴傾向ベクトルに基づ!/、て視聴中のコンテンツ に対する視聴傾向が類似する視聴者を特定し、視聴中のコンテンツに関連付けられ たコンテンツを特定し、関連コンテンツの中力も類似視聴者の興味.関心度の高いコ ンテンッを特定し、そのコンテンツを視聴中の視聴者 1へ提示する。また、注目ォブ ジェタト情報処理手段 152により生成される提示情報は注目オブジェクト情報であり、 注目オブジェクト情報処理手段 152は、視聴傾向ベクトルに基づいて興味 '関心度 の高い領域を特定し、その領域に含まれるオブジェクトを特定し、そのオブジェクトに 関する情報を視聴中の視聴者 1へ提示する。また、視聴傾向影響度処理手段 153に より生成される提示情報は視聴傾向影響度情報であり、視聴傾向影響度処理手段 1 53は、連続した 2つのシーンにおいて、直前のシーンが後のシーンの視聴傾向に与 える影響度を算出し、その影響度を視聴傾向影響度情報としてコンテンツの提供事 業者等へ提示する。また、提示コンテンツ切替処理手段 154により生成 (変更)される 提示情報は提示コンテンツであり、提示コンテンツ切替処理手段 154は、複数の視 聴者 1による視聴傾向に基づいて提示コンテンツを決定し、この決定した提示コンテ ンッを提示情報として複数の視聴者 1へ提示する。また、注目度判定処理手段 155 により生成される提示情報は、画面内の分析対象への注目度情報であり、注目度判 定処理手段 155は、分析対象に対する興味 ·関心度及び視聴者 1の応答(例えば、 視聴者 1によるボタン押下)に基づいて、その分析対象への注目度を判定し、この注 目度情報を提示情報としてコンテンツの提供事業者等へ提示する。また、好感'嫌悪 感判定処理手段 156により生成される提示情報は、画面内のオブジェクトに対する 好感度及び嫌悪感度であり、好感 ·嫌悪感判定処理手段 156は、分析対象のォブジ ェクトに対する、所定条件を満たす興味 ·関心度の継続時間に基づいて、オブジェク トに対する好感及び嫌悪感を判定し、さらに好感度及び嫌悪感度を算出し、この好 感度及び嫌悪感度の情報を提示情報としてコンテンツの提供事業者等へ提示する。 また、インプレッション評価処理手段 157により生成される提示情報は、画面内のォ ブジエタトが視聴者 1に与える印象度合!/、を示すインプレッション度であり、インプレツ シヨン評価処理手段 157は、分析対象のオブジェクトに対する前記好感度及び嫌悪 感度を総合することにより、インプレッション度を算出し、このインプレッション度の情 報を提示情報としてコンテンツの提供事業者等へ提示する。また、指定領域ェモー ショナル効果処理手段 158により生成される提示情報は、視聴者 1が画面内のォブ ジェタトを見て急速に引き起こされる一時的な感情度合いを示すェモーショナル度で あり、指定領域ェモーショナル効果処理手段 158は、分析対象のオブジェクトに対す る前記好感度及び嫌悪感度、並びに視聴者 1の最終操作 (例えば、視聴者 1による マウス操作)に基づいて、指定領域ェモーショナル度を算出し、この指定領域ェモー ショナル度を提示情報として、コンテンツの提供事業者等へ提示する。以下、推薦コ ンテンッ処理手段 151、注目オブジェクト情報処理手段 152、視聴傾向影響度処理 手段 153、提示コンテンツ切替処理手段 154、注目度判定処理手段 155、好感 '嫌 悪感判定処理手段 156、インプレッション評価処理手段 157及び指定領域ェモーシ ョナル効果処理手段 158の各処理について詳細に説明する。
〔推薦コンテンツ提示処理〕
まず、推薦コンテンツ提示処理について説明する。図 9は、推薦コンテンツ提示処 理を示すフローチャート図である。図 10は、図 9の処理における情報の流れを示す 図である。いま、視聴者 1 (X)が、提示コンテンツ用データベース 106から提示された コンテンツ αを視聴しているものとする。この場合、コンテンツ αを視聴している視聴 者 1 (Χ)に対し、前述の(2)生理反応情報 ·視聴者応答蓄積処理及び (3)視聴傾向 分析処理が行われている(ステップ S901 , S902)。すなわち、視聴傾向分析部 140 は、視聴者 1 (X)が視聴しているコンテンツ αに対する視聴傾向ベクトル(以下、ベタ 卜ノレ Qx ( a )という)
Figure imgf000019_0001
を算出する。
[0046] そして、視聴中の視聴者 1 (X)が入力デバイス 12により検索開始の操作を行うと、 情報処理部 150の推薦コンテンツ処理手段 151は、視聴者 1 (X)に類似する嗜好傾 向をもつ視聴者を特定する。具体的には、推薦コンテンツ処理手段 151は、個人属 性-視聴傾向等データベース 103から視聴者 1 (X)を含む各視聴者の個人属性情報 cを読み出し、視聴者 1 (X)の個人属性と他の視聴者の個人属性との間のマッチング を判定する(ステップ S903)。例えば、個人属性情報 cのうちの年齢について、視聴 者 1 (X)の年齢を基準にして予め設定された範囲内の年齢の視聴者を、マッチングし た視聴者として判定する。マッチングした視聴者を Y, Z, U, V, λ¥· · ·とする。
[0047] また、推薦コンテンツ処理手段 151は、視聴傾向分析部 140から視聴者 1 (X)の視 聴傾向ベクトル Qx( a )を入力し、個人属性 ·視聴傾向等データベース 103から、マ ツチングした視聴者 Υ, Z等のコンテンツ αに対する視聴傾向ベクトル Qy( α ) , Qz ( « ) · · ·、すなわち ひ - …》 を読み出し、コンテンツ αに対する視聴者 1 (X)とマッチングした視聴者 Υ, 等との 間の視聴傾向相関度を算出し (ステップ S904)、類似する視聴者を特定する (ステツ プ S905)。尚、個人属性 ·視聴傾向等データベース 103には、前記(3)視聴傾向べ タトル算出及び蓄積処理により、各視聴者のコンテンツ αに対する視聴傾向べクトノレ が格納されて!/、るものとする。
[0048] 視聴傾向相関度の算出手法について説明する。以下は、視聴者 Xと視聴者 Υとの 間の同一コンテンツに対する視聴傾向相関度 Rvを算出する手法について説明する 。推薦コンテンツ処理手段 151は、視聴者 Xの視聴傾向ベクトル Qxと視聴者 Yの視 聴傾向ベクトル Qyとの間の内積を算出し、これをベクトルの次元数で正規化して視 聴傾向相関度 Rvとする。
[数 11] ι ^ ュ -v-i
= rQx · Qv = i^∑ <h,i<k、3 (0< j <N- 1) · · · (11) 一一
上 N
この場合、 Rvが大きいほど相関が高くなる。
[0049] また、推薦コンテンツ処理手段 151は、以下の数式により視聴傾向相関度 Rvを算 出するようにしてもよい。
[数 12] N 1
∑ ^, -¾, )2 (0<j <N-1) ... (12)
この場合、 Rvが小さいほど相関が高くなる。尚、コンテンツが動画の場合だけでなく ウェブページの場合にも同様の手法により、視聴傾向相関度が算出される。
[0050] この場合、視聴傾向相関度 Rvは、シーケンス、シーン等の各時間区間について算 出される力 予め設定された時間区間について算出されるようにしてもよい。
[0051] 推薦コンテンツ処理手段 151は、(11)式により視聴傾向相関度を算出した場合に は、この相関度が予め設定された閾値以上のときに、類似する視聴者であると判定 する。また、(12)式により視聴傾向相関度を算出した場合には、この相関度が予め 設定された閾値以下のときに、類似する視聴者であると判定する。このようにして、推 薦コンテンツ処理手段 151は、マッチングした視聴者 Υ, Z等の中から、類似する視 聴者を特定する。
[0052] そして、推薦コンテンツ処理手段 151は、図示しない関連コンテンツテーブルからコ ンテンッ αに関連するコンテンツ a, b, ··のリストを読み出し(ステップ S906)、関 連コンテンツ a, b, c等に対し、ステップ S905により特定した類似視聴者が高い興味 '関心度を示したシーン等を含むコンテンツを、推奨コンテンツとして特定し、視聴者 1へ提示する(ステップ S907)。また、提示されたコンテンツの中から、視聴者 1が注 目したコンテンツが選択され、ディスプレイ 11の表示画面が注目コンテンツに切り替 わる。ここで、関連コンテンツテーブルには、コンテンツのジャンルや映像内の情景等 に応じて、コンテンツ毎に、関連するコンテンツが予め設定されている。前述の例で は、コンテンツ αに関連するコンテンツとして、コンテンツ a, b, · ·が設定されてい る。この際、図示しない方法により記述されるコンテンツのメタデータ内のキーワード の類似性や映像内の色調の類似性等を判定方法として使用することができる。ただ し、類似性の判定はこれらの方法に限定されるものではない。また、関連コンテンツ テーブルの中身は予め設定しておくようにしてもよいし、推薦コンテンツ提示処理 (ス テツプ S901〜S907)の任意のステップの前後で更新するようにしてもよい。この関 連コンテンツテーブルの設定または更新は、図示しな!/、システム操作者による手入 力やシステムの状態に基づく自動生成により行うことができる。例えば、ステップ S90 5により特定した類似視聴者が過去に視聴したことのある任意のコンテンツを、ネット ワークに接続されたサーバや操作端末に接続された蓄積装置等に蓄えられているコ ンテンッの中から抽出することにより、関連コンテンツテーブルを作成することが可能 である。
[0053] 例えば、推薦コンテンツ処理手段 151は、コンテンツ aに対して、類似視聴者の最も 高い興味 ·関心度、または視聴傾向べ外ルの要素(時間区間における興味関心度 の単位時間あたりの平均値)のうちの最も大きな要素を求め、同様に、コンテンツお c 等についても求め、そのうちの最も高い興味 ·関心度または視聴傾向ベクトルの要素 の値を有するコンテンツを推奨コンテンツとして特定する。また、例えば、興味'関心 度の高レ、順、または視聴傾向ベクトルの要素の値が大きレ、順にコンテンツリストを生 成し、これを推奨コンテンツとして特定する。
[0054] このような視聴傾向相関度の算出手法は、コンテンツが動画の場合だけでなくゥェ ブページや静止画像等の場合も同様に適用される。
[0055] 図 11は、推薦コンテンツ提示処理における画面推移を示す図である。視聴者 1が ディスプレイ 11のコンテンツを視聴しているときに (A)、入力デバイス 12により検索開 始の操作を行うと、視聴者 1の視聴傾向に合った推薦コンテンツが提示される(B)。 視聴者 1は、見たいコンテンツに注目すると、そのコンテンツの画面に切り替わる(C) 。このような一連の処理が視聴傾向管理サーバ 100により実現される。
[0056] 以上のように、本発明の実施の形態によれば、推薦コンテンツ提示処理により、興 味'関心度算出部 130が、コンテンツを視聴している視聴者の生理反応情報等から 興味'関心度の時間変動を算出し、視聴傾向分析部 140が視聴傾向べ外ルを算出 し、推薦コンテンツ処理手段 151が、視聴傾向ベクトルから類似視聴者を特定し、関 連コンテンツの中から推奨コンテンツを特定し、これを有用な嗜好情報として視聴中 の視聴者へ提示するようにした。これにより、視聴者は、視聴したことのない自己の嗜 好に合ったコンテンツを得ることができる。つまり、データ入力やキー操作等の複雑な 操作を行うことなぐ自己の嗜好に合った有用な情報を得ることができる。
[0057] 〔注目オブジェクト情報提示処理〕
次に、注目オブジェクト情報提示処理について説明する。図 12は、注目オブジェク ト情報提示処理を示すフローチャート図である。この処理は、例えば、番組中に表示 されたオブジェクトに対する視聴者の興味 ·関心度を算出し、そのオブジェクトに関す る情報 (販売サイトやサービス等の情報)を提示するものである。いま、視聴者 1が、 提示コンテンツ用データベース 106から提示されたコンテンツ αを視聴しているもの とする。この場合、コンテンツ αを視聴している視聴者 1に対し、前述の(2)生理反応 情報 ·視聴者応答蓄積処理及び(3)視聴傾向分析処理が行われて!/、る (ステップ S 1 201)。すなわち、視聴傾向分析部 140は、視聴者 1が視聴しているコンテンツ αに 対する視聴傾向ベクトルを算出する。
[0058] そして、視聴中の視聴者 1が入力デバイス 12により検索モードへの移行指示の操 作を行うと、情報処理部 150の注目オブジェクト情報処理手段 152は、視聴傾向べク トルから興味 ·関心度の高い領域を特定する(ステップ S1202)。例えば、(10)式に 示した領域毎の興味 ·関心度の要素から成る視聴傾向ベクトルについて、興味'関心 度の最も高い領域を特定する。そして、その領域に表示されているオブジェクトを、予 め設定されたテーブル(コンテンツにおける領域とオブジェクトとが対応付けられたテ 一ブル)により特定し (ステップ S 1203)、特定したオブジェクトに関連する情報のロケ ーシヨンを、図示しないオブジェクト情報データテーブルから抽出し、そのロケーショ ン (URLや URI等で指定)からオブジェクトに関連付けられた商品、サービスの情報 や販売サイト等の情報を視聴者 1へ提示する (ステップ S 1204)。この場合、視聴者 1 によるコンテンツ αの視聴が終わったときに、注目オブジェクト情報処理手段 152は、 視聴者 1による入力デバイス 12の操作に従って検索モード終了を判定し、オブジェク トに関する情報や販売サイト等の情報をディスプレイ 11に表示したり、電子メールに て送信するようにしてもよい。
[0059] 図 13は、注目オブジェクト情報提示処理における画面推移を示す図である。視聴 者 1がディスプレイ 11のコンテンツを視聴しているときに (A)、入力デバイス 12により 検索開始の操作を行うと、視聴者 1の視聴傾向に合った注目オブジェクト情報が提示 される(B)。視聴者 1は、さらに知りたい項目に注目すると、そのオブジェクト項目に 関する詳細情報の画面に切り替わる(C)。このような一連の処理が視聴傾向管理サ ーバ 100により実現される。なお、注目オブジェクト情報提示処理において、注目ォ ブジェクト情報処理手段 152は、図 13の視聴対象コンテンツの同一画面上に、視聴 者 1が注目したオブジェクトに関する情報を、ポップアップする小画面や吹き出し等に より提示するようにしてもよい。この場合、さらに、ポップアップした小画面や吹き出し 等が表示されている情報提示領域を視聴者 1が注目したか否力、を興味 ·関心度に基 づレ、て判定し、オンライン購入サイトでの仮想ショッピングカートへ商品を入れる等の 商品購入に必要な処理指示の制御情報を、外部のシステムに送信する。
[0060] 以上のように、本発明の実施の形態によれば、注目オブジェクト提示処理により、興 味 ·関心度算出部 130が生理反応情報等から興味 ·関心度を画面上の領域毎に算 出し、視聴傾向分析部 140が視聴傾向ベクトルを算出し、注目オブジェクト情報処理 手段 152が興味 ·関心度の高い領域内のオブジェクトを特定し、そのオブジェクトに 関する情報を提示するようにした。これにより、視聴者は、コンテンツとして表示された オブジェ外に関する情報を得る場合に、データ入力やキー操作等の複雑な操作を 行うことなぐ有用な情報を得ることが可能となる。さらに、注目オブジェクト情報の提 示部分を視聴者が注目したことを判定し、その結果に基づいて処理指示の制御情報 を外部のシステムへ送信することも可能となる。
[0061] 〔視聴傾向影響度情報提示処理〕
次に、視聴傾向影響度情報提示処理について説明する。図 14は、視聴傾向影響 度情報提示処理を示すフローチャート図である。図 15はこの処理を説明するための 図である。一般に、連続した 2つのシーンにおいて、後のシーンの興味'関心度は直 前のシーンの興味 '関心度の影響を受けることが知られている。この処理は、連続し た 2つのシーンにおいて、直前のシーンが後のシーンに与える視聴傾向の影響度を 算出し、これを視聴傾向影響度情報として提示するものである。
[0062] 図 15において、映像のシーケンス Aをシーン A→シーン 1の順番とし、シーケンス B をシーン B→シーン 1の順番としてそれぞれ提示された場合の視聴傾向影響度を算 出するものとする。シーケンス Aにおけるシーン A,シーン 1の単位時間あたりの興味 '関心度を qA, 0, qA, 1とし、シーケンス Bにおけるシーン B,シーン 1の単位時間あ たりの興味.関心度を qB, 0, qB, 1とし、シーン 1単体における興味.関心度を qO, 1 とする。
[0063] 視聴傾向分析部 140は、興味 '関心度算出部 130または個人属性 ·視聴傾向等デ ータベース 103から、シーケンス Aにおけるシーン Aの興味'関心度及びシーン 1の 興味 ·関心度を、シーケンス Bにおけるシーン Bの興味 ·関心度及びシーン 1の興味 · 関心度を、シーン 1単体の興味 ·関心度を入力する。尚、個人属性'視聴傾向等デー タベース 103には、これらの情報が予め蓄積されているものとする。そして、視聴傾向 分析部 140は、単位時間あたりの興味 ·関心度 qA, 0, qA, 1 , qB, 0, qB, 1 , qO, 1を、前述の(3)式及び (4)式によりそれぞれ算出する(ステップ S1401)。
[0064] ここで、シーケンス Aにおけるシーン 1の部分の興味.関心度 qA, 1、及びシーケン ス Bにおけるシーン 1の部分の興味 '関心度 qB, 1は以下のように表すことができる。
[数 13]
?.4,1 = /Λ (¾Ο,Ι , ?Α,Ο) . · , ( )
[0065] この(13)式を 1次近似すると、シーン Αがシーン 1に与える視聴傾向影響度 k(qA, 0)、及びシーン Bがシーン 1に与える視聴傾向影響度 k (qB, 0)を用いて、以下のよ うに表すことカできる。
[数 14] . (?0,1 ^. ,0 ) = HQA,O) - o,l . . . , .
/s(«o,i , ,ο) = k(qBfi) - q0,i ' U )
[0066] 情報処理部 150の視聴傾向影響度処理手段 153は、視聴傾向分析部 140により 算出された各興味'関心度を入力し、前述の(13)式及び(14)式を用いて、シーン A がシーン 1に与える視聴傾向影響度 k (qA, 0)、及びシーン Bがシーン 1に与える視 聴傾向影響度 k (qB, 0)をそれぞれ算出する (ステップ S 1402)。このように算出され た視聴傾向影響度は、例えばコンテンツ提供事業者へ提供される。
[0067] 以上のように、本発明の実施の形態によれば、視聴傾向影響度情報提示処理によ り、図 15に示した 3つのシーケンスにて十分な時間間隔をもって視聴させ、興味-関 心度算出部 130が興味 ·関心度の時間変動を算出し、視聴傾向分析部 140が各シ ーンにおける単位時間あたりの興味 ·関心度を算出し、視聴傾向影響度処理手段 15 3力 シーン Aがシーン 1に与える視聴傾向影響度及びシーン Bがシーン 1に与える 視聴傾向影響度を算出するようにした。この場合、例えば、複数の視聴者等により視 聴傾向影響度を多数算出し、これらを統計解析により近似曲線を求めることにより、 信頼性の一層高い視聴傾向影響度を提示することができる。また、シーン Aがシーン 1に与える視聴傾向影響度と、シーン Bがシーン 1に与える視聴傾向影響度とを比較 することにより、シーン 1の興味 ·関心度を引き上げる効果を有するシーンを選定する こと力 Sできる。例えば、シーン Aがシーン 1に与える視聴傾向影響度の方力 シーン B がシーン 1に与える視聴傾向影響度よりも高!/、場合、シーン Aの方がシーン Bよりも、 シーン 1の興味 '関心度引き上げ効果が大きいことがわかる。これにより、コンテンツ 提供事業者は、コンテンツを評価する場合に、有用な情報を得ることが可能となる。
[0068] 〔提示コンテンツ切替処理〕
次に、提示コンテンツ切替処理について説明する。図 16は、提示コンテンツ切替処 理を説明するための視聴傾向管理システムの全体構成を示すブロック図である。図 1 7は、提示コンテンツ切替処理を説明するための興味 ·関心度の推移を示す図である 。図 18は、提示コンテンツ切替処理を示すフローチャート図である。図 19は、図 18 に示すフローチャートにおける提示コンテンツ決定処理を説明する図である。図 16に おいて、この提示コンテンツ切替処理を説明するための視聴傾向管理システム 200 は、図 1に示した視聴傾向管理システム 2において、複数のコンテンツ提示 ·生理反 応.視聴者応答計測装置 10— ;!〜 10— n、ディスプレイ 11一;!〜 11一!!、入力デバ イス 12—;!〜 12 n、生理反応計測装置 13—;!〜 13 n及び IRライト 14—;!〜 14 —nを備えて構成される。この処理は、図 16の視聴傾向管理システム 200において、 複数の視聴者 1―;!〜 1—nが同じコンテンツを視聴して!/、る場合に、複数の視聴者 1 一;!〜 1 nの視聴傾向に基づいて、これから提示するコンテンツを決定し提示するも のである。いま、視聴者 1— 1〜1— nが、提示コンテンツ用データベース 106から提 示されたコンテンツを視聴して!/、るものとする。
[0069] 提示コンテンツ切替処理を行うにあたって、図 2において図示しない設定部は、予 め対象視聴者を設定する(ステップ S 1801)。ここでは、複数の視聴者のうちの 1人( 視聴者 1 1〜1 n)が設定されたものとする。また、設定部は、視聴傾向を分析す る対象となる時間区間を過去の時間区間(0〜j)の中から設定し (ステップ S1802)、 分析する対象として「画面全体」「エリア」「オブジェクト」を設定する(ステップ S 1803) 。例えば、動画またはウェブページのコンテンツにおいて、分析対象が「画面全体」の 場合は、スポーツ番組、ドラマ、ニュース、 CM (コマーシャル)等であり、「エリア」の場 合は、前記画面中の人物、用品、商品、ニュース対象、 CM対象等を含む領域であり 、「オブジェクト」の場合は、前記画面中の人物、用品、商品、ニュース対象、 CM対 象等のオブジェクトを含む領域である。「エリア」を設定する場合は、画面全体の中か ら任意の領域を座標等により指定して設定する。また、「オブジェクト」を設定する場 合、分析対象とするオブジェクトの領域を座標等により指定して設定する。
[0070] ステップ S1801〜S 1803により、視聴者、時間区間及び分析対象が予め設定され ると、視聴傾向分析部 140は、個人属性 ·視聴傾向データベース 103から興味 ·関心 度及び視点位置を読み出し、または、興味 '関心度算出部 130から興味 '関心度及 び視点位置を入力し (ステップ S1804)、予め設定された視聴者;! ;!〜 1—nの分析 対象である「画面全体」「エリア」「オブジェクト」毎に、視点がその分析対象に滞留し ていた時間について興味.関心度 I (t) , I (t) , · · · , I (t)を設定する。視点がその
1 2 n
分析対象に滞留していない時間の興味 ·関心度は 0とする。そして、視聴傾向分析部 140は、視聴者 1 1 nの分析対象毎に、予め設定された時間区間における視 聴傾向ベクトル、すなわちその時間区間における興味'関心度の単位時間あたりの 平均値を算出する(ステップ S1805)。視聴傾向ベクトルの算出手法については前述 したので、ここでは説明を省略する。視聴傾向分析部 140は、視聴者 1 1 nの 分析対象毎の興味'関心度 I (t) , I (t) , · · · , I (t)、及び視聴傾向ベクトルを個人
1 2 n
属性 ·視聴傾向データベース 103に格納する。
[0071] つまり、図 17に示すように、時間区間 j— 3〜 では既にコンテンツが提示され視聴 済みである場合、コンテンツを視聴している視聴者 1 1 1 nについて、前述の(2 )生理反応情報 ·視聴者応答蓄積処理及び (3)視聴傾向分析処理が既に完了して おり、視聴傾向分析部 140は、予め設定された視聴者 1 1 1 nの時間区間毎に 、視聴傾向ベクトル (興味 ·関心度の単位時間あたりの平均値を時間区間毎に要素と したもの)を算出する。
[0072] 情報処理部 150の提示コンテンツ切替処理手段 154は、設定部により予め設定さ れた閾値と、視聴傾向分析部 140により算出された視聴傾向ベクトルの要素である 興味'関心度の平均値とを比較し、閾値を超える興味'関心度の平均値を有する視 聴者の数をカウントする(ステップ S1806)。例えば、予め設定された時間区間のうち の一つの時間区間の興味 ·関心度が閾値を超える場合も、視聴者の数をカウントす
[0073] そして、提示コンテンツ切替処理手段 154は、この視聴者カウント数と、図 2におい て図示しない設定部により予め設定された閾値とから割合を算出し、その割合値が 設定部により予め設定された閾値を超える場合に、視聴者がその分析対象に興味が あるものと判定し、設定部により予め分析対象に対応して設定されたコンテンツを、こ れから提示する時間区間 j + 1の示コンテンツに決定する(ステップ S 1807)。
[0074] いま、図 19に示すように、設定部により、分析対象「オブジェクト」とコンテンツ A、分 析対象「エリア」とコンテンツ B、分析対象「画面全体」とコンテンツ C、及びその他の 場合にコンテンツ Dがそれぞれ対応付!/、て設定されて!/、るものとする。提示コンテン ッ切替処理手段 154は、それぞれの分析対象について、視聴者カウント数が閾値を 超える場合に、それぞれコンテンツ A Dのうちのいずれかのコンテンツを提示コン テンッとして決定する。複数のコンテンツのうちのいずれかのコンテンツを決定するに は、予め設定された優先順位に従う。例えば、「オブジェクト」の視聴者カウント数の みが閾値を超えている場合、コンテンツ Aを提示コンテンツに決定する。また、「ォブ ジェタト」に加えて「エリア」の視聴者カウント数が閾値を超えている場合、優先順位は 「オブジェクト」の方が高いとしてコンテンツ Aを提示コンテンツに決定する。また、い ずれの分析対象の視聴者カウント数も閾値を超えて!/、な!/、場合、コンテンツ Dを提示 コンテンツに決定する。この場合、時間区間 jに提示していたコンテンツと同じコンテ ンッを提示コンテンツに決定する(コンテンツを変更しないようにする)ようにしてもよ い。
[0075] 尚、複数の視聴者 1 1〜1 nのうち何人かを同一会場に集め、視聴傾向を分析 するようにしてもよい。この場合、コンテンツ提示 ·生理反応 ·視聴者応答計測装置 10 - l ~ 10 -n,ディスプレイ 1 1一;!〜 11— n、入力デバイス 12—;!〜 12— n、生理反 応計測装置 13—;!〜 13 n及び IRライト 14—;!〜 14 nのうちの全てまたは一部を 共有するような構成にしてもょレ、。
[0076] 以上のように、本発明の実施の形態によれば、提示コンテンツ切替処理により、視 聴傾向分析部 140が、予め設定された視聴者の分析対象(「画面全体」「エリア」「ォ ブジェクト」 )毎に興味 ·関心度を設定し、時間区間毎に視聴傾向ベクトルを算出し、 提示コンテンツ切替処理手段 154が、分析対象毎に興味 ·関心度の高い視聴者数を カウントし、視聴者カウント数に基づいて提示コンテンツを決定するようにした。これに より、視聴者は、予め設定された複数の視聴者において、データ入力やキー操作等 の複雑な操作を行うことなぐ興味の高いコンテンツに切り替えて視聴することができ
[0077] 〔注目度判定処理〕
次に、注目度判定処理について説明する。図 20は、注目度判定処理を示すフロー チャート図である。この処理は、例えば、番組中に表示されたオブジェクトに対する視 聴者の興味 ·関心度及び視聴傾向ベクトルを算出し、そのオブジェクトへの注目度情 報を提示するものである。
[0078] 注目度判定処理を行うにあたって、図 2において図示しない設定部は、分析対象と して「画面全体」「エリア」「オブジェクト」及びその時間帯(時間区間)を予め設定する (ステップ S2001)。分析対象については前記のとおりである。
[0079] 視聴傾向分析部 140は、個人属性 ·視聴傾向データベース 103から興味 ·関心度 及び視点位置を読み出し、または、興味 '関心度算出部 130から興味 '関心度及び 視点位置を入力し、予め設定された分析対象である「画面全体」「エリア」「オブジェク ト」毎に、視点がその分析対象に滞留していた分析時間帯について興味 ·関心度を 設定する。視点がその分析対象に滞留していない時間の興味 ·関心度は 0とする。そ して、視聴傾向分析部 140は、分析対象毎に、予め設定された分析時間帯における 視聴傾向ベクトル、すなわちその時間帯における興味'関心度の単位時間あたりの 平均値を算出する(ステップ S2002)。視聴傾向ベクトルの算出手法については前述 したので、ここでは説明を省略する。
[0080] また、情報処理部 150の注目度判定処理手段 155は、予め設定された分析時間 帯におけるマウスクリックやボタン押下の視聴者応答の有無を、生理反応'視聴者応 答データベース 101から視聴者応答を読み出して判定する(ステップ S2003)。
[0081] そして、注目度判定処理手段 155は、それぞれの分析対象について、以下の 3つ の条件、または少なくとも一つの条件を満たす場合に、その分析対象に対する分析 時間帯については注目度大であると判定し、いずれの条件を満たさない場合に、注 目度小であると判定し、提示情報として提示する(ステップ S2004)。
(1)視点が分析対象の領域内に存在すること。分析時間帯の興味 ·関心度力 ¾の場 合はその分析対象の領域内に視点が存在しないことになる。
(2)興味 ·関心度の単位時間あたりの平均値が予め設定された閾値を超えること。こ の閾値は、図 2において図示しない設定部により設定される。
(3)予め設定された分析時間帯において視聴者応答があること。
[0082] 以下、注目度判定処理につ!/、て具体例を挙げて説明する。この注目度判定処理 の例は、動画シーケンスを有するコンテンツに対して、複数のオブジェクト(オブジェ タトを含む領域)及び時間帯を予め設定し、そのオブジェクト毎に視聴者が注目して V、たか否かを判定し、設定した複数のオブジェクトのうち注目して!/、たオブジェクトの 割合(注目率)を算出し、さらに、注目していたと判定したオブジェクトについて応答 時間(反応時間)を算出し、これらの情報を提示情報として出力するものである。尚、 この例では、オブジェクトを分析対象とし、複数のオブジェクトを予め設定し、オブジェ タト毎に処理するようにした力 画面全体を分析対象として処理するようにしてもよい。 また、任意の形状の領域を分析対象として、複数の領域を予め設定し、その領域毎 に処理するようにしてもよい。この場合、設定した領域の形状はビットマップ情報で保 存され (分析対象部分を 1、それ以外を 0として保存され)、視点位置のビットマップ情 報が 1の場合はその領域内にあると判定され、 0の場合はその領域内にないと判定さ れる。
[0083] 図 2において図示しない設定部力 分析対象としての「オブジェクト」及びその時間 帯を予め設定する。この場合、分析対象は、同じ「オブジェクト」が別時間に提示され るとき、同一「オブジェクト」として設定してもよいし、異なる「オブジェクト」として設定し てもよい。また、時間帯は、異なる「オブジェクト」について重複していてもよい。図 21 は、注目度判定処理を説明するための興味 '関心度の推移を示す図である。また、 図 22は、注目度判定処理を説明するためのオブジェクトを示す図である。設定部は 、図 21に示す興味 '関心度の推移を示す時間軸において、オブジェクト Aが提示さ れている時間区間 j— 1 [Τ , Τ ]を注目度判定区間の時間帯として設定する。ここ
AS AE
で、 T は時間区間 j 1の開始時刻を示し、 T は終了時刻を示す。また、設定部は
AS AE
、図 22に示すオブジェクト Aを含む領域を設定する。ここで、オブジェクト Aを含む領 域は、
左上座標
右下座標
により指定される矩形領域である。
[0084] つまり、注目度判定処理手段 155は、コンテンツの時間区間 j— 1 (時区間 [Τ , T
AS A
] )におけるオブジェクト Aの注目度を判定する。同様に、複数のオブジェクトの注目 度を判定し、コンテンツにおけるオブジェクト A等に対する注目度情報として、ォブジ ェクト A等に注目していたか否かを判定すると共に、オブジェクト A等への注目率、及 び注目していた場合の応答時間(反応時間)を算出し、これらを提示情報として出力 する。
[0085] 個人属性.視聴傾向データベース 103には、あるコンテンツに対する興味.関心度( 図 21を参照)、視点位置及び同期情報が格納され、生理反応 ·視聴者応答データべ ース 101には、そのコンテンツに対するマウスクリックやボタン押下等の視聴者応答 及び同期情報が格納されてレ、るものとする。
[0086] 視聴傾向分析部 140は、個人属性 ·視聴傾向データベース 103から興味 ·関心度 、視点位置及び同期情報を読み出し、同期情報により時刻 t (T <t<T )におけ
AS AE
る視点 (視点位置)
E{t) = (E£ (t) > Ey (t)) がオブジェクト Aを含む領域内にあるか否かを、以下の式により判定する。
X (t)≤E (t)≤x (t) , y (t)≤E (t)≤y (t)
AL x A AL y A
ここで、視点がオブジェクト Aを含む領域にあるものと判定した時区間を、 T <t<
AS, 1 τ , τ <t<T , · · · , τ <t<T とする(以下、この時区間を視点一
AE, 1 AS, 2 AE, 2 AS, n AE, n
致時区間という。)。
[0087] そして、視聴傾向分析部 140は、視点一致時区間における興味 ·関心度について 、単位時間あたりの平均値を算出する。また、視聴傾向分析部 140は、この視点一致 時区間における興味 ·関心度の単位時間あたりの平均値を、同期情報及び視点一 致時区間の情報と共に個人属性 ·視聴傾向データベース 103に格納する。
[0088] 情報処理部 150の注目度判定処理手段 155は、視聴傾向分析部 140または個人 属性 ·視聴傾向データベース 103から視点一致時区間における興味 ·関心度の単位 時間あたりの平均値等を入力し、生理反応 ·視聴者応答データベース 101から視聴 者応答及び同期情報を入力する。そして、注目度判定処理手段 155は、同期情報 により、視点一致時区間内に視聴者応答があつたか否力、を判定する。視点一致時区 間内に視聴者応答があつたと判定した場合には、視点一致時区間における興味-関 心度の単位時間あたりの平均値 q が予め設定された閾値 thを超えているか否かを
A A
判定し、超えているときは(q >th )、オブジェクト Aに注目していたものと判定する。
A A
ここで、 qを以下に示す。
A
[数 15]
* , * ( 15)
Figure imgf000032_0001
尚、視聴傾向分析部 140は、視点一致時区間における興味 ·関心度について、その 積分値 Q を算出し、注目度判定処理手段 155は、視聴傾向分析部 140により算出
A
された興味 ·関心度の積分値 Q が予め設定された閾値 TH を超えているか否かを
A A
判定し、超えて!/、るときは (Q >TH )、オブジェクト Aに注目して!/、たものと判定する
A A
ようにしてもよい。
[0089] このようにして、注目度判定処理手段 155は、予め設定された複数のオブジェクト に対し、予め設定された時間帯において注目していたか否かを判定する。例えば、 図 21において、オブジェクト Bについて時間帯が時間区間 j、オブジェクト Cについて 時間帯が時間区間 j + 2、オブジェクト Dについて時間帯が時間区間 j + 4であると設 定された場合、注目度判定処理手段 155は、それぞれのオブジェクトに対し、注目し ていたか否かを判定する。
[0090] そして、注目度判定処理手段 155は、注目率 Rを以下の式により算出する。
[数 16] i?. = · 100 ( 1 6 ) ここで、 Nは予め設定されたオブジェクトの数を示し、 nは注目していたものと判定され たオブジェクトの数を示す。
[0091] また、注目度判定処理手段 155は、注目していたものと判定した場合の応答時間( 反応時間)を算出する。例えば、オブジェクト Aに対する応答時間 S を、以下の式
A.res
により算出する。
S =Τ -Τ
A.res A, push AS
ここで、 T は視聴者応答の時刻(例えばボタン押下時刻)を示し、 Τ は時間区間
A.push AS
j 1の開始時刻を示す。つまり、応答時間は、オブジェクト Aに対する注目度判定処 理を行う開始時刻から(図 22に示したオブジェクト Aが提示(画面に表示)されてから )、視聴者によるボタン押下時刻までの時間をいう。
[0092] 注目度判定処理手段 155は、全てのオブジェクトに対する応答時間を算出した後 に、その応答時間の平均値や分散等を算出し、これらの情報を、視聴者の応答反応 の傾向を判断するための情報としてコンテンツの提供事業者等へ提示する。
[0093] また、図 16に示した視聴傾向管理システム 200のように、予め設定された複数の視 聴者毎に、興味,関心度算出部 130が興味,関心度を算出し、視聴傾向分析部 140 が予め設定された分析時間帯の視点一致時区間における興味 ·関心度について、 積分値または単位時間あたりの平均値を算出する。そして、注目度判定処理手段 15 5は、複数の視聴者毎に、オブジェクト Aに注目していたか否かを判定する。また、注 目度判定処理手段 155は、オブジェクト Aに注目して!/、たと判定した視聴者の数を、 予め設定された複数の視聴者の数で除算することにより、オブジェクト Aに注目して いた視聴者の割合を算出する。さらに、オブジェクト Aに注目していた視聴者の視点 がオブジェクト Aを含む領域 (分析対象の領域)に視点が存在して!/、た時間長を算出 し、オブジェクト Aに注目して!/、た視聴者の視点一致時区間における興味 ·関心度の 積分値または単位時間あたりの平均値から、オブジェクト Aに注目していた全ての視 聴者に対するその平均値、分散値、標準偏差値、最大値及び最小値を算出する。
[0094] 以上のように、本発明の実施の形態によれば、注目度判定処理により、注目度判定 処理手段 155が、予め設定された分析対象 (複数のオブジェクト)及び時間帯につき 、興味 ·関心度の積分値または単位時間あたりの平均値に基づいて、オブジェクト毎 に視聴者が注目していたか否かを判定し、その注目率を算出し、さらに、注目してい たと判定したオブジェクトにつ!/、て応答時間(反応時間)を算出し、これらの情報を注 目度情報として提示するようにした。これにより、コンテンツ提供事業者等は、予め設 定された分析対象及び時間帯において、データ入力やキー操作等の複雑な操作を 行うことなぐコンテンツ評価のための有用な情報として注目度情報を得ることが可能 となる。また、注目度判定処理手段 155が、予め設定された複数の視聴者のうち、分 析対象のオブジェクトに注目していた視聴者を判定し、その割合、分析対象を見てい た時間長等の統計情報を算出するようにした。これらの統計情報は、コンテンツの指 定領域効果度を判断するために利用することができる。これにより、コンテンツ提供事 業者等は、コンテンツ評価のための有用な情報を得ることが可能となる。
また、本発明の実施の形態によれば、注目度判定処理により、例えば、人間が機械 を操作して!/、る場面を撮影したコンテンツ、またはその操作を模した場面を撮影した コンテンツを用いる場合には、視聴者に対して、機械の操作方法や安全性を教育す ること力 Sできる。例えば、ある設備を制御及び管理する制御パネルの操作方法や安 全性の教育を行う場合、教育を受ける視聴者が、設備の運転状態を表示したモニタ や運転状態ランプや警報ランプ等が配置された制御パネルの状況を撮影したコンテ ンッを見る。そうすると、注目度判定処理手段 155は、予め設定された複数の分析対 象 (例えば警報ランプを含む領域)及び時間帯につき、それぞれ注目して!/、たか否 力、を判定し、その注目率及び応答時間を算出する。例えば、分析対象を、警報ラン プを含む領域とした場合、注目度判定処理手段 155は、視聴者がその警報ランプの 点灯に注目したか否か、注目してから所定の操作 (視聴者応答)が行われるまでの応 答時間等を算出する。すなわち、注目度判定処理手段 155は、分析対象に対する 必要な操作に関する情報 (操作情報)、及び分析対象の応答時間に対する閾値を予 め設定しておき、視聴者応答及び前述した操作情報に基づいて、視聴者応答が操 作情報に合致した場合、正しい操作を行ったと判定し、合致しない場合、正しい操作 を行わなかったと判定する。また、注目度判定処理手段 155は、応答時間及び前述 した閾値に基づいて、応答時間が閾値以内である場合、操作のタイミングが適切で あつたと判定し、応答時間が閾値以内でない場合、操作のタイミングが適切でなかつ たと判定する。また、注目度判定処理手段 155は、これらの判定により、警報ランプ が点灯したときに、有効な操作が適切な時間内に行われたか否かを判定し、これらの 判定結果も含めて注目度情報として提示する。さらに、注目度判定処理手段 155は 、複数の分析対象に対して前述した処理を行い、有効な操作が適切な時間内に行 われた分析対象の数を分析対象の総数で除算して比率を算出し、その比率から視 聴者の習熟度を算出し (例えば、算出した比率を習熟度とみなして)、それを注目度 情報として提示する。これにより、視聴者は、提示された注目度情報に基づいて、本 来注目すべきであるにもかかわらず注目していなかった分析対象や、 自らの習熟度 を判断することができる。このように、機械操作を撮影したコンテンツ等を用いることに より、視聴者が機械操作に習熟しているか否力、、どの分析対象に注目すべきであつ た力、、安全な操作を行ったか否か、危険を適切に認識したか否か等を判断すること ができるから、このような注目度判定処理を行う視聴傾向管理サーバ 100を、機械操 作教育のためのツールとして活用することができる。
[0096] 〔好感'嫌悪感判定処理〕
次に、好感,嫌悪感判定処理について説明する。図 23は、好感,嫌悪感判定処理 を示すフローチャート図である。この処理は、例えば、番組中に表示されたオブジェク トに対する視聴者の好感度または嫌悪感度を算出し、これらの情報を提示するもの である。
[0097] 好感 '嫌悪感判定処理を行うにあたって、図 2において図示しない設定部は、分析 対象の「オブジェクト」を含む領域及びその時間帯を予め設定する(ステップ S2301)
[0098] 視聴傾向分析部 140は、個人属性 ·視聴傾向データベース 103から興味 ·関心度 及び視点位置を読み出し、または、興味 '関心度算出部 130から興味 '関心度及び 視点位置を入力し、分析時間帯において、予め設定された分析対象の「オブジェクト 」を含む領域に視点が滞留して!/、た時間を示す視点一致時区間の興味 ·関心度を設 定する。視点がその領域に滞留していない時間の興味 ·関心度は 0とする。そして、 視聴傾向分析部 140は、視点一致時区間の興味 '関心度から、所定条件を満たす 時間 (興味 ·関心継続時間)を算出し (ステップ S2302)、興味 ·関心継続時間を視聴 傾向情報として情報処理部 150に出力する。ここで、所定条件を満たす時間とは、興 味-関心度が予め設定された閾値以上になった時点から、視点がその領域から外れ た時点までの間の時間をいう。尚、所定の条件を満たす時間は、興味 ·関心度が予 め設定された閾値以上になった時点から、興味 ·関心度が予め設定された閾値以下 になった時点までの間の時間とすることもできる。
[0099] また、情報処理部 150の好感 ·嫌悪感判定処理手段 156は、視聴傾向分析部 140 から分析対象の「オブジェクト」を含む領域における興味 ·関心継続時間の視聴傾向 情報を入力し、予め設定された閾値と比較し、好感及び嫌悪感を判定する(ステップ S2303)。同様にして、同一の「オブジェクト」を分析対象とした複数の領域について 好感及び嫌悪感を判定する。そして、分析対象の総数及び好感であると判定した分 析対象の領域の数に基づいて好感度を算出し、また、分析対象の領域の総数及び 嫌悪感であると判定した分析対象の領域の数に基づレ、て嫌悪感度を算出し、これら の情報を提示情報として出力する (ステップ S2304)。
[0100] 以下、好感 ·嫌悪感判定処理について具体例を挙げて説明する。この好感'嫌悪 感判定処理の例は、動画シーケンスを有するコンテンツに対して、分析対象となるォ ブジェクト (オブジェクトを含む領域)及び時間帯を予め設定し、その設定したォブジ ェクトに対して視聴者が好感をもって!/、たか、または嫌悪感をもって!/、たかを判定し、 好感をもっていたことを判定したオブジェクトの数 (領域の数)から好感度を算出し、ま た、嫌悪感をもっていたと判定したオブジェクトの数 (領域の数)から嫌悪感を算出し 、これらの情報を提示情報として出力するものである。
[0101] 図 2において図示しない設定部は、分析対象の「オブジェクト」を含む領域及びその 時間帯を予め設定する。例えば、図 21に示した興味 ·関心度の推移を示す時間軸に お!/、て、オブジェクト Aが提示されて!/、る時間区間】 1 [Τ , T ]を分析対象の時
AS AE
間帯として設定する。ここで、 T は時間区間 j—1の開始時刻を示し、 T は終了時
AS AE
刻を示す。時間区間 j 1では、オブジェクト Aが全時間に渡って提示されているが、 必ずしも全時間に渡って提示されている必要はなぐ提示されていない時間があって もよく、複数回提示されていてもよい。また、設定部は、図 22に示したオブジェクト A を含む領域を設定する。ここで、オブジェクト Aを含む領域は、
左上座標
Figure imgf000036_0001
右下座標
XAR(t) = (ΤΛκ(ί) , AR(t)) により指定される矩形領域である。
[0102] つまり、好感 ·嫌悪感判定処理手段 156は、コンテンツの時間区間 j— l [T , Τ ]
AS AE
におけるオブジェクト Aの好感及び嫌悪感を判定し、好感であると判定したオブジェ タト Aの数 (領域の数)に基づいて好感度を算出し、嫌悪感であると判定したオブジェ タト Aの数 (領域の数)に基づいて嫌悪感度を提示情報として出力する。
[0103] 個人属性 ·視聴傾向データベース 103には、あるコンテンツに対する興味 '関心度( 例えば、図 21を参照)、視点位置及び同期情報が格納されているものとする。
[0104] 視聴傾向分析部 140は、個人属性 ·視聴傾向データベース 103から興味 ·関心度 、視点位置及び同期情報を読み出し、同期情報により時刻 t (T <t<T )におけ
AS AE
る視点 (視点位置)
E{t) ^ (Ex(t) , Ey (t) ) がオブジェクト Aを含む領域内にあるか否かを、以下の式により判定する。
X (t)≤E (t)≤x (t) , y (t)≤E (t)≤y (t)
AL x A AL y A
ここで、視点がオブジェクト Aを含む領域にあると判定した視点一致時区間を、 T
AS, 1
<t<T ,T <t<T , · · ·, Τ <t<T とする。
AE, 1 AS, 2 AE, 2 AS, n AE, n
[0105] 図 26を参照して、視聴傾向分析部 140は、視点一致時区間における興味 ·関心度 I (t)が閾値 th以上であるか否かを、 I (t)≥th の式により判定し、 T を基準にし
A A AS, 1
て最初に興味 ·関心度 I (t)が閾値 th 以上であると判定した時刻 t を特定する。そ
A A, Is
して、その視点一致時区間の終了時刻 τ を t として、オブジェクト Aを含む領域
AE, 1 A, Ie
における興味 ·関心継続時間 τ を、以下の式により算出する。
A, Ic
T =t t
A, Ic A, Ie A, Is
そして、オブジェクト Aを含む領域における興味 ·関心継続時間 T を視聴傾向情報
A, Ic
として、同期情報と共に個人属性 ·視聴傾向等データベース 103に格納する。また、 オブジェクト Aを含む領域における興味 ·関心継続時間 T を情報処理部 150の好
A, Ic 感'嫌悪感判定処理手段 156に出力する。
[0106] 尚、前述の例では、図 2において図示しない設定部は、分析対象の「オブジェクト」 として画面内の矩形領域の 1箇所を設定するようにした力 画面全体を設定してもよ いし、任意の形状の領域を設定してもよい。また、 1つのオブジェクトでなく複数のォ ブジエ外を含む領域を設定してもよい。この場合、設定部は、設定した領域の形状 をビットマップ情報で保存し(対象領域部分を 1、それ以外を 0として保存し)、視聴傾 向分析部 140は、視点位置のビットマップ情報が 1の場合はその領域内にあると判定 し、 0の場合はその領域内にないと判定する。
[0107] 情報処理部 150の好感 ·嫌悪感判定処理手段 156は、視聴傾向分析部 140また は個人属性'視聴傾向データベース 103からオブジェクト Aを含む領域における興味 •関心継続時間 T を入力し、興味 ·関心継続時間 T と、予め設定されたォブジ
A, Ic A, Ic
ェクト Aの好感閾値 th 及び嫌悪感閾値 th とを比較する。ここで、
A, gooa A, oaa
th ≥th
A, good A, bad
である。そして、
T ≥th
A, Ic A, good
の場合、オブジェクト Aに対して好感を有して!/、ると判定し、
T ≤th
A, Ic A, bad
の場合、オブジェクト Aに対して嫌悪感を有していると判定し、前記 2つの比較式を満 足しな!、場合、好感及び嫌悪感のどちらも有して!、な!、と判定する。
[0108] つまり、興味 ·関心継続時間が好感閾値 (例えば 1秒)以上である場合、すなわち、 視聴者 1がオブジェクト Aに興味を示して!/、て視線をそらさな!/、場合に、オブジェクト Aに対して好感を有していると判定する。一方、興味 ·関心継続時間が嫌悪感閾値( 例えば 0. 3秒)以下である場合、すなわち、オブジェクト Aに対する視聴者 1の情動 はあるが、短時間で視線をそらした場合に、オブジェクト Aに対して嫌悪感を有してい ると判定する。
[0109] このようにして、設定部が画面内で同一のオブジェクト Aについて複数の領域を設 定し、好感'嫌悪感判定処理手段 156が、その領域毎にオブジェクト Aの好感及び嫌 悪感を判定する。そして、好感 '嫌悪感判定処理手段 156は、分析対象に設定され た全領域の数を N、好感であると判定した領域の数を n、嫌悪感であると判定した領 g
域の数を nとすると、好感度 Pg及び嫌悪感度 Pbを以下の式により算出し、これらの b
情報を、オブジェクト Aに対する好感及び嫌悪感の度合!/、を判断するための情報とし て、コンテンツの提供事業者等へ提示する。尚、以下の式では、百分率表示するた めに 100を乗じている。
[数 17] = ] · ' . ( 1 7 )
[数 18]
^ . 10D . · . ( 1 8 )
[0110] 尚、本発明者らは、嫌悪感が生じるオブジェクトを対象とした興味 ·関心度のデータ
、及び好感が生じるオブジェクトを対象とした興味 ·関心度のデータを実験により収集 した。図 27は、実験により収集した興味 ·関心度のデータを示す図である。図 27 (1) (2)において、縦軸は、視聴者 1が注目する(視点位置が存在する)領域及び興味- 関心度を示し、横軸は経過時間を示している。また、図中、実線は視聴者 1が注目す る領域、点線は興味 '関心度をそれぞれ示している。 (1)において、領域 A〜Dには 嫌悪感が生じる異なるオブジェクトが提示されており、 (2)において、領域 A'〜D'に は好感が生じる異なるオブジェクトが提示されている。
[0111] 図 27 (1)によれば、視聴者 1は、嫌悪感が生じる 4つのオブジェクトに対し、領域 B →領域外→領域 A→領域外→領域 A→領域外→領域 Β→· · ·の順番に視点が移動 していること力 Sわ力、る。また、そのときの興味'関心度は徐々に高まるが、注目領域に 長時間留まることなく低下する、または注目領域から視点をそらすという傾向があるこ とがわかる。つまり、興味 ·関心継続時間が嫌悪感閾値以下である場合、すなわち、 オブジェクトに対する視聴者 1の情動はある力 S、短時間で視線をそらした場合に、そ のオブジェクトに対して嫌悪感を有していると判定することができる。
[0112] また、図 27 (2)によれば、視聴者 1は、好感が生じる 4つのオブジェクトに対し、領 域 A '→領域外→領域 B '→領域外→領域 B '→領域外→領域 B '→· · ·の順番に視 点が移動していることがわかる。また、そのときの興味 ·関心度は徐々に高まり、長時 間維持するという傾向があることがわかる。つまり、興味 ·関心継続時間が好感閾値 以上である場合、すなわち、視聴者 1がオブジェクトに興味を示していて視線をそらさ なレ、場合に、オブジェクトに対して好感を有してレ、ると判定できる。
[0113] 以上のように、本発明の実施の形態によれば、好感'嫌悪感判定処理により、好感- 嫌悪感判定処理手段 156が、予め設定された分析対象のオブジェクト及び時間帯に つき、好感及び嫌悪感を判定し、好感と判定したオブジェクトを含む領域の数に基づ いて好感度を算出し、また、嫌悪感と判定したオブジェクトを含む領域の数に基づい て嫌悪感度を算出し、これらの情報を提示するようにした。これにより、コンテンツ提 供事業者等は、データ入力やキー操作等の複雑な操作を行うことなぐ分析対象の オブジェクトを評価するための有用な情報として、好感及び嫌悪感情報を得ることが 可能となる。
[0114] 〔インプレッション評価処理〕
次に、インプレッション評価処理について説明する。図 24は、インプレッション評価 処理を示すフローチャート図である。この処理は、例えば、番組中に表示されたォブ ジェタトに対する視聴者の好感度または嫌悪感度を総合することにより、インプレツシ ヨン度を算出し、この情報を提示するものである。
[0115] 図 24において、インプレッション評価処理のステップ S2401力、らステップ S2404ま での処理は、図 23に示した好感.嫌悪感判定処理のステップ S2301からステップ S2 304までの処理と同じであるので、ここでは説明を省略する。
[0116] 情報処理部 150のインプレッション評価処理手段 157は、好感度及び嫌悪感度に 基づいてインプレッション度を算出し、この情報を提示情報として出力する (ステップ S2405)。具体的には、分析対象として設定された全領域の数を N、好感であると判 定した領域の数を n、嫌悪感であると判定した領域の数を nとすると、インプレツショ
g b
ン度を以下の式により算出し、この情報を、オブジェクトに対する印象度合いを判断 するための情報として、コンテンツの提供事業者等へ提示する。尚、以下の式では、 百分率表示するために 100を乗じている。 [数 19]
P = ¾ ¾ . !oo . . . ( 1 9 )
[0117] 尚、インプレッション評価処理手段 157は、好感であると判定した領域の数 n及び
g 嫌悪感であると判定した領域の数 nをそれぞれ重み付けしてから、インプレッション
b
度を算出するようにしてもよい。また、設定部により設定される分析対象を画面全体と し、分析時間帯を、その画面が閲覧された時点から数秒 (例えば 5〜6秒)までの間と して、インプレッション評価処理手段 157が、その分析対象及び分析時間帯につい てインプレッション度を算出するようにしてもよい。これにより、情動反応に対応したィ ンプレツシヨンを評価することができ、画面全体が短時間に視聴者 1に与える印象を 数ィ直ィ匕すること力できる。
[0118] 以上のように、本発明の実施の形態によれば、インプレッション評価処理により、ィ ンプレツシヨン評価処理手段 157が、予め設定された分析対象のオブジェクト及び時 間帯につき、好感及び嫌悪感を判定し、好感と判定したオブジェクトを含む領域の数 及び嫌悪感と判定したオブジェクトを含む領域の数に基づいてインプレッション度を 算出し、この情報を提示するようにした。これにより、コンテンツ提供事業者等は、デ ータ入力やキー操作等の複雑な操作を行うことなぐ分析対象のオブジェクトを評価 のための有用な情報として、インプレッション情報を得ることが可能となる。
[0119] 〔指定領域ェモーショナル効果処理〕
次に、指定領域ェモーショナル効果処理について説明する。図 25は、指定領域ェ モーショナル効果処理を示すフローチャート図である。この処理は、例えば、番組中 に表示されたオブジェクトに対して急速に引き起こされる一時的な感情度合いを示す ェモーショナル度を、そのオブジェクトに対する好感度及び嫌悪感度並びに視聴者 1 の最終操作に基づいて算出し、この情報を提示するものである。
[0120] 指定領域ェモーショナル効果処理を行うにあたって、図 2において図示しない設定 部は、分析対象の「オブジェクト」を含む領域、その時間帯及び最終操作対象領域を 予め設定する(ステップ S2501)。ここで、最終操作対象領域は、視聴者 1がオブジェ タトに対する応答反応として最終操作 (例えば、ボタン押下、マウス操作、瞬きによる 指示操作等)の入力を行う領域である。
[0121] 視聴傾向分析部 140は、図 23に示した好感 ·嫌悪感判定処理のステップ S2302と 同様に、分析対象の「オブジェクト」を含む領域について、視点一致時区間の興味- 関心度から、興味 ·関心継続時間を算出する (ステップ S2502)。
[0122] また、情報処理部 150の指定領域ェモーショナル効果処理手段 158は、視聴者応 答情報 bである最終操作対象領域における最終操作情報を生理反応 ·視聴者応答 データベースから読み出し、最終操作の有無を判定する(ステップ S2503)。そして、 指定領域ェモーショナル効果処理手段 158は、図 23のステップ S2303及びステツ プ S2304と同様に、興味 ·関心継続時間と予め設定された閾値とを比較して好感を 判定し、好感度を算出する(ステップ S2504,ステップ S2505)。
[0123] また、指定領域ェモーショナル効果処理手段 158は、分析対象として設定された全 領域の数を N、好感であると判定した領域の数を n、最終操作の有無を G (最終操作
g
力 つた場合 1、無力、つた場合 0)、重み付け係数を q (0≤q≤l)とすると、指定領域 ェモーショナル効果度 Mを以下の式により算出し、この情報を、オブジェクトに対して 急速に引き起こされる一時的な感情度合いを判断するための情報として、コンテンツ の提供事業者等へ提示する (ステップ S2506)。尚、以下の式では、百分率表示する ために 100を乗じている。
Figure imgf000042_0001
[0124] 前述の式において、例えば q = 0. 5、最終操作の有無 G = 0 (無し)のとき、指定領 域ェモーショナル効果度 Mは 0≤M≤ 50となり、最終操作の有無 G= l (有り)のとき 、指定領域ェモーショナル効果度 Mは 50≤M≤ 100となる。指定領域ェモーショナ ル効果度 Mの情報の提示を受けたコンテンツ提供事業者等は、この Mの値によって 、以下の状況を認識することができる。
(1) Mが 100に近いときは、視点が期待した経路を通り、最終操作対象領域にて最 終操作が行われ、応答があった。 (2) Mが 50〜70程度のときは、最終操作対象領域にて最終操作が行われ応答があ つたが、視点が期待した経路を通って!/、なレ、。
(3) ^が40〜50程度のときは、視点が期待した経路を通った力 最終操作が行われ て!/、な!/、ため、応答がなレヽ (最終操作に問題がある)。
(4) Mが 0に近いときは、視点が期待した経路を通っておらず、最終操作も行われて いないため、応答がない。
[0125] 以上のように、本発明の実施の形態によれば、指定領域ェモーショナル効果処理 により、指定領域ェモーショナル効果処理手段 158が、予め設定された分析対象の オブジェクト及び時間帯につき好感を判定し、好感と判定したオブジェクトを含む領 域の数及び視聴者 1の最終操作の有無に基づいて指定領域ェモーショナル度を算 出し、この情報を提示するようにした。これにより、コンテンツ提供事業者等は、例え ば、ウェブページにおいて視聴者 1が期待する商品を閲覧し、興味 '関心を示した結 果その商品を購入する等の最終操作を行ったか否かを判定することができる。また、 データ入力やキー操作等の複雑な操作を行うことなぐオブジェクトを評価するため の有用な情報として、オブジェクトに対して急速に引き起こされる一時的な感情度合 V、の情報を得ることが可能となる。
[0126] 以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限 定されるものではなぐその技術思想を逸脱しない範囲で種々変形可能である。例え ば、図 1において、ディスプレイ 11は、通常のブラウン管受像器の他に、プロジェクタ のスクリーン画面パネルや液晶表示パネルであってもよい。また、生理反応計測装置 13に備えたカメラは、 IRライト 14による赤外線カメラであることが好ましいが、これに 限定されるものではない。尚、赤外線カメラの場合は、虹彩に写り込んだ外部映像を 排除した高コントラスト画像を得ることができ、画像処理及びデータ解析を安定かつ 高速に実行することができる点で有効である。
[0127] また、図 1において、視聴者 1から生理反応情報を入力する場合に、例えば、視聴 者 1から 50〜; 100cm離れた位置に視聴者 1の眼球を撮像するためのスタンド等を用 いて生理反応計測装置 13がセットされる。この場合、視聴者 1の頭部の位置を固定 するために、顎台を用いることもあり得る。また、生理反応計測装置 13は、視聴者 1の 顔の位置と眼球の位置とを自動追尾させて、精度高く眼球運動の生理反応情報を得 ることも可倉である。
[0128] また、図 1に示した生理反応計測装置 13について、ヘッドマウント型装置を用いて カメラを視聴者 1の頭部に装着させるようにしてもよい。この場合、視聴する対象を予 め撮影した映像コンテンツとするのではなぐ視聴者 1が視認可能な一般の情景とす るようにしてもよい。その際には、生理反応計測装置 13のカメラとは逆向きに装着さ せる別途のカメラにより視聴者 1の視野角内にある情景を同時に撮影し、その撮影し た映像を、提示した映像コンテンツと同等のものとして処理するようにしてもよい。
[0129] また、図 1において、コンテンツ提示 ·生理反応 ·視聴者応答計測装置 10、視聴傾 向管理サーバ 100及びコンテンツ配信サーバ 105のハードウェアは、パーソナルコン ピュータ(パソコン)クラスのものであってもよい。また、コンテンツ提示 ·生理反応 '視 聴者応答計測装置 10は、大型のディスプレイ 11を備えたデスクトップ型のコンビユー タであってもよいし、カメラを備えた携帯電話機等の携帯情報端末であってもよい。ま た、入力デバイス 12は、マウスだけでなぐボタン、キーボード、タツチパネノレ、リモコ ン、ゲーム機器に付属するコントローラであってもよぐ視聴者 1の操作により視聴者 応答が時系列データとして生成されるものであればよい。
[0130] また、図 1において、生理反応'視聴者応答データベース 101、基準コンテンツ用 データベース 102及び個人属性.視聴傾向等データベース 103は、ネットワーク 104 を介して視聴傾向管理サーバ 100に接続されるようにしてもよい。
[0131] また、図 1及び図 2において、コンテンツ配信サーバ 105が配信するコンテンツは、 映像データ、ウェブページデータ、コンピュータゲームデータ、コンピュータプログラ ムの出力データのうちの少なくとも一つのデータを含む形式のコンテンツであり、ディ スプレイ 11には、文字列、図、記号、絵、写真、動画のうちの少なくとも一つが表示さ れ、視聴者 1に応答させるための情報が表示される。
[0132] また、視聴者 1がコンテンツを視聴している任意の時間において、コンテンツ読出提 示部 110が基準コンテンツ(例えば、全画面黒色及び白色の画面が数秒程度静止 画像になるようなコンテンツ)を視聴者 1へ適宜提示することにより、その生理反応情 報及び視聴者応答に基づいて興味'関心度及び視聴傾向ベクトルを補正するように してもよい。この場合、視聴者 1の瞳孔は、黒画面及び白画面に対しそれぞれ喑順 応及び明順応して、散大及び縮動する。興味 ·関心度算出部 130は、黒画面シーン 及び白画面シーン内で、それぞれ瞳孔径の最大値 Pmax及び最小値 Pminを算出し 、これらの値を興味 '関心度の算出のために使用する((1)式及び(2)式を参照)。こ れにより、瞳孔の縮動及び散大の個人差を吸収した興味 ·関心度を算出することがで きる。したがって、視聴傾向ベクトルを正規化することができ、視聴傾向情報の処理 の精度を向上させることができる。
尚、視聴傾向管理サーバ 100は、 CPU、 RAM等の揮発性の記憶媒体、 ROM等 の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成 される。視聴傾向管理サーバ 100に備えたコンテンツ読出提示部 110、情報取込部 120、興味 '関心度算出部 130、視聴傾向分析部 140及び情報処理部 150の各機 能は、これらの機能を記述したプログラムを CPUに実行させることによりそれぞれ実 現される。また、これらのプログラムは、磁気ディスク(フロッピィ一ディスク、ハードディ スク等)、光ディスク(CD— ROM、 DVD等)、半導体メモリ等の記憶媒体に格納して ¾|布することあでさる。

Claims

請求の範囲
[1] コンテンツを視聴する視聴者の生理反応情報に基づいて、コンテンツに対する興 味 ·関心度を算出する興味 ·関心度算出部と、
前記興味 ·関心度算出部により算出された興味 ·関心度の変化を時間軸上で分析 し、前記視聴者がコンテンツを視聴するときの視聴傾向を表す情報を生成する視聴 傾向分析部と、
前記視聴傾向分析部により生成された視聴傾向情報から提示情報を生成する情 報処理部とを備えたことを特徴とする視聴傾向管理装置。
[2] 請求項 1に記載の視聴傾向管理装置にお!/、て、
前記コンテンツを動画とした場合に、
前記視聴傾向分析部は、予め設定されたそれぞれの時間区間について単位時間 あたりの興味 ·関心度を算出し、各時間区間における単位時間あたりの興味 ·関心度 を要素とした視聴傾向ベクトルを生成し、
前記情報処理部は、視聴傾向分析部により生成された視聴中のコンテンツに対す る視聴傾向ベクトルと、他の視聴者の前記コンテンッに対する予め生成された視聴 傾向ベクトルとを用いて視聴傾向相関度を算出し、この視聴傾向相関度により前記 他の視聴者の中から視聴中の視聴者に類似する視聴者を特定し、前記コンテンツに 関連付けられたコンテンツの中から、前記類似する視聴者の興味'関心度に基づい てコンテンツを特定し、この特定したコンテンツを提示情報として生成することを特徴 とする視聴傾向管理装置。
[3] 請求項 1に記載の視聴傾向管理装置にお!/、て、
前記コンテンツをウェブページとした場合に、
前記視聴傾向分析部は、ウェブページに対して予め設定された分割領域につき、 視聴者の視点位置が含まれる領域を特定し、この特定した領域毎の時間区間につ いて単位時間あたりの興味 ·関心度を算出し、各領域における単位時間あたりの興 味-関心度を要素とした視聴傾向ベクトルを生成し、
前記情報処理部は、視聴傾向分析部により生成された視聴中のコンテンツに対す る視聴傾向ベクトルと、他の視聴者の前記コンテンッに対する予め生成された視聴 傾向ベクトルとを用いて視聴傾向相関度を算出し、この視聴傾向相関度により前記 他の視聴者の中から視聴中の視聴者に類似する視聴者を特定し、前記コンテンツに 関連付けられたコンテンツの中から、前記類似する視聴者の興味'関心度に基づい てコンテンツを特定し、この特定したコンテンツを提示情報として生成することを特徴 とする視聴傾向管理装置。
[4] 請求項 1に記載の視聴傾向管理装置にお!/、て、
前記コンテンツを静止画像とした場合に、
前記視聴傾向分析部は、静止画像に対して予め設定された分割領域につき、視聴 者の視点位置が含まれる領域を特定し、この特定した領域毎の時間区間について単 位時間あたりの興味 ·関心度を算出し、各領域における単位時間あたりの興味 ·関心 度を要素とした視聴傾向ベクトルを生成し、
前記情報処理部は、視聴傾向分析部により生成された視聴中のコンテンツに対す る視聴傾向ベクトルと、他の視聴者の前記コンテンッに対する予め生成された視聴 傾向ベクトルとを用いて視聴傾向相関度を算出し、この視聴傾向相関度により前記 他の視聴者の中から視聴中の視聴者に類似する視聴者を特定し、前記コンテンツに 関連付けられたコンテンツの中から、前記類似する視聴者の興味'関心度に基づい てコンテンツを特定し、この特定したコンテンツを提示情報として生成することを特徴 とする視聴傾向管理装置。
[5] 請求項 2、 3または 4に記載の視聴傾向管理装置において、
前記情報処理部は、予め設定された視聴者の属性を表す情報を用いて、視聴中 の視聴者に類似する属性を有する視聴者の候補を選択し、前記視聴傾向分析部に より生成された視聴中のコンテンツに対する視聴傾向ベクトルと、前記選択した視聴 者の前記コンテンツに対する予め生成された視聴傾向ベクトルとを用いて視聴傾向 相関度を算出し、この視聴傾向相関度により前記選択した視聴者の中から視聴中の 視聴者に類似する視聴者を特定し、前記コンテンツに類似する予め設定されたコン テンッの中から、前記類似する視聴者の興味 ·関心度に基づいてコンテンツを特定し 、この特定したコンテンツを提示情報として生成することを特徴とする視聴傾向管理 装置。
[6] 請求項 1に記載の視聴傾向管理装置にお!/、て、
前記視聴傾向分析部は、コンテンツの画像に対して予め設定された分割領域につ いて、各領域における単位時間あたりの興味 ·関心度を要素とした視聴傾向べクトノレ を生成し、前記情報処理部は、視聴傾向分析部により生成された視聴傾向ベクトル の各要素のうち、興味'関心度の高い要素の領域を特定し、この特定した領域に含ま れるオブジェクトにつ!/、て、そのオブジェクトに関する情報を提示情報として生成する ことを特徴とする視聴傾向管理装置。
[7] 請求項 6に記載の視聴傾向管理装置において、
前記情報処理部は、さらに、前記オブジェクトに関する提示情報を視聴者へ提示し 、該視聴者による提示情報に対する興味 ·関心度に基づ!/、て注目の有無を判定し、 判定結果に関する情報を出力することを特徴とする視聴傾向管理装置。
[8] 請求項 1に記載の視聴傾向管理装置にお!/、て、
前記視聴傾向分析部は、第 2のシーンと第 1のシーンとが連続して提示される場合 の、前記第 2のシーンに対する単位時間あたりの興味 ·関心度、及び、前記第 1のシ ーンに対する単位時間あたりの興味 ·関心度、並びに、第 1のシーンのみが単独で提 示される場合の単位時間あたりの興味'関心度を算出し、
前記情報処理部は、視聴傾向分析部により算出されたそれぞれの興味 ·関心度に 基づいて、第 2のシーンが第 1のシーンの視聴傾向に与える影響度を算出し、この算 出した影響度を提示情報として生成することを特徴とする視聴傾向管理装置。
[9] 請求項 1に記載の視聴傾向管理装置にお!/、て、
前記視聴傾向分析部は、興味 '関心度算出部により算出された興味 '関心度を用 いて、予め設定された複数の視聴者及び画面領域に対する興味 ·関心度を設定し、 前記画面領域における予め設定された時間区間について前記視聴者毎に、単位時 間あたりの興味 ·関心度を算出し、
前記情報処理部は、前記画面領域について、視聴傾向分析部により算出された単 位時間あたりの興味'関心度が、予め設定された閾値を超える視聴者の割合を算出 し、該割合値に基づ!/、て視聴者へ提示する切替用のコンテンツを決定することを特 徴とする視聴傾向管理装置。
[10] 請求項 1に記載の視聴傾向管理装置にお!/、て、
前記視聴傾向分析部は、興味 '関心度算出部により算出された興味 '関心度を用 いて、予め設定された画面領域及び時間区間についての興味 ·関心度を算出し、 前記情報処理部は、視聴傾向分析部により算出された興味 ·関心度に基づいて前 記画面領域に注目していたと判定したとき、または、視聴中のコンテンツに対する意 思表示を示す視聴者応答の入力があつたときに、視聴者が前記画面領域に注目し ていたことを示す情報を提示情報として生成することを特徴とする視聴傾向管理装置
[11] 請求項 10に記載の視聴傾向管理装置において、
前記興味 ·関心度算出部は、予め設定された複数の視聴者毎に興味 '関心度を算 出し、
前記視聴傾向分析部は、興味 '関心度算出部により算出された興味 '関心度を用 いて、前記画面領域及び時間区間についての興味 ·関心度を、前記視聴者毎にそ れぞれ算出し、
前記情報処理部は、前記複数の視聴者の中で、前記視聴傾向分析部により算出さ れた興味 ·関心度に基づ!/、て前記画面領域に注目して!/、たと判定した視聴者の数 の割合、前記画面領域に注目していたと判定した視聴者の視点が前記画面領域に 滞留してレ、た時間長、前記画面領域に注目して!/、たと判定した全ての視聴者におけ る、前記視聴傾向分析部により算出された興味 '関心度の平均、分散、標準偏差、最 大値及び最小値を含む統計情報のうちの少なくとも一つを提示情報として生成する ことを特徴とする視聴傾向管理装置。
[12] 請求項 10に記載の視聴傾向管理装置におレ、て、
前記情報処理部は、さらに、予め設定された画面領域の数に対する、前記注目し てレ、た画面領域の数の割合を注目率として算出することを特徴とする視聴傾向管理 装置。
[13] 請求項 10に記載の視聴傾向管理装置にお!/、て、
前記情報処理部は、さらに、前記視聴者応答の入力があった時刻及び予め設定さ れた時間区間における開始時刻に基づいて応答時間を算出することを特徴とする視 聴傾向管理装置。
[14] 請求項 10に記載の視聴傾向管理装置において、
前記視聴者が視聴するコンテンツは、所定の運転状態を撮影したコンテンツとし、 前記情報処理部は、視聴傾向分析部により算出された興味 ·関心度に基づいて前 記画面領域に注目していたか否かを判定し、視聴中のコンテンツに対する意思表示 を示す視聴者応答の入力があつたか否力、を判定し、前記視聴者応答の入力があつ た時刻及び予め設定された時間区間における開始時刻に基づいて応答時間を算出 し、前記視聴者応答の入力及び応答時間に基づいて、前記運転状態に対する視聴 者応答の操作が妥当であつたか否力、を判定して前記視聴者の習熟度を算出すること を特徴とする視聴傾向管理装置。
[15] 請求項 1に記載の視聴傾向管理装置にお!/、て、
前記視聴傾向分析部は、興味 '関心度算出部により算出された興味 '関心度を用
V、て、予め設定された画面領域に対し興味 ·関心を維持して!/、た興味 ·関心継続時 間を算出し、
前記情報処理部は、視聴傾向分析部により算出された興味 ·関心継続時間に基づ いて、好感または嫌悪感を判定し、この好感または嫌悪感の情報を提示情報として 生成することを特徴とする視聴傾向管理装置。
[16] 請求項 15に記載の視聴傾向管理装置において、
前記視聴傾向分析部は、予め設定された閾値に興味 ·関心度が到達した時点から 、視聴者の視点が前記画面領域から外れた時点までの間の時間を、興味 ·関心継続 時間として算出し、
前記情報処理部は、好感または嫌悪感の判定を、興味,関心継続時間と予め設定 された閾値とを比較して前記画面領域毎に行い、前記予め設定された画面領域の 数と、好感または嫌悪感を判定された画面領域の数とに基づいて、それぞれ好感度 または嫌悪感度を算出することを特徴とする視聴傾向管理装置。
[17] 請求項 1に記載の視聴傾向管理装置にお!/、て、
前記視聴傾向分析部は、興味 '関心度算出部により算出された興味 '関心度を用
V、て、予め設定された画面領域に対し興味 ·関心を維持して!/、た興味 ·関心継続時 間を算出し、
前記情報処理部は、視聴傾向分析部により算出された興味 ·関心継続時間に基づ いて、前記画面領域毎に好感及び嫌悪感を判定し、前記予め設定された画面領域 の数と好感を判定された画面領域の数とに基づいて好感度を算出し、前記予め設定 された画面領域の数と嫌悪感を判定された画面領域の数とに基づいて嫌悪感度を 算出し、前記好感度及び嫌悪感に基づいて、視聴者の印象度合いを示すインプレツ シヨン度を算出し、この算出したインプレッション度を提示情報として生成することを特 徴とする視聴傾向管理装置。
[18] 請求項 1に記載の視聴傾向管理装置にお!/、て、
前記視聴傾向分析部は、興味 '関心度算出部により算出された興味 '関心度を用 V、て、予め設定された画面領域に対し興味 ·関心を維持して!/、た興味 ·関心継続時 間を算出し、
前記情報処理部は、視聴傾向分析部により算出された興味 ·関心継続時間に基づ いて、前記画面領域毎に好感を判定し、前記予め設定された画面領域の数と好感を 判定された画面領域の数とに基づ!/、て好感度を算出し、前記好感度及び前記画面 領域の表示に対する視聴者による操作の有無に基づいて、視聴者の情動度合いを 示すェモーショナル度を算出し、この算出したェモーショナル度を提示情報として生 成することを特徴とする視聴傾向管理装置。
[19] 請求項 1に記載の視聴傾向管理装置にお!/、て、
前記興味'関心度算出部は、基準コンテンツに対する生理反応情報に基づいて、 視聴者が視聴するコンテンツに対する興味'関心度を補正することを特徴とする視聴 傾向管理装置。
[20] 視聴者により要求されたコンテンツを配信するコンテンツ配信装置、
前記配信されたコンテンツを受信して表示器に表示する端末装置、
視聴者の生理反応を計測する生理反応計測装置、及び、
前記表示器に表示されたコンテンツを視聴する視聴者の生理反応情報を前記生 理反応計測装置から得て、視聴傾向を分析し、提示情報を生成する視聴傾向管理 装置が通信ネットワークによりそれぞれ接続される視聴傾向管理システムであって、 前記コンテンツ配信装置が、
複数のコンテンツが蓄積されたコンテンツデータベースから、視聴者の要求に従つ たコンテンツを読み出し、前記端末装置へ配信する配信部を備え、
前記端末装置が、
視聴者が表示器に表示されたコンテンツを視聴したときの生理反応情報を計測す る生理反応計測装置から前記生理反応情報を入力し、前記視聴傾向管理装置へ送 信する送信部を備え、
前記視聴傾向管理装置が、
端末装置から送信された生理反応情報を受信し、この生理反応情報に基づいて、 コンテンツに対する興味 ·関心度を算出する興味 ·関心度算出部と、
前記興味 ·関心度算出部により算出された興味 ·関心度の変化を時間軸上で分析 し、前記視聴者がコンテンツを視聴するときの視聴傾向を表す情報を生成する視聴 傾向分析部と、
前記視聴傾向分析部により生成された視聴傾向情報から提示情報を生成する情 報処理部とを備えたことを特徴とする視聴傾向管理システム。
コンテンツを視聴して!/、る視聴者の応答を入力する装置により、前記視聴者の視聴 傾向を管理するプログラムであって、前記装置を構成するコンピュータに、
コンテンツを視聴する視聴者の生理反応情報に基づ!/、て、コンテンツに対する興 味 '関心度を算出する処置と、
前記算出した興味'関心度の変化を時間軸上で分析し、前記視聴者がコンテンツ を視聴するときの視聴傾向を表す情報を生成する処理と、
前記生成した視聴傾向情報から提示情報を生成する処理とを実行させるプロダラ ム。
PCT/JP2007/074156 2006-12-15 2007-12-14 視聴傾向管理装置、システム及びプログラム WO2008072739A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008549381A JP4865811B2 (ja) 2006-12-15 2007-12-14 視聴傾向管理装置、システム及びプログラム

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2006-339135 2006-12-15
JP2006339135 2006-12-15
JP2007053311 2007-03-02
JP2007-053311 2007-03-02
JP2007-217904 2007-08-24
JP2007217904 2007-08-24

Publications (1)

Publication Number Publication Date
WO2008072739A1 true WO2008072739A1 (ja) 2008-06-19

Family

ID=39511752

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/074156 WO2008072739A1 (ja) 2006-12-15 2007-12-14 視聴傾向管理装置、システム及びプログラム

Country Status (2)

Country Link
JP (1) JP4865811B2 (ja)
WO (1) WO2008072739A1 (ja)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010094493A (ja) * 2008-09-22 2010-04-30 Koichi Kikuchi 視認情景に対する視認者情感判定装置
JP2011053834A (ja) * 2009-08-31 2011-03-17 Sony Corp 情報処理装置及び情報処理方法
JP2011129997A (ja) * 2009-12-15 2011-06-30 Victor Co Of Japan Ltd ユーザ情報処理プログラム、再生プログラム、ユーザ情報処理装置、再生装置、ユーザ情報処理方法、及び、再生方法
JP2011166572A (ja) * 2010-02-12 2011-08-25 Nec Personal Products Co Ltd 番組嗜好推定装置、画像視聴システム、番組視聴確認方法、及びプログラム
JP2012015917A (ja) * 2010-07-02 2012-01-19 Sharp Corp コンテンツ視聴システム、コンテンツ推薦方法およびコンテンツ表示装置
US8266093B2 (en) 2008-10-14 2012-09-11 Samsung Electronics Co., Ltd. Data processing apparatus and method for constructing interactive contents and recording media
JP2012524458A (ja) * 2009-04-19 2012-10-11 インナースコープ リサーチ, インコーポレイテッド 対話的活動に関するユーザ体験を測定するための方法及びシステム
JP2012221403A (ja) * 2011-04-13 2012-11-12 Fujitsu Ten Ltd 情報配信装置、方法およびプログラム
JP2012532366A (ja) * 2009-06-30 2012-12-13 イーストマン コダック カンパニー 閲覧者の要因および反応に応じた画像表示制御を行う方法および装置
JP2013016903A (ja) * 2011-06-30 2013-01-24 Toshiba Corp 情報処理装置及び情報処理方法
JP2013037506A (ja) * 2011-08-08 2013-02-21 Dainippon Printing Co Ltd アンケートシステム
WO2013118198A1 (ja) * 2012-02-09 2013-08-15 パナソニック株式会社 お薦めコンテンツ提供装置、お薦めコンテンツ提供プログラムおよびお薦めコンテンツ提供方法
JP2015191551A (ja) * 2014-03-28 2015-11-02 株式会社ニコン 電子機器
US9514436B2 (en) 2006-09-05 2016-12-06 The Nielsen Company (Us), Llc Method and system for predicting audience viewing behavior
US9514439B2 (en) 2006-09-05 2016-12-06 The Nielsen Company (Us), Llc Method and system for determining audience response to a sensory stimulus
JP2016213667A (ja) * 2015-05-08 2016-12-15 日本放送協会 感覚提示装置
JP2017068547A (ja) * 2015-09-30 2017-04-06 大日本印刷株式会社 情報提供装置、プログラム及び情報提供方法
KR101741352B1 (ko) * 2013-03-15 2017-05-29 제너럴 인스트루먼트 코포레이션 데이터 및 오디오/비디오 콘텐츠의 전달을 제어하는 관심도 평가
US10987015B2 (en) 2009-08-24 2021-04-27 Nielsen Consumer Llc Dry electrodes for electroencephalography
WO2021112010A1 (ja) * 2019-12-05 2021-06-10 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム
US11049134B2 (en) 2007-05-16 2021-06-29 Nielsen Consumer Llc Neuro-physiology and neuro-behavioral based stimulus targeting system
JP6934233B1 (ja) * 2020-09-07 2021-09-15 株式会社Shift プログラム、情報処理装置、及び方法
US11170400B2 (en) 2009-10-29 2021-11-09 Nielsen Consumer Llc Analysis of controlled and automatic attention for introduction of stimulus material
CN113760098A (zh) * 2021-09-18 2021-12-07 陕西师范大学 基于时间积分的关注度有效量化方法及系统
US11200964B2 (en) 2010-04-19 2021-12-14 Nielsen Consumer Llc Short imagery task (SIT) research method
JP7011860B1 (ja) 2020-10-14 2022-01-27 株式会社Theater Guild プログラム、端末装置及び方法
US11244345B2 (en) 2007-07-30 2022-02-08 Nielsen Consumer Llc Neuro-response stimulus and stimulus attribute resonance estimator
US11250465B2 (en) 2007-03-29 2022-02-15 Nielsen Consumer Llc Analysis of marketing and entertainment effectiveness using central nervous system, autonomic nervous sytem, and effector data
WO2022163204A1 (ja) * 2021-01-29 2022-08-04 株式会社Nttドコモ 情報処理装置
US11481788B2 (en) 2009-10-29 2022-10-25 Nielsen Consumer Llc Generating ratings predictions using neuro-response data
US11488198B2 (en) 2007-08-28 2022-11-01 Nielsen Consumer Llc Stimulus placement system using subject neuro-response measurements
WO2023095456A1 (ja) * 2021-11-29 2023-06-01 株式会社Nttドコモ レコメンド装置
US11704681B2 (en) 2009-03-24 2023-07-18 Nielsen Consumer Llc Neurological profiles for market matching and stimulus presentation

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102285172B1 (ko) * 2018-11-26 2021-08-02 주식회사 케이티알파 Tv 광고 영상을 실시간으로 분석하여 매칭되는 tv 앱을 호출하는 티커머스 경험 제공 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114846A (ja) * 1995-10-16 1997-05-02 Fujitsu Ltd ブラウジング表示方法および画像表示システム
JP2002092023A (ja) * 2000-09-14 2002-03-29 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置および方法と情報提供プログラムを記録した記録媒体
JP2002183212A (ja) * 2000-12-19 2002-06-28 Fuji Xerox Co Ltd 電子文書加工システム、電子文書加工方法、及び、コンピュータ読取り可能な記録媒体
JP2003250146A (ja) * 2001-12-21 2003-09-05 Nippon Telegr & Teleph Corp <Ntt> 番組選択支援情報提供サービスシステムとサーバ装置および端末装置ならびに番組選択支援情報提供方法とプログラムおよび記録媒体
JP2005182603A (ja) * 2003-12-22 2005-07-07 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114846A (ja) * 1995-10-16 1997-05-02 Fujitsu Ltd ブラウジング表示方法および画像表示システム
JP2002092023A (ja) * 2000-09-14 2002-03-29 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置および方法と情報提供プログラムを記録した記録媒体
JP2002183212A (ja) * 2000-12-19 2002-06-28 Fuji Xerox Co Ltd 電子文書加工システム、電子文書加工方法、及び、コンピュータ読取り可能な記録媒体
JP2003250146A (ja) * 2001-12-21 2003-09-05 Nippon Telegr & Teleph Corp <Ntt> 番組選択支援情報提供サービスシステムとサーバ装置および端末装置ならびに番組選択支援情報提供方法とプログラムおよび記録媒体
JP2005182603A (ja) * 2003-12-22 2005-07-07 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514436B2 (en) 2006-09-05 2016-12-06 The Nielsen Company (Us), Llc Method and system for predicting audience viewing behavior
US10839350B2 (en) 2006-09-05 2020-11-17 The Nielsen Company (Us), Llc Method and system for predicting audience viewing behavior
US10198713B2 (en) 2006-09-05 2019-02-05 The Nielsen Company (Us), Llc Method and system for predicting audience viewing behavior
US9514439B2 (en) 2006-09-05 2016-12-06 The Nielsen Company (Us), Llc Method and system for determining audience response to a sensory stimulus
US11790393B2 (en) 2007-03-29 2023-10-17 Nielsen Consumer Llc Analysis of marketing and entertainment effectiveness using central nervous system, autonomic nervous system, and effector data
US11250465B2 (en) 2007-03-29 2022-02-15 Nielsen Consumer Llc Analysis of marketing and entertainment effectiveness using central nervous system, autonomic nervous sytem, and effector data
US11049134B2 (en) 2007-05-16 2021-06-29 Nielsen Consumer Llc Neuro-physiology and neuro-behavioral based stimulus targeting system
US11244345B2 (en) 2007-07-30 2022-02-08 Nielsen Consumer Llc Neuro-response stimulus and stimulus attribute resonance estimator
US11763340B2 (en) 2007-07-30 2023-09-19 Nielsen Consumer Llc Neuro-response stimulus and stimulus attribute resonance estimator
US11488198B2 (en) 2007-08-28 2022-11-01 Nielsen Consumer Llc Stimulus placement system using subject neuro-response measurements
JP2010094493A (ja) * 2008-09-22 2010-04-30 Koichi Kikuchi 視認情景に対する視認者情感判定装置
US8266093B2 (en) 2008-10-14 2012-09-11 Samsung Electronics Co., Ltd. Data processing apparatus and method for constructing interactive contents and recording media
US11704681B2 (en) 2009-03-24 2023-07-18 Nielsen Consumer Llc Neurological profiles for market matching and stimulus presentation
JP2012524458A (ja) * 2009-04-19 2012-10-11 インナースコープ リサーチ, インコーポレイテッド 対話的活動に関するユーザ体験を測定するための方法及びシステム
JP2012532366A (ja) * 2009-06-30 2012-12-13 イーストマン コダック カンパニー 閲覧者の要因および反応に応じた画像表示制御を行う方法および装置
US10987015B2 (en) 2009-08-24 2021-04-27 Nielsen Consumer Llc Dry electrodes for electroencephalography
JP2011053834A (ja) * 2009-08-31 2011-03-17 Sony Corp 情報処理装置及び情報処理方法
US11170400B2 (en) 2009-10-29 2021-11-09 Nielsen Consumer Llc Analysis of controlled and automatic attention for introduction of stimulus material
US11481788B2 (en) 2009-10-29 2022-10-25 Nielsen Consumer Llc Generating ratings predictions using neuro-response data
US11669858B2 (en) 2009-10-29 2023-06-06 Nielsen Consumer Llc Analysis of controlled and automatic attention for introduction of stimulus material
JP2011129997A (ja) * 2009-12-15 2011-06-30 Victor Co Of Japan Ltd ユーザ情報処理プログラム、再生プログラム、ユーザ情報処理装置、再生装置、ユーザ情報処理方法、及び、再生方法
JP2011166572A (ja) * 2010-02-12 2011-08-25 Nec Personal Products Co Ltd 番組嗜好推定装置、画像視聴システム、番組視聴確認方法、及びプログラム
US11200964B2 (en) 2010-04-19 2021-12-14 Nielsen Consumer Llc Short imagery task (SIT) research method
JP2012015917A (ja) * 2010-07-02 2012-01-19 Sharp Corp コンテンツ視聴システム、コンテンツ推薦方法およびコンテンツ表示装置
JP2012221403A (ja) * 2011-04-13 2012-11-12 Fujitsu Ten Ltd 情報配信装置、方法およびプログラム
JP2013016903A (ja) * 2011-06-30 2013-01-24 Toshiba Corp 情報処理装置及び情報処理方法
JP2013037506A (ja) * 2011-08-08 2013-02-21 Dainippon Printing Co Ltd アンケートシステム
JP5285196B1 (ja) * 2012-02-09 2013-09-11 パナソニック株式会社 お薦めコンテンツ提供装置、お薦めコンテンツ提供プログラムおよびお薦めコンテンツ提供方法
WO2013118198A1 (ja) * 2012-02-09 2013-08-15 パナソニック株式会社 お薦めコンテンツ提供装置、お薦めコンテンツ提供プログラムおよびお薦めコンテンツ提供方法
KR101741352B1 (ko) * 2013-03-15 2017-05-29 제너럴 인스트루먼트 코포레이션 데이터 및 오디오/비디오 콘텐츠의 전달을 제어하는 관심도 평가
US9729920B2 (en) 2013-03-15 2017-08-08 Arris Enterprises, Inc. Attention estimation to control the delivery of data and audio/video content
JP2015191551A (ja) * 2014-03-28 2015-11-02 株式会社ニコン 電子機器
JP2016213667A (ja) * 2015-05-08 2016-12-15 日本放送協会 感覚提示装置
JP2017068547A (ja) * 2015-09-30 2017-04-06 大日本印刷株式会社 情報提供装置、プログラム及び情報提供方法
WO2021112010A1 (ja) * 2019-12-05 2021-06-10 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム
JP2022044429A (ja) * 2020-09-07 2022-03-17 株式会社Shift プログラム、情報処理装置、及び方法
JP6934233B1 (ja) * 2020-09-07 2021-09-15 株式会社Shift プログラム、情報処理装置、及び方法
WO2022079966A1 (ja) * 2020-10-14 2022-04-21 株式会社Theater Guild プログラム、端末装置及び方法
JP2022064363A (ja) * 2020-10-14 2022-04-26 株式会社Theater Guild プログラム、端末装置及び方法
JP7011860B1 (ja) 2020-10-14 2022-01-27 株式会社Theater Guild プログラム、端末装置及び方法
WO2022163204A1 (ja) * 2021-01-29 2022-08-04 株式会社Nttドコモ 情報処理装置
CN113760098A (zh) * 2021-09-18 2021-12-07 陕西师范大学 基于时间积分的关注度有效量化方法及系统
WO2023095456A1 (ja) * 2021-11-29 2023-06-01 株式会社Nttドコモ レコメンド装置

Also Published As

Publication number Publication date
JPWO2008072739A1 (ja) 2010-04-02
JP4865811B2 (ja) 2012-02-01

Similar Documents

Publication Publication Date Title
WO2008072739A1 (ja) 視聴傾向管理装置、システム及びプログラム
WO2015056742A1 (ja) 視認対象効果度測定装置
CN103760968B (zh) 数字标牌显示内容选择方法和装置
US7643658B2 (en) Display arrangement including face detection
JP5869558B2 (ja) 表示制御装置、集積回路、表示制御方法およびプログラム
US8510156B2 (en) Viewing terminal apparatus, viewing statistics-gathering apparatus, viewing statistics-processing system, and viewing statistics-processing method
US9106958B2 (en) Video recommendation based on affect
JP6282769B2 (ja) エンゲージメント値処理システム及びエンゲージメント値処理装置
CN106557937B (zh) 广告推送方法和装置
US20130151333A1 (en) Affect based evaluation of advertisement effectiveness
US11481791B2 (en) Method and apparatus for immediate prediction of performance of media content
Navarathna et al. Predicting movie ratings from audience behaviors
US20130102854A1 (en) Mental state evaluation learning for advertising
US20140325540A1 (en) Media synchronized advertising overlay
KR101790656B1 (ko) 광고시청자 시선추적에 의한 디지털 사이니지 광고시청 분석장치 및 그 방법
US20140058828A1 (en) Optimizing media based on mental state analysis
US20110167445A1 (en) Audiovisual content channelization system
KR20160103557A (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
US20130018735A1 (en) System and Method for interaction specific advertising media distribution
KR101947079B1 (ko) 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템 및 방법
JP6150780B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5940105B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017182527A (ja) 情報処理システム
KR102428955B1 (ko) 딥 러닝을 이용한 인공지능 기반 3d 디스플레이 광고 영상 제공방법 및 시스템
JP2014060642A (ja) 表示装置及び表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07859830

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008549381

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112 (1) EPC, EPO FORM 1205A DATED 24-09-2009

122 Ep: pct application non-entry in european phase

Ref document number: 07859830

Country of ref document: EP

Kind code of ref document: A1