WO2019073661A1 - 情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システム - Google Patents

情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システム Download PDF

Info

Publication number
WO2019073661A1
WO2019073661A1 PCT/JP2018/028439 JP2018028439W WO2019073661A1 WO 2019073661 A1 WO2019073661 A1 WO 2019073661A1 JP 2018028439 W JP2018028439 W JP 2018028439W WO 2019073661 A1 WO2019073661 A1 WO 2019073661A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
reaction
unit
emotion
Prior art date
Application number
PCT/JP2018/028439
Other languages
English (en)
French (fr)
Inventor
至 清水
允 小池
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2019547920A priority Critical patent/JP7234930B2/ja
Priority to CN201880049224.8A priority patent/CN110959166B/zh
Priority to US16/629,343 priority patent/US20210158228A1/en
Publication of WO2019073661A1 publication Critical patent/WO2019073661A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles

Definitions

  • the present disclosure relates to an information processing device, an information processing method, an information processing system, a display device, and a reservation system.
  • Patent Document 1 There has been proposed a device for photographing an attendee who has participated in an event, analyzing the result, and performing an evaluation on the event (see, for example, Patent Document 1 below).
  • the present disclosure has an object to provide an information processing apparatus or the like that uses reaction information indicating reaction of a user to predetermined presentation information when the user approves the reaction information.
  • the present disclosure is, for example, It is an information processing apparatus having a reaction information using unit that uses reaction information indicating a reaction of a user to presentation information when usage of the reaction information is permitted.
  • the reaction information using unit uses reaction information indicating a reaction of the user to the presentation information when use of the reaction information is permitted.
  • the present disclosure is, for example, A reaction information acquisition unit that acquires reaction information indicating a reaction of the user to the presentation information;
  • This information processing system has a reaction information using unit that uses reaction information when the use of reaction information is permitted.
  • the present disclosure is, for example, In the series of reservation processing for reserving a seat indicated by the seat information, whether to permit the use of the seat information at the time of watching the given presentation information and the reaction information indicating the reaction of the user at the time of watching the presentation information
  • It is a display apparatus which has a display control part which performs control which displays the input screen of no, and the information for promoting permission on a display part.
  • the present disclosure includes, for example, the display device described above and an information processing device connected to the display device.
  • the information processing apparatus is a reservation system including a reservation information management unit that manages permission information indicating presence or absence of permission output from the display device in association with reserved seat information.
  • FIG. 1 is a block diagram showing an exemplary configuration of an information processing system according to an embodiment.
  • FIG. 2 is a flowchart showing the flow of processing in the information processing system according to one embodiment.
  • FIG. 3 is a flowchart showing a flow of reservation processing according to an embodiment.
  • FIG. 4 is a diagram showing an example of a screen in a reservation process according to an embodiment.
  • FIG. 5 is a diagram showing an example of a screen in a reservation process according to an embodiment.
  • FIG. 6 is a diagram showing an example of a screen in the reservation process according to an embodiment.
  • FIG. 7 is a diagram showing an example of a screen in the reservation process according to an embodiment.
  • FIG. 8 is a diagram showing an example of a screen in the reservation process according to an embodiment.
  • FIG. 1 is a block diagram showing an exemplary configuration of an information processing system according to an embodiment.
  • FIG. 2 is a flowchart showing the flow of processing in the information processing system according to one embodiment.
  • FIG. 9 is a diagram showing an example of a screen in the reservation process according to an embodiment.
  • FIG. 10A and FIG. 10B are diagrams for explaining an example of arrangement of camera modules according to one embodiment.
  • FIG. 11 is a view for explaining another arrangement example of the camera module according to the embodiment.
  • 12A and 12B are diagrams for explaining setting examples of a camera module according to an embodiment.
  • FIG. 13 is a view for explaining an arrangement example of the biological sensor according to an embodiment.
  • 14A to 14C are diagrams for explaining a plurality of examples of the emotion estimation method by the emotion estimation unit according to an embodiment.
  • FIG. 15 is a diagram showing an example of emotion information.
  • FIG. 16 is a flowchart showing the flow of processing performed after viewing a movie.
  • FIG. 16 is a flowchart showing the flow of processing performed after viewing a movie.
  • FIG. 17 is a diagram for describing a process of generating service information according to an embodiment.
  • 18A to 18C are diagrams for explaining a plurality of examples of service information.
  • FIG. 19 is a diagram for explaining another example of the service information.
  • FIG. 20A and FIG. 20B are diagrams for explaining another example of service information.
  • FIG. 21 is a diagram for explaining a modification.
  • Presentation information refers to information presented to a user and viewed, watched, watched by the user, and the like. In the present embodiment, the presentation information will be described more specifically by taking a movie as an example.
  • Sensor information refers to information (data) obtained by a sensor device such as a camera module or a biological sensor.
  • reaction information refers to information indicating the reaction of the user to the presentation information, and specifically refers to information obtained by analyzing sensor information. In the present embodiment, information corresponding to emotion is used as the response information. Therefore, "response information” may be referred to as "emotional information”.
  • response information is a concept that is broader than “emotional information”, including not only emotion but also the presence or absence of a response and a change in the state of the user.
  • “License information” refers to information indicating the presence or absence of a license for the use of “reaction information”.
  • Service information refers to information presented to a user who has authorized the use of "reaction information”.
  • FIG. 1 shows a configuration example of an information processing system (an information processing system 100) according to the present embodiment.
  • the information processing system 100 includes, for example, a reservation terminal 1, a server 2 which is an example of an information processing apparatus, and a reaction information acquisition apparatus 3.
  • a reservation system is configured by the reservation terminal 1 and the server 2.
  • the reservation terminal 1 may be a terminal installed in a public place or store, or may be a personal computer, a smartphone, a tablet computer, or the like that the user U has. In the present embodiment, the reservation terminal 1 will be described by way of an example of a smartphone that the user U has.
  • the reservation terminal 1 which is an example of a display device, includes, for example, a reservation terminal control unit 11, which is an example of a display control unit, a display unit 12, and a communication unit 13.
  • the reservation terminal control unit 11 is configured of, for example, a CPU (Central Processing Unit), and controls each unit of the reservation terminal 1.
  • the display unit 12 is configured of an LCD (Liquid Crystal Display), an organic EL (Electro Luminescence) panel, or the like.
  • the display unit 12 according to the present embodiment is configured as a touch screen that can receive an operation input to the display unit 12.
  • the communication unit 13 communicates with the server 2 or the like via the Internet or the like.
  • the reservation terminal 1 may have a known configuration other than the above-described configuration.
  • the server 2 includes, for example, a server control unit 21, a reservation information management unit 22, a service information generation unit 23 which is an example of a reaction information use unit, and a communication unit 24.
  • the server control unit 21 includes, for example, a CPU, and controls each unit of the server 2.
  • the reservation information management unit 22 is a storage unit or the like that manages reservation information based on the information input to the reservation terminal 1.
  • the reservation information management unit 22 manages, for example, the ID of the user U, the attribute information of the user U, the seat information indicating the seat reserved by the user U, and the permission information.
  • the attribute information of the user U is information indicating the attribute of the user U, and is, for example, the gender, nationality, residence area, race, age or the like of the user U.
  • the attribute information of the user U may be input at the time of reservation of the seat, or may be previously registered before the reservation.
  • the reaction information according to the present embodiment is information indicating a reaction of the user U to a movie, and more specifically, is an emotion of the user U at the time of watching a movie.
  • Emotion is a concept that includes mental states such as sleepiness, sympathy, relaxation, excitement and concentration, as well as emotions.
  • Feelings are not limited to those directly detected as sensor information, but may be estimated based on the sensor information.
  • Russell's emotion ring model is known as a model in which a plurality of emotions are mapped.
  • Russell's emotional ring model estimates various emotions based on two indicators: comfort and arousal. Emotions may be segmented according to such an emotion estimation model.
  • the service information generation unit 23 generates service information to be provided to the user U who has licensed the use of the reaction information.
  • the service information is generated based on the reaction information of the user U. Details of the service information will be described later.
  • the user U who has authorized the use of the response information can obtain service information, for example, while watching or watching a movie.
  • the communication unit 24 communicates with the reservation terminal 1 and the reaction information acquisition device 3 via the Internet or the like.
  • the reaction information acquisition device 3 includes a control unit 31, a sensor unit 32, an emotion estimation unit 33, and a communication unit 34.
  • the sensor unit 32 and the emotion estimation unit 33 constitute a reaction information estimation unit.
  • the control unit 31 includes, for example, a CPU, and controls each unit of the reaction information acquisition apparatus 3.
  • the sensor unit 32 is, for example, a sensor that measures the state (reaction) of the user U when watching a movie.
  • the sensor unit 32 according to the present embodiment includes, for example, the camera module 32A and the living body sensor 32B, but may be configured based only on the camera module 32A or only based on the living body sensor 32B.
  • the camera module 32A is an apparatus for photographing a user U who views a movie, and includes a lens 321, an image sensor 322 made up of a charge coupled device (CCD), a complementary metal oxide semiconductor (CMOS), and the like, an image processing unit 323, And a camera control unit 324 that controls the entire camera module 32A.
  • the biometric sensor 32B is a sensor that measures biometric information of the user U.
  • the biological information of the user U includes the temperature, heart rate, pulse, blood pressure, sweating, electroencephalogram, movement of the body, and the like of the user U.
  • the emotion estimation unit 33 estimates (analyzes) the emotion of the user U based on the sensor information measured by the sensor unit 32.
  • the communication unit 34 communicates with the server 2 or the like via the Internet or the like.
  • a reservation process is performed in which the user uses the reservation terminal 1 to make a movie reservation.
  • the user U designates a movie to be watched and a seat which is a watching position.
  • the user U further inputs permission information indicating whether to permit the use of the reaction information.
  • the use of reaction information means, for example, that reaction information is used as marketing information such as development of new customers, understanding of movie taste trends, sales of movie related products, and the like.
  • Reservation information input through the reservation terminal 1 is transmitted to the server 2 by communication.
  • the server 2 manages reservation information transmitted from the reservation terminal 1. Then, the process proceeds to step ST2.
  • step ST2 a movie reserved by the user U is viewed at a movie theater.
  • the reaction of the user U at the time of viewing a movie is estimated by the reaction information acquisition device 3 installed in the cinema.
  • the estimation result is transmitted from the reaction information acquisition device 3 to the server 2.
  • the process proceeds to step ST3.
  • step ST3 it is determined whether or not the user U has permitted the use of the response information. In the determination process, when the user U does not permit the use of the reaction information, the process ends. On the other hand, when the user U approves the use of the reaction information, the process proceeds to step ST4.
  • step ST4 the server 2 refers to the seat information and the permission information, and generates service information for the user U who has permitted the use of the reaction information. This service information is presented to the user U. Then, the process ends.
  • FIG. 3 is a flowchart showing a flow of reservation processing according to the present embodiment.
  • step ST11 a login screen is displayed on the display unit 12 of the reservation terminal 1.
  • step ST12 designation of a movie and a show time is made.
  • step ST13 a seat is selected.
  • step ST14 the influence on the user assumed by permitting the use of the response information is displayed, and in particular, the advantage (merit) that the user can obtain is displayed.
  • step ST15 the presence or absence of permission is confirmed.
  • the process proceeds to step ST16.
  • step ST16 movie reservation is completed.
  • Example of screen in reservation process A specific example of each process will be described. Here, a screen example in the reservation process will be described. The screen example described below is displayed on the display unit 12 according to the control of the reservation terminal control unit 11.
  • FIG. 4 shows an example of the login screen 41 displayed on the display unit 12 of the appointment terminal 1 in step ST11.
  • an input item 41A for a member and an input item 41B for a nonmember are displayed.
  • the member input item 41A includes a display 410A for inputting a member number and a display 410B for inputting a password.
  • attribute information of the member is registered in advance, and when the member logs in, it is possible to omit input of attribute information required of non-members.
  • a purchaser information input screen 42 shown in FIG. 5 When purchase is selected in the login screen 41 as a non-member, ie, without logging in, for example, a purchaser information input screen 42 shown in FIG. 5 is displayed.
  • the purchaser information input screen 42 illustrated in FIG. 5 displays fields for entering information necessary for purchasing a movie, such as a name, a telephone number, a contact address such as an e-mail address, and a payment method. . Further, on the purchaser information input screen 42, a field for inputting attribute information (for example, gender and age) of the user U is displayed.
  • FIG. 6 shows an example of the movie selection screen 43 for specifying a movie in step ST12.
  • movie theater name for example, Tokyo Movie Theater AB
  • movie name for example, movie name (movie AAA), screening date (May 1 (Mon)), multiple screening start times, screening time, reservation possible Information including the presence or absence of is displayed.
  • the user U selects a movie that can be reserved.
  • FIG. 7 shows an example of the seat selection screen 44 displayed on the display unit 12 in the process of seat selection in step ST13.
  • the seat selection screen 44 displays a seat display 44A including, for example, the arrangement of seats, the position of reserved seats, and selected seats.
  • the user U selects and reserves a desired seat with reference to the seat display 44A.
  • a plurality of seats may be reserved by the logged-in user U, more specifically, corresponding to one account corresponding to the user U. When a plurality of seats are reserved, it may be estimated that a predetermined relationship exists between a plurality of users U who use the seats.
  • the user U who uses each seat is a lover, a couple or a friend, and three or more seats are reserved in one account.
  • the user U who uses each seat may be estimated to be a family or a friend.
  • FIG. 8 shows an example (screen 45) of the screen displayed on the display unit 12 in the process of step ST13.
  • a display 45A indicating that a character diagnosis after viewing a movie, specifically, a viewing type diagnosis, an emotion map during viewing, a compatibility check, and the like can be provided is displayed.
  • the user U selects desired service information from the display 45A.
  • the compatibility check may be made selectable when a plurality of seats are reserved in one account.
  • emotion information is acquired by performing emotion estimation of the user U at the time of viewing a movie to generate service information, and a display 45B indicating that the emotion information can be used for marketing information is displayed. More specifically, it may be displayed that the user U is photographed or that biological information is measured.
  • the screen 45 also displays disclaimers such as an explanation that the use is not performed other than the purpose, an explanation that the information processing in a form not linked to the user U by statistical processing, etc. If there is not, emotion estimation is not performed, and a display 45C including a display that service information is not presented is displayed.
  • a display prompting permission for use of emotion information (a display related to an incentive) is displayed for the user U.
  • a display 45D to which 100 points are added is displayed in addition to the presentation of service information.
  • emotion estimation when watching a movie is not forced on the user U.
  • the user may check the check box included in the disapproval indication 45E.
  • it may be displayed that personal information for specifically identifying the user U individual is not taken.
  • the screen 45 related to the service information may be a trial screen such as a quiz related to a movie.
  • the screen example 46 shown in FIG. 9 displays a quiz for predicting the most exciting scene in the movie. The answer to the quiz is determined based on the emotion information of the plurality of users U while watching the movie, and the result is fed back to the user U who has permitted the use of the emotion information after watching the movie.
  • the screen examples shown in FIG. 8 and FIG. 9 may be displayed in time series or simultaneously. Further, instead of the quiz about the movie, a content prompting the user to input the expectation of the movie in advance may be displayed.
  • Reservation information input using the reservation terminal 1 is transmitted from the communication unit 13. Then, the reservation information is received by the communication unit 24 of the server 2 and is managed by the reservation information management unit 22 of the server 2.
  • FIG. 10A and 10B show an arrangement example of the camera module 32A of the sensor unit 32.
  • FIG. 10A The camera module 32A is disposed in a predetermined theater 51 in a cinema.
  • the camera module 32A is disposed from the front (screen side) of the theater 51 toward the audience seat 52 side.
  • the spectator seat 52 may be divided into a plurality of areas (for example, two areas), and the camera module 32A may be disposed for each area. As a result, it is possible to secure the resolution for each user to be photographed by one camera module.
  • a plurality of camera modules 32A may capture an area common to different angles. As a result, even when the user moves, it is possible to accurately recognize the expression or the like.
  • a configuration may be used in which a plurality of camera modules 32A are arranged in an array in proximity to one area. Based on the image obtained by the camera module 32A, the user U present in the photographing range is photographed, and face recognition of the user U is performed.
  • the camera module 32A may be provided for each seat as shown in FIG. FIG. 11 shows a seat 52A out of all the seats and a seat 52B in front of it. Generally, theater seats are provided such that the height of the rear seat 52A is high. A camera module 32A may be provided near the backrest of the seat 52B so that the user U of the seat 52A can be photographed by the camera module 32A. A plurality of camera modules 32A may be provided for each seat. By providing the camera module 32A for each seat, it is possible to more accurately detect the user's expression or the like.
  • the setting value of the camera module 32A may be fixed or variable in synchronization with the progress of the movie.
  • the setting value can be changed according to the brightness of the movie.
  • a dynamic range can be mentioned.
  • FIG. 12A is a diagram schematically showing the lightness that changes as the movie progresses, the horizontal axis showing time and the vertical axis showing lightness.
  • FIG. 12B is a diagram temporally corresponding to FIG. 12A, and illustrates a dynamic range that is changed as the lightness changes. For example, when the lightness exceeds the threshold TH, processing for expanding the dynamic range is performed according to the control of the camera control unit 324.
  • the camera module 32A may detect a change in lightness in real time by a sensor or the like, or may detect a change in lightness based on a photographed image, and is measured in advance at an opportunity such as a test reproduction of a movie.
  • the stored change in lightness may be read out.
  • the setting value is not limited to the dynamic range, and may be the sensitivity of the image sensor 322, the frame rate of the image sensor 322, the shutter speed, the resolution, or a combination thereof.
  • the change other than the lightness may be, for example, the movement of the user, and when the movement of the user is detected, the shutter speed can be changed as a set value.
  • the living body sensor 32B detects the temperature, heart rate, pulse, blood pressure, sweating, brain waves, body movement, and the like of the user U. As shown in FIG. 13, the biometric sensor 32B is incorporated in, for example, 3D glasses 53A lent in a movie theater. As a sensor mounted on the living body sensor 32B, for example, detection of body temperature, pulse, sweating, brain waves, body movement and the like is preferable.
  • the living body sensor 32B is built in the seat 53B, and may be, for example, a pressure sensor, a body temperature sensor, a pulse wave sensor, a heart rate sensor, an electroencephalogram sensor, and a combination thereof.
  • the biometric sensor 32B may be a device lent to the user U who has accepted the use of the reaction information.
  • the biological sensor 32B may be provided on the front seat (for example, a thermography or a sensor using reflection of radio waves).
  • some of the devices such as a wristband and a smartphone possessed by the user U and clothes such as a shirt have a function of measuring biological information of the user U.
  • the reaction information acquisition apparatus 3 may acquire the biological information of the user U from such a device by near field communication or the like. Logs of other emotion presumption services used regularly by the user may be used.
  • an instruction may be presented to the user U to urge the connection between the device possessed by the user U and the reaction information acquiring device 3 or the device possessed by the user U and the seat constituting the reaction information acquiring device 3
  • Near-field wireless communication may be established according to proximity with an object, and biometric information of the user U may be automatically acquired via near-field wireless communication.
  • the emotion estimation unit 33 estimates the user's emotion based on the sensor information.
  • known methods can be applied.
  • the emotion estimation unit 33 estimates the emotion of the user U from the feature points and the posture of the photographed user's face included in the sensor information. More specifically, the emotion estimation unit 33 performs face recognition based on sensor information and expression analysis of the recognized face, and obtains element values necessary for emotion estimation from the result.
  • the degree of smile indicating the degree of smile is obtained, and the absolute value thereof is estimated to be the degree of a certain emotion (for example, "joy"), or when the degree of smile exceeds a predetermined threshold, It may be determined that it is in the state.
  • the final emotion may be estimated by specifying a ratio of a plurality of element emotions or a dominant element emotion in a plurality of element emotions.
  • arbitrary emotions may be estimated directly from facial expressions recognized using machine learning or the like regardless of element emotions.
  • the emotion can be estimated more accurately by referring to the biological information included in the sensor information.
  • the emotion can be estimated based on only the information of the biological sensor 32B without performing the photographing by the camera module 32A.
  • FIG. 14A to 14C show examples of the result of emotion estimation by the emotion estimation unit 33.
  • FIG. 14A a change in estimated value corresponding to a certain emotion (for example, a surprise) is taken as a result of emotion estimation.
  • FIGS. 14A to 14C illustrate surprise as an example, other emotion changes are also estimated in the same manner.
  • the result of emotion estimation can be estimated in real time for each predetermined frame rate, and for example, the strength of the degree of emotion is derived as a curve as shown in FIG. 14A.
  • the presentation method of the result of emotion estimation is not limited to the change of the degree of emotion. For example, as shown in FIG.
  • an estimated value corresponding to a surprise emotion may be presented as being in a state of surprise for a period exceeding the reference value STA (see FIG. 14A).
  • STA reference value
  • the estimate corresponding to an emotion may be relative to the average of all users for a movie scene.
  • the average value to be compared is, for example, a value obtained corresponding to a specific scene (reference scene) which generally makes it easy to recall a specific emotion in a movie.
  • the reference scene may be provided for each emotion to be estimated. For example, with regard to "joy", a predetermined scene in which many users U are determined to easily have feelings of pleasure is taken as a reference scene, and it is determined that many users U are likely to have feelings of sadness as "sorrow”.
  • the predetermined scene thus obtained can be used as a reference scene.
  • the estimated value corresponding to a certain emotion may be an average value within a unit time or a fluctuation value within a unit time, not for each scene.
  • emotion estimation based on sensor information may not be properly performed.
  • the emotion estimation by the emotion estimation unit 33 can not be appropriately performed.
  • metadata indicating that emotion estimation could not be performed is stored in association with the corresponding scene.
  • metadata indicating the accuracy of emotion estimation may be stored.
  • FIG. 15 shows a part of an example of emotion information.
  • the emotion information is, for example, data in which a movie (type of content), a scene, seat information, and an estimated value corresponding to a predetermined emotion are associated.
  • AA3 is described as information specifying a movie
  • scene numbers 1, 2, 3 are described
  • 0035 is described as seat information
  • an estimated value for example, 82
  • an estimated value eg, 20.5
  • the emotion estimation unit 33 supplies emotion information to the communication unit 34.
  • the communication unit 34 supplies the supplied emotion information to the server 2.
  • reaction information obtained in time series may be associated with a time stamp different from the scene.
  • reaction information obtained in time series may be associated with other metadata (for example, chapter or production intention information of a movie maker) instead of movie time information.
  • FIG. 16 is a flowchart showing the flow of processing performed after the user U views a movie.
  • viewing of the movie ends.
  • the emotion information is estimated based on the sensor information when the user U views the movie, and the emotion information is transmitted to the server 2.
  • random data may be superimposed to ensure security (sometimes referred to as differential privacy etc.). Then, the process proceeds to step ST22.
  • step ST22 the service information generation unit 23 of the server 2 generates service information based on emotion information. Then, the process proceeds to step ST23.
  • step ST23 the generated service information is distributed.
  • the generated service information is distributed to the reservation terminal 1. Delivery to the reservation terminal 1 is made, for example, by transmitting a guide for service information to the reservation terminal 1 by mail, and the user U accessing an address on the network described in the guide. After viewing the movie, the service information may be displayed on the display unit 12 of the reservation terminal 1 by holding the reservation terminal 1 over the terminal installed in the movie theater by the user, or a service using a specific application Information may be distributed.
  • the present invention is not limited to electronic media, and service information printed on paper may be provided to the user U.
  • Emotion information is transmitted from the reaction information acquisition device 3 to the server 2, and the emotion information is received by the communication unit 24 of the server 2. Emotion information is supplied from the communication unit 24 to the service information generation unit 23.
  • FIG. 17 illustrates an example of emotion information transmitted from the reaction information acquisition device 3 and an example of reservation information managed by the reservation information management unit 22.
  • the reservation information is, for example, information in which seat information indicating a seat reserved by the user U, an attribute of the user U who reserved the seat, permission information, and a contact are associated with each other.
  • the permission information is, for example, a logical value of “1” or “0” flag, and in the present embodiment, “1” is a permission regarding the use of the reaction information as “Yes” and “0” is the reaction information
  • the license for use is "none".
  • the contact point is, for example, the e-mail address of the reservation terminal 1, but may be the e-mail address of another device or the like.
  • the account information of the user U used in the reservation process may be associated with the seat information and the like.
  • the seat information 0035 of the reserved seat “less than twenties” and “male” are associated as the attribute of the user U, “1” is associated as the permission information, and a predetermined e-mail address is associated It is done.
  • the seat information 0036 of the reserved seat “30s” and “female” are associated as the attribute of the user U, “0” is associated as the permission information, and a predetermined e-mail address is associated. ing.
  • the service information generation unit 23 refers to the reservation information, and extracts seat information corresponding to permission from emotion information. Then, for example, marketing information is generated using emotion information corresponding to the same seat information and the attribute of the user U described in the reservation information.
  • the marketing information is, for example, information indicating what kind of attribute the user U has shown what kind of emotion and what scene of which kind of movie. With such marketing information, it is possible for a filmmaker to recognize what kind of film or scene is likely to be accepted for which region or attribute, so that the marketing information can be reflected in the next movie production. it can.
  • emotion information is estimated for a movie released to the general public and merit is obtained by permitting usage of the emotion information, there is a possibility that many emotion information can be used.
  • the marketing information may include information corresponding to service information described later.
  • the service information is provided to the user as a merit by permitting the use of the emotion information.
  • the service information generation unit 23 refers to the reservation information, extracts seat information corresponding to permission from the emotion information, and generates service information using the emotion information corresponding to the seat information.
  • the service information is, for example, a characteristic of the user U based on the response information. Specific examples of the service information will be described with reference to FIGS. 18A to 18C.
  • the service information shown in FIG. 18A associates a time series of a movie with a graph showing changes in emotion A, emotion B and emotion C, more specifically, changes in estimated values of emotions. Emotions A to C may be anything, such as joy or surprise.
  • the time series of the movie may be indicated by time information, but in the present example, representative scenes (scenes 1 to 4) are displayed by thumbnail images (reduced images) IM1 to IM4 in order to make it easy for the user U to understand. ing.
  • the graph may be referred to as a heat map display or the like which is shown not by a change in line but by a change in color intensity. Further, as shown in FIG. 14B or FIG.
  • the graph may be presented that a predetermined emotion is held when a certain reference value is exceeded, or may be presented for each scene.
  • the user U can be linked to a time series or a scene of a movie to look back on changes in his / her emotions.
  • the service information illustrated in FIG. 18B is substantially the same as the service information illustrated in FIG. 18A, the service information illustrated in FIG. 18B is not a graph indicating a change in emotion but an icon corresponding to emotion (eg, an icon indicating a facial expression) There is.
  • the service information may be a display of a scene in which emotions have been enhanced in a ranking format. For example, as illustrated in FIG. 18C, the top three scenes with high estimated values corresponding to surprise emotions and the top 3 scenes with high estimated values corresponding to pleasure emotions are provided as service information. Will be presented. Each scene is indicated by thumbnail images IM5 to IM10.
  • the example shown in FIG. 18 is an absolute characteristic based only on emotion information about a certain user U, but the presentation information is relative to the positioning of own emotion information in emotion information of another user U. It may be a characteristic.
  • an emotion map as illustrated in FIG. 19 may be used.
  • the emotion map of FIG. 19 defines six emotions (anger, surprise, sadness, excitement, discomfort, fun) as an example, and the degree of each emotion felt by the user U at the time of viewing a movie in the emotion map. Are mapped by the graph 61. In the emotion map, the average of the degree of each emotion felt by the other user U is mapped by the graph 62. By looking at this emotion map, one user U can recognize the difference in the way the other user U feels to the movie.
  • the comparison target data may be emotion information of a user having the same attribute as the user U, or may be entire emotion information, or both of them.
  • the service information is not limited to the emotion map, and may be a contrastive view of a scene in which the user U has significantly reacted and a scene in which another user U has significantly reacted.
  • the service information illustrated in FIG. 18 and FIG. 19 may be displayed together. Note that such comparison with other users may be performed in the presentation method of FIGS. 18A to 18C.
  • Additional information may be included in the service information shown in FIGS. 18 and 19.
  • Such additional information may include the presentation of a recommended movie based on emotional information.
  • the recommended movie here can be selected from categories that are contrasted with movies and emotional information and that users with such emotions are likely to prefer. For example, with respect to the user U who has felt much anger while watching a movie, if a user who has similar emotions tends to prefer an action movie, the action movie is presented to the user U as a recommended movie. Similarly, it is possible to present a romance movie as a recommended movie to the user U who has felt a lot of sadness. Additional information may be presented as a result of a personality check.
  • the result of the character diagnosis of “thick in emotion” may be presented as additional information.
  • the character diagnosis result of "calm” may be presented as additional information to the user U who has little change in emotion.
  • Feedback on service information may be enabled. For example, as shown in FIG. 20A, a thumbnail image IM11 corresponding to a scene where the user U is most surprised is displayed on the display unit 12 as service information based on emotion information.
  • a display 71 for selecting whether the displayed scene is a scene that the user U is most surprised most is displayed at a position close to the thumbnail image IM11.
  • the user U selects, for example, using the reservation terminal 1 whether or not the result indicated by the service information matches with his / her subjective recognition.
  • the selection result is transmitted from feedback terminal 1 to server 2 as feedback information. Note that this selection is not forced by the user U and may not be selected.
  • the feedback information transmitted to the server 2 is associated with the corresponding emotion information. If feedback information is obtained, emotion information may be corrected by the feedback information. Further, the feedback information may be used for processing such as improvement of a learning model for predicting emotion information of the corresponding user U and the user U having the same attribute as the user U.
  • FIG. 20A and FIG. 20B show an example of such service information.
  • emotion information is estimated for each of the two seats, and the thumbnail images IM12 to IM14 are displayed as scenes in which a scene having the same or similar tendency of the emotion of the user U at each seat is sympathetic.
  • scenes in which each user U responds separately (he has a certain emotion strongly) are shown by the thumbnail images IM15 and IM16, respectively.
  • a display 72 regarding the compatibility is displayed. For example, the probability (%) that the goodness of affinity is high is displayed as the number of the sympathetic scenes increases.
  • the two users U may not be lovers or couples, but may be friends or parents. Therefore, the relationships (a couple, a lover, a friend, a parent and child, etc.) of the groups may be displayed together so that the user can select the actually relevant relationship.
  • the diagnosis of compatibility may be performed by a different algorithm depending on the selection result. In addition to this, it is also possible to extract movies considered to be mutually sympathetic to each other's users U or movies considered to be preferable for understanding each other based on emotion information and present the result as service information.
  • the user U can receive presentation of service information by permitting use of emotion information. Receiving the provision of the service information enables the user U to look back on the change in his / her emotion at the time of watching a movie. Also, the user U can obtain various information according to the service information, such as the characteristics of emotions with the movie, the affinity with the other party, and the like. In this way, providing the user with the emotion information to be acquired as the service information represented by these can give the user a motivation to permit the use of the emotion information, and more users The user can be prompted to permit the use of emotional information. Of course, when the user does not want the service information, it is not necessary to permit the use of the emotional information in the reservation process.
  • the process performed when there is no permission of use of reaction information is demonstrated. If there is no permission to use the response information, the corresponding data is discarded.
  • the service information generation unit 23 of the server 2 refers to the reservation information, reads out the seat information whose license information corresponds to “0”, and discards (deletes) the emotion information data corresponding to the seat information. Further, the server 2 may use only the data of emotion information corresponding to the seat information associated with the permission information “1”. In addition, the server 2 may use only the permitted information.
  • the reservation information may be supplied from the server 2 to the reaction information acquisition device 3.
  • the emotion estimation unit 33 refers to the reservation information, and performs emotion estimation only on the sensor information supplied from the sensor unit 32 provided corresponding to the seat information whose permission information is “1”. You may output it.
  • the reservation information may be supplied to the sensor unit 32.
  • the sensor unit 32 may output the sensor information to the emotion estimation unit 33 only when the permission information corresponding to the seat where the sensor unit 32 is provided is “1”.
  • reaction information may be mixed with other data and stored without being associated with the user's attribute, in other words, it may be stored in a form that is not understood as personal information (meaningless) (personal information not connected ).
  • statistical processing of the obtained information can also be used in a form that is not linked to personal information. In this way, it is not necessary to discard the response information regarding the user who has not been granted.
  • the user who has permitted the use of the reaction information uses information in connection with the attribute information, and the user who does not permit the use of information in the form not linked with personal information as described above. There may be a difference in the handling information between the authorized user and the non-authorized user, such as performing.
  • a movie is taken as an example of presentation information, but the present invention is not limited to this.
  • the presentation information may be a play, a seat, a live performance, watching a sport, an advertisement before the main feature of the movie is reproduced, an exhibition of works of art, or the like.
  • the present technology can be provided to exhibitions of works of art, etc., and the artist can know what works the viewers have and what kind of feelings they have. In this case, for example, permission information is input when purchasing a viewing ticket.
  • the present disclosure can be applied not only to content presentation events such as movies but also to participation events.
  • Participatory events may include horse racing, watching a bicycle race, and theme park attractions.
  • the distribution of reaction information in the stadium as shown in FIG. 21 is created.
  • the audience at the hatched portion 81 feels uplifted, while the audience at the hatched portion 82 feels calm.
  • reaction information is visualized for each attribute of a cheering team, a target to be cheered (horse for horse racing), and an audience attribute. This makes it possible, for example, to visualize a state in which a spectator of age 10 is excited while a spectator of thirties is cool.
  • the reaction information may be used to create a time map of the excitement of the audience so far, and a heat map of the reaction information at the audience.
  • the visualized reaction information may be displayed on a screen in the stadium or may be distributed in real time to a portable terminal owned by a user who has authorized the use of the reaction information. As a result, the user U can recognize the rising situation in the stadium or theme park.
  • the server 2 may include the emotion estimation unit 33, and the server 2 may estimate emotion information.
  • the sensor information is transmitted from the reaction information acquisition device 3 to the server 2.
  • characteristic data for example, feature points in face recognition
  • the service information generation unit 23 may be included in the reaction information acquisition apparatus 3. Then, the reaction information acquisition device 3 may generate service information and transmit the generated service information to the reservation terminal 1. Furthermore, the reaction information acquisition device 3 may have all the functions of the server 2, or the information processing system 100 may include the reservation terminal 1 and the reaction information acquisition device 3. By appropriately changing the configuration as described above, the reaction information acquisition device 3 may function as an information processing device.
  • the disc producer may produce the disc by determining the portion to be subjected to the digest reproduction and the break (chapter) in the main part using the reaction information permitted to be used.
  • the disc may be created such that digest playback is performed around a portion where many users are surprised, excited, or moved.
  • the user who has permitted the use of the reaction information may be able to create a disc on which his / her reaction information is reflected.
  • the reaction information may be reflected not only in the disc but also in the reproduction of the content distributed via the network.
  • the camera module 32A in the embodiment described above is not provided in a movie theater, and may be an imaging device such as a smartphone, a mobile phone, a tablet computer, etc. that the user U has.
  • the user U may be photographed by mounting such an imaging device on a support provided at a front seat.
  • An image captured by the imaging device is supplied to the emotion estimation unit 33 by communication.
  • it may be judged that utilization of reaction information was permitted by having mounted an imaging device in such a support fixture.
  • the emotion estimation unit 33 may target a specific emotion such as surprise or emotion, and determine the presence or absence of the target emotion.
  • the target emotion may be changed for each scene of the movie, or the target emotion may be changed according to the contents of the presentation information.
  • the service information may be presented by voice instead of or together with the display.
  • the present disclosure can be realized not only as a system including a plurality of devices and devices constituting the system, but also as a method, a program, and the like.
  • the present disclosure can also adopt the following configurations.
  • An information processing apparatus having a reaction information using unit that uses reaction information indicating a reaction of a user to presentation information when usage of the reaction information is permitted.
  • the information processing apparatus according to (1) further including a reaction information acquisition unit that acquires the reaction information.
  • the reaction information acquisition unit includes: a sensor unit; and a reaction information estimation unit configured to estimate the reaction information based on sensor information output from the sensor unit.
  • the sensor unit monitors a user present in a predetermined range, and when the user permits the use of the reaction information, outputs the sensor information on the user to the reaction information estimation unit (3).
  • Information processor as described.
  • the reaction information estimation unit estimates the reaction information of each user using sensor information of all users present in a predetermined range, and outputs only the reaction information of the licensed user (3) or (4) The information processing apparatus according to claim 1.
  • the service information is at least one of a characteristic based on reaction information of the user and a characteristic relative to reaction information of another user.
  • the information processing apparatus according to any one of (1) to (8), wherein permission information indicating presence or absence of the permission is associated with seat information reserved by the user.
  • the reaction information utilization unit uses the reaction information of a plurality of users located in the seat information.
  • the information processing apparatus which generates information related to the user.
  • the information processing apparatus according to any one of (1) to (10), wherein the reaction information is information corresponding to an emotion of the user.
  • the presentation information is one of content watched by the user, sports watched by the user, and art watched by the user.
  • An information processing method wherein a reaction information using unit uses reaction information indicating a reaction of a user to presentation information when use of the reaction information is permitted.
  • a reaction information acquisition unit that acquires reaction information indicating a reaction of the user to the presentation information;
  • An information processing system comprising: a reaction information using unit that uses the reaction information when use of the reaction information is permitted.
  • the reaction information acquisition unit includes a sensor unit, and a reaction information estimation unit that estimates reaction information based on sensor information output from the sensor unit.
  • a display control unit that performs control to display an input screen as to whether or not the information and information for prompting the permission on a display unit.
  • the information processing apparatus includes a reservation information management unit that manages permission information indicating the presence or absence of the permission output from the display device in association with the reserved seat information.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Tourism & Hospitality (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Psychiatry (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Social Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Operations Research (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)

Abstract

提示情報に対するユーザの反応を示す反応情報を、当該反応情報の利用が許諾されている場合に利用する反応情報利用部を有する情報処理装置である。 図１

Description

情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システム
　本開示は、情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システムに関する。
　催し物に参加した出席者を撮影してその結果を解析し、催し物に対する評価を行う装置が提案されている（例えば、下記特許文献１を参照のこと）。
特開２００４－２７２５２９号公報
　このような分野では、催し物が行われている最中に出席者を撮影等する必要があるが、出席者の撮影等が勝手に行われてしまうことは個人情報の保護の観点から望ましくない。
　そこで、本開示は、所定の提示情報に対するユーザの反応を示す反応情報を、当該ユーザが許諾した場合に利用する情報処理装置等を提供することを目的の一つとする。
　本開示は、例えば、
　提示情報に対するユーザの反応を示す反応情報を、当該反応情報の利用が許諾されている場合に利用する反応情報利用部を有する
　情報処理装置である。
　本開示は、例えば、
　反応情報利用部が、提示情報に対するユーザの反応を示す反応情報を、当該反応情報の利用が許諾されている場合に利用する
　情報処理方法である。
　本開示は、例えば、
　提示情報に対するユーザの反応を示す反応情報を取得する反応情報取得部と、
　反応情報の利用が許諾されている場合に反応情報を利用する反応情報利用部を有する
　情報処理システムである。
　本開示は、例えば、
　座席情報により示される座席を予約するための一連の予約処理において、所定の提示情報を鑑賞する際の座席情報と、提示情報を鑑賞する際のユーザの反応を示す反応情報の利用を許諾するか否かの入力画面と、許諾を促すための情報とを表示部に表示する制御を行う表示制御部を有する
　表示装置である。
　また、本開示は、例えば
　上述した表示装置と、表示装置に接続される情報処理装置とを有し、
　情報処理装置は、表示装置から出力される許諾の有無を示す許諾情報と、予約された座席情報とを対応付けて管理する予約情報管理部を有する
　予約システムである。
　本開示の少なくとも実施形態によれば、ユーザが許諾した場合に当該ユーザの反応情報が利用される情報処理装置等を提供することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
図１は、一実施形態に係る情報処理システムの構成例を示すブロック図である。 図２は、一実施形態に係る情報処理システムにおける処理の流れを示すフローチャートである。 図３は、一実施形態に係る予約処理の流れを示すフローチャートである。 図４は、一実施形態に係る予約処理における画面の例を示す図である。 図５は、一実施形態に係る予約処理における画面の例を示す図である。 図６は、一実施形態に係る予約処理における画面の例を示す図である。 図７は、一実施形態に係る予約処理における画面の例を示す図である。 図８は、一実施形態に係る予約処理における画面の例を示す図である。 図９は、一実施形態に係る予約処理における画面の例を示す図である。 図１０Ａ及び図１０Ｂは、一実施形態に係るカメラモジュールの配置例を説明するための図である。 図１１は、一実施形態に係るカメラモジュールの他の配置例を説明するための図である。 図１２Ａ及び図１２Ｂは、一実施形態に係るカメラモジュールの設定例を説明するための図である。 図１３は、一実施形態に係る生体センサの配置例を説明するための図である。 図１４Ａ～図１４Ｃは、一実施形態に係る感情推定部による感情推定方法の複数の例を説明するための図である。 図１５は、感情情報の一例を示す図である。 図１６は、映画の視聴後に行われる処理の流れを示すフローチャートである。 図１７は、一実施形態に係るサービス情報を生成する処理を説明するための図である。 図１８Ａ～図１８Ｃは、サービス情報の複数の例を説明するための図である。 図１９は、サービス情報の他の例を説明するための図である。 図２０Ａ及び図２０Ｂは、サービス情報の他の例を説明するための図である。 図２１は、変形例を説明するための図である。
　以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．一実施形態＞
１．情報処理システム
１－１．用語に関する説明
１－２．システムの構成例
１－３．予約端末の構成例
１－４．サーバの構成例
１－５．反応情報取得装置の構成例
１－６．情報処理システムにおける処理の概要
２．予約処理
２－１．予約処理の流れ
２－２．予約処理における画面例
３．映画視聴時における感情情報の取得
３－１．センサ部の配置例
３－２．感情推定部の動作
４．サービス情報の生成
４－１．映画視聴後の処理の流れ
４－２．サービス情報生成部の動作例
４－３．サービス情報の具体例
５．反応情報の利用の許諾がない場合の処理
＜２．変形例＞
　なお、以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
＜１．一実施形態＞
［１．情報処理システム］
（１－１．用語に関する説明）
　始めに、本実施形態で使用される主な用語について説明する。
　「提示情報」とは、ユーザに提示され、ユーザにより視聴、鑑賞、観戦等される情報をいう。本実施形態では、提示情報としてコンテンツより具体的には映画を例にして説明する。
　「センサ情報」とは、カメラモジュールや生体センサ等のセンサ装置によって得られる情報（データ）をいう。
　「反応情報」とは、提示情報に対するユーザの反応を示す情報をいい、具体的には、センサ情報を解析することにより得られる情報をいう。本実施形態では、反応情報として感情に対応する情報を用いている。したがって、「反応情報」を「感情情報」と称する場合もある。但し、「反応情報」は、感情だけでなく反応の有無やユーザの状態変化を含み、「感情情報」より広い概念である。
　「許諾情報」とは、「反応情報」の利用に関する許諾の有無を示す情報をいう。
　「サービス情報」とは、「反応情報」の利用を許諾したユーザに提示される情報をいう。
（１－２．システムの構成例）
　図１は、本実施形態に係る情報処理システム（情報処理システム１００）の構成例を示している。情報処理システム１００は、例えば、予約端末１と、情報処理装置の一例であるサーバ２と、反応情報取得装置３とを有している。例えば、予約端末１及びサーバ２により予約システムが構成されている。
（１－３．予約端末の構成例）
　続いて、各装置の概略的な構成例について説明する。始めに、予約端末１の構成例について説明する。予約端末１は、公共の場や店舗に設置される端末であっても良いし、ユーザＵが有するパーソナルコンピュータやスマートフォン、タブレットコンピュータ等であっても良い。本実施形態では、予約端末１が、ユーザＵが有するスマートフォンを例にして説明する。
　表示装置の一例である予約端末１は、例えば、表示制御部の一例である予約端末制御部１１と、表示部１２と、通信部１３とを有している。予約端末制御部１１は、例えばＣＰＵ（Central Processing Unit）により構成されており、予約端末１の各部を制御する。表示部１２は、ＬＣＤ(Liquid Crystal Display)や有機ＥＬ(Electro Luminescence)パネル等により構成されている。本実施形態に係る表示部１２は、表示部１２に対する操作入力を受付可能なタッチスクリーンとして構成されている。通信部１３は、インターネット等を介してサーバ２等と通信を行うものである。なお、予約端末１が、上述した構成の他に公知の構成を有していても良い。
（１－４．サーバの構成例）
　サーバ２は、例えば、サーバ制御部２１と、予約情報管理部２２と、反応情報利用部の一例であるサービス情報生成部２３と、通信部２４とを有している。サーバ制御部２１は、例えばＣＰＵにより構成されており、サーバ２の各部を制御する。
　予約情報管理部２２は、予約端末１に入力された情報に基づく予約情報を管理する記憶部等である。予約情報管理部２２は、例えば、ユーザＵのＩＤと、ユーザＵの属性情報と、当該ユーザＵが予約した座席を示す座席情報と、許諾情報とを対応付けて管理する。ユーザＵの属性情報とは、ユーザＵの属性を示す情報であり、例えば、当該ユーザＵの性別、国籍、居住地域、人種、年齢等である。なお、ユーザＵの属性情報は、座席の予約時に入力されたものでも良いし、予約前に予め登録されたものでも良い。
　本実施形態に係る反応情報は、映画に対する当該ユーザＵの反応を示す情報であり、より具体的には、映画の鑑賞時におけるユーザＵの感情である。感情は、喜怒哀楽などの他、眠気、共感、リラックス、興奮、集中などの精神状態を含む概念である。感情は、センサ情報として直接検出されるものに限らず、当該センサ情報に基づき推定されるものであっても良い。例えば、複数の感情をマッピングしたモデルとして、ラッセルの感情円環モデルが知られている。ラッセルの感情円環モデルでは、快状態と覚醒状態の２つの指標に基づき、多様な感情を推定している。このような感情推定モデルに従って感情が区分されても良い。
　サービス情報生成部２３は、反応情報の利用を許諾したユーザＵに提供されるサービス情報を生成する。サービス情報は、ユーザＵの反応情報に基づいて生成される。サービス情報の詳細については後述する。反応情報の利用を許諾したユーザＵは、例えば映画の視聴中や視聴後にサービス情報を得ることができる。通信部２４は、インターネット等を介して予約端末１や反応情報取得装置３等と通信を行うものである。
（１－５．反応情報取得装置の構成例）
　反応情報取得装置３は、制御部３１と、センサ部３２と、感情推定部３３と、通信部３４とを有している。例えば、センサ部３２と感情推定部３３とにより反応情報推定部が構成される。制御部３１は、例えばＣＰＵにより構成されており、反応情報取得装置３の各部を制御する。センサ部３２は、例えば映画の視聴時におけるユーザＵの状態（反応）を計測するセンサである。本実施形態に係るセンサ部３２は、例えば、カメラモジュール３２Ａと、生体センサ３２Ｂとを有しているが、カメラモジュール３２Ａのみに基づく構成や、生体センサ３２Ｂのみに基づく構成であっても良い。カメラモジュール３２Ａは、映画を鑑賞するユーザＵを撮影する装置であり、レンズ３２１と、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等からなるイメージセンサ３２２と、画像処理部３２３と、カメラモジュール３２Ａ全体を制御するカメラ制御部３２４とを含む構成を有している。生体センサ３２Ｂは、ユーザＵの生体情報を測定するセンサである。ユーザＵの生体情報としては、ユーザＵの体温、心拍、脈拍、血圧、発汗、脳波、体の動き等が挙げられる。
　感情推定部３３は、センサ部３２により測定されたセンサ情報に基づいて、ユーザＵの感情を推定（解析）する。通信部３４は、インターネット等を介してサーバ２等と通信を行うものである。
（１－６．情報処理システムにおける処理の概要）
　情報処理システム１００で行われる処理について、図２に示すフローチャートを参照して概略的に説明する。ステップＳＴ１では、ユーザが予約端末１を利用して映画の予約を行う予約処理が行われる。ユーザＵは、視聴対象の映画を指定すると共に視聴位置である座席を指定する。ユーザＵは、さらに、反応情報の利用を許諾するか否かを示す許諾情報の入力を行う。反応情報の利用とは、例えば、反応情報が新規顧客の開拓や映画の嗜好傾向の把握、映画の関連商品販売等のマーケティング情報として利用されることをいう。予約端末１を介して入力された予約情報が、通信によりサーバ２に送信される。サーバ２は、予約端末１から送信された予約情報を管理する。そして、処理がステップＳＴ２に進む。
　ステップＳＴ２では、ユーザＵが予約した映画を映画館で視聴する。映画の視聴時におけるユーザＵの反応が映画館に設置された反応情報取得装置３によって推定される。そして、推定結果が反応情報取得装置３からサーバ２に送信される。そして、処理がステップＳＴ３に進む。
　ステップＳＴ３では、ユーザＵが反応情報の利用を許諾したか否かが判断される。この判断処理において、ユーザＵが反応情報の利用を許諾していない場合には、処理が終了する。一方、ユーザＵが反応情報の利用を許諾している場合には、処理がステップＳＴ４に進む。
　ステップＳＴ４では、サーバ２が座席情報及び許諾情報を参照し、反応情報の利用を許諾したユーザＵに対するサービス情報を生成する。このサービス情報がユーザＵに提示される。そして、処理が終了する。
［２．予約処理］
（２－１．予約処理の流れ）
　次に、各処理の具体的な内容について説明する。図３は、本実施形態に係る予約処理の流れを示すフローチャートである。ステップＳＴ１１では、予約端末１の表示部１２にログイン画面が表示される。そして、処理がステップＳＴ１２に進む。ステップＳＴ１２では、映画及び上映時間の指定がなされる。そして、処理がステップＳＴ１３に進む。ステップＳＴ１３では、座席の選択がなされる。そして、処理がステップＳＴ１４に進む。ステップＳＴ１４では、反応情報の利用を許諾することにより想定されるユーザへの影響が表示され、特にユーザが得られる利点（メリット）が表示される。そして、処理がステップＳＴ１５に進む。ステップＳＴ１５では、許諾の有無が確認される。そして、処理がステップＳＴ１６に進む。ステップＳＴ１６では、映画の予約が完了する。
（２－２．予約処理における画面例）
　各処理の具体例について説明する。ここでは、予約処理における画面例について説明する。以下に説明する画面例は、予約端末制御部１１の制御に応じて表示部１２に表示される。
　ユーザＵは、予約端末１を使用して専用サイトまたは特定のアプリケーションを利用して予約ページに接続する。図４は、ステップＳＴ１１において予約端末１の表示部１２に表示されるログイン画面４１の一例を示している。ログイン画面４１では、例えば、会員用の入力項目４１Ａと、非会員用の入力項目４１Ｂとが表示される。会員用の入力項目４１Ａは、会員番号を入力するための表示４１０Ａと、パスワードを入力するための表示４１０Ｂとを含む。なお、本実施形態では、会員の場合には予め当該会員の属性情報が登録されており、会員でログインした場合には、非会員に要求される属性情報の入力を省略することができる。ユーザＵは、ログイン画面４１に必要な入力をした後、「次へ」との表示４１０Ｃを選択する。
　ログイン画面４１において非会員すなわちログインしないで購入が選択された場合には、例えば、図５に示す購入者情報入力画面４２が表示される。図５に例示する購入者情報入力画面４２では、映画の購入に必要な情報を入力するための名前、電話番号、メールアドレス等の連絡先、支払い方法等を入力するための欄が表示される。さらに、購入者情報入力画面４２では、ユーザＵの属性情報（例えば、性別や年齢）を入力するための欄が表示される。
　図６は、ステップＳＴ１２における映画を指定するための映画選択画面４３の一例を示している。映画選択画面４３では、例えば、映画館名（例えば、東京映画館ＡＢ）、映画名（映画ＡＡＡ）、上映日（５月１日（月））、複数の上映開始時間、上映時間、予約可能の有無等を含む情報が表示される。映画選択画面４３を使用してユーザＵは予約可能な映画を選択する。
　図７は、ステップＳＴ１３における座席選択の処理の際に表示部１２に表示される座席選択画面４４の一例を示している。座席選択画面４４では、例えば、座席の配置、予約可能な空席の位置及び選択済の座席等を含む座席表示４４Ａが表示される。ユーザＵは、座席表示４４Ａを参照して希望する座席を選択し予約する。なお、ログインしたユーザＵによって、より具体的には当該ユーザＵに対応する１のアカウントに対応して複数の座席が予約されても良い。複数の座席が予約された場合には、当該座席を利用する複数のユーザＵ間に所定の関係が存在するものと推定されても良い。例えば、１のアカウントで２座席が予約された場合には、それぞれの座席を利用するユーザＵは、恋人、夫婦または友人であると推定され、１のアカウントで３座席以上が予約された場合には、それぞれの座席を利用するユーザＵは、家族または友人であると推定されても良い。なお、１のアカウントで２以上の座席を予約する場合には、アカウントを有するユーザＵだけでなく、当該予約に関する他のユーザＵの属性情報の入力を求めることもできる。
　図８は、ステップＳＴ１３の処理の際に表示部１２に表示される画面の一例（画面４５）を示している。画面４５では、サービス情報として、映画の視聴後に性格診断、具体的には、視聴タイプ診断、視聴中感情マップ、相性チェック等が提供できる旨の表示４５Ａが表示される。表示４５Ａの中から所望のサービス情報をユーザＵが選択する。なお、相性チェックは、１アカウントで複数の座席が予約された場合に選択可能とされても良い。
　画面４５では、サービス情報を生成するために、映画の視聴時にユーザＵの感情推定が行われることにより感情情報が取得され、感情情報がマーケティング情報に活用され得る旨の表示４５Ｂが表示される。より具体的に、ユーザＵが撮影されたり、生体情報の測定がなされたりすることが表示されても良い。また、画面４５では、目的外使用を行わない旨の説明や、統計処理によりユーザＵとは紐づかない形での情報利用がされる旨の説明等の免責事項に関する表示や、ユーザＵの同意がない場合には、感情推定が行われず、サービス情報が提示されない旨の表示を含む表示４５Ｃが表示される。
　ユーザＵの中には、映画の視聴時に撮影されたり、生体情報を取得されることに心理的な抵抗感を感じるユーザＵも存在し得る。そこで、ユーザＵに対して、サービス情報の提示に加え、感情情報の利用の許諾を促す表示（インセンティブに関する表示）が表示されることが好ましい。本実施形態に係る画面４５では、例えば、感情情報の利用を許諾した場合に、サービス情報の提示の他に１００のポイントが付加される表示４５Ｄが表示される。
　もちろん、映画の視聴時における感情推定は、ユーザＵに強制されるものではない。サービス情報の提示を希望しない場合には、同意しない旨の表示４５Ｅに含まれるチェックボックスをチェックすれば良い。また、この他に、サービス情報の提示に関するサービスを受ける場合にも、ユーザＵ個人を具体的に特定する個人情報を取らない旨が表示されても良い。
　また、サービス情報に関する画面４５は、図９に示すように、映画に関するクイズ等の試遊画面でも良い。図９に示す画面例４６では、映画の中で一番盛り上がるシーンを予測するクイズが表示される。クイズの答えは、映画の視聴中における複数のユーザＵの感情情報に基づいて決定され、その結果が感情情報の利用を許諾したユーザＵに対して、映画の視聴後にフィードバックされる。図８や図９に示す画面例は、時系列に又は同時に表示されても良い。また、映画に関するクイズではなく、映画に対する事前の期待の入力を促す内容等が表示されても良い。映画視聴前に試遊画面を設けることで、ユーザＵに対して感情情報の利用の許諾を促す効果を期待できるとともに、映画視聴中の感情推定に基づく反応を映画視聴後に提示するにあたり、視聴前の期待値との比較等を提示でき、よりユーザＵの興味を引くことができる。さらに、視聴前の期待や予測等と、実際の感情推定の結果との比較情報は、前述のマーケティングの観点でも有用な情報となる。
　予約端末１を使用して入力された予約情報が、通信部１３から送信される。そして予約情報がサーバ２の通信部２４により受信され、サーバ２の予約情報管理部２２により管理される。
［３．映画視聴時における感情情報の取得］
（３－１．センサ部の配置例）
　予約処理の後に、ユーザＵは実際に映画を視聴する。図１０Ａ及び図１０Ｂは、センサ部３２のカメラモジュール３２Ａの配置例を示している。カメラモジュール３２Ａは、映画館における所定の劇場５１内に配置される。例えば、図１０Ａに示すように、カメラモジュール３２Ａは、劇場５１の前方（スクリーン側）から観客席５２側に向けて配置される。図１０Ｂに示すように、観客席５２を複数のエリア（例えば、２エリア）に分担して、エリア毎にカメラモジュール３２Ａが配置されていても良い。これによりカメラモジュール１台の撮影対象となるユーザ毎の解像度を担保することができる。また、複数台のカメラモジュール３２Ａが異なる角度から共通するエリアを撮影するようにしても良い。これによりユーザに動きがあった場合でも、正確に表情等の認識を行うことができる。１エリアについて複数のカメラモジュール３２Ａがアレイ状に近接して配置されたものが使用されても良い。カメラモジュール３２Ａにより得られた画像に基づいて、撮影範囲に存在するユーザＵが撮影され、ユーザＵの顔認識等がなされる。
　カメラモジュール３２Ａは、図１１に示すように座席毎に設けられても良い。図１１では、全座席のうちの座席５２Ａ及びその前方の座席５２Ｂが示されている。一般に、映画館の座席は、後方側の座席５２Ａの高さが高くなるように設けられている。座席５２Ｂの背もたれ付近にカメラモジュール３２Ａが設けられ、当該カメラモジュール３２Ａにより座席５２ＡのユーザＵが撮影されるようにしても良い。なお、カメラモジュール３２Ａは座席毎に複数台設けられていても良い。カメラモジュール３２Ａを座席毎に設けることで、より正確にユーザの表情等を検出することができる。
　カメラモジュール３２Ａの設定値は、固定でも良いし、映画の進行に同期して可変とされても良い。カメラモジュール３２Ａの設定値を可変とする場合の一例として、例えば、図１２に示すようにして、映画の明度に応じて設定値を変更することができる。設定値としては、例えばダイナミックレンジを挙げられる。図１２Ａは、映画の進行に伴って変化する明度を模式的に示した図であり、横軸は時間を示し縦軸は明度を示している。図１２Ｂは、図１２Ａに時間的に対応する図であり、明度の変化に伴って変更されるダイナミックレンジを示している。例えば、明度が閾値ＴＨを上回った場合にカメラ制御部３２４の制御に応じてダイナミックレンジを拡大する処理が行われる。これにより、映画のシーンによって明度が変化しても、正確にユーザＵの表情等を検出できる。なお、カメラモジュール３２Ａは、センサ等によりリアルタイムに明度の変化を検出しても良いし、撮影画像に基づいて明度の変化を検出しても良いし、映画のテスト再生等の機会で予め測定され、記憶された明度の変化を読み出すようにしても良い。
　設定値は、ダイナミックレンジに限定されることはなく、イメージセンサ３２２の感度、イメージセンサ３２２のフレームレート、シャッタースピード、解像度、又はこれらの組み合わせ等でも良い。明度以外の変化としては、例えばユーザの動きが考えられ、ユーザの動きが検出された場合に、設定値としてシャッタースピードを変化させることができる。また、映画の再生中、カメラモジュール３２Ａが常に撮影を行う必要は無く、設定された期間のみ撮影を行うようにしても良い。また、撮影はカラーではなく単色でも良いし、赤外線を検出するものであっても良い。
　生体センサ３２Ｂは、ユーザＵの体温、心拍、脈拍、血圧、発汗、脳波、体の動き等を検出するものである。図１３に示すように、生体センサ３２Ｂは、例えば、映画館で貸与される３Ｄ用の眼鏡５３Ａに内蔵されている。生体センサ３２Ｂに搭載されるセンサとしては、例えば体温、脈拍、発汗、脳波、体動等の検出が好適である。生体センサ３２Ｂは、座席５３Ｂに内蔵されたものであり、例えば圧力センサ、体温センサ、脈波センサ、心拍センサ、脳波センサ、及びこれらを組み合わせたものであっても良い。また、生体センサ３２Ｂは、反応情報の利用を許諾したユーザＵに対して貸与される機器であっても良い。図１１に示したカメラモジュール３２Ａのように、生体センサ３２Ｂは、前方の座席に設けられたもの（例えば、サーモグラフィや、電波の反射を利用したセンサ）であっても良い。また、近年、ユーザＵが有するリストバンドやスマートフォン等の機器、シャツ等の衣服の中にはユーザＵの生体情報を測定する機能を有するものがある。反応情報取得装置３がそのような機器からユーザＵの生体情報を近距離無線通信等により取得するようにしても良い。ユーザが常用している他の感情推定サービスのログが使用されても良い。この場合、ユーザＵに対して、ユーザＵが有する機器と反応情報取得装置３との接続を促す指示を提示しても良いし、ユーザＵが有する機器と、反応情報取得装置３を構成する座席等との近接に応じて近距離無線通信を確立し、近距離無線通信を介してユーザＵの生体情報を自動的に取得するようにしても良い。
（３－２．感情推定部の動作）
　カメラモジュール３２Ａ及び生体センサ３２Ｂにより得られたセンサ情報が感情推定部３３に供給される。感情推定部３３は、センサ情報に基づいてユーザの感情を推定する。センサ情報に基づいて感情を推定する方法は、公知の方法を適用することができる。例えば、感情推定部３３は、センサ情報に含まれる、撮影されたユーザの顔の特徴点や姿勢から当該ユーザＵの感情を推定する。より具体的には、感情推定部３３は、センサ情報に基づく顔認識と、認識された顔の表情解析を行い、その結果から、感情推定に必要な要素値を求める。例えば笑顔の程度を示す笑顔度を求め、その絶対値をある感情（例えば「喜び」）の程度と推定することや、笑顔度が所定の閾値を超えた場合に、ユーザがある「喜び」の状態にあると判定してもよい。あるいは、複数の要素感情の割合や、複数の要素感情における支配的な要素感情を特定することによって、最終的な感情を推定してもよい。あるいは、要素感情によらず、機械学習等を用いて認識された顔の表情から直接任意の感情を推定してもよい。ここで感情を推定する際に、センサ情報に含まれる生体情報を参照することにより、より的確に感情を推定することができる。あるいは、カメラモジュール３２Ａによる撮影を行わず、生体センサ３２Ｂの情報のみに基づいて感情推定を行うこともできる。
　図１４Ａ～図１４Ｃは、感情推定部３３による感情推定の結果の例を示している。例えば、図１４Ａに示すように、ある感情（例えば、驚き）に対応する推定値の変化が感情推定の結果とされる。なお、図１４Ａ～図１４Ｃでは驚きを例に説明するが、同様にして、他の感情の変化も推定される。感情推定の結果は所定のフレームレート毎に、リアルタイムに推定することができ、例えば図１４Ａに示すような曲線として、その感情の度合いの強さが導出される。感情推定の結果の提示方法は、感情の度合いの変化に限定されることはない。例えば、図１４Ｂに示すように、驚きの感情に対応する推定値が、基準値ＳＴＡ（図１４Ａ参照）を上回った期間について、驚きの状態にあると提示されても良い。このように提示することで、驚きの状態にあるか否かの２値で感情推定結果を参照することができる。また、図１４Ｃに示すように、シーン毎に驚きの感情に対応する推定値の平均値が感情推定の結果とされても良い。このように提示することで、シーン毎にユーザＵの感情を評価することができる。このとき、図１４Ａに示す基準値ＳＴＡは、シーン毎に異なるようにしても良い。
　ある感情に対応する推定値は、映画のあるシーンに対する全ユーザの平均に対する相対値であってもよい。比較対象となる平均値は、例えば、映画において一般的に特定の感情を想起しやすくなるとされる特定シーン（基準シーン）に対応して得られる値である。基準シーンは推定対象となる感情毎にそれぞれ設けられていても良い。例えば、「喜び」については、多くのユーザＵが喜びの感情を抱きやすいと判断された所定のシーンを基準シーンとし、「悲しみ」については、多くのユーザＵが悲しみの感情を抱きやすいと判断された所定のシーンを基準シーンとすることができる。また、ある感情に対応する推定値は、シーン毎ではなく単位時間内における平均値や単位時間内における変動値でも良い。
　なお、ユーザＵの姿勢、格好等によっては、センサ情報に基づく感情推定が適切に行えない場合もあり得る。例えば、カメラモジュール３２ＡによりユーザＵの顔が撮影される場合に、帽子やサングラス等によりユーザの顔が隠れている場合には、感情推定部３３による感情推定を適切に行うことができない。このような場合には、感情推定ができなかったことを示すメタデータが、対応するシーンに対応付けて記憶される。あるいは、感情推定の精度を示すメタデータが記憶されていてもよい。
　感情推定部３３による感情推定の結果、感情情報が得られる。図１５は、感情情報の例の一部を示している。感情情報は、例えば、映画（コンテンツの種別）、シーン、座席情報、所定の感情に対応する推定値が対応付けられたデータである。図１５に示す具体例では、映画を特定する情報としてＡＡ３が記述され、シーン番号１，２，３が記述され、座席情報として００３５が記述され、驚きの感情に対応する推定値（例えば、８２．２）が記述され、悲しみの感情に対応する推定値（例えば、２０．５）が記述されている。感情推定部３３は、感情情報を通信部３４に供給する。通信部３４は、供給された感情情報をサーバ２に供給する。
　なお、時系列に得られた反応情報が、シーンとは異なるタイムスタンプに対応付けられても良い。また、時系列に得られた反応情報が、映画の時間情報ではなく、他のメタデータ（例えばチャプタや、映画制作者の制作意図情報）に対応付けられても良い。
［４．サービス情報の生成］
（４－１．映画視聴後の処理の流れ）
　図１６は、ユーザＵが映画を視聴した後に行われる処理の流れを示すフローチャートである。ステップＳＴ２１では映画の視聴が終了する。ユーザＵの映画の視聴時におけるセンサ情報に基づいて感情情報が推定され、感情情報がサーバ２に送信される。感情情報を送信する際に、セキュリティを確保するためにランダムデータを重畳しても良い（差分プライバシー等と称される場合もある。）。そして、処理がステップＳＴ２２に進む。
　ステップＳＴ２２では、サーバ２のサービス情報生成部２３が感情情報に基づいてサービス情報を生成する。そして、処理がステップＳＴ２３に進む。ステップＳＴ２３は、生成されたサービス情報が配信される。例えば、生成されたサービス情報が予約端末１に配信される。予約端末１への配信は、例えば、予約端末１に対するサービス情報に関する案内をメールにより送信し、当該案内に記載されたネットワーク上のアドレスにユーザＵがアクセスすることによりなされる。映画視聴後に、ユーザが映画館に設置された端末に予約端末１をかざすことにより予約端末１の表示部１２にサービス情報が表示されるようにしても良いし、特定のアプリケーションを利用してサービス情報の配信が行われても良い。また、電子的な媒体に限定されることはなく、紙に印刷されたサービス情報がユーザＵに提供されるようにしても良い。
（４－２．サービス情報生成部の動作例）
　映画視聴後における処理について具体的に説明する。反応情報取得装置３からサーバ２に対して感情情報が送信され、当該感情情報がサーバ２の通信部２４により受信される。感情情報が通信部２４からサービス情報生成部２３に供給される。
　図１７は、反応情報取得装置３から送信された感情情報の一例と予約情報管理部２２で管理される予約情報の一例とを示している。感情情報については図１５に例示したものと同様であるので、重複した説明を省略する。予約情報は、例えば、ユーザＵによって予約された座席を示す座席情報と、当該座席を予約したユーザＵの属性と、許諾情報と、連絡先とが対応付けられた情報である。許諾情報は、例えば、論理的な値である「１」、「０」のフラグであり、本実施形態では「１」を反応情報の利用に関する許諾が「有」とし「０」を反応情報の利用に関する許諾が「無」としている。連絡先は、例えば、予約端末１のメールアドレスであるが、他の装置のメールアドレス等でも良い。また、座席情報等に対して予約処理の際に使用されたユーザＵのアカウント情報が対応付けられていても良い。
　例えば、予約された座席の座席情報００３５には、ユーザＵの属性として「２０代未満」、「男性」が対応付けられ、許諾情報として「１」が対応付けられ、所定のメールアドレスが対応付けられている。例えば、予約された座席の座席情報００３６には、ユーザＵの属性として「３０代」、「女性」が対応付けられ、許諾情報として「０」が対応付けられ、所定のメールアドレスが対応付けられている。
　サービス情報生成部２３は、予約情報を参照して、感情情報の中から許諾有りに対応する座席情報を抽出する。そして、例えば同一の座席情報に対応する感情情報と、予約情報に記述されたユーザＵの属性とを用いて、マーケティング情報を生成する。マーケティング情報は、例えば、どのような属性のユーザＵがどのような映画のどのシーンで如何なる感情を示していたかを示す情報である。このようなマーケティング情報により、映画制作者が、どの地域や属性に対してどのような映画やシーンが受け入れられ易いか認識することができるので、マーケティング情報を次の映画の制作に反映させることができる。特に、本実施形態では、一般に公開された映画について感情情報を推定し、且つ、感情情報の利用を許諾することによりメリットが得られるようにしているので、多くの感情情報を利用できる可能性が大きく、有意なマーケティング情報を簡単に得ることができる。なお、一般に公開された映画ではなく、試写会等の限られた環境において、本実施形態のサービスを提供することでも、ユーザの映画に対する嗜好を感情情報と併せて取得できるという効果が得られる。ここでマーケティング情報には、後述するサービス情報に相当する情報を含めることもできる。
（４－３．サービス情報の具体例）
　本実施形態では、感情情報の利用を許諾することによりメリットとしてユーザに対してサービス情報を提供するようにしている。サービス情報生成部２３は、予約情報を参照して、感情情報の中から許諾有りに対応する座席情報を抽出し、当該座席情報に対応する感情情報を利用してサービス情報を生成する。サービス情報は、例えば、反応情報に基づくユーザＵの特性である。サービス情報の具体的な例について図１８Ａ～図１８Ｃを参照して説明する。
　図１８Ａに示すサービス情報は、映画の時系列に対して、感情Ａ、感情Ｂ及び感情Ｃの変化、より具体的には各感情の推定値の変化を示すグラフを対応付けたものである。なお、感情Ａ～感情Ｃは、喜び、驚き等、何でも良い。映画の時系列は、時間情報によって示しても良いが、ユーザＵにとってわかりやすくするため、本例では、代表的なシーン（シーン１～４）をサムネイル画像（縮小画像）ＩＭ１～ＩＭ４により表示している。なお、グラフは、線の変化でなく色の強弱の変化で示すヒートマップ表示等と称されるものでも良い。また、グラフは図１４Ｂまたは図１４Ｃのように、ある基準値を超えた場合に所定の感情が抱かれたと提示したり、シーン毎に提示したりしても良い。このような提示を行うことで、ユーザＵは映画の時系列やシーンに結び付けて、自身の感情の変化を振り返ることができる。
　図１８Ｂに例示するサービス情報は図１８Ａに示すサービス情報と略同様のものであるが、感情の変化を示すグラフでなく、感情に対応するアイコン（例えば、顔の表情を示すアイコン）を用いている。
　サービス情報は、感情が高揚したシーンをランキング形式で表示したものであっても良い。例えば、図１８Ｃに例示するように、驚きの感情に対応する推定値が高かった上位３個のシーンと、楽しさの感情に対応する推定値が高かった上位３個のシーンとがサービス情報として提示される。各シーンは、サムネイル画像ＩＭ５～ＩＭ１０によってそれぞれ示される。
　図１８に示した例は、あるユーザＵに関する感情情報のみに基づく絶対的な特性であったが、提示情報は、他のユーザＵの感情情報における自身の感情情報の位置付けのように相対的な特性であっても良い。例えば、図１９に例示すような感情マップであっても良い。図１９の感情マップでは、一例として６個の感情（怒り、驚き、悲しみ、興奮、不快、楽しい）が規定されており、当該感情マップに、映画の視聴時にユーザＵが感じた各感情の程度がグラフ６１によりマッピングされている。また、感情マップには、他のユーザＵが感じた各感情の程度の平均がグラフ６２によりマッピングされている。この感情マップを見ることで、あるユーザＵは、他のユーザＵの映画に対する感じ方の違いを認識することができる。比較対象のデータは、ユーザＵと同じ属性を有するユーザの感情情報でも良いし、全体の感情情報であっても良く、その両方であっても良い。また、サービス情報は、感情マップに限定されることなく、ユーザＵが顕著に反応したシーンと他のユーザＵが顕著に反応したシーンとを対比的に示したものでも良い。なお、図１８や図１９に例示したサービス情報が併せて表示されても良い。なお、こうした他のユーザとの比較は、図１８Ａ乃至Ｃの提示方法において行われても良い。
　図１８及び図１９に示すサービス情報に付加的な情報が含まれても良い。このような付加的な情報としては、感情情報に基づくおすすめの映画の提示が挙げられる。ここでおすすめの映画は、映画と感情情報とを対照し、そのような感情を抱くユーザが好むと推定されるカテゴリから選択することができる。例えば、映画の視聴中に怒りを多く感じたユーザＵについて、同様の感情を抱くユーザがアクション映画を好む傾向にある場合には、ユーザＵに対してもアクション映画をおすすめの映画として提示する。同様に、悲しみを多く感じたユーザＵには恋愛映画をおすすめ映画として提示することができる。付加的な情報は、性格診断の結果として提示されても良い。例えば、悲しみを多く感じたユーザＵに対しては「情に厚い」との性格診断結果が、付加的な情報として提示されても良い。また、感情の変化があまり無いユーザＵに対しては「冷静である」との性格診断結果が、付加的な情報として提示されても良い。
　サービス情報に対するフィードバックが可能とされても良い。例えば、図２０Ａに示すように、感情情報に基づいてユーザＵが最も驚いたシーンに対応するサムネイル画像ＩＭ１１がサービス情報として表示部１２に表示される。表示されたシーンが、本当にユーザＵが最も驚いたシーンであるかを選択する表示７１がサムネイル画像ＩＭ１１に近接する箇所に表示される。ユーザＵは、サービス情報により示される結果が自身の主観的認知と合っているか否を例えば予約端末１を用いて選択する。選択結果がフィードバック情報として予約端末１からサーバ２に対して送信される。なお、この選択はユーザＵに強制されるものではなく選択されなくても良い。サーバ２に対して送信されたフィードバック情報は、対応する感情情報に対応付けられる。フィードバック情報が得られた場合には、感情情報がフィードバック情報により補正されるようにしても良い。また、フィードバック情報は、対応するユーザＵや、当該ユーザＵと同じ属性を有するユーザＵの感情情報を予測するための学習モデルの改善などの処理に活用されても良い。
　上述したように、あるユーザＵが有する１個のアカウントで、例えば２座席が予約された場合には、恋人同士や夫婦で映画を視聴する可能性が高い。このような場合には、２座席のそれぞれを利用するユーザＵに関連する情報をサービス情報として提示しても良い。図２０Ａ及び図２０Ｂは、そのようなサービス情報の一例を示している。例えば、２座席のそれぞれについて感情情報が推定され、各座席におけるユーザＵの感情の傾向が同じ若しくは近似したシーンが共感したシーンとしてサムネイル画像ＩＭ１２～ＩＭ１４により表示される。また、各ユーザＵが別々に反応した（ある感情を強く抱いた）シーンがサムネイル画像ＩＭ１５及びＩＭ１６によりそれぞれ示される。さらに、相性の良さに関する表示７２が表示される。例えば、共感したシーンの数が多いほど相性の良さの高くなる確率（％）が表示される。
　なお、２人のユーザＵは恋人や夫婦ではなく、友人や親子の場合もあり得る。そこで、グループの関係性（夫婦、恋人、友人、親子等）を併せて表示して、実際に該当する関係性をユーザが選択できるようにしても良い。選択結果に応じて異なるアルゴリズムにより相性の診断が行われても良い。この他にも、お互いのユーザＵが共感できると考えられる映画や、お互いを理解するために好ましいと考えられる映画を感情情報に基づいて抽出し、その結果をサービス情報として提示しても良い。
　予約処理時に、映画に関する事前の予想クイズが行われた場合には、それに対する回答がサービス情報として提示されても良い。
　以上説明したように、ユーザＵは、感情情報の利用を許諾することによりサービス情報の提示を受けることができる。サービス情報の提供を受けることによりユーザＵは映画の視聴時における自己の感情の変化を振り返ることが可能となる。また、ユーザＵは、映画に対する自身が抱いた感情の特徴や、相手との相性等、サービス情報に応じた様々な情報を得ることができる。このように、取得する感情情報について、これらに代表されるサービス情報としてユーザに提供することで、ユーザに対して感情情報の利用を許諾することの動機付けを与えることができ、より多くのユーザに対して、感情情報の利用の許諾を促すことができる。もちろん、ユーザはサービス情報を欲しない場合には、予約処理において感情情報の利用を許諾しなければ良い。
［５．反応情報の利用の許諾がない場合の処理］
　ここで、反応情報の利用の許諾がない場合に行われる処理について説明する。反応情報の利用の許諾がない場合には、対応するデータは破棄される。例えば、サーバ２のサービス情報生成部２３は、予約情報を参照して許諾情報が「０」に対応する座席情報を読み出し、当該座席情報に対応する感情情報のデータを破棄する（消去する）。また、サーバ２は、許諾情報「１」が紐付けられた座席情報に対応する感情情報のデータのみを利用するようにしても良い。また、サーバ２は、許諾された情報のみを使用するようにしても良い。
　予約情報がサーバ２から反応情報取得装置３に供給されても良い。そして、感情推定部３３が、予約情報を参照し、許諾情報が「１」の座席情報に対応して設けられたセンサ部３２から供給されるセンサ情報のみに対して感情推定を行いその結果を出力しても良い。また、予約情報がセンサ部３２に供給されても良い。そして、センサ部３２が、自身が設けられた座席に対応する許諾情報が「１」の場合のみに、センサ情報を感情推定部３３に出力するようにしても良い。反応情報取得装置３において許諾情報の内容を判断することにより、センサ部３２や感情推定部３３における処理の負荷を低減することができる。
　なお、反応情報をユーザの属性とは結び付けずに、他のデータに混ぜて保存する、換言すれば、個人情報としてはわからない形で（無意味化して）保存しても良い（個人情報非連結化）。あるいは、得られた情報について統計化処理することでも、個人情報とは結びつかない形でのデータ利用を行うことができる。このように、許諾しなかったユーザに関する反応情報を必ずしも破棄する必要はない。このとき、反応情報の利用を許諾したユーザに関しては属性情報と連結しての情報利用を行い、許諾をしなかったユーザに関しては上述のように個人情報とは紐づかない形での情報利用を行うなど、許諾したユーザと許諾しなかったユーザとの反応情報との間の取り扱いに差を設けてもよい。
＜２．変形例＞
　以上、本開示の一実施形態について具体的に説明したが、本開示の内容は上述した一実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。
　上述した一実施形態では、提示情報の一例として映画を例にしたが、これに限定されるものではない。例えば、提示情報は、演劇、寄席、ライブパフォーマンス、スポーツ観戦、映画の本編再生前の宣伝、美術品の展示会等でも良い。特に、美術品の展示会等に対しても本技術を提供することができ、美術家は、鑑賞者がどの作品にどのような感情を抱いたのかを知ることができる。この場合、例えば、鑑賞チケットの購入時に許諾情報の入力がなされる。
　また、本開示は、映画等のコンテンツ提示型イベントではなく、参加型イベントに対しても適用することができる。参加型イベントしては、競馬、競輪の観戦やテーマパークのアトラクションを挙げることができる。例えば、観客の反応情報に基づいて、図２１に示すようなスタジアムにおける反応情報の分布を作成する。例えば、ハッチング８１が付された箇所の観客は気分が高揚し、反対にハッチング８２が付された箇所の観客の気分は落ち着いたことが示される。このように、応援チームや応援する対象（競馬なら馬）、観客の属性毎に反応情報が可視化される。これにより、例えば、年齢が１０代の観客は盛り上がっているが３０代の観客は冷静でいる状態を可視化することができる。反応情報を使用して、これまでの観客の興奮の時間的変化や、客席における反応情報のヒートマップが作成されても良い。可視化された反応情報は、スタジアムにおけるスクリーンに表示されたり、反応情報の利用を許諾したユーザが有する携帯端末にリアルタイムに配信されたりする。これにより、ユーザＵは、スタジアムやテーマパークにおける盛り上がり状況を認識することができる。
　上述した一実施形態における情報処理システム１００における各機能は、任意の装置が担うことができる。例えば、サーバ２が感情推定部３３を有するようにし、サーバ２において感情情報が推定されるようにしても良い。この場合、センサ情報のみが反応情報取得装置３からサーバ２に送信される。通信における帯域を低減するために、センサ情報のうち特徴的なデータ（例えば、顔認識における特徴点等）のみが送信されるようにしても良い。
　また、サービス情報生成部２３を反応情報取得装置３が有する構成でも良い。そして反応情報取得装置３がサービス情報を生成し、生成したサービス情報を予約端末１に送信しても良い。さらに、サーバ２の全ての機能を反応情報取得装置３が有する構成でも良く、情報処理システム１００が予約端末１及び反応情報取得装置３からなる構成でも良い。このように構成を適宜変更することにより、反応情報取得装置３が情報処理装置として機能する場合もあり得る。
　ＢＤ（Blu-ray Disc）（登録商標）、ＤＶＤ(Digital Versatile Disc)等を再生する再生機器には、本編を短縮して再生するダイジェスト再生と称される機能を有するものがある。ディスク制作者は、利用が許諾された反応情報を使用してダイジェスト再生する箇所や本編における区切り（チャプタ）を決定してディスクを制作しても良い。例えば、多くのユーザが驚いた箇所、興奮した箇所、感動した箇所を中心にダイジェスト再生が行われるようにディスクが作成されても良い。反応情報の利用を許諾したユーザが、自身の反応情報を反映させたディスクを作成できるようにしても良い。ディスクに限らず、ネットワークを経由して配信されるコンテンツの再生において反応情報が反映されても良い。
　上述した一実施形態におけるカメラモジュール３２Ａは、映画館に備え付けられるものでなく、ユーザＵが有するスマートフォン、携帯電話、タブレットコンピュータ等の撮像装置でも良い。このような撮像装置を、例えば前方の席に設けられた支持器具に装着することによりユーザＵの撮影が行われるようにしても良い。撮像装置により撮影された画像が通信により感情推定部３３に供給される。なお、そのような支持器具に撮像装置が装着されたことをもって、反応情報の利用が許諾されたものと判断されても良い。
　感情推定部３３は、驚きや感動等の特定の感情をターゲットとし、ターゲットである感情の有無を判定しても良い。映画のシーン毎にターゲットとする感情を変更しても良いし、提示情報の内容に応じてターゲットとする感情を変更しても良い。
　サービス情報が表示に代えて、若しくは、表示と共に音声により提示されても良い。
　本開示は、複数の装置からなるシステム、当該システムを構成する装置として実現することも可能である他、方法、プログラム等により実現することもできる。
　本開示は、以下の構成も採ることができる。
（１）
　提示情報に対するユーザの反応を示す反応情報を、当該反応情報の利用が許諾されている場合に利用する反応情報利用部を有する
　情報処理装置。
（２）
　前記反応情報を取得する反応情報取得部を有する（１）に記載の情報処理装置。
（３）
　前記反応情報取得部は、センサ部と、前記センサ部から出力されるセンサ情報に基づいて、前記反応情報を推定する反応情報推定部とを有する（２）に記載の情報処理装置。
（４）
　前記センサ部は、所定範囲に存在するユーザを監視し、当該ユーザが前記反応情報の利用を許諾している場合に、当該ユーザに関する前記センサ情報を前記反応情報推定部に出力する（３）に記載の情報処理装置。
（５）
　前記反応情報推定部は、所定範囲に存在する全ユーザのセンサ情報を使用してユーザ毎の前記反応情報を推定し、前記許諾したユーザの前記反応情報のみを出力する（３）又は（４）に記載の情報処理装置。
（６）
　前記反応情報利用部は、前記反応情報の利用を許諾したユーザに対してのみ提示されるサービス情報を生成する（１）から（５）までの何れかに記載の情報処理装置。
（７）
　前記サービス情報は、前記ユーザの反応情報に基づく特性である（６）に記載の情報処理装置。
（８）
　前記サービス情報は、前記ユーザの反応情報に基づく特性及び他のユーザの反応情報に対する相対的な特性の少なくとも一方である（６）に記載の情報処理装置。
（９）
　前記許諾の有無を示す許諾情報が、前記ユーザが予約した座席情報に対応付けられている（１）から（８）までの何れかに記載の情報処理装置。
（１０）
　所定のユーザに対応する前記座席情報が複数存在し、且つ、前記許諾情報が許諾有りを示す場合には、前記反応情報利用部は、前記座席情報に位置する複数のユーザの前記反応情報を利用して、当該ユーザ間に関連する情報を生成する（９）に記載の情報処理装置。
（１１）
　前記反応情報は、前記ユーザの感情に対応する情報である（１）から（１０）までの何れかに記載の情報処理装置。
（１２）
　前記提示情報は、前記ユーザが視聴するコンテンツ、前記ユーザが観戦するスポーツ及び前記ユーザが鑑賞する芸術の何れかである（１）から（１１）までの何れかに記載の情報処理装置。
（１３）
　反応情報利用部が、提示情報に対するユーザの反応を示す反応情報を、当該反応情報の利用が許諾されている場合に利用する
　情報処理方法。
（１４）
　提示情報に対するユーザの反応を示す反応情報を取得する反応情報取得部と、
　前記反応情報の利用が許諾されている場合に前記反応情報を利用する反応情報利用部を有する
　情報処理システム。
（１５）
　前記反応情報取得部は、センサ部と、前記センサ部から出力されるセンサ情報に基づいて、反応情報を推定する反応情報推定部とを有する（１４）に記載の情報処理システム。
（１６）
　座席情報により示される座席を予約するための一連の予約処理において、所定の提示情報を鑑賞する際の座席情報と、前記提示情報を鑑賞する際のユーザの反応を示す反応情報の利用を許諾するか否かの入力画面と、前記許諾を促すための情報とを表示部に表示する制御を行う表示制御部を有する
　表示装置。
（１７）
　（１６）に記載の表示装置と、前記表示装置に接続される情報処理装置とを有し、
　前記情報処理装置は、前記表示装置から出力される前記許諾の有無を示す許諾情報と、予約された前記座席情報とを対応付けて管理する予約情報管理部を有する
　予約システム。
１・・・予約端末、２・・・サーバ、３・・・反応情報取得装置、１１・・・予約端末制御部、１２・・・通信部、２２・・・予約情報管理部、２３・・・サービス情報生成部、３２・・・センサ部、３３・・・感情推定部

Claims (17)

  1. 　提示情報に対するユーザの反応を示す反応情報を、当該反応情報の利用が許諾されている場合に利用する反応情報利用部を有する
    　情報処理装置。
  2. 　前記反応情報を取得する反応情報取得部を有する請求項１に記載の情報処理装置。
  3. 　前記反応情報取得部は、センサ部と、前記センサ部から出力されるセンサ情報に基づいて、前記反応情報を推定する反応情報推定部とを有する請求項２に記載の情報処理装置。
  4. 　前記センサ部は、所定範囲に存在するユーザを監視し、当該ユーザが前記反応情報の利用を許諾している場合に、当該ユーザに関する前記センサ情報を前記反応情報推定部に出力する請求項３に記載の情報処理装置。
  5. 　前記反応情報推定部は、所定範囲に存在する全ユーザのセンサ情報を使用してユーザ毎の前記反応情報を推定し、前記許諾したユーザの前記反応情報のみを出力する請求項３に記載の情報処理装置。
  6. 　前記反応情報利用部は、前記反応情報の利用を許諾したユーザに対してのみ提示されるサービス情報を生成する請求項１に記載の情報処理装置。
  7. 　前記サービス情報は、前記ユーザの反応情報に基づく特性である請求項６に記載の情報処理装置。
  8. 　前記サービス情報は、前記ユーザの反応情報に基づく特性及び他のユーザの反応情報に対する相対的な特性の少なくとも一方である請求項６に記載の情報処理装置。
  9. 　前記許諾の有無を示す許諾情報が、前記ユーザが予約した座席情報に対応付けられている請求項１に記載の情報処理装置。
  10. 　所定のユーザに対応する前記座席情報が複数存在し、且つ、前記許諾情報が許諾有りを示す場合には、前記反応情報利用部は、前記座席情報に位置する複数のユーザの前記反応情報を利用して、当該ユーザ間に関連する情報を生成する請求項９に記載の情報処理装置。
  11. 　前記反応情報は、前記ユーザの感情に対応する情報である請求項１に記載の情報処理装置。
  12. 　前記提示情報は、前記ユーザが視聴するコンテンツ、前記ユーザが観戦するスポーツ及び前記ユーザが鑑賞する芸術の何れかである請求項１に記載の情報処理装置。
  13. 　反応情報利用部が、提示情報に対するユーザの反応を示す反応情報を、当該反応情報の利用が許諾されている場合に利用する
    　情報処理方法。
  14. 　提示情報に対するユーザの反応を示す反応情報を取得する反応情報取得部と、
    　前記反応情報の利用が許諾されている場合に前記反応情報を利用する反応情報利用部を有する
    　情報処理システム。
  15. 　前記反応情報取得部は、センサ部と、前記センサ部から出力されるセンサ情報に基づいて、反応情報を推定する反応情報推定部とを有する請求項１４に記載の情報処理システム。
  16. 　座席情報により示される座席を予約するための一連の予約処理において、所定の提示情報を鑑賞する際の座席情報と、前記提示情報を鑑賞する際のユーザの反応を示す反応情報の利用を許諾するか否かの入力画面と、前記許諾を促すための情報とを表示部に表示する制御を行う表示制御部を有する
    　表示装置。
  17. 　請求項１６に記載の表示装置と、前記表示装置に接続される情報処理装置とを有し、
    　前記情報処理装置は、前記表示装置から出力される前記許諾の有無を示す許諾情報と、予約された前記座席情報とを対応付けて管理する予約情報管理部を有する
    　予約システム。
PCT/JP2018/028439 2017-10-13 2018-07-30 情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システム WO2019073661A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019547920A JP7234930B2 (ja) 2017-10-13 2018-07-30 情報処理装置、情報処理方法及び情報処理システム
CN201880049224.8A CN110959166B (zh) 2017-10-13 2018-07-30 信息处理设备、信息处理方法、信息处理系统、显示设备和预订系统
US16/629,343 US20210158228A1 (en) 2017-10-13 2018-07-30 Information processing device, information processing method, information processing system, display device, and reservation system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017199063 2017-10-13
JP2017-199063 2017-10-13

Publications (1)

Publication Number Publication Date
WO2019073661A1 true WO2019073661A1 (ja) 2019-04-18

Family

ID=66101332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028439 WO2019073661A1 (ja) 2017-10-13 2018-07-30 情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システム

Country Status (4)

Country Link
US (1) US20210158228A1 (ja)
JP (1) JP7234930B2 (ja)
CN (1) CN110959166B (ja)
WO (1) WO2019073661A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021194296A (ja) * 2020-06-16 2021-12-27 住友電気工業株式会社 感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラム
WO2022208723A1 (ja) * 2021-03-31 2022-10-06 日本電信電話株式会社 情報処理装置、情報処理方法、及び、情報処理プログラム
WO2023053278A1 (ja) * 2021-09-29 2023-04-06 住友電気工業株式会社 提供システム、提供方法、及びコンピュータプログラム
WO2023203961A1 (ja) * 2022-04-18 2023-10-26 パナソニックＩｐマネジメント株式会社 心理状態表示システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027301A (ja) * 2006-07-24 2008-02-07 Nec System Technologies Ltd 座席予約システム、座席予約装置、座席予約方法、及びプログラム
WO2014192457A1 (ja) * 2013-05-30 2014-12-04 ソニー株式会社 クライアント装置、制御方法、システム、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8825482B2 (en) * 2005-09-15 2014-09-02 Sony Computer Entertainment Inc. Audio, video, simulation, and user interface paradigms
JP2009508553A (ja) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー／エス 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
US7889073B2 (en) * 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
JP2010225082A (ja) * 2009-03-25 2010-10-07 Noritsu Koki Co Ltd 画像データ管理システムおよび画像データ管理方法
JP2013020365A (ja) * 2011-07-08 2013-01-31 Namco Bandai Games Inc ゲームシステム、プログラム、及び情報記憶媒体
CN104160734B (zh) * 2012-03-08 2018-09-21 英派尔科技开发有限公司 测量与移动装置关联的体验质量
JP2013223038A (ja) * 2012-04-13 2013-10-28 Olympus Imaging Corp 撮像装置及び撮像のための照明方法
US9721010B2 (en) * 2012-12-13 2017-08-01 Microsoft Technology Licensing, Llc Content reaction annotations
JP2014130467A (ja) * 2012-12-28 2014-07-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
JP2014134922A (ja) * 2013-01-09 2014-07-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR20150126196A (ko) * 2014-05-02 2015-11-11 삼성전자주식회사 사용자 감성 활동 기반 데이터 처리 장치 및 방법
CN105787574A (zh) * 2014-12-26 2016-07-20 阿里巴巴集团控股有限公司 提供座位信息的方法及装置
CN107995477A (zh) * 2016-10-26 2018-05-04 中联盛世文化（北京）有限公司 图像展示方法、客户端及系统、图像发送方法及服务器
CN108604246A (zh) * 2016-12-29 2018-09-28 华为技术有限公司 一种调节用户情绪的方法及装置
US10348658B2 (en) * 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027301A (ja) * 2006-07-24 2008-02-07 Nec System Technologies Ltd 座席予約システム、座席予約装置、座席予約方法、及びプログラム
WO2014192457A1 (ja) * 2013-05-30 2014-12-04 ソニー株式会社 クライアント装置、制御方法、システム、およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021194296A (ja) * 2020-06-16 2021-12-27 住友電気工業株式会社 感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラム
JP7395429B2 (ja) 2020-06-16 2023-12-11 住友電気工業株式会社 感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラム
WO2022208723A1 (ja) * 2021-03-31 2022-10-06 日本電信電話株式会社 情報処理装置、情報処理方法、及び、情報処理プログラム
WO2023053278A1 (ja) * 2021-09-29 2023-04-06 住友電気工業株式会社 提供システム、提供方法、及びコンピュータプログラム
WO2023203961A1 (ja) * 2022-04-18 2023-10-26 パナソニックＩｐマネジメント株式会社 心理状態表示システム

Also Published As

Publication number Publication date
CN110959166A (zh) 2020-04-03
JPWO2019073661A1 (ja) 2020-11-05
CN110959166B (zh) 2024-04-30
US20210158228A1 (en) 2021-05-27
JP7234930B2 (ja) 2023-03-08

Similar Documents

Publication Publication Date Title
JP7234930B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
US11936720B2 (en) Sharing digital media assets for presentation within an online social network
CN105339969B (zh) 链接的广告
US11003306B2 (en) Ranking requests by content providers in video content sharing community
CN107320114B (zh) 基于脑电波检测的拍摄处理方法、系统及其设备
TWI581128B (zh) 基於媒體反應來控制媒體節目的方法、系統及電腦可讀取儲存記憶體
KR101983322B1 (ko) 관심 기반 비디오 스트림 선택 기법
TW201301177A (zh) 經由觀眾回饋的廣告選擇
US20130151333A1 (en) Affect based evaluation of advertisement effectiveness
US20140002342A1 (en) System for presenting high-interest-level images
US20140200463A1 (en) Mental state well being monitoring
KR20140045412A (ko) 환경 센싱에 기초한 비디오 하이라이트 식별 기법
KR20180132063A (ko) 개인의 생활 스토리 시뮬레이션 시스템
US20140002644A1 (en) System for modifying images to increase interestingness
US20140003737A1 (en) Modifying digital images to increase interest level
TW201407516A (zh) 決定當前呈現的媒體節目的未來部分
WO2014005022A1 (en) Individualizing generic communications
US20130102854A1 (en) Mental state evaluation learning for advertising
JP7343660B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US11157548B2 (en) Systems and methods for generating targeted media content
Vermeulen et al. Heartefacts: augmenting mobile video sharing using wrist-worn heart rate sensors
JP7260505B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び端末装置
Sasaki et al. Investigating the occurrence of selfie-based emotional contagion over social network
US20220070066A1 (en) Information processing apparatus and non-transitory computer readable medium storing program
US20130052621A1 (en) Mental state analysis of voters

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18865727

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019547920

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18865727

Country of ref document: EP

Kind code of ref document: A1