WO2018173383A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2018173383A1
WO2018173383A1 PCT/JP2017/044129 JP2017044129W WO2018173383A1 WO 2018173383 A1 WO2018173383 A1 WO 2018173383A1 JP 2017044129 W JP2017044129 W JP 2017044129W WO 2018173383 A1 WO2018173383 A1 WO 2018173383A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
content
degree
immersion
Prior art date
Application number
PCT/JP2017/044129
Other languages
English (en)
French (fr)
Inventor
真一 河野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/486,963 priority Critical patent/US10877555B2/en
Priority to EP17902050.8A priority patent/EP3599536A4/en
Priority to JP2019506938A priority patent/JP7107302B2/ja
Publication of WO2018173383A1 publication Critical patent/WO2018173383A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • VR Virtual Reality
  • a user can watch a video generated by a computer with a high sense of reality.
  • Patent Document 1 describes a technique for stopping the display of a VR image according to the importance of an event that has occurred in the real world when the VR image is displayed on a display unit.
  • Patent Document 1 it has not been considered to perform display control for reducing the degree of immersion of the user while the VR image is displayed on the display unit.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of appropriately suppressing the degree of immersion of a user who is using virtual reality content.
  • the acquisition unit that acquires the excitement information regarding the use of the virtual reality content or the behavior of the first user who is using the content
  • the display unit And an output control unit that performs display control for reducing the degree of immersion of the first user based on the swell information or information on the behavior of the first user.
  • the information about the use of the virtual reality content or the information about the action of the first user who is using the content is acquired, and the content is displayed on the display unit.
  • a processor performs display control for reducing the degree of immersion of the first user based on the swell information or information on the behavior of the first user. Is done.
  • the content is acquired by the display unit by the acquisition unit that acquires the excitement information regarding the use of the virtual reality content or the behavior of the first user who is using the content.
  • FIG. 3 is a functional block diagram illustrating a configuration example of a server 10-1 according to the first embodiment of the present disclosure. It is an example of the graph which showed the correspondence of the reproduction time of VR content, and the excitement degree which excitement information shows. It is an example of the graph which showed the correspondence of the event information of VR content, and the excitement degree which excitement information shows. It is explanatory drawing which showed the 1st example of the display control for reducing the degree of immersion which concerns on 1st Embodiment.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • a plurality of components having substantially the same functional configuration are differentiated as necessary, such as the client terminal 20a and the client terminal 20b.
  • only the same reference numerals are given.
  • the client terminal 20a and the client terminal 20b they are simply referred to as the client terminal 20.
  • the server 10-1 according to the first embodiment of the present disclosure and the server 10-2 according to the second embodiment of the present disclosure are collectively referred to as the server 10. There is.
  • the information processing system includes a server 10, a client terminal 20, and a communication network 22.
  • the client terminal 20 is a device that controls display of content such as VR content, for example.
  • content such as VR content
  • the client terminal 20 displays the VR content on the display unit 224 described later.
  • the types of VR content may be various types such as movies (for example, horror movies and comedy movies), games (for example, fighting games and love games), and sports events.
  • the display unit 224 may be a head-mounted device as shown in FIG. 1 (for example, a wearable device such as an HMD (Head Mounted Display)).
  • HMD Head Mounted Display
  • FIG. 1 only one client terminal 20 is illustrated.
  • the present invention is not limited to this example, and a plurality of client terminals 20 can be connected to the communication network 22.
  • each of the plurality of client terminals 20 can communicate with the server 10 via the communication network 22.
  • the client terminal 20 includes a control unit 200, a communication unit 220, an input unit 222, a display unit 224, an audio output unit 226, a sensor unit 228, and a storage unit 230. It should be noted that one or more of the input unit 222, the display unit 224, the audio output unit 226, and the sensor unit 228 can communicate with the client terminal 20 instead of being included in the client terminal 20. You may comprise as another apparatus.
  • the sensor unit 228 includes a camera (image sensor), a depth sensor, an acceleration sensor, a gyroscope, a pulse sensor, a humidity sensor, a respiration sensor, an electroencephalogram sensor, a myoelectric sensor, and / or a microphone.
  • the sensor unit 228 (camera) images the user's body (mouth, eyes, arms, etc.) and the like.
  • the sensor unit 228 (microphone) collects sounds such as user's utterances.
  • the sensor unit 228 (humidity sensor, pulse sensor, respiration sensor, electroencephalogram sensor, myoelectric sensor, etc.) includes, for example, a large amount of perspiration by the user, a large amount of pulse, a large respiration rate, an electroencephalogram, and a muscle.
  • the user's biological information such as potential can be measured.
  • At least one type of sensor included in the sensor unit 228 can be worn by the user.
  • the at least one type of sensor may be configured as an apparatus integrated with the display unit 224, or may be a wearable device different from the display unit 224.
  • At least one type of sensor included in the sensor unit 228 is not only worn by the user, but may be separately disposed in a real space (for example, a room) where the user is located. .
  • the control unit 200 comprehensively controls the operation of the client terminal 20 using, for example, a CPU (Central Processing Unit) or a RAM (Random Access Memory) built in the client terminal 20.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • control unit 200 acquires a sensing result by the sensor unit 228 from the sensor unit 228, and causes the communication unit 220 to transmit the sensing result to the server 10.
  • control unit 200 causes the communication unit 220 to transmit information related to VR content being used by the user (hereinafter referred to as content information) to the server 10.
  • content information includes VR content identification information, a VR content type, and the like.
  • control unit 200 causes the communication unit 220 to transmit information related to the user who is using the VR content (hereinafter referred to as user information) to the server 10.
  • user information includes, for example, the user ID, name, age, and sex.
  • the communication unit 220 transmits and receives information to and from other devices. For example, the communication unit 220 transmits various sensing results by the sensor unit 228, content information, user information, and the like to the server 10 under the control of the control unit 200. Although details will be described later, the communication unit 220 receives display control information for the display unit 224 and audio output control information for the audio output unit 226 from the server 10.
  • the input unit 222 receives various user inputs. For example, the input unit 222 receives input of user operation information for the VR content being displayed on the display unit 224.
  • the input unit 222 may include a touch panel, buttons, levers, switches, and the like.
  • the input unit 222 may be a controller that can communicate with the client terminal 20 by wire or wirelessly.
  • the display unit 224 displays an image according to the control of the control unit 200.
  • the display unit 224 can be configured as a non-transmissive display device.
  • the display unit 224 may be configured to include an LCD (Liquid Crystal Display), an OLED (Organic Light Emitting Diode), or the like.
  • an image in front of the user that is captured by the sensor unit 228 (camera) may be displayed on the display unit 224.
  • the audio output unit 226 outputs audio according to the control of the control unit 200.
  • the audio output unit 226 can be configured as, for example, a speaker, an earphone, or a headphone. Note that the audio output unit 226 and the display unit 224 may be configured as an integrated device.
  • the storage unit 230 stores various data and various software.
  • the server 10 is an example of an information processing device according to the present disclosure.
  • the server 10 can perform various controls (for example, display control, audio output control, etc.) on the client terminal 20 via the communication network 22. For example, while the VR content is displayed on the display unit 224, the server 10 performs display control on the display unit 224 based on information received from the client terminal 20.
  • FIG. 1 only one server 10 is illustrated.
  • the present invention is not limited to this example, and the functions of the server 10 according to each embodiment are realized by a plurality of computers operating in cooperation. May be.
  • the communication network 22 is a wired or wireless transmission path for information transmitted from a device connected to the communication network 22.
  • the communication network 22 may include a public line network such as a telephone line network, the Internet, and a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the communication network 22 may include a dedicated network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the server 10 according to each embodiment has been created by focusing on the above circumstances. While the server 10 according to each embodiment acquires the excitement information regarding the use of the VR content or the information regarding the behavior of the user who is using the VR content, and the VR content is displayed on the display unit 224, In addition, it is possible to perform display control for reducing the degree of immersion of the user based on the excitement information or information on the user's behavior. For this reason, it is possible to appropriately suppress the degree of immersion of the user who is using the VR content.
  • the excitement information may be information indicating the degree of excitement when the user who is using the VR content or at least one other user different from the user has used the VR content in the past.
  • the degree of excitement indicated by the excitement information may be a set value of the degree of excitement when each of a plurality of users has used VR content in the past.
  • the excitement information may be information indicating the current immersion level (or excitement level) of the user who is using the VR content.
  • the degree of excitement indicated by the excitement information may mean the current degree of immersion (or excitement) of the user who is using the VR content.
  • “display control for reducing the degree of immersion” according to the first embodiment is referred to as “first display control for reducing the degree of immersion”, and “to reduce the degree of immersion” according to the second embodiment.
  • “Display control” may be referred to as “second display control for reducing the degree of immersion”.
  • FIG. 4 is a functional block diagram showing a configuration example of the server 10-1 according to the first embodiment.
  • the server 10-1 includes a control unit 100, a communication unit 120, and a storage unit 122.
  • Control unit 100 may include a processing circuit such as a CPU 150 described later.
  • the control unit 100 comprehensively controls the operation of the server 10-1.
  • the control unit 100 includes an information acquisition unit 102, a swell information registration unit 104, and an output control unit 106.
  • the information acquisition unit 102 is an example of an acquisition unit in the present disclosure.
  • the information acquisition unit 102 acquires various sensing results, content information, and user information received from at least one client terminal 20.
  • the information acquisition unit 102 acquires excitement information related to the VR content indicated by the received content information based on, for example, the received sensing result.
  • the information acquisition unit 102 acquires the excitement information based on the result of the speech recognition of the collected user's utterance information received from at least one client terminal 20.
  • the information acquisition unit 102 first recognizes speech of the collected user's utterance and then analyzes morpheme information by performing natural language processing on the speech recognition result.
  • the information acquisition unit 102 determines whether or not the speech recognition result includes a moving verb based on the analyzed morpheme information, and if the speech recognition result includes a moving verb, the information acquisition unit 102 It is specified that the degree of climax at the sound collection timing is equal to or greater than a predetermined threshold, and swell information indicating the identified result is acquired.
  • the information acquisition unit 102 acquires excitement information based on the degree of opening of the user's mouth (or the degree of clenching of teeth) specified from the captured image of the user's mouth received from at least one client terminal 20. To do. For example, the information acquisition unit 102 first recognizes whether or not the user's mouth is open with a certain size or more based on the captured image of the user's mouth. Then, when it is recognized that the duration of the time when the user's mouth is open with a certain size or more is a predetermined time or more, the information acquisition unit 102 determines the timing at which the captured image of the mouth is captured.
  • the degree of swell is equal to or greater than a predetermined threshold, and swell information indicating the specified result is acquired.
  • the information acquisition unit 102 determines the timing of capturing the captured image of the mouth.
  • Excitement information indicating that the degree of excitement of the user is less than a predetermined threshold may be acquired.
  • the information acquisition unit 102 acquires excitement information based on the degree of excitement specified from the voice analysis of the collected user's utterance (such as utterance). For example, the information acquisition unit 102 first determines the degree of user excitement by analyzing the voice of the collected user. When the determined degree of excitement is equal to or greater than a predetermined threshold, the information acquisition unit 102 identifies and identifies that the degree of user excitement at the sound collection timing of the utterance is equal to or greater than the predetermined threshold. Get excitement information showing the results. If the determined excitement degree is less than a predetermined threshold, the information acquisition unit 102 acquires excitement information indicating that the user's excitement level at the sound collection timing of the utterance is less than the predetermined threshold. May be.
  • the information acquisition unit 102 acquires excitement information based on the volume of the collected user's utterance received from at least one client terminal 20. For example, the information acquisition unit 102 first determines whether or not the volume of the collected user's utterance is greater than or equal to a predetermined threshold. When the volume of the user's utterance is equal to or higher than a predetermined threshold, the information acquisition unit 102 specifies and specifies that the user's excitement level at the sound collection timing of the utterance is equal to or higher than the predetermined threshold. Get excitement information showing the results.
  • the information acquisition unit 102 acquires swell information indicating that the degree of climax of the user at the sound collection timing of the utterance is less than the predetermined threshold. May be.
  • the information acquisition unit 102 acquires swell information based on, for example, the degree of pupil opening received from at least one client terminal 20 and specified from a captured image of the user's eyes. For example, the information acquisition unit 102 first detects a pupil from a captured image of the user's eyes. When the detected degree (size) of pupil opening is equal to or greater than a predetermined threshold, the information acquisition unit 102 determines that the degree of swell of the user at the shooting timing of the captured image of the eye is equal to or greater than the predetermined threshold. And swell information indicating the identified result is acquired. In addition, when the detected degree of pupil opening is less than a predetermined threshold, the information acquisition unit 102 indicates that the degree of user swell at the shooting timing of the captured image of the eye is less than the predetermined threshold. Information may be acquired.
  • the information acquisition unit 102 acquires swell information based on the number of blinks specified from, for example, the captured moving image of the user's eyes received from at least one client terminal 20. For example, the information acquisition unit 102 first detects blinking from the captured moving image of the user's eyes. When the number of blinks detected within a predetermined time is equal to or greater than a predetermined threshold, the information acquisition unit 102 determines that the degree of user swell at the shooting timing of the captured moving image of the eye is equal to or greater than the predetermined threshold. It identifies that there is, and obtains excitement information indicating the identified result.
  • the information acquisition unit 102 specifies that the degree of user swell at the shooting timing of the captured moving image of the eye is greater than or equal to a predetermined threshold, And the excitement information which shows the specified result may be acquired.
  • the information acquisition unit 102 acquires swell information based on the degree of redness of the eyes received from at least one client terminal 20, for example, specified from the captured image of the user's eyes. For example, the information acquisition unit 102 first detects capillaries in the sclera (white eye portion) from the captured image of the user's eyes. Then, when the degree of hyperemia specified from the detection result is equal to or greater than a predetermined threshold, the information acquisition unit 102 identifies that the degree of swell of the user at the shooting timing of the captured image of the eye is equal to or greater than the predetermined threshold. And the excitement information which shows the specified result is acquired. When the degree of hyperemia specified from the detection result is less than a predetermined threshold, the information acquisition unit 102 indicates that the degree of user swell at the shooting timing of the captured image of the eye is less than the predetermined threshold. Excitement information may be acquired.
  • the information acquisition unit 102 acquires excitement information based on the sensing result of the degree of sweating of the user (such as the amount of sweating) received from at least one client terminal 20. For example, the information acquisition unit 102 first determines the degree of user perspiration based on the sensing result. If the determined degree of sweating is equal to or greater than a predetermined threshold, the information acquisition unit 102 identifies that the user's excitement level during the sensing is equal to or greater than the predetermined threshold, and indicates the identified result. Get excitement information. When the determined degree of sweating is less than a predetermined threshold, the information acquisition unit 102 may acquire swell information indicating that the degree of swell of the user at the time of sensing is less than the predetermined threshold. .
  • the information acquisition unit 102 acquires excitement information based on the sensing result of the user's pulse rate or the respiratory rate received from at least one client terminal 20. For example, the information acquisition unit 102 first determines whether or not the user's pulse rate (or respiratory rate) is equal to or greater than a predetermined threshold based on the sensing result. If the determined pulse rate (or respiratory rate) is equal to or greater than a predetermined threshold, the information acquisition unit 102 identifies that the degree of user excitement during the sensing is equal to or greater than the predetermined threshold, and The excitement information indicating the result is obtained.
  • the information acquisition unit 102 acquires swell information indicating that the degree of swell of the user at the time of sensing is less than the predetermined threshold. May be.
  • the pulse rate and / or respiration rate may be sensed by a dedicated sensor (such as a pulse sensor or a respiration sensor) or specified based on image recognition of a captured image of the user's body (for example, the chest). May be.
  • the information acquisition unit 102 acquires excitement information based on the degree of excitement specified from the electroencephalogram sensing result received from at least one client terminal 20. For example, the information acquisition unit 102 first specifies the degree of excitement based on the sensing result. When the specified degree of excitement is equal to or higher than a predetermined threshold (for example, when it is detected that a brain wave of ⁇ (gamma) waves of 30 Hz or higher is detected), the information acquisition unit 102 It is specified that the degree of user excitement at the time of sensing is equal to or greater than a predetermined threshold value, and excitement information indicating the specified result is acquired. In addition, when the specified degree of excitement is less than a predetermined threshold, the information acquisition unit 102 may acquire excitement information indicating that the degree of excitement of the user at the time of sensing is less than the predetermined threshold. .
  • a predetermined threshold for example, when it is detected that a brain wave of ⁇ (gamma) waves of 30 Hz or higher is detected
  • the information acquisition unit 102 It is specified
  • the information acquisition unit 102 is recognized from, for example, a captured image of the user received from at least one client terminal 20, and the degree of surprise of the user's facial expression, the number of whispering, the number of hand movements, the nostrils It is also possible to acquire the swell information based on the degree of bulge or the degree of forward tilt of the neck. For example, when the recognized degree of forward tilt of the neck is equal to or greater than a predetermined threshold, the information acquisition unit 102 identifies and identifies that the degree of user excitement during the sensing is equal to or greater than the predetermined threshold Get excitement information showing the results.
  • the information acquisition unit 102 can also acquire excitement information based on user operation information on VR content received from at least one client terminal 20. For example, when the operation information indicates that the same timing or the same scene in the VR content has been reproduced a plurality of times, the information acquisition unit 102 determines whether the user is excited at the corresponding reproduction timing or the corresponding reproduction scene. Is determined to be greater than or equal to a predetermined threshold value, and swell information indicating the identified result is acquired.
  • the information acquisition unit 102 also uploads information (for example, character strings (messages)) uploaded to, for example, an SNS (Social Networking Service), an electronic bulletin board, an information sharing service, and a blog (hereinafter referred to as “SNS etc.”). And the number of clicks of the “Like button”) and the content information received from the client terminal 20 can be used to obtain the excitement information.
  • the information acquisition unit 102 first searches for a character string related to the content information received from the client terminal 20 from character strings uploaded to the SNS or the like. And the information acquisition part 102 analyzes the meaning (contents) of the searched character string, and acquires excitement information based on an analysis result.
  • the information acquisition unit 102 can specify that the degree of user excitement in an event in which “XYZ” occurs in the VR content is equal to or greater than a predetermined threshold, and can acquire excitement information indicating the specified result. For example, the information acquisition unit 102 first extracts a proper noun “XYZ” from the character string, and acquires the image corresponding to the proper noun by searching the SNS or the like. Next, the information acquisition unit 102 performs a similar image search of the acquired images for the corresponding VR content.
  • the information acquisition unit 102 specifies that the degree of user excitement in an event in which “XYZ” occurs in the VR content is equal to or greater than a predetermined threshold, and Then, the excitement information indicating the identified result is acquired.
  • the information acquisition unit 102 may acquire excitement information based on the number of posts to SNS or the like of keyword information (for example, a character string to which a hash tag is added) related to the relevant VR content. For example, the information acquisition unit 102 first acquires the number of posts per unit time of the keyword information to the SNS or the like for each keyword information related to the relevant VR content. Then, the information acquisition unit 102 specifies the degree of excitement at the time of occurrence of the event corresponding to the keyword information according to the obtained number of posts, and obtains excitement information indicating the identified result. Note that the information acquisition unit 102 may specify that the greater the number of posts per unit time of the keyword information to the SNS or the like, the greater the degree of excitement.
  • keyword information for example, a character string to which a hash tag is added
  • the climax information registration unit 104 stores the climax information acquired by the information acquisition unit 102 in the climax information DB 124.
  • the climax information registration unit 104 stores the obtained climax information and the VR content identification information corresponding to the climax information in the climax information DB 124 in association with each other.
  • Output control unit 106 controls display on the display unit 224 and controls output of audio to the audio output unit 226. For example, the output control unit 106 acquires, by the information acquisition unit 102, first display control for reducing the degree of immersion of the user who is using the VR content while the VR content is displayed on the display unit 224. Based on the raised information.
  • the output control unit 106 when the degree of excitement indicated by the excitement information associated with the VR content is greater than a predetermined threshold, the output control unit 106 performs first display control for reducing the degree of immersion.
  • the VR content is a moving image (such as a movie)
  • the playback timing (or scene) of the VR content and the degree of excitement indicated by the excitement information can be associated as shown in the graph of FIG. .
  • the output control unit 106 performs the immersion.
  • the first display control for decreasing the degree is started.
  • the output control unit 106 The first display control for reducing the degree of immersion may be started.
  • first display control for reducing the degree of immersion a plurality of frame images extracted from a portion after the current reproduction timing in the relevant VR content are superimposed on a predetermined region in the VR content. Display on the display unit 224.
  • the video 30a shown in FIG. 7A is a video with the same playback timing as the VR content video 30a shown in FIG. It should be noted that the degree of excitement indicated by the excitement information associated with the VR content changes from a value equal to or less than a predetermined threshold at a playback timing of the video 30a to a value greater than the predetermined threshold.
  • the output control unit 106 first sets the line of sight of the user who is using the VR content so that a predetermined area in the corresponding VR content is displayed on the display unit 224.
  • a guide display 32 for guiding is displayed superimposed on the VR content.
  • the guide display 32 is a UI (User Interface) for guiding the user's line of sight so that an area that is not obstructed when using (viewing) the VR content is displayed on the display unit 224. .
  • UI User Interface
  • FIG. 7A it is assumed that there is an area in the VR content that is not obstructed in using the VR content above FIG. 7A.
  • the guide display 32 may be an animation in which triangles are added and displayed one by one upward.
  • the output control unit 106 As shown in FIG. A plurality of frame images 400 (screen shots) are extracted from the subsequent portions, and the UI 40 including the plurality of frame images 400 is displayed superimposed on the VR content.
  • the UI 40 including the plurality of frame images 400 is displayed superimposed on the VR content.
  • this display example when the reproduction of the VR content is continued, a part of a video to be displayed in the future is notified to the user in advance. Therefore, for example, as compared with the comparative example, the degree of immersion of the user when the reproduction of the VR content is continued can be suppressed.
  • the output control unit 106 In response to the operation, the reproduction of the VR content is resumed. Thereby, for example, as shown in FIG. 7C, the video 30c after the display timing of the video 30a shown in FIG. 7A in the VR content is continuously displayed on the display unit 224.
  • the output control unit 106 may display the UI 42 as shown in FIG. 8 so as to be superimposed on the video 30b of the VR content instead of the UI 40 shown in FIG. 7B.
  • the UI 42 includes a plurality of frame images 420 extracted from a portion after the current reproduction timing, and a seek bar 422.
  • the output control unit 106 resumes (normal) reproduction of the VR content from the reproduction timing corresponding to the position of the cursor 424 after the movement. .
  • the first display control for reducing the degree of immersion may include moving the current viewpoint position in the VR content to the rear with respect to the direction of the viewpoint.
  • the degree of excitement indicated by the excitement information associated with the VR content changes from a value equal to or less than a predetermined threshold to a value greater than the predetermined threshold at the display (playback) timing of the video 30a illustrated in FIG. 9A.
  • the output control unit 106 first forces the current viewpoint position in the VR content backward, for example, by a predetermined distance (for example, five steps) with respect to the direction of the viewpoint. Move to.
  • the output control unit 106 moves the current viewpoint position to a rear position where there is no hindrance in using the VR content.
  • FIG. 9B the video 30b of the VR content from the viewpoint position after movement is displayed on the display unit 224.
  • the output control unit 106 displays an image 46 indicating the back of the user who is using the VR content on the video 30b in the vicinity of the position of the viewpoint before the movement.
  • the video 30b that provides an overhead view of the user who was watching the VR content at the viewpoint position before the movement.
  • the output control unit 106 sets the position of the viewpoint. It can return to the position of the viewpoint before the said movement.
  • the first display control for reducing the degree of immersion can include reducing the display size of the corresponding VR content on the display unit 224.
  • the output control unit 106 displays the timing shown in FIG. 10A.
  • the display size of the video 50 of the VR content is reduced and displayed on the display unit 224, and the display area 52 around the video 50 on the display unit 224 is displayed in a predetermined color (for example, black).
  • the display size of the video can be maintained as shown in FIG. 10B, for example. Then, at the timing when the degree of excitement indicated by the excitement information associated with the VR content changes from a value higher than the predetermined threshold to a value equal to or less than the predetermined threshold, the output control unit 106 displays the display size of the video. Can be restored to the original display size.
  • the communication unit 120 can be configured to include a communication device 162 described later, for example.
  • the communication unit 120 transmits and receives information to and from other devices.
  • the communication unit 120 transmits display control information or audio output control information to the client terminal 20 according to the control of the output control unit 106.
  • the communication unit 120 receives various sensing results, content information, user information, and the like from the client terminal 20.
  • the storage unit 122 can be configured to include, for example, a storage device 160 described later.
  • the storage unit 122 stores, for example, various data such as the climax information DB 124 and various software. Note that the climax information DB 124 may be stored in another device with which the server 10 can communicate via the communication network 22 instead of being stored in the storage unit 122.
  • FIG. 11 is a flowchart showing the overall flow of “processing when using content” according to the first embodiment.
  • the client terminal 20 transmits various sensing results by the sensor unit 228, content information of the VR content being displayed on the display unit 224, user information of a user who is using the VR content, and the like to the server 10 ( S101).
  • the user selects the swell suppression mode (S103). In the following description, it is assumed that the user has selected the swell suppression mode.
  • the output control unit 106 of the server 10-1 extracts the excitement information associated with the corresponding VR content from the excitement information DB 124 (S105).
  • the output control unit 106 determines whether or not the degree of excitement associated with the current playback portion of the VR content is greater than a predetermined threshold (S107).
  • a predetermined threshold S107
  • the server 10-1 performs the process of S111 described later.
  • the output control unit 106 performs a “first display control process for reducing the degree of immersion” described later (S109).
  • the output control unit 106 acquires the detection result of the position of the user's current gaze point on the display unit 224 from the client terminal 20 (S123).
  • the output control unit 106 displays a UI for guiding the user's line of sight to the area calculated in S121 so as to be superimposed on the VR content (S125).
  • the output control unit 106 selects a plurality of frames from the portion of the VR content after the current playback timing. An image is extracted, and a UI including the plurality of frame images is generated (S127).
  • the output control unit 106 displays the generated UI superimposed on the VR content (S129).
  • the output control unit 106 resumes reproduction of the VR content according to the user's interaction with the UI displayed in S129 (S131).
  • FIG. 13 is a flowchart showing the flow of the second example of “first display control process for reducing the degree of immersion” in S109.
  • the process of S141 shown in FIG. 13 is the same as that of S121 shown in FIG.
  • the output control unit 106 moves the position of the current viewpoint in the VR content to a rear position that does not hinder the use of the VR content (S143). ).
  • the output control unit 106 superimposes and displays an image showing the back of the user who is using the VR content near the position of the viewpoint before the movement (S145).
  • FIG. 14 is a flowchart showing the flow of the first example of the “rising information registration process”. As shown in FIG. 14, first, the information acquisition unit 102 of the server 10-1 acquires the collected voice information of the user received from the client terminal 20 (S201).
  • the information acquisition unit 102 performs voice recognition on the acquired voice information (S203). And the information acquisition part 102 analyzes morpheme information by performing a natural language process with respect to a speech recognition result (S205).
  • the information acquisition unit 102 determines whether or not the speech recognition result includes a moving verb based on the analyzed morpheme information (S207).
  • the speech recognition result does not include the impression verb (S207: No)
  • the “swelling information registration process” ends.
  • the server 10-1 performs a “swelling information association process” described later (S209).
  • the information acquisition unit 102 determines that there has been an unconscious behavior of the user at the time of corresponding sensing (S301).
  • the information acquisition unit 102 acquires and holds information on the corresponding unconscious behavior (for example, the corresponding sensing result) (S303).
  • the information acquisition unit 102 considers that the corresponding unconscious behavior has occurred, that the degree of excitement at the time of the relevant sensing is equal to or greater than a predetermined threshold, and indicates that the degree of excitement is equal to or greater than the predetermined threshold.
  • the swell information is acquired (S305).
  • the excitement information registration unit 104 displays the VR content portion (for example, reproduction timing, reproduction scene, event information, or a place in the virtual space corresponding to the VR content) displayed at the time of the corresponding sensing.
  • the swell information (or the swell degree indicated by the swell information) is associated and registered in the swell information DB 124 (S307).
  • control unit 100 enables sharing with other users, for example, uploading the excitement information on a predetermined shared service (S309).
  • FIG. 16 is a flowchart showing a flow of a second example of the “rising information registration process”. As shown in FIG. 16, first, the information acquisition unit 102 of the server 10-1 acquires the captured moving image of the user's face received from the client terminal 20 (S221).
  • the information acquisition unit 102 recognizes the degree of opening of the user's mouth based on the captured moving image of the user's face (S223).
  • the information acquisition unit 102 determines whether or not it is recognized that the user's mouth is open with a certain size or more and that the state has continued for a predetermined time or more (S225). When the condition of S225 is not satisfied (S225: No), the “swelling information registration process” ends.
  • FIG. 17 is a flowchart showing the flow of a third example of the “rising information registration process”. As shown in FIG. 17, first, the information acquisition unit 102 of the server 10-1 acquires the collected voice information of the user received from the client terminal 20 (S241).
  • the information acquisition unit 102 estimates the degree of user excitement by analyzing the acquired voice information (S243).
  • the information acquisition unit 102 determines whether or not the estimated degree of excitement is equal to or greater than a predetermined threshold and the state has continued for a predetermined time or more (S245).
  • S245 the condition of S245 is not satisfied (S245: No)
  • the “rising information registration process” ends.
  • FIG. 18 is a flowchart showing the flow of a fourth example of the “rising information registration process”. As shown in FIG. 18, first, the information acquisition unit 102 of the server 10-1 acquires the collected voice information of the user received from the client terminal 20 (S261).
  • the information acquisition unit 102 determines whether or not the volume specified from the acquired audio information is equal to or higher than a predetermined threshold and the state continues for a predetermined time (S263).
  • S263 condition of S263 is not satisfied (S263: No)
  • S263: No condition of S263 is not satisfied (S263: No)
  • FIG. 19 is a flowchart showing the flow of a fifth example of the “rising information registration process”. As shown in FIG. 19, first, the information acquisition unit 102 of the server 10-1 searches the SNS or the like for information related to the content information received from the client terminal 20 (S401).
  • the information acquisition unit 102 acquires information (message or the like) added (posted) by one or more users to the corresponding VR content based on the search result (S403).
  • the information acquisition unit 102 analyzes the acquired additional information, for example, by natural language processing (S405).
  • the information acquisition unit 102 performs a semantic analysis on the additional information to identify a portion with a high excitement in the VR content and a degree of the excitement in the portion, and shows the specified result.
  • the swell information is acquired (S407).
  • the climax information registration unit 104 registers the high climax portion detected and the climax information (or the climax degree indicated by the climax information) in association with the climax information DB 124 (S409).
  • FIG. 20 is a flowchart showing the flow of the sixth example of the “rising information registration process”. As shown in FIG. 20, first, the information acquisition unit 102 of the server 10-1 searches SNS or the like for information related to the VR content indicated by the content information received from the client terminal 20 (S421).
  • the information acquisition unit 102 specifies the location where the user explicitly specifies the upsurge for the corresponding VR content and the degree of upsurge at the location. For example, the information acquisition unit 102 specifies a portion of the VR content corresponding to the information on which the “Like” button is clicked in the information regarding the corresponding VR content uploaded to the SNS or the like. Then, the information acquisition unit 102 acquires excitement information indicating the identified result (S423).
  • the excitement information registration unit 104 registers the relevant portion of the identified VR content and the excitement information (or the excitement level indicated by the excitement information) in association with the excitement information DB 124 (S425).
  • the “registration information registration process” according to the first embodiment is not limited to the above-described example.
  • the “registration information registration process” is not limited to the above-described example.
  • the “registration information registration process” is not limited to the above-described example.
  • the “registration information registration process” is not limited to the above-described example.
  • the example in which the climax information is acquired based on the sound sensing result has been described. It is not limited to an example, For example, it is possible to acquire excitement information by a similar process based on the sensing result of line-of-sight information, biological information, or body information.
  • processing flows of “2-2-2-1. Processing Example 1” to “2-2-2-6. Processing Example 6” may be executed in parallel, or Only one of them may be executed.
  • the server 10-1 acquires the excitement information regarding the use of the VR content, and the excitement information is displayed while the VR content is displayed on the display unit 224.
  • the degree of excitement indicated by is greater than a predetermined threshold, first display control is performed to reduce the degree of immersion of the user. For this reason, it is possible to appropriately suppress the degree of immersion of the user who is using the VR content.
  • the user can avoid that the user is excessively immersed in the VR content while using (viewing) the VR content. Therefore, the risk of the user performing an unintended action while using the VR content is greatly reduced. As a result, the user can avoid disturbing surrounding persons (for example, neighbors).
  • Second Embodiment >> The first embodiment has been described above. Next, a second embodiment will be described. As will be described later, according to the second embodiment, when it is detected that the user has performed an unconscious action while using the VR content, the video of the VR content indicates that the unconscious action has been performed. The user can be notified within.
  • description is abbreviate
  • FIG. 21 is a functional block diagram illustrating a configuration example of the server 10-2 according to the second embodiment. As shown in FIG. 21, the components included in the server 10-2 are the same as those of the server 10-1 shown in FIG.
  • Output control unit 106 The output control unit 106 according to the second embodiment performs second display control for reducing the degree of immersion of a user who is using the VR content while the VR content is displayed on the display unit 224. It performs based on the information regarding the action of the user acquired by the acquisition unit 102. For example, when it is detected that a user who is using VR content has performed a predetermined action, the output control unit 106 performs second display control for reducing the degree of immersion.
  • the output control unit 106 performs “first display control for reducing the degree of immersion” based on the climax information associated with the corresponding VR content (similar to the first embodiment) When it is detected that the user has performed a predetermined action, “second display control for reducing the degree of immersion” may be performed. Alternatively, the output control unit 106 may perform only “second display control for reducing the degree of immersion” without performing “first display control for reducing the degree of immersion”.
  • the output control unit 106 displays a predetermined character string superimposed on the VR content (as “second display control for lowering the immersion level”).
  • the above function will be described in more detail with reference to FIG.
  • the output control unit 106 may superimpose and display a character string corresponding to the speech recognition result of the utterance 90 on the VR content.
  • the control unit 100 (information acquisition unit 102) first recognizes the detected utterance 90 as a voice, and performs natural language processing on the voice recognition result, so that the voice recognition result is converted into a moving verb. Whether or not is included. If the voice recognition result includes a moving verb, the output control unit 106 near the user's point of interest in the video 30b (or near the center of the video 30b) as shown in the video 30b in FIG. The character string 60 corresponding to the voice recognition result is displayed superimposed on the video 30b. The character string 60 may be the voice recognition result itself, or may be only a moving verb extracted from the voice recognition result. Further, the output control unit 106 may increase the display size of the character string 60 as the volume of the utterance 90 increases.
  • the output control unit 106 when the volume of the utterance 90 is equal to or higher than a predetermined threshold, the output control unit 106, for example, any character registered in the immersion level reduced character string DB 126 stored in the storage unit 122.
  • the column may be displayed superimposed on the VR content.
  • the output control unit 106 displays the character for reducing the degree of immersion.
  • One of the character strings is selected from the column DB 126, and the selected character string is superimposed on the video 30b and displayed near the user's gazing point in the video 30b (or near the center of the video 30b).
  • the output control unit 106 may increase the display size of the character string as the volume of the utterance 90 increases.
  • a plurality of character strings can be registered in advance in the immersion degree-reducing character string DB 126.
  • a character string and user attribute information (such as age and sex) may be registered in association with each other.
  • the immersion degree reduced character string DB 126 may be stored in the storage unit 122 or may be stored in another device with which the server 10 can communicate via the communication network 22.
  • the display example when a user's unconscious utterance is performed, for example, a character string such as a speech recognition result of the utterance is presented to the user. Thereby, it is possible to notify the user that the user has spoken (and the words actually spoken by the user). In addition, since visual information tends to return to me more easily than sound information, the display example can greatly reduce the degree of immersion of the user.
  • the output control unit 106 (as “second display control for reducing the degree of immersion”) It is possible to move backward with respect to the direction of the viewpoint.
  • the specific behavior is, for example, a sliding motion.
  • the specific behavior may be a motion in which the steepness of the motion of the body such as the head is equal to or greater than a predetermined threshold.
  • the control unit 100 moves the user at the time of detection based on, for example, a captured image of the user at the time of detection or a measurement result of acceleration received from the client terminal 20. Get information.
  • the output control unit 106 generates an animation 64 in which a virtual object corresponding to the user moves according to the acquired motion information.
  • the output control unit 106 forcibly moves the position of the current viewpoint in the VR content backward, for example, by a predetermined distance (for example, five steps) with respect to the direction of the viewpoint. For example, the output control unit 106 moves the current viewpoint position to a rear position where there is no hindrance in using the VR content. Thereby, the video 30b of the VR content from the viewpoint position after the movement is displayed on the display unit 224 as the video 30b shown in FIG.
  • the output control unit 106 displays the generated animation 64 superimposed on the video 30b in the vicinity of the position of the viewpoint before the movement.
  • the viewpoint forcibly moves the viewpoint position before the movement to a position where the viewpoint position can be looked over, and the animation that reproduces (simulates) the user's movement (sliding movement, etc.) at the display timing of the video 30a 64 can be displayed.
  • the user's movement at the display timing of the video 30a can be visually presented to the user, the user can return to me (that is, the degree of immersion of the user can be reduced).
  • the output control unit 106 can return the position of the viewpoint to the position of the viewpoint before the movement.
  • the output control unit 106 sets the display size of the corresponding VR content on the display unit 224 (as “second display control for reducing the degree of immersion”). It is also possible to reduce the size.
  • the output control unit 106 reduces the display size of the video 66 of the VR content to be displayed on the display unit 224 as shown in the video 30b, and the display area around the video 66 on the display unit 224. 68 is displayed in a predetermined color (for example, black).
  • FIG. 25 is a flowchart showing an overall flow of processing according to the second embodiment. Note that the processing of S501 to S505 shown in FIG. 25 is the same as S101 to S105 according to the first embodiment (shown in FIG. 11).
  • the server 10-2 After S505, the server 10-2 performs a “second display control process for reducing the degree of immersion”, which will be described later (S507).
  • the server 10-2 performs the process of S109 according to the first embodiment (shown in FIG. 11) (that is, “first display control process for reducing the degree of immersion”). May be performed.
  • FIG. 26 is a flowchart showing the flow of a first example of “second display control process for reducing the degree of immersion”.
  • the information acquisition unit 102 of the server 10-2 acquires the currently collected sound information of the user received from the client terminal 20 (S511).
  • the information acquisition unit 102 performs voice recognition on the acquired voice information (S513). And the information acquisition part 102 analyzes morpheme information by performing a natural language process with respect to the result of the said voice recognition (S515).
  • the information acquisition unit 102 determines whether or not the speech recognition result includes a moving verb based on the analyzed morpheme information (S517).
  • the speech recognition result does not include the impression verb (S517: No)
  • the “second display control process for reducing the degree of immersion” ends.
  • the output control unit 106 superimposes the character string corresponding to the speech recognition result near the user's point of interest in the VR content. It is displayed (S519).
  • FIG. 27 is a flowchart showing the flow of the second example of “second display control process for reducing the degree of immersion” in S507.
  • the information acquisition unit 102 of the server 10-2 acquires the sensing result of the current acceleration of the user's head received from the client terminal 20 (S521).
  • the output control unit 106 determines whether or not the sensed acceleration is equal to or greater than a predetermined threshold (S523).
  • a predetermined threshold S523: No
  • the “second display control process for reducing the degree of immersion” ends.
  • the output control unit 106 first receives the client terminal 20 from the client terminal 20, for example, the user's captured image or acceleration. Based on the measurement result and the like, user movement information at the time of sensing is acquired. Then, the output control unit 106 generates an animation in which the virtual object corresponding to the user moves so as to simulate the acquired motion information (S525).
  • the output control unit 106 forcibly moves the position of the viewpoint backward with respect to the direction of the viewpoint so that the current viewpoint position in the VR content can be overlooked (S527). Then, the output control unit 106 displays the animation generated in S525 superimposed on the VR content in the vicinity of the position of the viewpoint before the movement (S529).
  • the server 10-2 detects that the user who is using the VR content performs a predetermined action while the VR content is displayed on the display unit 224.
  • second display control is performed to reduce the degree of immersion of the user. For this reason, it is possible to appropriately suppress the degree of immersion of the user who is using the VR content.
  • the server 10-2 when it is detected that the user has performed an unconscious action (such as speech or sledding) while using the VR content, the server 10-2 indicates that the user has performed the unconscious action. The user can be notified within. As a result, the user can expect to return to me. Further, thereafter, the user can avoid performing the same action continuously.
  • an unconscious action such as speech or sledding
  • the server 10 includes a CPU 150, a ROM (Read Only Memory) 152, a RAM 154, a bus 156, an interface 158, a storage device 160, and a communication device 162.
  • the CPU 150 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the server 10 according to various programs. Further, the CPU 150 realizes the function of the control unit 100 in the server 10.
  • the CPU 150 is configured by a processor such as a microprocessor.
  • the ROM 152 stores programs used by the CPU 150 and control data such as calculation parameters.
  • the RAM 154 temporarily stores, for example, a program executed by the CPU 150 and data in use.
  • the bus 156 includes a CPU bus and the like.
  • the bus 156 connects the CPU 150, the ROM 152, and the RAM 154 to each other.
  • the interface 158 connects the storage device 160 and the communication device 162 to the bus 156.
  • the storage device 160 is a data storage device that functions as the storage unit 122.
  • the storage device 160 includes, for example, a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, or a deletion device that deletes data recorded on the storage medium.
  • the communication device 162 is a communication interface configured by a communication device (for example, a network card) for connecting to the communication network 22, for example. Further, the communication device 162 may be a wireless LAN compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication. This communication device 162 functions as the communication unit 120.
  • a communication device for example, a network card
  • LTE Long Term Evolution
  • the server 10 detects a portion of the VR content that is being used by the user that may cause eye strain based on the swell information acquired by the information acquisition unit 102, and the detected eye
  • the above-described “display control for reducing the degree of immersion” may be performed in a portion where precise fatigue may occur.
  • the server 10 forcibly moves the viewpoint position backward.
  • the user's degree of concentration (related to the use of VR content) is suppressed in a portion where eye strain may occur.
  • the user can be expected to rest his eyes, for example, by canceling the use of the VR content, and thus it can be expected to prevent eye strain.
  • the server 10 indicates that notification has occurred in the outside world (real space) (for example, another person speaks to a user who is using VR content).
  • the above-described “display control for reducing the degree of immersion” may also be performed when the user's telephone call is detected. According to this modification, even when the VR content is being used, the user can easily notice the occurrence of the notification.
  • the server 10 (output control unit 106) further determines whether or not to perform “display control for reducing the degree of immersion” based on the attribute information of the user who is using the VR content. It may be changed dynamically. For example, when the user is a child, the server 10 forcibly performs “display control for reducing the degree of immersion” (as in each embodiment). Further, when the user is an adult, the server 10 does not have to perform “display control for reducing the degree of immersion”.
  • the server 10 (output control unit 106) further dynamically changes whether or not to perform “display control for reducing the degree of immersion” based on the usage time zone of the VR content. May be. For example, when the usage time zone is “night”, the server 10 forcibly performs “display control for reducing the degree of immersion” (as in each of the embodiments described above). Further, when the usage time zone is “daytime”, the server 10 may not perform “display control for reducing the degree of immersion”. Thereby, the user can enjoy VR content while preventing other persons (for example, neighbors) from being troubled.
  • the server 10 performs “display control for reducing the degree of immersion” and allows the user to hear environmental sounds in the outside world (real space where the user is located). Audio output may be controlled. For example, when it is detected that a user who is using VR content has performed a predetermined action (as described in the second embodiment), the server 10 (output control unit 106) Display control for lowering ”and the volume of the VR content may be reduced so that the user can hear the environmental sound of the outside world (actual space where the user is located). According to this modification, it can be expected that the degree of immersion of the user is further reduced. In other words, the user can return to me more easily.
  • the display unit 224 may be a stationary display.
  • the stationary display can be constituted by, for example, an LCD or an OLED.
  • the display unit 224 may be installed on a wall surface and a ceiling in a dedicated dome-type facility. In this case, the user can use the VR content in the facility.
  • the display unit 224 is a 3D projector, and an image may be projected onto a projection target (for example, a wall of the room 2 or a screen) by the 3D projector.
  • a projection target for example, a wall of the room 2 or a screen
  • the information processing apparatus may be a general-purpose PC (Personal Computer), a tablet terminal, a game machine, a mobile phone such as a smartphone, a portable music player, a wearable device such as an HMD, or a robot.
  • PC Personal Computer
  • the information processing apparatus may be a general-purpose PC (Personal Computer), a tablet terminal, a game machine, a mobile phone such as a smartphone, a portable music player, a wearable device such as an HMD, or a robot.
  • Modification 8> As another modification, the information acquisition unit 102 and the output control unit 106 may be included in the client terminal 20 instead of being included in the server 10. In this case, the information processing apparatus according to the present disclosure may be the client terminal 20.
  • each step in the processing flow according to each embodiment described above does not necessarily have to be processed in the order described.
  • the steps may be processed by changing the order as appropriate.
  • Each step may be processed in parallel or individually instead of being processed in time series. Further, some of the described steps may be omitted, or another step may be further added.
  • An acquisition unit that acquires excitement information regarding the use of virtual reality content, or information about the behavior of the first user who is using the content
  • An output control unit that performs display control for reducing the degree of immersion of the first user based on the swell information or the information on the first user's behavior while the content is being displayed by the display unit
  • An information processing apparatus comprising: (2) While the content is being displayed, the output is performed when the degree of excitement indicated by the excitement information is greater than a first threshold or when it is detected that the first user has performed a predetermined action.
  • the information processing apparatus according to (1), wherein the control unit performs display control for reducing the degree of immersion.
  • the information processing apparatus wherein the display control for reducing the degree of immersion includes moving the current viewpoint position in the content backward with respect to the direction of the viewpoint.
  • the display control for reducing the degree of immersion further includes displaying an image showing the back surface of the first user superimposed on the content in the vicinity of the position of the viewpoint before the movement. ).
  • the predetermined action is an action in which the steepness of the movement of the first user is equal to or greater than a second threshold;
  • the information regarding the behavior of the first user includes movement information of the first user,
  • the display control for reducing the degree of immersion further includes an animation in which the virtual object corresponding to the first user moves according to the movement information of the first user when the predetermined action is detected in the content.
  • the information processing apparatus including superimposing and displaying.
  • the display control for reducing the degree of immersion includes reducing a display size of the content on the display unit.
  • the content is a video
  • the display control for reducing the degree of immersion includes displaying a plurality of frame images extracted from a portion of the content after the current playback timing superimposed on the content.
  • Information processing device (8)
  • the information processing apparatus includes displaying the plurality of frame images superimposed on the content in a predetermined area in the content.
  • the display control for lowering the degree of immersion displays a guide display for guiding the first user's line of sight so that a predetermined area in the content is displayed on the display unit, and
  • the information according to (8) including displaying the plurality of frame images superimposed on the content when it is detected that the line of sight of the first user has moved according to the guide display.
  • Processing equipment. (10)
  • the predetermined action is an utterance, The information processing apparatus according to (2), wherein the output control unit displays a predetermined character string superimposed on the content when it is detected that the first user speaks.
  • (11) The information processing apparatus according to (10), wherein the output control unit displays the predetermined character string in the vicinity of the gazing point in the content of the first user or in the approximate center of the display unit.
  • the output control unit When it is detected that the first user has uttered and the speech recognition result of the detected utterance includes a moving verb, the output control unit generates a character string corresponding to the speech recognition result of the utterance.
  • the information processing apparatus according to (11), wherein the information is displayed as being superimposed on the content as the predetermined character string.
  • the output control unit starts display control for reducing the degree of immersion at a reproduction timing in which the degree of excitement indicated by the excitement information changes from a degree equal to or less than the first threshold to a degree greater than the first threshold.
  • the information processing apparatus according to any one of (2) to (12).
  • the content includes at least one event information, Immediately before the event indicated by the event information associated with the degree of excitement greater than the first threshold among the at least one event information occurs, the output control unit performs display control for reducing the degree of immersion.
  • the information processing apparatus according to any one of (2) to (13), wherein: (15) The information processing according to any one of (2) to (14), wherein the output control unit further performs display control for reducing the degree of immersion based on the attribute information of the first user. apparatus. (16) The information processing apparatus according to any one of (2) to (15), wherein the output control unit further performs display control for reducing the degree of immersion based on a usage time zone of the content.
  • the excitement information indicates any degree of excitement when the first user or a second user different from the first user has used the content in the past.
  • the information processing apparatus according to claim 1. (18) The information processing apparatus according to any one of (2) to (16), wherein the excitement information indicates a current excitement level of the first user.
  • Climax information relating to the use of virtual reality content, or obtaining information relating to the behavior of the first user who is using the content; While the content is displayed on the display unit, the processor performs display control for reducing the degree of immersion of the first user based on the swell information or the information on the behavior of the first user.
  • Computer An acquisition unit that acquires excitement information regarding the use of virtual reality content, or information about the behavior of the first user who is using the content, An output control unit that performs display control for reducing the degree of immersion of the first user based on the swell information or information on the behavior of the first user while the content is displayed by the display unit; Program to function as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】仮想現実のコンテンツの利用中のユーザの没頭度を適切に抑制することが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。 【解決手段】仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
 本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
 従来、VR(Virtual Reality)に関する技術が各種開発されている。VRでは、コンピュータによって生成された映像を、ユーザは臨場感高く視聴することができる。
 例えば、下記特許文献1には、VR画像が表示部に表示されている際に、現実世界で発生したイベントの重要度に応じてVR画像の表示を停止する技術が記載されている。
特開2015-118332号公報
 しかしながら、特許文献1に記載の技術では、VR画像が表示部に表示されている間に、ユーザの没頭度を下げるための表示制御を行うことは考慮されていなかった。
 そこで、本開示では、仮想現実のコンテンツの利用中のユーザの没頭度を適切に抑制することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
 本開示によれば、仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部と、を備える、情報処理装置が提供される。
 また、本開示によれば、仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得することと、表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、プロセッサが、前記第1のユーザの没頭度を下げるための表示制御を行うことと、を含む、情報処理方法が提供される。
 また、本開示によれば、コンピュータを、仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部、として機能させるためのプログラムが提供される。
 以上説明したように本開示によれば、仮想現実のコンテンツの利用中のユーザの没頭度を適切に抑制することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の各実施形態に共通する情報処理システムの構成例を示した説明図である。 各実施形態に共通するクライアント端末20の機能構成例を示した機能ブロック図である。 本開示の課題を説明するための説明図である。 本開示の第1の実施形態に係るサーバ10‐1の構成例を示した機能ブロック図である。 VRコンテンツの再生時刻と、盛り上がり情報が示す盛り上がり度合いとの対応関係を示したグラフの例である。 VRコンテンツのイベント情報と、盛り上がり情報が示す盛り上がり度合いとの対応関係を示したグラフの例である。 第1の実施形態に係る没頭度を下げるための表示制御の第1の例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第1の例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第1の例を示した説明図である。 図7Bに示した表示制御の変形例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第2の例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第2の例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第2の例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第3の例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第3の例を示した説明図である。 第1の実施形態に係る「コンテンツ利用時の処理」の全体的な流れを示したフローチャートである。 第1の実施形態に係る「没頭度を下げるための第1の表示制御処理」の流れの第1の例を示したフローチャートである。 第1の実施形態に係る「没頭度を下げるための第1の表示制御処理」の流れの第2の例を示したフローチャートである。 第1の実施形態に係る「盛り上がり情報の登録処理」の流れの第1の例を示したフローチャートである。 第1の実施形態に係る「盛り上がり情報関連付け処理」の流れを示したフローチャートである。 第1の実施形態に係る「盛り上がり情報の登録処理」の流れの第2の例を示したフローチャートである。 第1の実施形態に係る「盛り上がり情報の登録処理」の流れの第3の例を示したフローチャートである。 第1の実施形態に係る「盛り上がり情報の登録処理」の流れの第4の例を示したフローチャートである。 第1の実施形態に係る「盛り上がり情報の登録処理」の流れの第5の例を示したフローチャートである。 第1の実施形態に係る「盛り上がり情報の登録処理」の流れの第6の例を示したフローチャートである。 本開示の第2の実施形態に係るサーバ10‐2の構成例を示した機能ブロック図である。 第2の実施形態に係る没頭度を下げるための表示制御の第1の例を示した説明図である。 第2の実施形態に係る没頭度を下げるための表示制御の第2の例を示した説明図である。 第2の実施形態に係る没頭度を下げるための表示制御の第3の例を示した説明図である。 第2の実施形態に係る処理の全体的な流れを示したフローチャートである。 第2の実施形態に係る「没頭度を下げるための第2の表示制御処理」の第1の例を示したフローチャートである。 第2の実施形態に係る「没頭度を下げるための第2の表示制御処理」の第2の例を示したフローチャートである。 各実施形態に共通するサーバ10のハードウェア構成例を示した説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じてクライアント端末20aおよびクライアント端末20bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、クライアント端末20aおよびクライアント端末20bを特に区別する必要が無い場合には、単にクライアント端末20と称する。
 また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
 1.情報処理システムの構成
 2.第1の実施形態
 3.第2の実施形態
 4.ハードウェア構成
 5.変形例
 なお、本明細書および図面において、本開示の第1の実施形態に係るサーバ10‐1、および、本開示の第2の実施形態に係るサーバ10‐2を総称して、サーバ10と称する場合がある。
<<1.情報処理システムの構成>>
 まず、本開示の各実施形態に共通する情報処理システムの構成例について、図1を参照して説明する。図1に示すように、当該情報処理システムは、サーバ10、クライアント端末20、および、通信網22を有する。
 <1-1.クライアント端末20>
 クライアント端末20は、例えばVRコンテンツなどのコンテンツの表示を制御する装置である。例えば、クライアント端末20は、VRコンテンツを、後述する表示部224に表示させる。なお、VRコンテンツの種類は、例えば、映画(例えばホラー映画やコメディ映画など)、ゲーム(例えば格闘ゲームや恋愛ゲームなど)、または、スポーツの実況など様々な種類であり得る。
 また、表示部224は、図1に示したような頭部装着型のデバイス(例えばHMD(Head Mounted Display)などのウェアラブルデバイス)であり得る。
 なお、図1では、クライアント端末20が一台だけ図示されているが、かかる例に限定されず、複数台のクライアント端末20が通信網22に接続され得る。この場合、複数台のクライアント端末20の各々が通信網22を介してサーバ10と通信可能である。
 {1-1-1.機能構成}
 ここで、図2を参照して、クライアント端末20の機能構成の例について説明する。図2に示したように、クライアント端末20は、制御部200、通信部220、入力部222、表示部224、音声出力部226、センサ部228、および、記憶部230を含む。なお、かかる例に限定されず、入力部222、表示部224、音声出力部226、および、センサ部228のうちの一以上は、クライアント端末20に含まれる代わりに、クライアント端末20と通信可能な別の装置として構成されてもよい。
 (1-1-1-1.センサ部228)
 センサ部228は、カメラ(イメージセンサ)、デプスセンサ、加速度センサ、ジャイロスコープ、脈拍センサ、湿度センサ、呼吸センサ、脳波センサ、筋電センサ、および/または、マイクロフォンを含む。
 例えば、センサ部228(カメラ)は、ユーザの身体(口、目、腕など)などを撮像する。また、センサ部228(マイクロフォン)は、ユーザの発話などの音を収音する。また、センサ部228(湿度センサ、脈拍センサ、呼吸センサ、脳波センサ、筋電センサなど)は、例えばユーザの発汗量の多さ、脈拍の多さ、呼吸数の多さ、脳波、および、筋電位などのユーザの生体情報を測定し得る。
 なお、センサ部228に含まれる少なくとも一種類のセンサ(例えば加速度センサや脳波センサなど)は、ユーザに装着され得る。また、当該少なくとも一種類のセンサは、表示部224と一体の装置として構成されてもよいし、または、表示部224とは別の装着型の機器であってもよい。
 また、センサ部228に含まれる少なくとも一種類のセンサ(例えばカメラやデプスセンサなど)は、ユーザに装着されるだけでなく、ユーザが位置する実空間(例えば部屋など)内に別途配置されてもよい。
 (1-1-1-2.制御部200)
 制御部200は、クライアント端末20に内蔵される例えばCPU(Central Processing Unit)やRAM(Random Access Memory)などを用いて、クライアント端末20の動作を統括的に制御する。
 例えば、制御部200は、センサ部228によるセンシング結果をセンサ部228から取得し、そして、当該センシング結果をサーバ10へ通信部220に送信させる。
 また、制御部200は、ユーザが利用中のVRコンテンツに関する情報(以下、コンテンツ情報と称する)をサーバ10へ通信部220に送信させる。ここで、コンテンツ情報は、VRコンテンツの識別情報やVRコンテンツの種類などを含む。
 また、制御部200は、VRコンテンツを利用中のユーザに関する情報(以下、ユーザ情報と称する)をサーバ10へ通信部220に送信させる。ここで、ユーザ情報は、例えば、ユーザのID、氏名、年齢、性別などを含む。
 (1-1-1-3.通信部220)
 通信部220は、他の装置との間で情報の送受信を行う。例えば、通信部220は、制御部200の制御に従って、センサ部228による各種のセンシング結果、コンテンツ情報、および、ユーザ情報などをサーバ10へ送信する。また、詳細については後述するが、通信部220は、表示部224に対する表示の制御情報や、音声出力部226に対する音声の出力制御情報をサーバ10から受信する。
 (1-1-1-4.入力部222)
 入力部222は、ユーザの各種の入力を受け付ける。例えば、入力部222は、表示部224に表示中のVRコンテンツに対するユーザの操作情報の入力を受け付ける。
 この入力部222は、タッチパネル、ボタン、レバー、スイッチなどを含み得る。例えば、入力部222は、クライアント端末20と有線または無線により通信可能なコントローラであってもよい。
 (1-1-1-5.表示部224)
 表示部224は、制御部200の制御に従って、映像を表示する。表示部224は、非透過型の表示装置として構成され得る。例えば、表示部224は、LCD(Liquid Crystal Display)、または、OLED(Organic Light Emitting Diode)などを含んで構成され得る。なお、この場合、センサ部228(カメラ)により撮影される、ユーザの前方の映像が表示部224に表示されてもよい。
 (1-1-1-6.音声出力部226)
 音声出力部226は、制御部200の制御に従って、音声を出力する。音声出力部226は、例えば、スピーカー、イヤフォン、または、ヘッドフォンなどとして構成され得る。なお、音声出力部226と表示部224とは一体の装置として構成されてもよい。
 (1-1-1-7.記憶部230)
 記憶部230は、各種のデータや各種のソフトウェアを記憶する。
 <1-2.サーバ10>
 サーバ10は、本開示における情報処理装置の一例である。サーバ10は、通信網22を介して、クライアント端末20に対して各種の制御(例えば、表示の制御や音声の出力の制御など)を行うことが可能である。例えば、VRコンテンツが表示部224に表示されている間に、サーバ10は、クライアント端末20から受信される情報などに基づいて、表示部224に対する表示制御を行う。
 なお、図1では、サーバ10が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、各実施形態に係るサーバ10の機能が実現されてもよい。
 <1-3.通信網22>
 通信網22は、通信網22に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網22は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、通信網22は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
 <1-4.課題の整理>
 以上、各実施形態に共通する情報処理システムの構成について説明した。ところで、VRコンテンツは没入感が強いので、VRコンテンツの利用(視聴など)中にユーザはVRコンテンツに没頭し得る。このため、ユーザは、意図しない行動(例えば発話やのけぞりなど)を行ってしまい得る。例えば、図3に示したように、VRコンテンツの映像30をユーザが視聴している際に、映像30bの表示タイミングにおいて、ユーザは、映像30bの内容に驚き、そして、意図しない発話90を行ってしまう恐れがある。その結果、ユーザは、周囲の人物(例えば隣人など)へ迷惑をかけてしまったり、VRコンテンツの利用後に恥ずかしさを感じ得る。
 そこで、上記事情を一着眼点にして、各実施形態に係るサーバ10を創作するに至った。各実施形態に係るサーバ10は、VRコンテンツの利用に関する盛り上がり情報、または、当該VRコンテンツを利用中のユーザの行動に関する情報を取得し、そして、表示部224により当該VRコンテンツが表示されている間に、当該盛り上がり情報または当該ユーザの行動に関する情報に基づいて、当該ユーザの没頭度を下げるための表示制御を行うことが可能である。このため、VRコンテンツの利用中のユーザの没頭度を適切に抑制することができる。
 ここで、盛り上がり情報は、VRコンテンツを利用中のユーザ自身、または、当該ユーザとは異なる少なくとも一人の他のユーザが過去に当該VRコンテンツを利用した際の盛り上がり度合いを示す情報であり得る。例えば、盛り上がり情報が示す盛り上がり度合いは、複数のユーザの各々が過去にVRコンテンツを利用した際の盛り上がり度合いの集合値であってもよい。または、盛り上がり情報は、VRコンテンツを利用中のユーザの現在の没頭度(または興奮度)を示す情報であってもよい。なお、この場合、盛り上がり情報が示す盛り上がり度合いとは、VRコンテンツを利用中のユーザの現在の没頭度(または興奮度)を意味し得る。
 以下、このような本開示の各実施形態について順次詳細に説明を行う。なお、以下では、第1の実施形態に係る「没頭度を下げるための表示制御」を「没頭度を下げるための第1の表示制御」、第2の実施形態に係る「没頭度を下げるための表示制御」を「没頭度を下げるための第2の表示制御」とそれぞれ称する場合がある。
<<2.第1の実施形態>>
 <2-1.構成>
 まず、第1の実施形態に係る構成について説明する。図4は、第1の実施形態に係るサーバ10‐1の構成例を示した機能ブロック図である。図4に示すように、サーバ10‐1は、制御部100、通信部120、および、記憶部122を有する。
 {2-1-1.制御部100}
 制御部100は、例えば、後述するCPU150などの処理回路を含んで構成され得る。制御部100は、サーバ10‐1の動作を統括的に制御する。また、図4に示すように、制御部100は、情報取得部102、盛り上がり情報登録部104、および、出力制御部106を有する。
 {2-1-2.情報取得部102}
 情報取得部102は、本開示における取得部の一例である。情報取得部102は、少なくとも一つのクライアント端末20から受信された各種のセンシング結果、コンテンツ情報、およびユーザ情報を取得する。
 また、情報取得部102は、受信されたコンテンツ情報が示すVRコンテンツに関する盛り上がり情報を、例えば受信されたセンシング結果などに基づいて取得する。
 (2-1-2-1.盛り上がり情報の取得例:口に関する情報)
 以下、情報取得部102による盛り上がり情報の取得例について具体的に説明する。例えば、情報取得部102は、少なくとも一つのクライアント端末20から受信された、収音されたユーザの発話の音情報が音声認識された結果に基づいて盛り上がり情報を取得する。一例として、情報取得部102は、まず、当該収音されたユーザの発話を音声認識し、そして、音声認識結果に対して自然言語処理を行うことにより形態素情報を解析する。そして、情報取得部102は、解析された形態素情報に基づいて当該音声認識結果が感動詞を含むか否かを判定し、そして、当該音声認識結果が感動詞を含む場合には、当該発話の収音タイミングにおける盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。
 また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、ユーザの口の撮像画像から特定されるユーザの口の開き度合い(または、歯の食いしばり度合い)に基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、当該ユーザの口の撮像画像に基づいて、ユーザの口が一定以上の大きさで開いているか否かを認識する。そして、ユーザの口が一定以上の大きさで開いている時間の継続時間が所定の時間以上であることが認識された場合には、情報取得部102は、当該口の撮像画像の撮影タイミングにおける盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、ユーザの口が一定以上の大きさで開いている時間の継続時間が所定の時間未満であることが認識された場合には、情報取得部102は、当該口の撮像画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
 また、情報取得部102は、収音されたユーザの発声(発話など)の音声分析から特定される興奮度合いに基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、収音されたユーザの発声を分析することにより、ユーザの興奮度合いを判断する。そして、判断された興奮度合いが所定の閾値以上である場合には、情報取得部102は、当該発声の収音タイミングにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、判断された興奮度合いが所定の閾値未満である場合には、情報取得部102は、当該発声の収音タイミングにおけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
 また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、収音されたユーザの発声の音量に基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、収音されたユーザの発声の音量が所定の閾値以上であるか否かを判定する。そして、ユーザの発声の音量が所定の閾値以上である場合には、情報取得部102は、当該発声の収音タイミングにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、当該ユーザの発声の音量が所定の閾値未満である場合には、情報取得部102は、当該発声の収音タイミングにおけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
 (2-1-2-2.盛り上がり情報の取得例:目に関する情報)
 また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、例えばユーザの目の撮像画像から特定される瞳孔の開き度合いに基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、当該ユーザの目の撮像画像から瞳孔を検出する。そして、検出された瞳孔の開き度合い(大きさ)が所定の閾値以上である場合には、情報取得部102は、当該目の撮像画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、検出された瞳孔の開き度合いが所定の閾値未満である場合には、情報取得部102は、当該目の撮像画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
 また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、例えばユーザの目の撮像動画像から特定される瞬きの多さに基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、ユーザの目の撮像動画像から瞬きを検出する。そして、所定の時間内に検出された瞬きの回数が所定の閾値以上である場合には、情報取得部102は、当該目の撮像動画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。あるいは、所定の時間内に検出された瞬きの回数が少な過ぎる場合に、情報取得部102は、当該目の撮像動画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得してもよい。
 また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、例えばユーザの目の撮像画像から特定される目の充血度に基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、ユーザの目の撮像画像から強膜(白目の部分)内の毛細血管を検出する。そして、検出結果から特定される充血度合いが所定の閾値以上である場合には、情報取得部102は、当該目の撮像画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、検出結果から特定される充血度合いが所定の閾値未満である場合には、情報取得部102は、当該目の撮像画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
 (2-1-2-3.盛り上がり情報の取得例:生体情報)
 また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、ユーザの発汗度合い(発汗量など)のセンシング結果に基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、当該センシング結果に基づいてユーザの発汗の度合いを判定する。そして、判定した発汗の度合いが所定の閾値以上である場合には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、判定した発汗の度合いが所定の閾値未満である場合には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
 また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、ユーザの脈拍数のセンシング結果または呼吸数のセンシング結果に基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、当該センシング結果に基づいてユーザの脈拍数(または呼吸数)が所定の閾値以上であるか否かを判定する。そして、判定した脈拍数(または呼吸数)が所定の閾値以上である場合には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、判定した脈拍数(または呼吸数)が所定の閾値未満である場合には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。なお、脈拍数および/または呼吸数はそれぞれ、専用のセンサ(脈拍センサや呼吸センサなど)によりセンシングされてもよいし、または、ユーザの身体(例えば胸部)の撮像画像に対する画像認識に基づいて特定されてもよい。
 また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、脳波のセンシング結果から特定される興奮度合いに基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、当該センシング結果に基づいて興奮度合いを特定する。そして、特定された興奮度合いが所定の閾値以上である場合(例えば、30Hz以上のγ(ガンマ)波の脳波が出ていることが検出された場合など)には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、特定された興奮度合いが所定の閾値未満である場合には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
 (2-1-2-4.盛り上がり情報の取得例:身体情報)
 また、情報取得部102は、例えば少なくとも一つのクライアント端末20から受信されたユーザの撮像画像から認識される、ユーザの表情の驚き度合い、頷きの多さ、手の動きの多さ、鼻の穴の膨らみ具合、または、首の前傾度合いなどに基づいて盛り上がり情報を取得することも可能である。例えば、認識された首の前傾度合いが所定の閾値以上である場合には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。
 (2-1-2-5.盛り上がり情報の取得例:操作情報)
 また、情報取得部102は、少なくとも一つのクライアント端末20から受信される、VRコンテンツに対するユーザの操作情報に基づいて盛り上がり情報を取得することも可能である。例えば、VRコンテンツ中の同一のタイミングや同一のシーンが複数回再生されたことを当該操作情報が示す場合には、情報取得部102は、該当の再生タイミングまたは該当の再生シーンにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。
 (2-1-2-6.盛り上がり情報の取得例:ネットワークからの取得)
 また、情報取得部102は、例えばSNS(Social Networking Service)、電子掲示板、情報共有サービス、および、ブログなど(以下「SNS等」と称する)にアップロードされている情報(例えば文字列(メッセージなど)や「いいね!ボタン」のクリック数など)と、クライアント端末20から受信されたコンテンツ情報とに基づいて盛り上がり情報を取得することも可能である。例えば、情報取得部102は、まず、SNS等にアップロードされている文字列の中から、クライアント端末20から受信されたコンテンツ情報に関連する文字列を検索する。そして、情報取得部102は、検索した文字列の意味(内容)を解析し、そして、解析結果に基づいて盛り上がり情報を取得する。
 一例として、受信されたコンテンツ情報が示すVRコンテンツに関して「I fought with my last enemy “XYZ” and it was very interesting.」という文字列がSNS等から検索されたとする。この場合、情報取得部102は、当該VRコンテンツにおいて“XYZ”が発生するイベントにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得し得る。例えば、情報取得部102は、まず、当該文字列から“XYZ”という固有名詞を抽出し、そして、当該固有名詞に対応する画像をSNS等において検索することにより取得する。次に、情報取得部102は、該当のVRコンテンツに対して、取得した画像の類似画像検索を行う。そして、“XYZ”を含む画像が検索された場合には、情報取得部102は、当該VRコンテンツにおいて“XYZ”が発生するイベントにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。
 または、情報取得部102は、該当のVRコンテンツに関するキーワード情報(例えばハッシュタグが付加されている文字列など)のSNS等への投稿数に基づいて盛り上がり情報を取得してもよい。例えば、情報取得部102は、該当のVRコンテンツに関するキーワード情報ごとに、まず、SNS等への当該キーワード情報の単位時間当たりの投稿数を取得する。そして、情報取得部102は、当該キーワード情報に対応するイベントの発生時における盛り上がり度合いを、取得した投稿数に応じて特定し、かつ、特定した結果を示す盛り上がり情報を取得する。なお、情報取得部102は、SNS等への当該キーワード情報の単位時間当たりの投稿数が多いほど、盛り上がり度合いがより大きいと特定してもよい。
 {2-1-3.盛り上がり情報登録部104}
 盛り上がり情報登録部104は、情報取得部102により取得された盛り上がり情報を盛り上がり情報DB124に格納する。例えば、盛り上がり情報登録部104は、取得された盛り上がり情報と、当該盛り上がり情報に対応するVRコンテンツの識別情報とを関連付けて盛り上がり情報DB124に格納する。
 {2-1-4.出力制御部106}
 出力制御部106は、表示部224に対して表示を制御したり、音声出力部226に対して音声の出力を制御する。例えば、出力制御部106は、VRコンテンツが表示部224に表示されている間に、当該VRコンテンツを利用中のユーザの没頭度を下げるための第1の表示制御を、情報取得部102により取得された盛り上がり情報に基づいて行う。
 一例として、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いが所定の閾値よりも大きくなる際に、出力制御部106は、当該没頭度を下げるための第1の表示制御を行う。例えば、当該VRコンテンツが動画(映画など)である場合には、図5に示したグラフのように、当該VRコンテンツの再生タイミング(またはシーン)と、盛り上がり情報が示す盛り上がり度合いとが関連付けられ得る。この場合、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いが当該所定の閾値以下の値から当該所定の閾値よりも大きい値に変化する再生タイミング(図5に示した例では“t=t1-ε”や“t=t2-ε”)(またはシーン)において、出力制御部106は、当該没頭度を下げるための第1の表示制御を開始する。
 また、例えば当該VRコンテンツがゲームなどである場合には、図6に示したグラフのように、当該VRコンテンツのイベント情報(あるいは、当該VRコンテンツに対応する仮想空間中の場所(ジオフェンスなど))と、盛り上がり情報が示す盛り上がり度合いとが関連付けられ得る。この場合、当該所定の閾値よりも大きい盛り上がり度合いに関連付けられているイベント情報が示すイベント(図5に示した例では「ボスキャラの登場」)が発生する直前に、出力制御部106は、当該没頭度を下げるための第1の表示制御を開始する。あるいは、当該所定の閾値よりも大きい盛り上がり度合いに関連付けられている、当該VRコンテンツに対応する仮想空間中の場所の近傍に、ユーザが操作中のキャラクターが接近した際に、出力制御部106は、当該没頭度を下げるための第1の表示制御を開始してもよい。
 (2-1-4-1.表示例1)
 以下、「没頭度を下げるための第1の表示制御」の内容についてより詳細に説明する。例えば、当該没頭度を下げるための第1の表示制御は、該当のVRコンテンツのうち現在の再生タイミング以降の部分から抽出される複数枚のフレーム画像を当該VRコンテンツ内の所定の領域に重畳して表示部224に表示させることを含み得る。
 ここで、図7A~図7Cを参照して、上記の機能についてより詳細に説明を行う。図7Aに示した映像30aは、図3に示したVRコンテンツの映像30aと同じ再生タイミングの映像である。なお、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いは、映像30aの再生タイミングにおいて所定の閾値以下の値から当該所定の閾値よりも大きい値に変化するものとする。この場合、図7Aに示したように、出力制御部106は、まず、該当のVRコンテンツ内の所定の領域が表示部224に表示されるように、当該VRコンテンツを利用中のユーザの視線を誘導するためのガイド表示32を当該VRコンテンツに重畳して表示させる。ここで、ガイド表示32は、当該VRコンテンツを利用(視聴)する上で阻害がない領域が表示部224に表示されるように、当該ユーザの視線を誘導するためのUI(User Interface)である。なお、図7Aに示した例では、図7Aの上方に、当該VRコンテンツを利用する上で阻害がない領域が当該VRコンテンツにおいて存在することを前提としている。また、図7Aに示した例において、ガイド表示32は、三角形が一つずつより上方に追加して表示されることが繰り返されるアニメーションであってもよい。
 その後、ガイド表示32が示す方向に沿って当該ユーザの視線が移動したことが検出された場合には、図7Bに示したように、出力制御部106は、当該VRコンテンツのうち現在の再生タイミング以降の部分から複数枚のフレーム画像400(スクリーンショット)を抽出し、そして、複数枚のフレーム画像400を含むUI40を当該VRコンテンツに重畳して表示させる。この表示例によれば、当該VRコンテンツの再生を継続した場合に今後表示される映像の一部が事前にユーザに知らされる。従って、例えば本比較例と比べて、当該VRコンテンツの再生を継続した場合におけるユーザの没頭度は抑制され得る。
 その後、UI40に対してユーザの操作(例えば、複数枚のフレーム画像400のうちのいずれかを選択するなど)が行われたことが検出された場合には、出力制御部106は、当該ユーザの操作に応じて、当該VRコンテンツの再生を再開する。これにより、例えば図7Cに示したような、当該VRコンテンツのうち図7Aに示した映像30aの表示タイミング以降の映像30cが連続的に表示部224に表示される。
 なお、変形例として、出力制御部106は、図7Bに示したUI40の代わりに、図8に示したようなUI42を当該VRコンテンツの映像30bに重畳して表示させてもよい。UI42は、現在の再生タイミング以降の部分から抽出された複数枚のフレーム画像420と、シークバー422とを含む。シークバー422においてユーザがカーソル424を所望の位置に移動させた場合には、出力制御部106は、移動後のカーソル424の位置に対応する再生タイミングから当該VRコンテンツの(通常の)再生を再開させる。
 (2-1-4-2.表示例2)
 また、当該没頭度を下げるための第1の表示制御は、該当のVRコンテンツにおける現在の視点の位置を、当該視点の向きに対して後方へ移動させることを含み得る。
 ここで、図9A~図9Cを参照して、上記の機能についてより詳細に説明を行う。なお、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いは、図9Aに示した映像30aの表示(再生)タイミングにおいて所定の閾値以下の値から当該所定の閾値よりも大きい値に変化するものとする。この場合、映像30aの表示タイミングにおいて、出力制御部106は、まず、当該VRコンテンツにおける現在の視点の位置を当該視点の向きに対して例えば所定の距離(5歩分など)だけ後方へ強制的に移動させる。例えば、出力制御部106は、現在の視点の位置を、当該VRコンテンツを利用する上で阻害がないような後方の位置へ移動させる。これにより、図9Bに示したように、移動後の視点位置からの当該VRコンテンツの映像30bが表示部224に表示される。
 さらに、出力制御部106は、図9Bに示したように、当該移動前の視点の位置の近傍に、当該VRコンテンツを利用中のユーザの背面を示す画像46を映像30bに重畳して表示させる。以上の表示例によれば、当該移動前の視点の位置でVRコンテンツを視聴していたユーザ自身を俯瞰するような映像30bを表示することができる。これにより、ユーザに意外感を与えることができるので、ユーザの没頭度が減少することが期待できる。
 なお、映像30bの表示後で、かつ、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いが当該所定の閾値よりも高い間は、例えば視点の移動に関するユーザの明示の指定がない限り、例えば図9Cに示したように、視点の位置は維持され得る。そして、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いが当該所定の閾値よりも高い値から当該所定の閾値以下の値に変化したタイミングに、出力制御部106は、当該視点の位置を当該移動前の視点の位置に戻し得る。
 (2-1-4-3.表示例3)
 また、当該没頭度を下げるための第1の表示制御は、表示部224における該当のVRコンテンツの表示サイズを縮小することを含み得る。
 ここで、図9A、図10Aおよび図10Bを参照して、上記の機能についてより詳細に説明を行う。例えば、図9Aに示した映像30aの表示タイミング(つまり、当該タイミングに関連付けられている盛り上がり情報が示す盛り上がり度合いが所定の閾値よりも大きくなったタイミング)において、出力制御部106は、図10Aに示したように、当該VRコンテンツの映像50の表示サイズを縮小して表示部224に表示させ、かつ、表示部224における映像50の周囲の表示領域52を所定の色(例えば黒色など)で表示させる。
 なお、映像30bの表示後で、かつ、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いが当該所定の閾値よりも高い間は、(前述した「表示例2」と同様に)例えばVRコンテンツの映像の表示サイズに関するユーザの明示の指定がない限り、例えば図10Bに示したように、当該映像の表示サイズは維持され得る。そして、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いが当該所定の閾値よりも高い値から当該所定の閾値以下の値に変化したタイミングに、出力制御部106は、当該映像の表示サイズを元の表示サイズに戻し得る。
 {2-1-5.通信部120}
 通信部120は、例えば、後述する通信装置162を含んで構成され得る。通信部120は、他の装置との間で情報の送受信を行う。例えば、通信部120は、出力制御部106の制御に従って、表示制御情報または音声出力制御情報をクライアント端末20へ送信する。また、通信部120は、各種のセンシング結果、コンテンツ情報、および、ユーザ情報などをクライアント端末20から受信する。
 {2-1-6.記憶部122}
 記憶部122は、例えば、後述するストレージ装置160を含んで構成され得る。記憶部122は、例えば盛り上がり情報DB124などの各種のデータ、および、各種のソフトウェアを記憶する。なお、盛り上がり情報DB124は、記憶部122に記憶される代わりに、サーバ10が通信網22を介して通信可能な他の装置に記憶されてもよい。
 <2-2.処理の流れ>
 以上、第1の実施形態に係る構成について説明した。次に、第1の実施形態に係る処理の流れについて、「2-2-1.コンテンツ利用時の処理の流れ」および「2-2-2.盛り上がり情報の登録処理の流れ」において説明する。
 {2-2-1.コンテンツ利用時の処理の流れ}
 図11は、第1の実施形態に係る「コンテンツ利用時の処理」の全体的な流れを示したフローチャートである。図11に示したように、まず、例えばクライアント端末20の入力部222に対するユーザの入力に基づいて、ユーザは、VRコンテンツの利用を開始する。そして、クライアント端末20は、センサ部228による各種のセンシング結果、表示部224に表示中のVRコンテンツのコンテンツ情報、および、当該VRコンテンツを利用中のユーザのユーザ情報などをサーバ10へ送信する(S101)。
 そして、ユーザが盛り上がり抑制モードを希望する場合には、ユーザは、盛り上がり抑制モードを選択する(S103)。なお、以下では、ユーザが盛り上がり抑制モードを選択したものとして説明を行う。
 その後、サーバ10‐1の出力制御部106は、該当のVRコンテンツに関連付けられている盛り上がり情報を盛り上がり情報DB124から抽出する(S105)。
 続いて、出力制御部106は、当該VRコンテンツの現在の再生部分に関連付けられている盛り上がり度合いが所定の閾値よりも大きいか否かを判定する(S107)。当該盛り上がり度合いが当該所定の閾値以下である場合には(S107:No)、サーバ10‐1は、後述するS111の処理を行う。
 一方、当該盛り上がり度合いが当該所定の閾値よりも大きい場合には(S107:Yes)、出力制御部106は、後述する「没頭度を下げるための第1の表示制御処理」を行う(S109)。
 その後、VRコンテンツの利用の終了をユーザが指示した場合には(S111:Yes)、当該処理の流れは終了する。一方、VRコンテンツの利用の終了をユーザが指示しない場合には(S111:No)、サーバ10‐1は、再びS107以降の処理を繰り返す。
 (2-2-1-1.没頭度を下げるための第1の表示制御処理:第1の例)
 ここで、図12を参照して、S109における「没頭度を下げるための第1の表示制御処理」の第1の例の流れについて詳細に説明する。図12に示したように、まず、出力制御部106は、現在の再生タイミングにおいて、当該VRコンテンツのうちUIを表示しても当該VRコンテンツを利用する上で阻害がない領域を算出する(S121)。
 続いて、出力制御部106は、表示部224に対するユーザの現在の注視点の位置の検出結果をクライアント端末20から受信することにより取得する(S123)。
 続いて、出力制御部106は、S121で算出された領域へユーザの視線を誘導するためのUIを当該VRコンテンツに重畳して表示させる(S125)。
 そして、S125で表示されたUIに応じて当該ユーザの視線が移動したことが検出された場合には、出力制御部106は、当該VRコンテンツのうち現在の再生タイミング以降の部分から複数枚のフレーム画像を抽出し、そして、当該複数枚のフレーム画像を含むUIを生成する(S127)。
 続いて、出力制御部106は、生成したUIを当該VRコンテンツに重畳して表示させる(S129)。
 その後、出力制御部106は、S129で表示されたUIに対するユーザのインタラクションに応じて、当該VRコンテンツの再生を再開する(S131)。
 (2-2-1-2.没頭度を下げるための第1の表示制御処理:第2の例)
 図13は、S109における「没頭度を下げるための第1の表示制御処理」の第2の例の流れを示したフローチャートである。なお、図13に示したS141の処理は、図12に示したS121と同様である。
 図13に示したように、S141の後、出力制御部106は、当該VRコンテンツにおける現在の視点の位置を、当該VRコンテンツを利用する上で阻害がないような後方の位置へ移動させる(S143)。
 そして、出力制御部106は、当該移動前の視点の位置の近傍に、当該VRコンテンツを利用中のユーザの背面を示す画像を当該VRコンテンツに重畳して表示させる(S145)。
 {2-2-2.盛り上がり情報の登録処理の流れ}
 次に、図14~図20を参照して、第1の実施形態に係る「盛り上がり情報の登録処理」の流れについて、「2-2-2-1.処理例1」~「2-2-2-6.処理例6」において説明する。なお、「2-2-2-1.処理例1」~「2-2-2-4.処理例4」は、クライアント端末20から受信されるセンシング結果に基づいて盛り上がり情報を登録する例である。また、「2-2-2-5.処理例5」~「2-2-2-6.処理例6」は、(VRコンテンツの利用時とは無関係に)SNS等にアップロードされている情報の解析結果に基づいて盛り上がり情報を登録する例である。
 (2-2-2-1.処理例1)
 図14は、「盛り上がり情報の登録処理」の第1の例の流れを示したフローチャートである。図14に示したように、まず、サーバ10‐1の情報取得部102は、クライアント端末20から受信される、収音されたユーザの音声情報を取得する(S201)。
 続いて、情報取得部102は、取得された音声情報に対して音声認識を行う(S203)。そして、情報取得部102は、音声認識結果に対して自然言語処理を行うことにより、形態素情報を解析する(S205)。
 続いて、情報取得部102は、解析された形態素情報に基づいて当該音声認識結果が感動詞を含むか否かを判定する(S207)。当該音声認識結果が感動詞を含まない場合には(S207:No)、当該「盛り上がり情報の登録処理」は終了する。
 一方、当該音声認識結果が感動詞を含む場合には(S207:Yes)、サーバ10‐1は、後述する「盛り上がり情報関連付け処理」を行う(S209)。
 ‐盛り上がり情報関連付け処理
 ここで、図15を参照して、S209における「盛り上がり情報関連付け処理」の流れについて説明する。図15に示したように、まず、情報取得部102は、該当のセンシング時においてユーザの無意識行動があったと判定する(S301)。
 続いて、情報取得部102は、該当の無意識行動の情報(例えば、該当のセンシング結果)を取得し、保持する(S303)。
 続いて、情報取得部102は、該当の無意識行動があったことを、該当のセンシング時における盛り上がり度合いが所定の閾値以上であったとみなし、そして、盛り上がり度合いが所定の閾値以上であることを示す盛り上がり情報を取得する(S305)。
 続いて、盛り上がり情報登録部104は、該当のセンシング時において表示されていたVRコンテンツの部分(例えば再生タイミング、再生シーン、イベント情報、または、当該VRコンテンツに対応する仮想空間中の場所など)と当該盛り上がり情報(または、当該盛り上がり情報が示す盛り上がり度合い)とを関連付けて盛り上がり情報DB124に登録する(S307)。
 その後、制御部100は、例えば当該盛り上がり情報を所定の共有サービス上にアップロードするなど、他のユーザと共有可能にする(S309)。
 (2-2-2-2.処理例2)
 図16は、「盛り上がり情報の登録処理」の第2の例の流れを示したフローチャートである。図16に示したように、まず、サーバ10‐1の情報取得部102は、クライアント端末20から受信される、ユーザの顔の撮像動画像を取得する(S221)。
 続いて、情報取得部102は、当該ユーザの顔の撮像動画像に基づいて、ユーザの口の開き度合いを認識する(S223)。
 続いて、情報取得部102は、ユーザの口が一定以上の大きさで開いており、かつ、その状態が所定の時間以上継続したことが認識されたか否かを判定する(S225)。S225の条件が満たされない場合には(S225:No)、当該「盛り上がり情報の登録処理」は終了する。
 一方、S225の条件が満たされる場合には(S225:Yes)、サーバ10‐1は、前述したS209の処理を行う。
 (2-2-2-3.処理例3)
 図17は、「盛り上がり情報の登録処理」の第3の例の流れを示したフローチャートである。図17に示したように、まず、サーバ10‐1の情報取得部102は、クライアント端末20から受信される、収音されたユーザの音声情報を取得する(S241)。
 続いて、情報取得部102は、取得された音声情報を分析することにより、ユーザの興奮度合いを推定する(S243)。
 そして、情報取得部102は、推定された興奮度合いが所定の閾値以上であり、かつ、その状態が所定の時間以上継続したか否かを判定する(S245)。S245の条件が満たされない場合には(S245:No)、当該「盛り上がり情報の登録処理」は終了する。
 一方、S245の条件が満たされる場合には(S245:Yes)、サーバ10‐1は、前述したS209の処理を行う。
 (2-2-2-4.処理例4)
 図18は、「盛り上がり情報の登録処理」の第4の例の流れを示したフローチャートである。図18に示したように、まず、サーバ10‐1の情報取得部102は、クライアント端末20から受信される、収音されたユーザの音声情報を取得する(S261)。
 続いて、情報取得部102は、取得された音声情報から特定される音量が所定の閾値以上であり、かつ、その状態が所定の時間以上継続したか否かを判定する(S263)。S263の条件が満たされない場合には(S263:No)、当該「盛り上がり情報の登録処理」は終了する。
 一方、S263の条件が満たされる場合には(S263:Yes)、サーバ10‐1は、前述したS209の処理を行う。
 (2-2-2-5.処理例5)
 図19は、「盛り上がり情報の登録処理」の第5の例の流れを示したフローチャートである。図19に示したように、まず、サーバ10‐1の情報取得部102は、クライアント端末20から受信されたコンテンツ情報に関連する情報をSNS等から検索する(S401)。
 続いて、情報取得部102は、検索結果に基づいて、該当のVRコンテンツに対して一以上のユーザにより付加(投稿)された情報(メッセージなど)を取得する(S403)。
 続いて、情報取得部102は、取得された付加情報を例えば自然言語処理などにより解析する(S405)。
 続いて、情報取得部102は、当該付加情報に対して意味解析を行うことにより、当該VRコンテンツ内の盛り上がりが高い部分、および、当該部分における盛り上がり度合いを特定し、そして、特定した結果を示す盛り上がり情報を取得する(S407)。
 その後、盛り上がり情報登録部104は、検出した盛り上がりが高い部分と、当該盛り上がり情報(または、当該盛り上がり情報が示す盛り上がり度合い)とを関連付けて盛り上がり情報DB124に登録する(S409)。
 (2-2-2-6.処理例6)
 図20は、「盛り上がり情報の登録処理」の第6の例の流れを示したフローチャートである。図20に示したように、まず、サーバ10‐1の情報取得部102は、クライアント端末20から受信されたコンテンツ情報が示すVRコンテンツに関連する情報をSNS等から検索する(S421)。
 続いて、情報取得部102は、検索結果に基づいて、該当のVRコンテンツに対してユーザが明示的に盛り上がりを指定した箇所、および、当該箇所における盛り上がり度合いを特定する。例えば、情報取得部102は、SNS等にアップロードされている該当のVRコンテンツに関する情報の中で「いいね!ボタン」がクリックされている情報に対応する当該VRコンテンツの部分を特定する。そして、情報取得部102は、特定した結果を示す盛り上がり情報を取得する(S423)。
 その後、盛り上がり情報登録部104は、特定したVRコンテンツの該当部分と、当該盛り上がり情報(または、当該盛り上がり情報が示す盛り上がり度合い)とを関連付けて盛り上がり情報DB124に登録する(S425)。
 {2-2-3.変形例}
 なお、第1の実施形態に係る「盛り上がり情報の登録処理」は、前述した例に限定されない。例えば、「2-2-2-1.処理例1」~「2-2-2-4.処理例4」では、音声のセンシング結果に基づいて盛り上がり情報を取得する例について説明したが、かかる例に限定されず、例えば、視線情報、生体情報、または、身体情報のセンシング結果に基づいた類似の処理により盛り上がり情報を取得することが可能である。
 また、「2-2-2-1.処理例1」~「2-2-2-6.処理例6」の処理の流れのうちの二以上が平行して実行されてもよいし、または、いずれか一つのみが実行されてもよい。
 <2-3.効果>
 {2-3-1.効果1}
 以上説明したように、第1の実施形態に係るサーバ10‐1は、VRコンテンツの利用に関する盛り上がり情報を取得し、そして、表示部224により当該VRコンテンツが表示されている間に、当該盛り上がり情報が示す盛り上がり度合いが所定の閾値よりも大きくなる際に、ユーザの没頭度を下げるための第1の表示制御を行う。このため、VRコンテンツの利用中のユーザの没頭度を適切に抑制することができる。
 例えば、VRコンテンツの利用(視聴など)中にユーザがVRコンテンツに過度に没頭することを回避することができる。従って、VRコンテンツの利用中に、ユーザが、意図しない行動を行う恐れが大きく減少する。その結果、ユーザは、周囲の人物(例えば隣人など)へ迷惑をかけることを回避することができる。
 {2-3-2.効果2}
 また、第1の実施形態によれば、VRコンテンツの利用(視聴など)時間の抑制が期待できる。そして、VRコンテンツの利用中の健康上の問題(例えばVDT(Visual Display Terminal Syndrome)症候群など)の発生を防止することが期待できる。
<<3.第2の実施形態>>
 以上、第1の実施形態について説明した。次に、第2の実施形態について説明する。後述するように、第2の実施形態によれば、VRコンテンツの利用中にユーザが無意識の行動を行ったことが検出された場合に、当該無意識の行動を行ったことを当該VRコンテンツの映像内でユーザに知らせることができる。なお、以下では、第1の実施形態と同様の内容については説明を省略し、第1の実施形態と異なる内容についてのみ説明を行う。
 <3-1.構成>
 まず、第2の実施形態に係る構成について説明する。図21は、第2の実施形態に係るサーバ10‐2の構成例を示した機能ブロック図である。図21に示すように、サーバ10‐2に含まれる構成要素は、図4に示したサーバ10‐1と同様である。
 {3-1-1.出力制御部106}
 第2の実施形態に係る出力制御部106は、表示部224によりVRコンテンツが表示されている間に、当該VRコンテンツを利用中のユーザの没頭度を下げるための第2の表示制御を、情報取得部102により取得された当該ユーザの行動に関する情報に基づいて行う。例えば、VRコンテンツを利用中のユーザが所定の行動を行ったことが検出された際に、出力制御部106は、当該没頭度を下げるための第2の表示制御を行う。一例として、出力制御部106は、(第1の実施形態と同様に)該当のVRコンテンツに関連付けられている盛り上がり情報に基づいて「没頭度を下げるための第1の表示制御」を行うとともに、当該ユーザが所定の行動を行ったことが検出された際に「没頭度を下げるための第2の表示制御」を行ってもよい。あるいは、出力制御部106は、「没頭度を下げるための第1の表示制御」を行わずに、「没頭度を下げるための第2の表示制御」のみを行ってもよい。
 (3-1-1-1.表示例1)
 以下、「没頭度を下げるための第2の表示制御」の内容についてより詳細に説明する。例えば、ユーザが発話したことが検出された際には、出力制御部106は、(「没頭度を下げるための第2の表示制御」として)所定の文字列をVRコンテンツに重畳して表示させる。ここで、図22を参照して、上記の機能についてより詳細に説明を行う。例えば、図22に示した映像30aの表示タイミングにおいて、図22に示したようにユーザが(無意識の)発話90をしたことが検出されたとする。この場合、出力制御部106は、発話90の音声認識結果に応じた文字列をVRコンテンツに重畳して表示させてもよい。例えば、制御部100(情報取得部102)は、まず、検出された発話90を音声認識し、そして、当該当該音声認識結果に対して自然言語処理を行うことにより、当該音声認識結果が感動詞を含むか否かを判定する。そして、当該音声認識結果が感動詞を含む場合には、図22に示した映像30bのように、出力制御部106は、映像30b内のユーザの注視点付近(または映像30bの中心付近)において、当該音声認識結果に応じた文字列60を映像30bに重畳して表示させる。なお、文字列60は、当該音声認識結果自体であってもよいし、または、当該音声認識結果から抽出される感動詞だけであってもよい。また、発話90の音量が大きいほど、出力制御部106は、文字列60の表示サイズを大きくしてもよい。
 また、変形例として、発話90の音量が所定の閾値以上である場合に、出力制御部106は、例えば記憶部122に記憶されている没頭度軽減文字列DB126に登録されているいずれかの文字列をVRコンテンツに重畳して表示させてもよい。例えば、図22に示した例において、発話90の音量が所定の閾値以上である(または、所定の閾値以上になった)と検出された場合には、出力制御部106は、没頭度軽減文字列DB126からいずれかの文字列を選択し、そして、映像30b内のユーザの注視点付近(または映像30bの中心付近)において、選択した文字列を映像30bに重畳して表示させる。なお、出力制御部106は、発話90の音量が大きいほど、当該文字列の表示サイズを大きくしてもよい。
 ここで、没頭度軽減文字列DB126には、複数の文字列(感動詞など)が予め登録され得る。例えば、没頭度軽減文字列DB126では、文字列と、ユーザの属性情報(年齢や性別など)とが関連付けて登録されていてもよい。なお、没頭度軽減文字列DB126は、記憶部122に記憶されてもよいし、または、サーバ10が通信網22を介して通信可能な他の装置に記憶されてもよい。
 以上の表示例によれば、ユーザの無意識な発話を行った際に、例えば当該発話の音声認識結果などの文字列がユーザに提示される。これにより、ユーザが発話したこと(および、実際にユーザが発話した言葉)をユーザに知らせることができる。また、通常、音の情報よりも視覚情報の方が我に返りやすい傾向にあるので、当該表示例によりユーザの没頭度を大きく減少させることができる。
 (3-1-1-2.表示例2)
 また、ユーザの特定の挙動が検出された際には、出力制御部106は、(「没頭度を下げるための第2の表示制御」として)該当のVRコンテンツにおける現在の視点の位置を、当該視点の向きに対して後方へ移動させることが可能である。ここで、特定の挙動は、例えば、のけぞる動きである。また、特定の挙動は、例えば頭部などの身体の動きの急峻度合いが所定の閾値以上である動きであり得る。
 ここで、図23を参照して、上記の機能についてより詳細に説明を行う。例えば、図23に示した映像30aの表示タイミングにおいて、ユーザの頭部の動きの急峻度合いが所定の閾値以上であることが検出されたとする。この場合、まず、制御部100(情報取得部102)は、例えばクライアント端末20から受信される、当該検出時におけるユーザの撮像画像や加速度の測定結果などに基づいて、当該検出時におけるユーザの動き情報を取得する。次に、出力制御部106は、当該ユーザに対応する仮想オブジェクトが、取得された動き情報に従って動くアニメーション64を生成する。次に、出力制御部106は、当該VRコンテンツにおける現在の視点の位置を当該視点の向きに対して例えば所定の距離(5歩分など)だけ後方へ強制的に移動させる。例えば、出力制御部106は、現在の視点の位置を、当該VRコンテンツを利用する上で阻害がないような後方の位置へ移動させる。これにより、図23に示した映像30bのように、当該移動後の視点位置からの当該VRコンテンツの映像30bが表示部224に表示される。
 さらに、出力制御部106は、図23に示したように、当該移動前の視点の位置の近傍に、生成したアニメーション64を映像30bに重畳して表示させる。以上の表示例によれば、当該移動前の視点位置を俯瞰可能な位置へ視点が強制的に移動するとともに、映像30aの表示タイミングにおけるユーザの動き(のけぞる動きなど)を再現(シミュレーション)するアニメーション64を表示することができる。これにより、映像30aの表示タイミングにおけるユーザの動きを当該ユーザに対して視覚的に提示することができるので、ユーザは我に返り得る(つまり、ユーザの没頭度は減少し得る)。
 なお、当該アニメーション64が終了したタイミングに、出力制御部106は、当該視点の位置を当該移動前の視点の位置に戻し得る。
 (3-1-1-3.表示例3)
 または、ユーザの当該特定の挙動が検出された際には、出力制御部106は、(「没頭度を下げるための第2の表示制御」として)表示部224における該当のVRコンテンツの表示サイズを縮小することも可能である。
 ここで、図24を参照して、上記の機能についてより詳細に説明を行う。例えば、図24に示した映像30aの表示タイミングにおいて、ユーザの頭部の動きの急峻度合いが所定の閾値以上であることが検出されたとする。この場合、出力制御部106は、映像30bに示したように、当該VRコンテンツの映像66の表示サイズを縮小して表示部224に表示させ、かつ、表示部224における映像66の周囲の表示領域68を所定の色(例えば黒色など)で表示させる。
 これにより、ユーザに意外感を与えることができるので、ユーザの没頭度が減少することが期待できる。
 <3-2.処理の流れ>
 {3-2-1.処理の全体的な流れ}
 以上、第2の実施形態に係る構成について説明した。次に、第2の実施形態に係る処理の流れについて、図25~図27を参照して説明する。
 図25は、第2の実施形態に係る処理の全体的な流れを示したフローチャートである。なお、図25に示したS501~S505の処理は、(図11に示した)第1の実施形態に係るS101~S105と同様である。
 S505の後、サーバ10‐2は、後述する「没頭度を下げるための第2の表示制御処理」を行う(S507)。
 その後、VRコンテンツの利用の終了をユーザが指示した場合には(S509:Yes)、当該処理の流れは終了する。一方、VRコンテンツの利用の終了をユーザが指示しない場合には(S509:No)、サーバ10‐2は、再びS507の処理を繰り返す。
 (3-2-1-1.変形例)
 なお、当該処理の全体的な流れは、図25に示した例に限定されない。例えば、S505とS507との間で、サーバ10‐2は、(図11に示した)第1の実施形態に係るS109の処理(つまり「没頭度を下げるための第1の表示制御処理」)を行ってもよい。
 {3-2-2.没頭度を下げるための第2の表示制御処理:第1の例}
 ここで、図26および図27を参照して、S507における「没頭度を下げるための第2の表示制御処理」の流れについて詳細に説明する。図26は、「没頭度を下げるための第2の表示制御処理」の第1の例の流れを示したフローチャートである。図26に示したように、まず、サーバ10‐2の情報取得部102は、クライアント端末20から受信される、現在収音されたユーザの音声情報を取得する(S511)。
 続いて、情報取得部102は、取得された音声情報に対して音声認識を行う(S513)。そして、情報取得部102は、当該音声認識の結果に対して自然言語処理を行うことにより、形態素情報を解析する(S515)。
 続いて、情報取得部102は、解析された形態素情報に基づいて当該音声認識結果が感動詞を含むか否かを判定する(S517)。当該音声認識結果が感動詞を含まない場合には(S517:No)、当該「没頭度を下げるための第2の表示制御処理」は終了する。
 一方、当該音声認識結果が感動詞を含む場合には(S517:Yes)、出力制御部106は、当該音声認識結果に応じた文字列を、該当のVRコンテンツ内のユーザの注視点付近に重畳表示させる(S519)。
 {3-2-3.没頭度を下げるための第2の表示制御処理:第2の例}
 また、図27は、S507における「没頭度を下げるための第2の表示制御処理」の第2の例の流れを示したフローチャートである。図27に示したように、まず、サーバ10‐2の情報取得部102は、クライアント端末20から受信される、ユーザの頭部の現在の加速度のセンシング結果を取得する(S521)。
 続いて、出力制御部106は、センシングされた加速度が所定の閾値以上であるか否かを判定する(S523)。センシングされた加速度が所定の閾値未満である場合には(S523:No)、当該「没頭度を下げるための第2の表示制御処理」は終了する。
 一方、センシングされた加速度が所定の閾値以上である場合には(S523:Yes)、出力制御部106は、まず、クライアント端末20から受信される、当該センシング時における例えばユーザの撮像画像や加速度の測定結果などに基づいて、当該センシング時におけるユーザの動き情報を取得する。そして、出力制御部106は、当該ユーザに対応する仮想オブジェクトが、取得された動き情報をシミュレーションするように動くアニメーションを生成する(S525)。
 続いて、出力制御部106は、当該VRコンテンツにおける現在の視点の位置を俯瞰可能なように、当該視点の向きに対して後方へ当該視点の位置を強制的に移動させる(S527)。そして、出力制御部106は、当該移動前の視点の位置の近傍において、S525で生成したアニメーションを当該VRコンテンツに重畳して表示させる(S529)。
 <3-3.効果>
 以上説明したように、第2の実施形態に係るサーバ10‐2は、表示部224によりVRコンテンツが表示されている間に、VRコンテンツを利用中のユーザが所定の行動を行ったことが検出された際に、ユーザの没頭度を下げるための第2の表示制御を行う。このため、VRコンテンツの利用中のユーザの没頭度を適切に抑制することができる。
 例えば、VRコンテンツの利用中にユーザが無意識の行動(発話やのけぞりなど)を行ったことが検出された際に、サーバ10‐2は、当該無意識の行動を行ったことを当該VRコンテンツの映像内でユーザに知らせることができる。その結果、ユーザが我に返ることが期待できる。また、以後、ユーザは、同様の行動を継続して行ってしまうことを回避することができる。
<<4.ハードウェア構成>>
 次に、各実施形態に共通するサーバ10のハードウェア構成について、図28を参照して説明する。図28に示すように、サーバ10は、CPU150、ROM(Read Only Memory)152、RAM154、バス156、インターフェース158、ストレージ装置160、および通信装置162を備える。
 CPU150は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ10内の動作全般を制御する。また、CPU150は、サーバ10において制御部100の機能を実現する。なお、CPU150は、マイクロプロセッサなどのプロセッサにより構成される。
 ROM152は、CPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
 RAM154は、例えば、CPU150により実行されるプログラムや、使用中のデータなどを一時的に記憶する。
 バス156は、CPUバスなどから構成される。このバス156は、CPU150、ROM152、および、RAM154を相互に接続する。
 インターフェース158は、ストレージ装置160および通信装置162をバス156と接続する。
 ストレージ装置160は、記憶部122として機能する、データ格納用の装置である。ストレージ装置160は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
 通信装置162は、例えば通信網22などに接続するための通信デバイス(例えばネットワークカードなど)等で構成された通信インターフェースである。また、通信装置162は、無線LAN対応通信装置、LTE(Long Term Evolution)対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置162は、通信部120として機能する。
<<5.変形例>>
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 <5-1.変形例1>
 例えば、サーバ10(出力制御部106)は、情報取得部102により取得された盛り上がり情報に基づいて、ユーザが利用中のVRコンテンツにおける眼精疲労が生じ得る部分を検出し、そして、検出した眼精疲労が生じ得る部分において、前述した「没頭度を下げるための表示制御」を行ってもよい。例えば、該当のVRコンテンツにおいて眼精疲労が生じ得る部分が検出された際には、サーバ10は、視点位置を後方へ強制的に移動させる。この変形例によれば、眼精疲労が生じ得る部分において、(VRコンテンツの利用に関する)ユーザの集中度が抑制される。その結果、例えば当該VRコンテンツの利用を中止するなど、ユーザが目を休めることが期待できるので、眼精疲労の発生を防止することが期待できる。
 <5-2.変形例2>
 また、別の変形例として、サーバ10(出力制御部106)は、外界(実空間)において通知が生じたこと(例えば、VRコンテンツを利用中のユーザに対して他の人物が声をかけることや、当該ユーザの電話が着信することなど)が検出された際にも、前述した「没頭度を下げるための表示制御」を行ってもよい。この変形例によれば、VRコンテンツの利用中であっても、ユーザは、当該通知の発生に気付きやすくなる。
 <5-3.変形例3>
 また、別の変形例として、サーバ10(出力制御部106)は、さらに、VRコンテンツを利用中のユーザの属性情報に基づいて、「没頭度を下げるための表示制御」を行うか否かを動的に変更してもよい。例えば、当該ユーザが子どもである場合には、サーバ10は、(各実施形態のように)「没頭度を下げるための表示制御」を強制的に行う。また、当該ユーザが大人である場合には、サーバ10は、「没頭度を下げるための表示制御」を行わなくてもよい。
 <5-4.変形例4>
 また、別の変形例として、サーバ10(出力制御部106)は、さらに、VRコンテンツの利用時間帯に基づいて、「没頭度を下げるための表示制御」を行うか否かを動的に変更してもよい。例えば、利用時間帯が「夜」である場合には、サーバ10は、(前述した各実施形態のように)「没頭度を下げるための表示制御」を強制的に行う。また、利用時間帯が「日中」である場合には、サーバ10は、「没頭度を下げるための表示制御」を行わなくてもよい。これにより、他の人物(例えば隣人など)に迷惑をかけることを防止しつつ、ユーザは、VRコンテンツを楽しむことができる。
 <5-5.変形例5>
 また、別の変形例として、サーバ10(出力制御部106)は、「没頭度を下げるための表示制御」を行うとともに、外界(ユーザが位置する実空間)の環境音がユーザに聞こえるように音声の出力を制御してもよい。例えば、(第2の実施形態で述べたように)VRコンテンツを利用中のユーザが所定の行動を行ったことが検出された際には、サーバ10(出力制御部106)は、「没頭度を下げるための表示制御」を行うとともに、外界(ユーザが位置する実空間)の環境音がユーザに聞こえるように当該VRコンテンツの音量を弱くしてもよい。この変形例によれば、ユーザの没頭度をより低下させることが期待できる。つまり、ユーザがより我に返りやすくなり得る。
 <5-6.変形例6>
 また、前述した各実施形態では、表示部224が頭部装着型のデバイスである例について説明したが、かかる例に限定されない。例えば、表示部224は、据え置き型のディスプレイであってもよい。なお、当該据え置き型のディスプレイは、例えばLCDやOLEDなどにより構成され得る。また、表示部224は、専用のドーム型の施設内の壁面および天井に設置されてもよい。この場合、ユーザは、当該施設内でVRコンテンツを利用し得る。
 あるいは、表示部224は、3Dプロジェクタであり、そして、当該3Dプロジェクタにより投影対象(例えば部屋2の壁やスクリーンなど)に対して映像が投影されてもよい。
 <5-7.変形例7>
 また、前述した各実施形態では、本開示における情報処理装置がサーバ10である例について説明したが、かかる例に限定されない。例えば、当該情報処理装置は、汎用PC(Personal Computer)、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、例えばHMDなどのウェアラブルデバイス、または、ロボットなどであってもよい。
 <5-8.変形例8>
 また、別の変形例として、情報取得部102、および、出力制御部106は、サーバ10に含まれる代わりに、クライアント端末20に含まれてもよい。この場合、本開示における情報処理装置は、クライアント端末20であってもよい。
 <5-9.変形例9>
 また、前述した各実施形態に係る処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
 また、前述した各実施形態によれば、CPU150、ROM152、およびRAM154などのハードウェアを、前述した各実施形態に係るサーバ10の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、
 表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部と、
を備える、情報処理装置。
(2)
 前記コンテンツが表示されている間に、前記盛り上がり情報が示す盛り上がり度合いが第1の閾値よりも大きくなる際または前記第1のユーザが所定の行動を行ったことが検出された際に、前記出力制御部は、前記没頭度を下げるための表示制御を行う、前記(1)に記載の情報処理装置。
(3)
 前記没頭度を下げるための表示制御は、前記コンテンツにおける現在の視点の位置を、当該視点の向きに対して後方へ移動させることを含む、前記(2)に記載の情報処理装置。
(4)
 前記没頭度を下げるための表示制御は、さらに、前記移動前の視点の位置の近傍に、前記第1のユーザの背面を示す画像を前記コンテンツに重畳して表示させることを含む、前記(3)に記載の情報処理装置。
(5)
 前記所定の行動は、前記第1のユーザの動きの急峻度合いが第2の閾値以上である行動であり、
 前記第1のユーザの行動に関する情報は、前記第1のユーザの動き情報を含み、
 前記没頭度を下げるための表示制御は、さらに、前記第1のユーザに対応する仮想オブジェクトが、前記所定の行動の検出時における前記第1のユーザの動き情報に応じて動くアニメーションを前記コンテンツに重畳して表示させることを含む、前記(3)に記載の情報処理装置。
(6)
 前記没頭度を下げるための表示制御は、前記表示部における前記コンテンツの表示サイズを縮小することを含む、前記(2)に記載の情報処理装置。
(7)
 前記コンテンツは動画であり、
 前記没頭度を下げるための表示制御は、前記コンテンツのうち現在の再生タイミング以降の部分から抽出される複数のフレーム画像を前記コンテンツに重畳して表示させることを含む、前記(2)に記載の情報処理装置。
(8)
 前記没頭度を下げるための表示制御は、前記コンテンツ内の所定の領域に前記複数のフレーム画像を前記コンテンツに重畳して表示させることを含む、前記(7)に記載の情報処理装置。
(9)
 前記没頭度を下げるための表示制御は、前記コンテンツ内の所定の領域が前記表示部に表示されるように前記第1のユーザの視線を誘導するためのガイド表示を表示させ、かつ、
 前記ガイド表示に応じて前記第1のユーザの視線が移動したことが検出された際に、前記複数のフレーム画像を前記コンテンツに重畳して表示させることを含む、前記(8)に記載の情報処理装置。
(10)
 前記所定の行動は、発話であり、
 前記第1のユーザが発話したことが検出された際に、前記出力制御部は、所定の文字列を前記コンテンツに重畳して表示させる、前記(2)に記載の情報処理装置。
(11)
 前記出力制御部は、前記第1のユーザの前記コンテンツ内の注視点の近傍または前記表示部の略中心に前記所定の文字列を表示させる、前記(10)に記載の情報処理装置。
(12)
 前記第1のユーザが発話したことが検出され、かつ、検出された発話の音声認識結果が感動詞を含む場合には、前記出力制御部は、前記発話の音声認識結果に応じた文字列を前記所定の文字列として前記コンテンツに重畳して表示させる、前記(11)に記載の情報処理装置。
(13)
 前記盛り上がり情報が示す盛り上がり度合いが前記第1の閾値以下の度合いから前記第1の閾値よりも大きい度合いに変化する再生タイミングにおいて、前記出力制御部は、前記没頭度を下げるための表示制御を開始する、前記(2)~(12)のいずれか一項に記載の情報処理装置。
(14)
 前記コンテンツは、少なくとも一つのイベント情報を含み、
 前記少なくとも一つのイベント情報のうち、前記第1の閾値よりも大きい盛り上がり度合いに関連付けられているイベント情報が示すイベントが発生する直前に、前記出力制御部は、前記没頭度を下げるための表示制御を開始する、前記(2)~(13)のいずれか一項に記載の情報処理装置。
(15)
 前記出力制御部は、さらに、前記第1のユーザの属性情報に基づいて、前記没頭度を下げるための表示制御を行う、前記(2)~(14)のいずれか一項に記載の情報処理装置。
(16)
 前記出力制御部は、さらに、前記コンテンツの利用時間帯に基づいて、前記没頭度を下げるための表示制御を行う、前記(2)~(15)のいずれか一項に記載の情報処理装置。
(17)
 前記盛り上がり情報は、前記第1のユーザ、または、前記第1のユーザとは異なる第2のユーザが過去に前記コンテンツを利用した際の盛り上がり度合いを示す、前記(2)~(16)のいずれか一項に記載の情報処理装置。
(18)
 前記盛り上がり情報は、前記第1のユーザの現在の盛り上がり度合いを示す、前記(2)~(16)のいずれか一項に記載の情報処理装置。
(19)
 仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得することと、
 表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、プロセッサが、前記第1のユーザの没頭度を下げるための表示制御を行うことと、
を含む、情報処理方法。
(20)
 コンピュータを、
 仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、
 表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部、
として機能させるためのプログラム。
10‐1、10‐2 サーバ
20 クライアント端末
22 通信網
100、200 制御部
102 情報取得部
104 盛り上がり情報登録部
106 出力制御部
120、220 通信部
122、230 記憶部
124 盛り上がり情報DB
126 没頭度軽減文字列DB
222 入力部
224 表示部
226 音声出力部
228 センサ部

Claims (20)

  1.  仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、
     表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部と、
    を備える、情報処理装置。
  2.  前記コンテンツが表示されている間に、前記盛り上がり情報が示す盛り上がり度合いが第1の閾値よりも大きくなる際または前記第1のユーザが所定の行動を行ったことが検出された際に、前記出力制御部は、前記没頭度を下げるための表示制御を行う、請求項1に記載の情報処理装置。
  3.  前記没頭度を下げるための表示制御は、前記コンテンツにおける現在の視点の位置を、当該視点の向きに対して後方へ移動させることを含む、請求項2に記載の情報処理装置。
  4.  前記没頭度を下げるための表示制御は、さらに、前記移動前の視点の位置の近傍に、前記第1のユーザの背面を示す画像を前記コンテンツに重畳して表示させることを含む、請求項3に記載の情報処理装置。
  5.  前記所定の行動は、前記第1のユーザの動きの急峻度合いが第2の閾値以上である行動であり、
     前記第1のユーザの行動に関する情報は、前記第1のユーザの動き情報を含み、
     前記没頭度を下げるための表示制御は、さらに、前記第1のユーザに対応する仮想オブジェクトが、前記所定の行動の検出時における前記第1のユーザの動き情報に応じて動くアニメーションを前記コンテンツに重畳して表示させることを含む、請求項3に記載の情報処理装置。
  6.  前記没頭度を下げるための表示制御は、前記表示部における前記コンテンツの表示サイズを縮小することを含む、請求項2に記載の情報処理装置。
  7.  前記コンテンツは動画であり、
     前記没頭度を下げるための表示制御は、前記コンテンツのうち現在の再生タイミング以降の部分から抽出される複数のフレーム画像を前記コンテンツに重畳して表示させることを含む、請求項2に記載の情報処理装置。
  8.  前記没頭度を下げるための表示制御は、前記コンテンツ内の所定の領域に前記複数のフレーム画像を前記コンテンツに重畳して表示させることを含む、請求項7に記載の情報処理装置。
  9.  前記没頭度を下げるための表示制御は、前記コンテンツ内の所定の領域が前記表示部に表示されるように前記第1のユーザの視線を誘導するためのガイド表示を表示させ、かつ、
     前記ガイド表示に応じて前記第1のユーザの視線が移動したことが検出された際に、前記複数のフレーム画像を前記コンテンツに重畳して表示させることを含む、請求項8に記載の情報処理装置。
  10.  前記所定の行動は、発話であり、
     前記第1のユーザが発話したことが検出された際に、前記出力制御部は、所定の文字列を前記コンテンツに重畳して表示させる、請求項2に記載の情報処理装置。
  11.  前記出力制御部は、前記第1のユーザの前記コンテンツ内の注視点の近傍または前記表示部の略中心に前記所定の文字列を表示させる、請求項10に記載の情報処理装置。
  12.  前記第1のユーザが発話したことが検出され、かつ、検出された発話の音声認識結果が感動詞を含む場合には、前記出力制御部は、前記発話の音声認識結果に応じた文字列を前記所定の文字列として前記コンテンツに重畳して表示させる、請求項11に記載の情報処理装置。
  13.  前記盛り上がり情報が示す盛り上がり度合いが前記第1の閾値以下の度合いから前記第1の閾値よりも大きい度合いに変化する再生タイミングにおいて、前記出力制御部は、前記没頭度を下げるための表示制御を開始する、請求項2に記載の情報処理装置。
  14.  前記コンテンツは、少なくとも一つのイベント情報を含み、
     前記少なくとも一つのイベント情報のうち、前記第1の閾値よりも大きい盛り上がり度合いに関連付けられているイベント情報が示すイベントが発生する直前に、前記出力制御部は、前記没頭度を下げるための表示制御を開始する、請求項2に記載の情報処理装置。
  15.  前記出力制御部は、さらに、前記第1のユーザの属性情報に基づいて、前記没頭度を下げるための表示制御を行う、請求項2に記載の情報処理装置。
  16.  前記出力制御部は、さらに、前記コンテンツの利用時間帯に基づいて、前記没頭度を下げるための表示制御を行う、請求項2に記載の情報処理装置。
  17.  前記盛り上がり情報は、前記第1のユーザ、または、前記第1のユーザとは異なる第2のユーザが過去に前記コンテンツを利用した際の盛り上がり度合いを示す、請求項2に記載の情報処理装置。
  18.  前記盛り上がり情報は、前記第1のユーザの現在の盛り上がり度合いを示す、請求項2に記載の情報処理装置。
  19.  仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得することと、
     表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、プロセッサが、前記第1のユーザの没頭度を下げるための表示制御を行うことと、
    を含む、情報処理方法。
  20.  コンピュータを、
     仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、
     表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部、
    として機能させるためのプログラム。
PCT/JP2017/044129 2017-03-21 2017-12-08 情報処理装置、情報処理方法、およびプログラム WO2018173383A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/486,963 US10877555B2 (en) 2017-03-21 2017-12-08 Information processing device and information processing method for controlling user immersion degree in a virtual reality environment
EP17902050.8A EP3599536A4 (en) 2017-03-21 2017-12-08 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP2019506938A JP7107302B2 (ja) 2017-03-21 2017-12-08 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017054197 2017-03-21
JP2017-054197 2017-03-21

Publications (1)

Publication Number Publication Date
WO2018173383A1 true WO2018173383A1 (ja) 2018-09-27

Family

ID=63585298

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/044129 WO2018173383A1 (ja) 2017-03-21 2017-12-08 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US10877555B2 (ja)
EP (1) EP3599536A4 (ja)
JP (1) JP7107302B2 (ja)
WO (1) WO2018173383A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020105269A1 (ja) * 2018-11-19 2020-05-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023189558A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 情報処理システムおよび情報処理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102222747B1 (ko) * 2018-11-30 2021-03-04 오당찬 몰입도 운용 방법 및 이를 지원하는 전자 장치
CN114514563A (zh) 2019-09-27 2022-05-17 苹果公司 在电子设备上创建最佳工作、学习和休息环境
US11393171B2 (en) * 2020-07-21 2022-07-19 International Business Machines Corporation Mobile device based VR content control
US12032803B2 (en) 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006201853A (ja) * 2005-01-18 2006-08-03 Fujitsu Ten Ltd コンテンツ再生装置
JP2010074775A (ja) * 2008-09-22 2010-04-02 Sony Corp 表示制御装置、表示制御方法、およびプログラム
WO2015092968A1 (en) * 2013-12-19 2015-06-25 Sony Corporation Head-mounted display device and image display method
JP2016062277A (ja) * 2014-09-18 2016-04-25 泰章 岩井 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070262A1 (en) * 2005-09-21 2015-03-12 Richard Ross Peters Contextual annotations of a message based on user eye-tracking data
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9872968B2 (en) * 2013-04-17 2018-01-23 Sri International Biofeedback virtual reality sleep assistant
US9990774B2 (en) * 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
US20160195923A1 (en) * 2014-12-26 2016-07-07 Krush Technologies, Llc Gyroscopic chair for virtual reality simulation
JP6018653B2 (ja) * 2015-02-04 2016-11-02 日本ロジックス株式会社 映像・サウンドコンテンツの製作方法
JP6706473B2 (ja) * 2015-09-14 2020-06-10 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
WO2017082457A1 (ko) * 2015-11-11 2017-05-18 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
US10695663B2 (en) * 2015-12-22 2020-06-30 Intel Corporation Ambient awareness in virtual reality
US10179290B2 (en) * 2016-07-21 2019-01-15 Sony Interactive Entertainment America Llc Method and system for accessing previously stored game play via video recording as executed on a game cloud system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006201853A (ja) * 2005-01-18 2006-08-03 Fujitsu Ten Ltd コンテンツ再生装置
JP2010074775A (ja) * 2008-09-22 2010-04-02 Sony Corp 表示制御装置、表示制御方法、およびプログラム
WO2015092968A1 (en) * 2013-12-19 2015-06-25 Sony Corporation Head-mounted display device and image display method
JP2015118332A (ja) 2013-12-19 2015-06-25 ソニー株式会社 画像表示装置及び画像表示方法
JP2016062277A (ja) * 2014-09-18 2016-04-25 泰章 岩井 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3599536A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020105269A1 (ja) * 2018-11-19 2020-05-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023189558A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 情報処理システムおよび情報処理方法

Also Published As

Publication number Publication date
JP7107302B2 (ja) 2022-07-27
EP3599536A4 (en) 2020-04-08
JPWO2018173383A1 (ja) 2020-05-14
US10877555B2 (en) 2020-12-29
EP3599536A1 (en) 2020-01-29
US20200004321A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
JP7107302B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102553190B1 (ko) 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어
EP3381175B1 (en) Apparatus and method for operating personal agent
US11178456B2 (en) Video distribution system, video distribution method, and storage medium storing video distribution program
JP6361649B2 (ja) 情報処理装置、通知状態制御方法及びプログラム
US10083363B2 (en) System and method for customizing content for a user
JP2020503574A (ja) ヘッドマウントディスプレイによって提供される仮想現実環境への見物人フィードバックコンテンツの配信
EP3888764A1 (en) Filtering and parental control methods for restricting visual activity on a head mounted display
CN109542213A (zh) 使用注视信息与计算设备交互的系统和方法
WO2017068816A1 (ja) 情報処理システム、および情報処理方法
JP2016062277A (ja) 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
US11173375B2 (en) Information processing apparatus and information processing method
US20230023653A1 (en) Computer program, server, terminal, and method
US11405484B2 (en) Variable-intensity immersion for extended reality media
CN111654752B (zh) 多媒体信息播放方法、装置、电子设备及存储介质
US10643636B2 (en) Information processing apparatus, information processing method, and program
US20200125788A1 (en) Information processing device and information processing method
JP7329217B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
JPWO2018168247A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN108563322B (zh) Vr/ar设备的控制方法和装置
US20240220752A1 (en) Artificial Reality System for Code Recognition and Health Metrics
US20220408153A1 (en) Information processing device, information processing method, and information processing program
JP2024046864A (ja) 情報処理装置および恐怖症改善支援方法
JP2024046867A (ja) 情報処理装置および恐怖症改善支援方法
JP2024046865A (ja) 情報処理装置および恐怖症改善支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17902050

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019506938

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017902050

Country of ref document: EP

Effective date: 20191021