JP7107302B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7107302B2
JP7107302B2 JP2019506938A JP2019506938A JP7107302B2 JP 7107302 B2 JP7107302 B2 JP 7107302B2 JP 2019506938 A JP2019506938 A JP 2019506938A JP 2019506938 A JP2019506938 A JP 2019506938A JP 7107302 B2 JP7107302 B2 JP 7107302B2
Authority
JP
Japan
Prior art keywords
user
information
content
degree
excitement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019506938A
Other languages
English (en)
Other versions
JPWO2018173383A1 (ja
Inventor
真一 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018173383A1 publication Critical patent/JPWO2018173383A1/ja
Application granted granted Critical
Publication of JP7107302B2 publication Critical patent/JP7107302B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、VR(Virtual Reality)に関する技術が各種開発されている。VRでは、コンピュータによって生成された映像を、ユーザは臨場感高く視聴することができる。
例えば、下記特許文献1には、VR画像が表示部に表示されている際に、現実世界で発生したイベントの重要度に応じてVR画像の表示を停止する技術が記載されている。
特開2015-118332号公報
しかしながら、特許文献1に記載の技術では、VR画像が表示部に表示されている間に、ユーザの没頭度を下げるための表示制御を行うことは考慮されていなかった。
そこで、本開示では、仮想現実のコンテンツの利用中のユーザの没頭度を適切に抑制することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得することと、表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、プロセッサが、前記第1のユーザの没頭度を下げるための表示制御を行うことと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、仮想現実のコンテンツの利用中のユーザの没頭度を適切に抑制することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の各実施形態に共通する情報処理システムの構成例を示した説明図である。 各実施形態に共通するクライアント端末20の機能構成例を示した機能ブロック図である。 本開示の課題を説明するための説明図である。 本開示の第1の実施形態に係るサーバ10‐1の構成例を示した機能ブロック図である。 VRコンテンツの再生時刻と、盛り上がり情報が示す盛り上がり度合いとの対応関係を示したグラフの例である。 VRコンテンツのイベント情報と、盛り上がり情報が示す盛り上がり度合いとの対応関係を示したグラフの例である。 第1の実施形態に係る没頭度を下げるための表示制御の第1の例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第1の例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第1の例を示した説明図である。 図7Bに示した表示制御の変形例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第2の例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第2の例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第2の例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第3の例を示した説明図である。 第1の実施形態に係る没頭度を下げるための表示制御の第3の例を示した説明図である。 第1の実施形態に係る「コンテンツ利用時の処理」の全体的な流れを示したフローチャートである。 第1の実施形態に係る「没頭度を下げるための第1の表示制御処理」の流れの第1の例を示したフローチャートである。 第1の実施形態に係る「没頭度を下げるための第1の表示制御処理」の流れの第2の例を示したフローチャートである。 第1の実施形態に係る「盛り上がり情報の登録処理」の流れの第1の例を示したフローチャートである。 第1の実施形態に係る「盛り上がり情報関連付け処理」の流れを示したフローチャートである。 第1の実施形態に係る「盛り上がり情報の登録処理」の流れの第2の例を示したフローチャートである。 第1の実施形態に係る「盛り上がり情報の登録処理」の流れの第3の例を示したフローチャートである。 第1の実施形態に係る「盛り上がり情報の登録処理」の流れの第4の例を示したフローチャートである。 第1の実施形態に係る「盛り上がり情報の登録処理」の流れの第5の例を示したフローチャートである。 第1の実施形態に係る「盛り上がり情報の登録処理」の流れの第6の例を示したフローチャートである。 本開示の第2の実施形態に係るサーバ10‐2の構成例を示した機能ブロック図である。 第2の実施形態に係る没頭度を下げるための表示制御の第1の例を示した説明図である。 第2の実施形態に係る没頭度を下げるための表示制御の第2の例を示した説明図である。 第2の実施形態に係る没頭度を下げるための表示制御の第3の例を示した説明図である。 第2の実施形態に係る処理の全体的な流れを示したフローチャートである。 第2の実施形態に係る「没頭度を下げるための第2の表示制御処理」の第1の例を示したフローチャートである。 第2の実施形態に係る「没頭度を下げるための第2の表示制御処理」の第2の例を示したフローチャートである。 各実施形態に共通するサーバ10のハードウェア構成例を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じてクライアント端末20aおよびクライアント端末20bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、クライアント端末20aおよびクライアント端末20bを特に区別する必要が無い場合には、単にクライアント端末20と称する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.情報処理システムの構成
2.第1の実施形態
3.第2の実施形態
4.ハードウェア構成
5.変形例
なお、本明細書および図面において、本開示の第1の実施形態に係るサーバ10‐1、および、本開示の第2の実施形態に係るサーバ10‐2を総称して、サーバ10と称する場合がある。
<<1.情報処理システムの構成>>
まず、本開示の各実施形態に共通する情報処理システムの構成例について、図1を参照して説明する。図1に示すように、当該情報処理システムは、サーバ10、クライアント端末20、および、通信網22を有する。
<1-1.クライアント端末20>
クライアント端末20は、例えばVRコンテンツなどのコンテンツの表示を制御する装置である。例えば、クライアント端末20は、VRコンテンツを、後述する表示部224に表示させる。なお、VRコンテンツの種類は、例えば、映画(例えばホラー映画やコメディ映画など)、ゲーム(例えば格闘ゲームや恋愛ゲームなど)、または、スポーツの実況など様々な種類であり得る。
また、表示部224は、図1に示したような頭部装着型のデバイス(例えばHMD(Head Mounted Display)などのウェアラブルデバイス)であり得る。
なお、図1では、クライアント端末20が一台だけ図示されているが、かかる例に限定されず、複数台のクライアント端末20が通信網22に接続され得る。この場合、複数台のクライアント端末20の各々が通信網22を介してサーバ10と通信可能である。
{1-1-1.機能構成}
ここで、図2を参照して、クライアント端末20の機能構成の例について説明する。図2に示したように、クライアント端末20は、制御部200、通信部220、入力部222、表示部224、音声出力部226、センサ部228、および、記憶部230を含む。なお、かかる例に限定されず、入力部222、表示部224、音声出力部226、および、センサ部228のうちの一以上は、クライアント端末20に含まれる代わりに、クライアント端末20と通信可能な別の装置として構成されてもよい。
(1-1-1-1.センサ部228)
センサ部228は、カメラ(イメージセンサ)、デプスセンサ、加速度センサ、ジャイロスコープ、脈拍センサ、湿度センサ、呼吸センサ、脳波センサ、筋電センサ、および/または、マイクロフォンを含む。
例えば、センサ部228(カメラ)は、ユーザの身体(口、目、腕など)などを撮像する。また、センサ部228(マイクロフォン)は、ユーザの発話などの音を収音する。また、センサ部228(湿度センサ、脈拍センサ、呼吸センサ、脳波センサ、筋電センサなど)は、例えばユーザの発汗量の多さ、脈拍の多さ、呼吸数の多さ、脳波、および、筋電位などのユーザの生体情報を測定し得る。
なお、センサ部228に含まれる少なくとも一種類のセンサ(例えば加速度センサや脳波センサなど)は、ユーザに装着され得る。また、当該少なくとも一種類のセンサは、表示部224と一体の装置として構成されてもよいし、または、表示部224とは別の装着型の機器であってもよい。
また、センサ部228に含まれる少なくとも一種類のセンサ(例えばカメラやデプスセンサなど)は、ユーザに装着されるだけでなく、ユーザが位置する実空間(例えば部屋など)内に別途配置されてもよい。
(1-1-1-2.制御部200)
制御部200は、クライアント端末20に内蔵される例えばCPU(Central Processing Unit)やRAM(Random Access Memory)などを用いて、クライアント端末20の動作を統括的に制御する。
例えば、制御部200は、センサ部228によるセンシング結果をセンサ部228から取得し、そして、当該センシング結果をサーバ10へ通信部220に送信させる。
また、制御部200は、ユーザが利用中のVRコンテンツに関する情報(以下、コンテンツ情報と称する)をサーバ10へ通信部220に送信させる。ここで、コンテンツ情報は、VRコンテンツの識別情報やVRコンテンツの種類などを含む。
また、制御部200は、VRコンテンツを利用中のユーザに関する情報(以下、ユーザ情報と称する)をサーバ10へ通信部220に送信させる。ここで、ユーザ情報は、例えば、ユーザのID、氏名、年齢、性別などを含む。
(1-1-1-3.通信部220)
通信部220は、他の装置との間で情報の送受信を行う。例えば、通信部220は、制御部200の制御に従って、センサ部228による各種のセンシング結果、コンテンツ情報、および、ユーザ情報などをサーバ10へ送信する。また、詳細については後述するが、通信部220は、表示部224に対する表示の制御情報や、音声出力部226に対する音声の出力制御情報をサーバ10から受信する。
(1-1-1-4.入力部222)
入力部222は、ユーザの各種の入力を受け付ける。例えば、入力部222は、表示部224に表示中のVRコンテンツに対するユーザの操作情報の入力を受け付ける。
この入力部222は、タッチパネル、ボタン、レバー、スイッチなどを含み得る。例えば、入力部222は、クライアント端末20と有線または無線により通信可能なコントローラであってもよい。
(1-1-1-5.表示部224)
表示部224は、制御部200の制御に従って、映像を表示する。表示部224は、非透過型の表示装置として構成され得る。例えば、表示部224は、LCD(Liquid Crystal Display)、または、OLED(Organic Light Emitting Diode)などを含んで構成され得る。なお、この場合、センサ部228(カメラ)により撮影される、ユーザの前方の映像が表示部224に表示されてもよい。
(1-1-1-6.音声出力部226)
音声出力部226は、制御部200の制御に従って、音声を出力する。音声出力部226は、例えば、スピーカー、イヤフォン、または、ヘッドフォンなどとして構成され得る。なお、音声出力部226と表示部224とは一体の装置として構成されてもよい。
(1-1-1-7.記憶部230)
記憶部230は、各種のデータや各種のソフトウェアを記憶する。
<1-2.サーバ10>
サーバ10は、本開示における情報処理装置の一例である。サーバ10は、通信網22を介して、クライアント端末20に対して各種の制御(例えば、表示の制御や音声の出力の制御など)を行うことが可能である。例えば、VRコンテンツが表示部224に表示されている間に、サーバ10は、クライアント端末20から受信される情報などに基づいて、表示部224に対する表示制御を行う。
なお、図1では、サーバ10が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、各実施形態に係るサーバ10の機能が実現されてもよい。
<1-3.通信網22>
通信網22は、通信網22に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網22は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、通信網22は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
<1-4.課題の整理>
以上、各実施形態に共通する情報処理システムの構成について説明した。ところで、VRコンテンツは没入感が強いので、VRコンテンツの利用(視聴など)中にユーザはVRコンテンツに没頭し得る。このため、ユーザは、意図しない行動(例えば発話やのけぞりなど)を行ってしまい得る。例えば、図3に示したように、VRコンテンツの映像30をユーザが視聴している際に、映像30bの表示タイミングにおいて、ユーザは、映像30bの内容に驚き、そして、意図しない発話90を行ってしまう恐れがある。その結果、ユーザは、周囲の人物(例えば隣人など)へ迷惑をかけてしまったり、VRコンテンツの利用後に恥ずかしさを感じ得る。
そこで、上記事情を一着眼点にして、各実施形態に係るサーバ10を創作するに至った。各実施形態に係るサーバ10は、VRコンテンツの利用に関する盛り上がり情報、または、当該VRコンテンツを利用中のユーザの行動に関する情報を取得し、そして、表示部224により当該VRコンテンツが表示されている間に、当該盛り上がり情報または当該ユーザの行動に関する情報に基づいて、当該ユーザの没頭度を下げるための表示制御を行うことが可能である。このため、VRコンテンツの利用中のユーザの没頭度を適切に抑制することができる。
ここで、盛り上がり情報は、VRコンテンツを利用中のユーザ自身、または、当該ユーザとは異なる少なくとも一人の他のユーザが過去に当該VRコンテンツを利用した際の盛り上がり度合いを示す情報であり得る。例えば、盛り上がり情報が示す盛り上がり度合いは、複数のユーザの各々が過去にVRコンテンツを利用した際の盛り上がり度合いの集合値であってもよい。または、盛り上がり情報は、VRコンテンツを利用中のユーザの現在の没頭度(または興奮度)を示す情報であってもよい。なお、この場合、盛り上がり情報が示す盛り上がり度合いとは、VRコンテンツを利用中のユーザの現在の没頭度(または興奮度)を意味し得る。
以下、このような本開示の各実施形態について順次詳細に説明を行う。なお、以下では、第1の実施形態に係る「没頭度を下げるための表示制御」を「没頭度を下げるための第1の表示制御」、第2の実施形態に係る「没頭度を下げるための表示制御」を「没頭度を下げるための第2の表示制御」とそれぞれ称する場合がある。
<<2.第1の実施形態>>
<2-1.構成>
まず、第1の実施形態に係る構成について説明する。図4は、第1の実施形態に係るサーバ10‐1の構成例を示した機能ブロック図である。図4に示すように、サーバ10‐1は、制御部100、通信部120、および、記憶部122を有する。
{2-1-1.制御部100}
制御部100は、例えば、後述するCPU150などの処理回路を含んで構成され得る。制御部100は、サーバ10‐1の動作を統括的に制御する。また、図4に示すように、制御部100は、情報取得部102、盛り上がり情報登録部104、および、出力制御部106を有する。
{2-1-2.情報取得部102}
情報取得部102は、本開示における取得部の一例である。情報取得部102は、少なくとも一つのクライアント端末20から受信された各種のセンシング結果、コンテンツ情報、およびユーザ情報を取得する。
また、情報取得部102は、受信されたコンテンツ情報が示すVRコンテンツに関する盛り上がり情報を、例えば受信されたセンシング結果などに基づいて取得する。
(2-1-2-1.盛り上がり情報の取得例:口に関する情報)
以下、情報取得部102による盛り上がり情報の取得例について具体的に説明する。例えば、情報取得部102は、少なくとも一つのクライアント端末20から受信された、収音されたユーザの発話の音情報が音声認識された結果に基づいて盛り上がり情報を取得する。一例として、情報取得部102は、まず、当該収音されたユーザの発話を音声認識し、そして、音声認識結果に対して自然言語処理を行うことにより形態素情報を解析する。そして、情報取得部102は、解析された形態素情報に基づいて当該音声認識結果が感動詞を含むか否かを判定し、そして、当該音声認識結果が感動詞を含む場合には、当該発話の収音タイミングにおける盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。
また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、ユーザの口の撮像画像から特定されるユーザの口の開き度合い(または、歯の食いしばり度合い)に基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、当該ユーザの口の撮像画像に基づいて、ユーザの口が一定以上の大きさで開いているか否かを認識する。そして、ユーザの口が一定以上の大きさで開いている時間の継続時間が所定の時間以上であることが認識された場合には、情報取得部102は、当該口の撮像画像の撮影タイミングにおける盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、ユーザの口が一定以上の大きさで開いている時間の継続時間が所定の時間未満であることが認識された場合には、情報取得部102は、当該口の撮像画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
また、情報取得部102は、収音されたユーザの発声(発話など)の音声分析から特定される興奮度合いに基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、収音されたユーザの発声を分析することにより、ユーザの興奮度合いを判断する。そして、判断された興奮度合いが所定の閾値以上である場合には、情報取得部102は、当該発声の収音タイミングにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、判断された興奮度合いが所定の閾値未満である場合には、情報取得部102は、当該発声の収音タイミングにおけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、収音されたユーザの発声の音量に基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、収音されたユーザの発声の音量が所定の閾値以上であるか否かを判定する。そして、ユーザの発声の音量が所定の閾値以上である場合には、情報取得部102は、当該発声の収音タイミングにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、当該ユーザの発声の音量が所定の閾値未満である場合には、情報取得部102は、当該発声の収音タイミングにおけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
(2-1-2-2.盛り上がり情報の取得例:目に関する情報)
また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、例えばユーザの目の撮像画像から特定される瞳孔の開き度合いに基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、当該ユーザの目の撮像画像から瞳孔を検出する。そして、検出された瞳孔の開き度合い(大きさ)が所定の閾値以上である場合には、情報取得部102は、当該目の撮像画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、検出された瞳孔の開き度合いが所定の閾値未満である場合には、情報取得部102は、当該目の撮像画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、例えばユーザの目の撮像動画像から特定される瞬きの多さに基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、ユーザの目の撮像動画像から瞬きを検出する。そして、所定の時間内に検出された瞬きの回数が所定の閾値以上である場合には、情報取得部102は、当該目の撮像動画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。あるいは、所定の時間内に検出された瞬きの回数が少な過ぎる場合に、情報取得部102は、当該目の撮像動画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得してもよい。
また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、例えばユーザの目の撮像画像から特定される目の充血度に基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、ユーザの目の撮像画像から強膜(白目の部分)内の毛細血管を検出する。そして、検出結果から特定される充血度合いが所定の閾値以上である場合には、情報取得部102は、当該目の撮像画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、検出結果から特定される充血度合いが所定の閾値未満である場合には、情報取得部102は、当該目の撮像画像の撮影タイミングにおけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
(2-1-2-3.盛り上がり情報の取得例:生体情報)
また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、ユーザの発汗度合い(発汗量など)のセンシング結果に基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、当該センシング結果に基づいてユーザの発汗の度合いを判定する。そして、判定した発汗の度合いが所定の閾値以上である場合には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、判定した発汗の度合いが所定の閾値未満である場合には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、ユーザの脈拍数のセンシング結果または呼吸数のセンシング結果に基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、当該センシング結果に基づいてユーザの脈拍数(または呼吸数)が所定の閾値以上であるか否かを判定する。そして、判定した脈拍数(または呼吸数)が所定の閾値以上である場合には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、判定した脈拍数(または呼吸数)が所定の閾値未満である場合には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。なお、脈拍数および/または呼吸数はそれぞれ、専用のセンサ(脈拍センサや呼吸センサなど)によりセンシングされてもよいし、または、ユーザの身体(例えば胸部)の撮像画像に対する画像認識に基づいて特定されてもよい。
また、情報取得部102は、少なくとも一つのクライアント端末20から受信された、脳波のセンシング結果から特定される興奮度合いに基づいて盛り上がり情報を取得する。例えば、情報取得部102は、まず、当該センシング結果に基づいて興奮度合いを特定する。そして、特定された興奮度合いが所定の閾値以上である場合(例えば、30Hz以上のγ(ガンマ)波の脳波が出ていることが検出された場合など)には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。また、特定された興奮度合いが所定の閾値未満である場合には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値未満であることを示す盛り上がり情報を取得してもよい。
(2-1-2-4.盛り上がり情報の取得例:身体情報)
また、情報取得部102は、例えば少なくとも一つのクライアント端末20から受信されたユーザの撮像画像から認識される、ユーザの表情の驚き度合い、頷きの多さ、手の動きの多さ、鼻の穴の膨らみ具合、または、首の前傾度合いなどに基づいて盛り上がり情報を取得することも可能である。例えば、認識された首の前傾度合いが所定の閾値以上である場合には、情報取得部102は、当該センシング時におけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。
(2-1-2-5.盛り上がり情報の取得例:操作情報)
また、情報取得部102は、少なくとも一つのクライアント端末20から受信される、VRコンテンツに対するユーザの操作情報に基づいて盛り上がり情報を取得することも可能である。例えば、VRコンテンツ中の同一のタイミングや同一のシーンが複数回再生されたことを当該操作情報が示す場合には、情報取得部102は、該当の再生タイミングまたは該当の再生シーンにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。
(2-1-2-6.盛り上がり情報の取得例:ネットワークからの取得)
また、情報取得部102は、例えばSNS(Social Networking Service)、電子掲示板、情報共有サービス、および、ブログなど(以下「SNS等」と称する)にアップロードされている情報(例えば文字列(メッセージなど)や「いいね!ボタン」のクリック数など)と、クライアント端末20から受信されたコンテンツ情報とに基づいて盛り上がり情報を取得することも可能である。例えば、情報取得部102は、まず、SNS等にアップロードされている文字列の中から、クライアント端末20から受信されたコンテンツ情報に関連する文字列を検索する。そして、情報取得部102は、検索した文字列の意味(内容)を解析し、そして、解析結果に基づいて盛り上がり情報を取得する。
一例として、受信されたコンテンツ情報が示すVRコンテンツに関して「I fought with my last enemy “XYZ” and it was very interesting.」という文字列がSNS等から検索されたとする。この場合、情報取得部102は、当該VRコンテンツにおいて“XYZ”が発生するイベントにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得し得る。例えば、情報取得部102は、まず、当該文字列から“XYZ”という固有名詞を抽出し、そして、当該固有名詞に対応する画像をSNS等において検索することにより取得する。次に、情報取得部102は、該当のVRコンテンツに対して、取得した画像の類似画像検索を行う。そして、“XYZ”を含む画像が検索された場合には、情報取得部102は、当該VRコンテンツにおいて“XYZ”が発生するイベントにおけるユーザの盛り上がり度合いが所定の閾値以上であると特定し、かつ、特定した結果を示す盛り上がり情報を取得する。
または、情報取得部102は、該当のVRコンテンツに関するキーワード情報(例えばハッシュタグが付加されている文字列など)のSNS等への投稿数に基づいて盛り上がり情報を取得してもよい。例えば、情報取得部102は、該当のVRコンテンツに関するキーワード情報ごとに、まず、SNS等への当該キーワード情報の単位時間当たりの投稿数を取得する。そして、情報取得部102は、当該キーワード情報に対応するイベントの発生時における盛り上がり度合いを、取得した投稿数に応じて特定し、かつ、特定した結果を示す盛り上がり情報を取得する。なお、情報取得部102は、SNS等への当該キーワード情報の単位時間当たりの投稿数が多いほど、盛り上がり度合いがより大きいと特定してもよい。
{2-1-3.盛り上がり情報登録部104}
盛り上がり情報登録部104は、情報取得部102により取得された盛り上がり情報を盛り上がり情報DB124に格納する。例えば、盛り上がり情報登録部104は、取得された盛り上がり情報と、当該盛り上がり情報に対応するVRコンテンツの識別情報とを関連付けて盛り上がり情報DB124に格納する。
{2-1-4.出力制御部106}
出力制御部106は、表示部224に対して表示を制御したり、音声出力部226に対して音声の出力を制御する。例えば、出力制御部106は、VRコンテンツが表示部224に表示されている間に、当該VRコンテンツを利用中のユーザの没頭度を下げるための第1の表示制御を、情報取得部102により取得された盛り上がり情報に基づいて行う。
一例として、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いが所定の閾値よりも大きくなる際に、出力制御部106は、当該没頭度を下げるための第1の表示制御を行う。例えば、当該VRコンテンツが動画(映画など)である場合には、図5に示したグラフのように、当該VRコンテンツの再生タイミング(またはシーン)と、盛り上がり情報が示す盛り上がり度合いとが関連付けられ得る。この場合、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いが当該所定の閾値以下の値から当該所定の閾値よりも大きい値に変化する再生タイミング(図5に示した例では“t=t1-ε”や“t=t2-ε”)(またはシーン)において、出力制御部106は、当該没頭度を下げるための第1の表示制御を開始する。
また、例えば当該VRコンテンツがゲームなどである場合には、図6に示したグラフのように、当該VRコンテンツのイベント情報(あるいは、当該VRコンテンツに対応する仮想空間中の場所(ジオフェンスなど))と、盛り上がり情報が示す盛り上がり度合いとが関連付けられ得る。この場合、当該所定の閾値よりも大きい盛り上がり度合いに関連付けられているイベント情報が示すイベント(図5に示した例では「ボスキャラの登場」)が発生する直前に、出力制御部106は、当該没頭度を下げるための第1の表示制御を開始する。あるいは、当該所定の閾値よりも大きい盛り上がり度合いに関連付けられている、当該VRコンテンツに対応する仮想空間中の場所の近傍に、ユーザが操作中のキャラクターが接近した際に、出力制御部106は、当該没頭度を下げるための第1の表示制御を開始してもよい。
(2-1-4-1.表示例1)
以下、「没頭度を下げるための第1の表示制御」の内容についてより詳細に説明する。例えば、当該没頭度を下げるための第1の表示制御は、該当のVRコンテンツのうち現在の再生タイミング以降の部分から抽出される複数枚のフレーム画像を当該VRコンテンツ内の所定の領域に重畳して表示部224に表示させることを含み得る。
ここで、図7A~図7Cを参照して、上記の機能についてより詳細に説明を行う。図7Aに示した映像30aは、図3に示したVRコンテンツの映像30aと同じ再生タイミングの映像である。なお、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いは、映像30aの再生タイミングにおいて所定の閾値以下の値から当該所定の閾値よりも大きい値に変化するものとする。この場合、図7Aに示したように、出力制御部106は、まず、該当のVRコンテンツ内の所定の領域が表示部224に表示されるように、当該VRコンテンツを利用中のユーザの視線を誘導するためのガイド表示32を当該VRコンテンツに重畳して表示させる。ここで、ガイド表示32は、当該VRコンテンツを利用(視聴)する上で阻害がない領域が表示部224に表示されるように、当該ユーザの視線を誘導するためのUI(User Interface)である。なお、図7Aに示した例では、図7Aの上方に、当該VRコンテンツを利用する上で阻害がない領域が当該VRコンテンツにおいて存在することを前提としている。また、図7Aに示した例において、ガイド表示32は、三角形が一つずつより上方に追加して表示されることが繰り返されるアニメーションであってもよい。
その後、ガイド表示32が示す方向に沿って当該ユーザの視線が移動したことが検出された場合には、図7Bに示したように、出力制御部106は、当該VRコンテンツのうち現在の再生タイミング以降の部分から複数枚のフレーム画像400(スクリーンショット)を抽出し、そして、複数枚のフレーム画像400を含むUI40を当該VRコンテンツに重畳して表示させる。この表示例によれば、当該VRコンテンツの再生を継続した場合に今後表示される映像の一部が事前にユーザに知らされる。従って、例えば本比較例と比べて、当該VRコンテンツの再生を継続した場合におけるユーザの没頭度は抑制され得る。
その後、UI40に対してユーザの操作(例えば、複数枚のフレーム画像400のうちのいずれかを選択するなど)が行われたことが検出された場合には、出力制御部106は、当該ユーザの操作に応じて、当該VRコンテンツの再生を再開する。これにより、例えば図7Cに示したような、当該VRコンテンツのうち図7Aに示した映像30aの表示タイミング以降の映像30cが連続的に表示部224に表示される。
なお、変形例として、出力制御部106は、図7Bに示したUI40の代わりに、図8に示したようなUI42を当該VRコンテンツの映像30bに重畳して表示させてもよい。UI42は、現在の再生タイミング以降の部分から抽出された複数枚のフレーム画像420と、シークバー422とを含む。シークバー422においてユーザがカーソル424を所望の位置に移動させた場合には、出力制御部106は、移動後のカーソル424の位置に対応する再生タイミングから当該VRコンテンツの(通常の)再生を再開させる。
(2-1-4-2.表示例2)
また、当該没頭度を下げるための第1の表示制御は、該当のVRコンテンツにおける現在の視点の位置を、当該視点の向きに対して後方へ移動させることを含み得る。
ここで、図9A~図9Cを参照して、上記の機能についてより詳細に説明を行う。なお、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いは、図9Aに示した映像30aの表示(再生)タイミングにおいて所定の閾値以下の値から当該所定の閾値よりも大きい値に変化するものとする。この場合、映像30aの表示タイミングにおいて、出力制御部106は、まず、当該VRコンテンツにおける現在の視点の位置を当該視点の向きに対して例えば所定の距離(5歩分など)だけ後方へ強制的に移動させる。例えば、出力制御部106は、現在の視点の位置を、当該VRコンテンツを利用する上で阻害がないような後方の位置へ移動させる。これにより、図9Bに示したように、移動後の視点位置からの当該VRコンテンツの映像30bが表示部224に表示される。
さらに、出力制御部106は、図9Bに示したように、当該移動前の視点の位置の近傍に、当該VRコンテンツを利用中のユーザの背面を示す画像46を映像30bに重畳して表示させる。以上の表示例によれば、当該移動前の視点の位置でVRコンテンツを視聴していたユーザ自身を俯瞰するような映像30bを表示することができる。これにより、ユーザに意外感を与えることができるので、ユーザの没頭度が減少することが期待できる。
なお、映像30bの表示後で、かつ、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いが当該所定の閾値よりも高い間は、例えば視点の移動に関するユーザの明示の指定がない限り、例えば図9Cに示したように、視点の位置は維持され得る。そして、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いが当該所定の閾値よりも高い値から当該所定の閾値以下の値に変化したタイミングに、出力制御部106は、当該視点の位置を当該移動前の視点の位置に戻し得る。
(2-1-4-3.表示例3)
また、当該没頭度を下げるための第1の表示制御は、表示部224における該当のVRコンテンツの表示サイズを縮小することを含み得る。
ここで、図9A、図10Aおよび図10Bを参照して、上記の機能についてより詳細に説明を行う。例えば、図9Aに示した映像30aの表示タイミング(つまり、当該タイミングに関連付けられている盛り上がり情報が示す盛り上がり度合いが所定の閾値よりも大きくなったタイミング)において、出力制御部106は、図10Aに示したように、当該VRコンテンツの映像50の表示サイズを縮小して表示部224に表示させ、かつ、表示部224における映像50の周囲の表示領域52を所定の色(例えば黒色など)で表示させる。
なお、映像30bの表示後で、かつ、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いが当該所定の閾値よりも高い間は、(前述した「表示例2」と同様に)例えばVRコンテンツの映像の表示サイズに関するユーザの明示の指定がない限り、例えば図10Bに示したように、当該映像の表示サイズは維持され得る。そして、当該VRコンテンツに関連付けられている盛り上がり情報が示す盛り上がり度合いが当該所定の閾値よりも高い値から当該所定の閾値以下の値に変化したタイミングに、出力制御部106は、当該映像の表示サイズを元の表示サイズに戻し得る。
{2-1-5.通信部120}
通信部120は、例えば、後述する通信装置162を含んで構成され得る。通信部120は、他の装置との間で情報の送受信を行う。例えば、通信部120は、出力制御部106の制御に従って、表示制御情報または音声出力制御情報をクライアント端末20へ送信する。また、通信部120は、各種のセンシング結果、コンテンツ情報、および、ユーザ情報などをクライアント端末20から受信する。
{2-1-6.記憶部122}
記憶部122は、例えば、後述するストレージ装置160を含んで構成され得る。記憶部122は、例えば盛り上がり情報DB124などの各種のデータ、および、各種のソフトウェアを記憶する。なお、盛り上がり情報DB124は、記憶部122に記憶される代わりに、サーバ10が通信網22を介して通信可能な他の装置に記憶されてもよい。
<2-2.処理の流れ>
以上、第1の実施形態に係る構成について説明した。次に、第1の実施形態に係る処理の流れについて、「2-2-1.コンテンツ利用時の処理の流れ」および「2-2-2.盛り上がり情報の登録処理の流れ」において説明する。
{2-2-1.コンテンツ利用時の処理の流れ}
図11は、第1の実施形態に係る「コンテンツ利用時の処理」の全体的な流れを示したフローチャートである。図11に示したように、まず、例えばクライアント端末20の入力部222に対するユーザの入力に基づいて、ユーザは、VRコンテンツの利用を開始する。そして、クライアント端末20は、センサ部228による各種のセンシング結果、表示部224に表示中のVRコンテンツのコンテンツ情報、および、当該VRコンテンツを利用中のユーザのユーザ情報などをサーバ10へ送信する(S101)。
そして、ユーザが盛り上がり抑制モードを希望する場合には、ユーザは、盛り上がり抑制モードを選択する(S103)。なお、以下では、ユーザが盛り上がり抑制モードを選択したものとして説明を行う。
その後、サーバ10‐1の出力制御部106は、該当のVRコンテンツに関連付けられている盛り上がり情報を盛り上がり情報DB124から抽出する(S105)。
続いて、出力制御部106は、当該VRコンテンツの現在の再生部分に関連付けられている盛り上がり度合いが所定の閾値よりも大きいか否かを判定する(S107)。当該盛り上がり度合いが当該所定の閾値以下である場合には(S107:No)、サーバ10‐1は、後述するS111の処理を行う。
一方、当該盛り上がり度合いが当該所定の閾値よりも大きい場合には(S107:Yes)、出力制御部106は、後述する「没頭度を下げるための第1の表示制御処理」を行う(S109)。
その後、VRコンテンツの利用の終了をユーザが指示した場合には(S111:Yes)、当該処理の流れは終了する。一方、VRコンテンツの利用の終了をユーザが指示しない場合には(S111:No)、サーバ10‐1は、再びS107以降の処理を繰り返す。
(2-2-1-1.没頭度を下げるための第1の表示制御処理:第1の例)
ここで、図12を参照して、S109における「没頭度を下げるための第1の表示制御処理」の第1の例の流れについて詳細に説明する。図12に示したように、まず、出力制御部106は、現在の再生タイミングにおいて、当該VRコンテンツのうちUIを表示しても当該VRコンテンツを利用する上で阻害がない領域を算出する(S121)。
続いて、出力制御部106は、表示部224に対するユーザの現在の注視点の位置の検出結果をクライアント端末20から受信することにより取得する(S123)。
続いて、出力制御部106は、S121で算出された領域へユーザの視線を誘導するためのUIを当該VRコンテンツに重畳して表示させる(S125)。
そして、S125で表示されたUIに応じて当該ユーザの視線が移動したことが検出された場合には、出力制御部106は、当該VRコンテンツのうち現在の再生タイミング以降の部分から複数枚のフレーム画像を抽出し、そして、当該複数枚のフレーム画像を含むUIを生成する(S127)。
続いて、出力制御部106は、生成したUIを当該VRコンテンツに重畳して表示させる(S129)。
その後、出力制御部106は、S129で表示されたUIに対するユーザのインタラクションに応じて、当該VRコンテンツの再生を再開する(S131)。
(2-2-1-2.没頭度を下げるための第1の表示制御処理:第2の例)
図13は、S109における「没頭度を下げるための第1の表示制御処理」の第2の例の流れを示したフローチャートである。なお、図13に示したS141の処理は、図12に示したS121と同様である。
図13に示したように、S141の後、出力制御部106は、当該VRコンテンツにおける現在の視点の位置を、当該VRコンテンツを利用する上で阻害がないような後方の位置へ移動させる(S143)。
そして、出力制御部106は、当該移動前の視点の位置の近傍に、当該VRコンテンツを利用中のユーザの背面を示す画像を当該VRコンテンツに重畳して表示させる(S145)。
{2-2-2.盛り上がり情報の登録処理の流れ}
次に、図14~図20を参照して、第1の実施形態に係る「盛り上がり情報の登録処理」の流れについて、「2-2-2-1.処理例1」~「2-2-2-6.処理例6」において説明する。なお、「2-2-2-1.処理例1」~「2-2-2-4.処理例4」は、クライアント端末20から受信されるセンシング結果に基づいて盛り上がり情報を登録する例である。また、「2-2-2-5.処理例5」~「2-2-2-6.処理例6」は、(VRコンテンツの利用時とは無関係に)SNS等にアップロードされている情報の解析結果に基づいて盛り上がり情報を登録する例である。
(2-2-2-1.処理例1)
図14は、「盛り上がり情報の登録処理」の第1の例の流れを示したフローチャートである。図14に示したように、まず、サーバ10‐1の情報取得部102は、クライアント端末20から受信される、収音されたユーザの音声情報を取得する(S201)。
続いて、情報取得部102は、取得された音声情報に対して音声認識を行う(S203)。そして、情報取得部102は、音声認識結果に対して自然言語処理を行うことにより、形態素情報を解析する(S205)。
続いて、情報取得部102は、解析された形態素情報に基づいて当該音声認識結果が感動詞を含むか否かを判定する(S207)。当該音声認識結果が感動詞を含まない場合には(S207:No)、当該「盛り上がり情報の登録処理」は終了する。
一方、当該音声認識結果が感動詞を含む場合には(S207:Yes)、サーバ10‐1は、後述する「盛り上がり情報関連付け処理」を行う(S209)。
‐盛り上がり情報関連付け処理
ここで、図15を参照して、S209における「盛り上がり情報関連付け処理」の流れについて説明する。図15に示したように、まず、情報取得部102は、該当のセンシング時においてユーザの無意識行動があったと判定する(S301)。
続いて、情報取得部102は、該当の無意識行動の情報(例えば、該当のセンシング結果)を取得し、保持する(S303)。
続いて、情報取得部102は、該当の無意識行動があったことを、該当のセンシング時における盛り上がり度合いが所定の閾値以上であったとみなし、そして、盛り上がり度合いが所定の閾値以上であることを示す盛り上がり情報を取得する(S305)。
続いて、盛り上がり情報登録部104は、該当のセンシング時において表示されていたVRコンテンツの部分(例えば再生タイミング、再生シーン、イベント情報、または、当該VRコンテンツに対応する仮想空間中の場所など)と当該盛り上がり情報(または、当該盛り上がり情報が示す盛り上がり度合い)とを関連付けて盛り上がり情報DB124に登録する(S307)。
その後、制御部100は、例えば当該盛り上がり情報を所定の共有サービス上にアップロードするなど、他のユーザと共有可能にする(S309)。
(2-2-2-2.処理例2)
図16は、「盛り上がり情報の登録処理」の第2の例の流れを示したフローチャートである。図16に示したように、まず、サーバ10‐1の情報取得部102は、クライアント端末20から受信される、ユーザの顔の撮像動画像を取得する(S221)。
続いて、情報取得部102は、当該ユーザの顔の撮像動画像に基づいて、ユーザの口の開き度合いを認識する(S223)。
続いて、情報取得部102は、ユーザの口が一定以上の大きさで開いており、かつ、その状態が所定の時間以上継続したことが認識されたか否かを判定する(S225)。S225の条件が満たされない場合には(S225:No)、当該「盛り上がり情報の登録処理」は終了する。
一方、S225の条件が満たされる場合には(S225:Yes)、サーバ10‐1は、前述したS209の処理を行う。
(2-2-2-3.処理例3)
図17は、「盛り上がり情報の登録処理」の第3の例の流れを示したフローチャートである。図17に示したように、まず、サーバ10‐1の情報取得部102は、クライアント端末20から受信される、収音されたユーザの音声情報を取得する(S241)。
続いて、情報取得部102は、取得された音声情報を分析することにより、ユーザの興奮度合いを推定する(S243)。
そして、情報取得部102は、推定された興奮度合いが所定の閾値以上であり、かつ、その状態が所定の時間以上継続したか否かを判定する(S245)。S245の条件が満たされない場合には(S245:No)、当該「盛り上がり情報の登録処理」は終了する。
一方、S245の条件が満たされる場合には(S245:Yes)、サーバ10‐1は、前述したS209の処理を行う。
(2-2-2-4.処理例4)
図18は、「盛り上がり情報の登録処理」の第4の例の流れを示したフローチャートである。図18に示したように、まず、サーバ10‐1の情報取得部102は、クライアント端末20から受信される、収音されたユーザの音声情報を取得する(S261)。
続いて、情報取得部102は、取得された音声情報から特定される音量が所定の閾値以上であり、かつ、その状態が所定の時間以上継続したか否かを判定する(S263)。S263の条件が満たされない場合には(S263:No)、当該「盛り上がり情報の登録処理」は終了する。
一方、S263の条件が満たされる場合には(S263:Yes)、サーバ10‐1は、前述したS209の処理を行う。
(2-2-2-5.処理例5)
図19は、「盛り上がり情報の登録処理」の第5の例の流れを示したフローチャートである。図19に示したように、まず、サーバ10‐1の情報取得部102は、クライアント端末20から受信されたコンテンツ情報に関連する情報をSNS等から検索する(S401)。
続いて、情報取得部102は、検索結果に基づいて、該当のVRコンテンツに対して一以上のユーザにより付加(投稿)された情報(メッセージなど)を取得する(S403)。
続いて、情報取得部102は、取得された付加情報を例えば自然言語処理などにより解析する(S405)。
続いて、情報取得部102は、当該付加情報に対して意味解析を行うことにより、当該VRコンテンツ内の盛り上がりが高い部分、および、当該部分における盛り上がり度合いを特定し、そして、特定した結果を示す盛り上がり情報を取得する(S407)。
その後、盛り上がり情報登録部104は、検出した盛り上がりが高い部分と、当該盛り上がり情報(または、当該盛り上がり情報が示す盛り上がり度合い)とを関連付けて盛り上がり情報DB124に登録する(S409)。
(2-2-2-6.処理例6)
図20は、「盛り上がり情報の登録処理」の第6の例の流れを示したフローチャートである。図20に示したように、まず、サーバ10‐1の情報取得部102は、クライアント端末20から受信されたコンテンツ情報が示すVRコンテンツに関連する情報をSNS等から検索する(S421)。
続いて、情報取得部102は、検索結果に基づいて、該当のVRコンテンツに対してユーザが明示的に盛り上がりを指定した箇所、および、当該箇所における盛り上がり度合いを特定する。例えば、情報取得部102は、SNS等にアップロードされている該当のVRコンテンツに関する情報の中で「いいね!ボタン」がクリックされている情報に対応する当該VRコンテンツの部分を特定する。そして、情報取得部102は、特定した結果を示す盛り上がり情報を取得する(S423)。
その後、盛り上がり情報登録部104は、特定したVRコンテンツの該当部分と、当該盛り上がり情報(または、当該盛り上がり情報が示す盛り上がり度合い)とを関連付けて盛り上がり情報DB124に登録する(S425)。
{2-2-3.変形例}
なお、第1の実施形態に係る「盛り上がり情報の登録処理」は、前述した例に限定されない。例えば、「2-2-2-1.処理例1」~「2-2-2-4.処理例4」では、音声のセンシング結果に基づいて盛り上がり情報を取得する例について説明したが、かかる例に限定されず、例えば、視線情報、生体情報、または、身体情報のセンシング結果に基づいた類似の処理により盛り上がり情報を取得することが可能である。
また、「2-2-2-1.処理例1」~「2-2-2-6.処理例6」の処理の流れのうちの二以上が平行して実行されてもよいし、または、いずれか一つのみが実行されてもよい。
<2-3.効果>
{2-3-1.効果1}
以上説明したように、第1の実施形態に係るサーバ10‐1は、VRコンテンツの利用に関する盛り上がり情報を取得し、そして、表示部224により当該VRコンテンツが表示されている間に、当該盛り上がり情報が示す盛り上がり度合いが所定の閾値よりも大きくなる際に、ユーザの没頭度を下げるための第1の表示制御を行う。このため、VRコンテンツの利用中のユーザの没頭度を適切に抑制することができる。
例えば、VRコンテンツの利用(視聴など)中にユーザがVRコンテンツに過度に没頭することを回避することができる。従って、VRコンテンツの利用中に、ユーザが、意図しない行動を行う恐れが大きく減少する。その結果、ユーザは、周囲の人物(例えば隣人など)へ迷惑をかけることを回避することができる。
{2-3-2.効果2}
また、第1の実施形態によれば、VRコンテンツの利用(視聴など)時間の抑制が期待できる。そして、VRコンテンツの利用中の健康上の問題(例えばVDT(Visual Display Terminal Syndrome)症候群など)の発生を防止することが期待できる。
<<3.第2の実施形態>>
以上、第1の実施形態について説明した。次に、第2の実施形態について説明する。後述するように、第2の実施形態によれば、VRコンテンツの利用中にユーザが無意識の行動を行ったことが検出された場合に、当該無意識の行動を行ったことを当該VRコンテンツの映像内でユーザに知らせることができる。なお、以下では、第1の実施形態と同様の内容については説明を省略し、第1の実施形態と異なる内容についてのみ説明を行う。
<3-1.構成>
まず、第2の実施形態に係る構成について説明する。図21は、第2の実施形態に係るサーバ10‐2の構成例を示した機能ブロック図である。図21に示すように、サーバ10‐2に含まれる構成要素は、図4に示したサーバ10‐1と同様である。
{3-1-1.出力制御部106}
第2の実施形態に係る出力制御部106は、表示部224によりVRコンテンツが表示されている間に、当該VRコンテンツを利用中のユーザの没頭度を下げるための第2の表示制御を、情報取得部102により取得された当該ユーザの行動に関する情報に基づいて行う。例えば、VRコンテンツを利用中のユーザが所定の行動を行ったことが検出された際に、出力制御部106は、当該没頭度を下げるための第2の表示制御を行う。一例として、出力制御部106は、(第1の実施形態と同様に)該当のVRコンテンツに関連付けられている盛り上がり情報に基づいて「没頭度を下げるための第1の表示制御」を行うとともに、当該ユーザが所定の行動を行ったことが検出された際に「没頭度を下げるための第2の表示制御」を行ってもよい。あるいは、出力制御部106は、「没頭度を下げるための第1の表示制御」を行わずに、「没頭度を下げるための第2の表示制御」のみを行ってもよい。
(3-1-1-1.表示例1)
以下、「没頭度を下げるための第2の表示制御」の内容についてより詳細に説明する。例えば、ユーザが発話したことが検出された際には、出力制御部106は、(「没頭度を下げるための第2の表示制御」として)所定の文字列をVRコンテンツに重畳して表示させる。ここで、図22を参照して、上記の機能についてより詳細に説明を行う。例えば、図22に示した映像30aの表示タイミングにおいて、図22に示したようにユーザが(無意識の)発話90をしたことが検出されたとする。この場合、出力制御部106は、発話90の音声認識結果に応じた文字列をVRコンテンツに重畳して表示させてもよい。例えば、制御部100(情報取得部102)は、まず、検出された発話90を音声認識し、そして、当該当該音声認識結果に対して自然言語処理を行うことにより、当該音声認識結果が感動詞を含むか否かを判定する。そして、当該音声認識結果が感動詞を含む場合には、図22に示した映像30bのように、出力制御部106は、映像30b内のユーザの注視点付近(または映像30bの中心付近)において、当該音声認識結果に応じた文字列60を映像30bに重畳して表示させる。なお、文字列60は、当該音声認識結果自体であってもよいし、または、当該音声認識結果から抽出される感動詞だけであってもよい。また、発話90の音量が大きいほど、出力制御部106は、文字列60の表示サイズを大きくしてもよい。
また、変形例として、発話90の音量が所定の閾値以上である場合に、出力制御部106は、例えば記憶部122に記憶されている没頭度軽減文字列DB126に登録されているいずれかの文字列をVRコンテンツに重畳して表示させてもよい。例えば、図22に示した例において、発話90の音量が所定の閾値以上である(または、所定の閾値以上になった)と検出された場合には、出力制御部106は、没頭度軽減文字列DB126からいずれかの文字列を選択し、そして、映像30b内のユーザの注視点付近(または映像30bの中心付近)において、選択した文字列を映像30bに重畳して表示させる。なお、出力制御部106は、発話90の音量が大きいほど、当該文字列の表示サイズを大きくしてもよい。
ここで、没頭度軽減文字列DB126には、複数の文字列(感動詞など)が予め登録され得る。例えば、没頭度軽減文字列DB126では、文字列と、ユーザの属性情報(年齢や性別など)とが関連付けて登録されていてもよい。なお、没頭度軽減文字列DB126は、記憶部122に記憶されてもよいし、または、サーバ10が通信網22を介して通信可能な他の装置に記憶されてもよい。
以上の表示例によれば、ユーザの無意識な発話を行った際に、例えば当該発話の音声認識結果などの文字列がユーザに提示される。これにより、ユーザが発話したこと(および、実際にユーザが発話した言葉)をユーザに知らせることができる。また、通常、音の情報よりも視覚情報の方が我に返りやすい傾向にあるので、当該表示例によりユーザの没頭度を大きく減少させることができる。
(3-1-1-2.表示例2)
また、ユーザの特定の挙動が検出された際には、出力制御部106は、(「没頭度を下げるための第2の表示制御」として)該当のVRコンテンツにおける現在の視点の位置を、当該視点の向きに対して後方へ移動させることが可能である。ここで、特定の挙動は、例えば、のけぞる動きである。また、特定の挙動は、例えば頭部などの身体の動きの急峻度合いが所定の閾値以上である動きであり得る。
ここで、図23を参照して、上記の機能についてより詳細に説明を行う。例えば、図23に示した映像30aの表示タイミングにおいて、ユーザの頭部の動きの急峻度合いが所定の閾値以上であることが検出されたとする。この場合、まず、制御部100(情報取得部102)は、例えばクライアント端末20から受信される、当該検出時におけるユーザの撮像画像や加速度の測定結果などに基づいて、当該検出時におけるユーザの動き情報を取得する。次に、出力制御部106は、当該ユーザに対応する仮想オブジェクトが、取得された動き情報に従って動くアニメーション64を生成する。次に、出力制御部106は、当該VRコンテンツにおける現在の視点の位置を当該視点の向きに対して例えば所定の距離(5歩分など)だけ後方へ強制的に移動させる。例えば、出力制御部106は、現在の視点の位置を、当該VRコンテンツを利用する上で阻害がないような後方の位置へ移動させる。これにより、図23に示した映像30bのように、当該移動後の視点位置からの当該VRコンテンツの映像30bが表示部224に表示される。
さらに、出力制御部106は、図23に示したように、当該移動前の視点の位置の近傍に、生成したアニメーション64を映像30bに重畳して表示させる。以上の表示例によれば、当該移動前の視点位置を俯瞰可能な位置へ視点が強制的に移動するとともに、映像30aの表示タイミングにおけるユーザの動き(のけぞる動きなど)を再現(シミュレーション)するアニメーション64を表示することができる。これにより、映像30aの表示タイミングにおけるユーザの動きを当該ユーザに対して視覚的に提示することができるので、ユーザは我に返り得る(つまり、ユーザの没頭度は減少し得る)。
なお、当該アニメーション64が終了したタイミングに、出力制御部106は、当該視点の位置を当該移動前の視点の位置に戻し得る。
(3-1-1-3.表示例3)
または、ユーザの当該特定の挙動が検出された際には、出力制御部106は、(「没頭度を下げるための第2の表示制御」として)表示部224における該当のVRコンテンツの表示サイズを縮小することも可能である。
ここで、図24を参照して、上記の機能についてより詳細に説明を行う。例えば、図24に示した映像30aの表示タイミングにおいて、ユーザの頭部の動きの急峻度合いが所定の閾値以上であることが検出されたとする。この場合、出力制御部106は、映像30bに示したように、当該VRコンテンツの映像66の表示サイズを縮小して表示部224に表示させ、かつ、表示部224における映像66の周囲の表示領域68を所定の色(例えば黒色など)で表示させる。
これにより、ユーザに意外感を与えることができるので、ユーザの没頭度が減少することが期待できる。
<3-2.処理の流れ>
{3-2-1.処理の全体的な流れ}
以上、第2の実施形態に係る構成について説明した。次に、第2の実施形態に係る処理の流れについて、図25~図27を参照して説明する。
図25は、第2の実施形態に係る処理の全体的な流れを示したフローチャートである。なお、図25に示したS501~S505の処理は、(図11に示した)第1の実施形態に係るS101~S105と同様である。
S505の後、サーバ10‐2は、後述する「没頭度を下げるための第2の表示制御処理」を行う(S507)。
その後、VRコンテンツの利用の終了をユーザが指示した場合には(S509:Yes)、当該処理の流れは終了する。一方、VRコンテンツの利用の終了をユーザが指示しない場合には(S509:No)、サーバ10‐2は、再びS507の処理を繰り返す。
(3-2-1-1.変形例)
なお、当該処理の全体的な流れは、図25に示した例に限定されない。例えば、S505とS507との間で、サーバ10‐2は、(図11に示した)第1の実施形態に係るS109の処理(つまり「没頭度を下げるための第1の表示制御処理」)を行ってもよい。
{3-2-2.没頭度を下げるための第2の表示制御処理:第1の例}
ここで、図26および図27を参照して、S507における「没頭度を下げるための第2の表示制御処理」の流れについて詳細に説明する。図26は、「没頭度を下げるための第2の表示制御処理」の第1の例の流れを示したフローチャートである。図26に示したように、まず、サーバ10‐2の情報取得部102は、クライアント端末20から受信される、現在収音されたユーザの音声情報を取得する(S511)。
続いて、情報取得部102は、取得された音声情報に対して音声認識を行う(S513)。そして、情報取得部102は、当該音声認識の結果に対して自然言語処理を行うことにより、形態素情報を解析する(S515)。
続いて、情報取得部102は、解析された形態素情報に基づいて当該音声認識結果が感動詞を含むか否かを判定する(S517)。当該音声認識結果が感動詞を含まない場合には(S517:No)、当該「没頭度を下げるための第2の表示制御処理」は終了する。
一方、当該音声認識結果が感動詞を含む場合には(S517:Yes)、出力制御部106は、当該音声認識結果に応じた文字列を、該当のVRコンテンツ内のユーザの注視点付近に重畳表示させる(S519)。
{3-2-3.没頭度を下げるための第2の表示制御処理:第2の例}
また、図27は、S507における「没頭度を下げるための第2の表示制御処理」の第2の例の流れを示したフローチャートである。図27に示したように、まず、サーバ10‐2の情報取得部102は、クライアント端末20から受信される、ユーザの頭部の現在の加速度のセンシング結果を取得する(S521)。
続いて、出力制御部106は、センシングされた加速度が所定の閾値以上であるか否かを判定する(S523)。センシングされた加速度が所定の閾値未満である場合には(S523:No)、当該「没頭度を下げるための第2の表示制御処理」は終了する。
一方、センシングされた加速度が所定の閾値以上である場合には(S523:Yes)、出力制御部106は、まず、クライアント端末20から受信される、当該センシング時における例えばユーザの撮像画像や加速度の測定結果などに基づいて、当該センシング時におけるユーザの動き情報を取得する。そして、出力制御部106は、当該ユーザに対応する仮想オブジェクトが、取得された動き情報をシミュレーションするように動くアニメーションを生成する(S525)。
続いて、出力制御部106は、当該VRコンテンツにおける現在の視点の位置を俯瞰可能なように、当該視点の向きに対して後方へ当該視点の位置を強制的に移動させる(S527)。そして、出力制御部106は、当該移動前の視点の位置の近傍において、S525で生成したアニメーションを当該VRコンテンツに重畳して表示させる(S529)。
<3-3.効果>
以上説明したように、第2の実施形態に係るサーバ10‐2は、表示部224によりVRコンテンツが表示されている間に、VRコンテンツを利用中のユーザが所定の行動を行ったことが検出された際に、ユーザの没頭度を下げるための第2の表示制御を行う。このため、VRコンテンツの利用中のユーザの没頭度を適切に抑制することができる。
例えば、VRコンテンツの利用中にユーザが無意識の行動(発話やのけぞりなど)を行ったことが検出された際に、サーバ10‐2は、当該無意識の行動を行ったことを当該VRコンテンツの映像内でユーザに知らせることができる。その結果、ユーザが我に返ることが期待できる。また、以後、ユーザは、同様の行動を継続して行ってしまうことを回避することができる。
<<4.ハードウェア構成>>
次に、各実施形態に共通するサーバ10のハードウェア構成について、図28を参照して説明する。図28に示すように、サーバ10は、CPU150、ROM(Read Only Memory)152、RAM154、バス156、インターフェース158、ストレージ装置160、および通信装置162を備える。
CPU150は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ10内の動作全般を制御する。また、CPU150は、サーバ10において制御部100の機能を実現する。なお、CPU150は、マイクロプロセッサなどのプロセッサにより構成される。
ROM152は、CPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
RAM154は、例えば、CPU150により実行されるプログラムや、使用中のデータなどを一時的に記憶する。
バス156は、CPUバスなどから構成される。このバス156は、CPU150、ROM152、および、RAM154を相互に接続する。
インターフェース158は、ストレージ装置160および通信装置162をバス156と接続する。
ストレージ装置160は、記憶部122として機能する、データ格納用の装置である。ストレージ装置160は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
通信装置162は、例えば通信網22などに接続するための通信デバイス(例えばネットワークカードなど)等で構成された通信インターフェースである。また、通信装置162は、無線LAN対応通信装置、LTE(Long Term Evolution)対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置162は、通信部120として機能する。
<<5.変形例>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
<5-1.変形例1>
例えば、サーバ10(出力制御部106)は、情報取得部102により取得された盛り上がり情報に基づいて、ユーザが利用中のVRコンテンツにおける眼精疲労が生じ得る部分を検出し、そして、検出した眼精疲労が生じ得る部分において、前述した「没頭度を下げるための表示制御」を行ってもよい。例えば、該当のVRコンテンツにおいて眼精疲労が生じ得る部分が検出された際には、サーバ10は、視点位置を後方へ強制的に移動させる。この変形例によれば、眼精疲労が生じ得る部分において、(VRコンテンツの利用に関する)ユーザの集中度が抑制される。その結果、例えば当該VRコンテンツの利用を中止するなど、ユーザが目を休めることが期待できるので、眼精疲労の発生を防止することが期待できる。
<5-2.変形例2>
また、別の変形例として、サーバ10(出力制御部106)は、外界(実空間)において通知が生じたこと(例えば、VRコンテンツを利用中のユーザに対して他の人物が声をかけることや、当該ユーザの電話が着信することなど)が検出された際にも、前述した「没頭度を下げるための表示制御」を行ってもよい。この変形例によれば、VRコンテンツの利用中であっても、ユーザは、当該通知の発生に気付きやすくなる。
<5-3.変形例3>
また、別の変形例として、サーバ10(出力制御部106)は、さらに、VRコンテンツを利用中のユーザの属性情報に基づいて、「没頭度を下げるための表示制御」を行うか否かを動的に変更してもよい。例えば、当該ユーザが子どもである場合には、サーバ10は、(各実施形態のように)「没頭度を下げるための表示制御」を強制的に行う。また、当該ユーザが大人である場合には、サーバ10は、「没頭度を下げるための表示制御」を行わなくてもよい。
<5-4.変形例4>
また、別の変形例として、サーバ10(出力制御部106)は、さらに、VRコンテンツの利用時間帯に基づいて、「没頭度を下げるための表示制御」を行うか否かを動的に変更してもよい。例えば、利用時間帯が「夜」である場合には、サーバ10は、(前述した各実施形態のように)「没頭度を下げるための表示制御」を強制的に行う。また、利用時間帯が「日中」である場合には、サーバ10は、「没頭度を下げるための表示制御」を行わなくてもよい。これにより、他の人物(例えば隣人など)に迷惑をかけることを防止しつつ、ユーザは、VRコンテンツを楽しむことができる。
<5-5.変形例5>
また、別の変形例として、サーバ10(出力制御部106)は、「没頭度を下げるための表示制御」を行うとともに、外界(ユーザが位置する実空間)の環境音がユーザに聞こえるように音声の出力を制御してもよい。例えば、(第2の実施形態で述べたように)VRコンテンツを利用中のユーザが所定の行動を行ったことが検出された際には、サーバ10(出力制御部106)は、「没頭度を下げるための表示制御」を行うとともに、外界(ユーザが位置する実空間)の環境音がユーザに聞こえるように当該VRコンテンツの音量を弱くしてもよい。この変形例によれば、ユーザの没頭度をより低下させることが期待できる。つまり、ユーザがより我に返りやすくなり得る。
<5-6.変形例6>
また、前述した各実施形態では、表示部224が頭部装着型のデバイスである例について説明したが、かかる例に限定されない。例えば、表示部224は、据え置き型のディスプレイであってもよい。なお、当該据え置き型のディスプレイは、例えばLCDやOLEDなどにより構成され得る。また、表示部224は、専用のドーム型の施設内の壁面および天井に設置されてもよい。この場合、ユーザは、当該施設内でVRコンテンツを利用し得る。
あるいは、表示部224は、3Dプロジェクタであり、そして、当該3Dプロジェクタにより投影対象(例えば部屋2の壁やスクリーンなど)に対して映像が投影されてもよい。
<5-7.変形例7>
また、前述した各実施形態では、本開示における情報処理装置がサーバ10である例について説明したが、かかる例に限定されない。例えば、当該情報処理装置は、汎用PC(Personal Computer)、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、例えばHMDなどのウェアラブルデバイス、または、ロボットなどであってもよい。
<5-8.変形例8>
また、別の変形例として、情報取得部102、および、出力制御部106は、サーバ10に含まれる代わりに、クライアント端末20に含まれてもよい。この場合、本開示における情報処理装置は、クライアント端末20であってもよい。
<5-9.変形例9>
また、前述した各実施形態に係る処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
また、前述した各実施形態によれば、CPU150、ROM152、およびRAM154などのハードウェアを、前述した各実施形態に係るサーバ10の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、
表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部と、
を備える、情報処理装置。
(2)
前記コンテンツが表示されている間に、前記盛り上がり情報が示す盛り上がり度合いが第1の閾値よりも大きくなる際または前記第1のユーザが所定の行動を行ったことが検出された際に、前記出力制御部は、前記没頭度を下げるための表示制御を行う、前記(1)に記載の情報処理装置。
(3)
前記没頭度を下げるための表示制御は、前記コンテンツにおける現在の視点の位置を、当該視点の向きに対して後方へ移動させることを含む、前記(2)に記載の情報処理装置。
(4)
前記没頭度を下げるための表示制御は、さらに、前記移動前の視点の位置の近傍に、前記第1のユーザの背面を示す画像を前記コンテンツに重畳して表示させることを含む、前記(3)に記載の情報処理装置。
(5)
前記所定の行動は、前記第1のユーザの動きの急峻度合いが第2の閾値以上である行動であり、
前記第1のユーザの行動に関する情報は、前記第1のユーザの動き情報を含み、
前記没頭度を下げるための表示制御は、さらに、前記第1のユーザに対応する仮想オブジェクトが、前記所定の行動の検出時における前記第1のユーザの動き情報に応じて動くアニメーションを前記コンテンツに重畳して表示させることを含む、前記(3)に記載の情報処理装置。
(6)
前記没頭度を下げるための表示制御は、前記表示部における前記コンテンツの表示サイズを縮小することを含む、前記(2)に記載の情報処理装置。
(7)
前記コンテンツは動画であり、
前記没頭度を下げるための表示制御は、前記コンテンツのうち現在の再生タイミング以降の部分から抽出される複数のフレーム画像を前記コンテンツに重畳して表示させることを含む、前記(2)に記載の情報処理装置。
(8)
前記没頭度を下げるための表示制御は、前記コンテンツ内の所定の領域に前記複数のフレーム画像を前記コンテンツに重畳して表示させることを含む、前記(7)に記載の情報処理装置。
(9)
前記没頭度を下げるための表示制御は、前記コンテンツ内の所定の領域が前記表示部に表示されるように前記第1のユーザの視線を誘導するためのガイド表示を表示させ、かつ、
前記ガイド表示に応じて前記第1のユーザの視線が移動したことが検出された際に、前記複数のフレーム画像を前記コンテンツに重畳して表示させることを含む、前記(8)に記載の情報処理装置。
(10)
前記所定の行動は、発話であり、
前記第1のユーザが発話したことが検出された際に、前記出力制御部は、所定の文字列を前記コンテンツに重畳して表示させる、前記(2)に記載の情報処理装置。
(11)
前記出力制御部は、前記第1のユーザの前記コンテンツ内の注視点の近傍または前記表示部の略中心に前記所定の文字列を表示させる、前記(10)に記載の情報処理装置。
(12)
前記第1のユーザが発話したことが検出され、かつ、検出された発話の音声認識結果が感動詞を含む場合には、前記出力制御部は、前記発話の音声認識結果に応じた文字列を前記所定の文字列として前記コンテンツに重畳して表示させる、前記(11)に記載の情報処理装置。
(13)
前記盛り上がり情報が示す盛り上がり度合いが前記第1の閾値以下の度合いから前記第1の閾値よりも大きい度合いに変化する再生タイミングにおいて、前記出力制御部は、前記没頭度を下げるための表示制御を開始する、前記(2)~(12)のいずれか一項に記載の情報処理装置。
(14)
前記コンテンツは、少なくとも一つのイベント情報を含み、
前記少なくとも一つのイベント情報のうち、前記第1の閾値よりも大きい盛り上がり度合いに関連付けられているイベント情報が示すイベントが発生する直前に、前記出力制御部は、前記没頭度を下げるための表示制御を開始する、前記(2)~(13)のいずれか一項に記載の情報処理装置。
(15)
前記出力制御部は、さらに、前記第1のユーザの属性情報に基づいて、前記没頭度を下げるための表示制御を行う、前記(2)~(14)のいずれか一項に記載の情報処理装置。
(16)
前記出力制御部は、さらに、前記コンテンツの利用時間帯に基づいて、前記没頭度を下げるための表示制御を行う、前記(2)~(15)のいずれか一項に記載の情報処理装置。
(17)
前記盛り上がり情報は、前記第1のユーザ、または、前記第1のユーザとは異なる第2のユーザが過去に前記コンテンツを利用した際の盛り上がり度合いを示す、前記(2)~(16)のいずれか一項に記載の情報処理装置。
(18)
前記盛り上がり情報は、前記第1のユーザの現在の盛り上がり度合いを示す、前記(2)~(16)のいずれか一項に記載の情報処理装置。
(19)
仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得することと、
表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、プロセッサが、前記第1のユーザの没頭度を下げるための表示制御を行うことと、
を含む、情報処理方法。
(20)
コンピュータを、
仮想現実のコンテンツの利用に関する盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、
表示部により前記コンテンツが表示されている間に、前記盛り上がり情報または前記第1のユーザの行動に関する情報に基づいて、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部、
として機能させるためのプログラム。
10‐1、10‐2 サーバ
20 クライアント端末
22 通信網
100、200 制御部
102 情報取得部
104 盛り上がり情報登録部
106 出力制御部
120、220 通信部
122、230 記憶部
124 盛り上がり情報DB
126 没頭度軽減文字列DB
222 入力部
224 表示部
226 音声出力部
228 センサ部

Claims (18)

  1. 仮想現実のコンテンツを利用するユーザに対するセンシング結果から得られる情報であって、当該コンテンツへの没頭度を示す情報である盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、
    表示部により前記コンテンツが表示されている間に、前記盛り上がり情報が示す盛り上がり度合いが第1の閾値よりも大きくなる際または前記第1のユーザが所定の行動を行ったことが検出された際に、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部と、を備え、
    前記没頭度を下げるための表示制御は、前記コンテンツにおける現在の視点の位置を、当該視点の向きに対して後方へ移動させることを含む、
    情報処理装置。
  2. 前記没頭度を下げるための表示制御は、さらに、前記移動前の視点の位置の近傍に、前記第1のユーザの背面を示す画像を前記コンテンツに重畳して表示させることを含む、請求項に記載の情報処理装置。
  3. 前記所定の行動は、前記第1のユーザの動きの急峻度合いが第2の閾値以上である行動であり、
    前記第1のユーザの行動に関する情報は、前記第1のユーザの動き情報を含み、
    前記没頭度を下げるための表示制御は、さらに、前記第1のユーザに対応する仮想オブジェクトが、前記所定の行動の検出時における前記第1のユーザの動き情報に応じて動くアニメーションを前記コンテンツに重畳して表示させることを含む、請求項に記載の情報処理装置。
  4. 前記没頭度を下げるための表示制御は、さらに、前記表示部における前記コンテンツの表示サイズを縮小することを含む、請求項に記載の情報処理装置。
  5. 仮想現実のコンテンツを利用するユーザに対するセンシング結果から得られる情報であって、当該コンテンツへの没頭度を示す情報である盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、
    表示部により前記コンテンツが表示されている間に、前記盛り上がり情報が示す盛り上がり度合いが第1の閾値よりも大きくなる際または前記第1のユーザが所定の行動を行ったことが検出された際に、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部と、を備え、
    記コンテンツは動画であり
    記没頭度を下げるための表示制御は、前記コンテンツのうち現在の再生タイミング以降の部分から抽出される複数のフレーム画像を前記コンテンツに重畳して表示させることを含む
    報処理装置。
  6. 前記没頭度を下げるための表示制御は、前記コンテンツ内の所定の領域に前記複数のフレーム画像を前記コンテンツに重畳して表示させることを含む、請求項に記載の情報処理装置。
  7. 前記没頭度を下げるための表示制御は、前記コンテンツ内の所定の領域が前記表示部に表示されるように前記第1のユーザの視線を誘導するためのガイド表示を表示させ、かつ、
    前記ガイド表示に応じて前記第1のユーザの視線が移動したことが検出された際に、前記複数のフレーム画像を前記コンテンツに重畳して表示させることを含む、請求項に記載の情報処理装置。
  8. 仮想現実のコンテンツを利用するユーザに対するセンシング結果から得られる情報であって、当該コンテンツへの没頭度を示す情報である盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、
    表示部により前記コンテンツが表示されている間に、前記盛り上がり情報が示す盛り上がり度合いが第1の閾値よりも大きくなる際または前記第1のユーザが所定の行動を行ったことが検出された際に、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部と、を備え、
    記所定の行動は、発話であり
    前記出力制御部は、
    記第1のユーザが発話したことが検出された際に、所定の文字列を前記コンテンツに重畳して表示させる
    報処理装置。
  9. 前記出力制御部は、前記第1のユーザの前記コンテンツ内の注視点の近傍または前記表示部の略中心に前記所定の文字列を表示させる、請求項に記載の情報処理装置。
  10. 前記第1のユーザが発話したことが検出され、かつ、検出された発話の音声認識結果が感動詞を含む場合には、前記出力制御部は、前記発話の音声認識結果に応じた文字列を前記所定の文字列として前記コンテンツに重畳して表示させる、請求項に記載の情報処理装置。
  11. 前記盛り上がり情報が示す盛り上がり度合いが前記第1の閾値以下の度合いから前記第1の閾値よりも大きい度合いに変化する再生タイミングにおいて、前記出力制御部は、前記没頭度を下げるための表示制御を開始する、請求項に記載の情報処理装置。
  12. 仮想現実のコンテンツを利用するユーザに対するセンシング結果から得られる情報であって、当該コンテンツへの没頭度を示す情報である盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、
    表示部により前記コンテンツが表示されている間に、前記盛り上がり情報が示す盛り上がり度合いが第1の閾値よりも大きくなる際または前記第1のユーザが所定の行動を行ったことが検出された際に、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部と、を備え、
    記コンテンツは、少なくとも一つのイベント情報を含み、
    前記出力制御部は、
    記少なくとも一つのイベント情報のうち、前記第1の閾値よりも大きい盛り上がり度合いに関連付けられているイベント情報が示すイベントが発生する直前に、前記没頭度を下げるための表示制御を開始する
    報処理装置。
  13. 前記出力制御部は、さらに、前記第1のユーザの属性情報に基づいて、前記没頭度を下げるための表示制御を行う、請求項に記載の情報処理装置。
  14. 前記出力制御部は、さらに、前記コンテンツの利用時間帯に基づいて、前記没頭度を下げるための表示制御を行う、請求項に記載の情報処理装置。
  15. 前記盛り上がり情報は、前記第1のユーザ、または、前記第1のユーザとは異なる第2のユーザが過去に前記コンテンツを利用した際の盛り上がり度合いを含む、請求項に記載の情報処理装置。
  16. 前記盛り上がり情報は、前記第1のユーザの現在の盛り上がり度合いを含む、請求項に記載の情報処理装置。
  17. 仮想現実のコンテンツを利用するユーザに対するセンシング結果から得られる情報であって、当該コンテンツへの没頭度を示す情報である盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得することと、
    表示部により前記コンテンツが表示されている間に、前記盛り上がり情報が示す盛り上がり度合いが第1の閾値よりも大きくなる際または前記第1のユーザが所定の行動を行ったことが検出された際に、プロセッサが、前記第1のユーザの没頭度を下げるための表示制御を行うことと、を含み、
    前記没頭度を下げるための表示制御は、前記コンテンツにおける現在の視点の位置を、当該視点の向きに対して後方へ移動させることを含む、
    報処理方法。
  18. コンピュータを、
    仮想現実のコンテンツを利用するユーザに対するセンシング結果から得られる情報であって、当該コンテンツへの没頭度を示す情報である盛り上がり情報、または、前記コンテンツを利用中の第1のユーザの行動に関する情報を取得する取得部と、
    表示部により前記コンテンツが表示されている間に、前記盛り上がり情報が示す盛り上がり度合いが第1の閾値よりも大きくなる際または前記第1のユーザが所定の行動を行ったことが検出された際に、前記第1のユーザの没頭度を下げるための表示制御を行う出力制御部と、として機能させるためのプログラムであって、
    前記没頭度を下げるための表示制御は、前記コンテンツにおける現在の視点の位置を、当該視点の向きに対して後方へ移動させることを含む、
    ログラム。
JP2019506938A 2017-03-21 2017-12-08 情報処理装置、情報処理方法、およびプログラム Active JP7107302B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017054197 2017-03-21
JP2017054197 2017-03-21
PCT/JP2017/044129 WO2018173383A1 (ja) 2017-03-21 2017-12-08 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018173383A1 JPWO2018173383A1 (ja) 2020-05-14
JP7107302B2 true JP7107302B2 (ja) 2022-07-27

Family

ID=63585298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506938A Active JP7107302B2 (ja) 2017-03-21 2017-12-08 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US10877555B2 (ja)
EP (1) EP3599536A4 (ja)
JP (1) JP7107302B2 (ja)
WO (1) WO2018173383A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220004250A1 (en) * 2018-11-19 2022-01-06 Sony Group Corporation Information processing apparatus, information processing method, and program
KR102222747B1 (ko) * 2018-11-30 2021-03-04 오당찬 몰입도 운용 방법 및 이를 지원하는 전자 장치
CN114514563A (zh) 2019-09-27 2022-05-17 苹果公司 在电子设备上创建最佳工作、学习和休息环境
US11393171B2 (en) * 2020-07-21 2022-07-19 International Business Machines Corporation Mobile device based VR content control
WO2023189558A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 情報処理システムおよび情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015133710A (ja) 2015-02-04 2015-07-23 日本ロジックス株式会社 映像・サウンド視聴システム及び映像・サウンドコンテンツの製作方法
JP2016062277A (ja) 2014-09-18 2016-04-25 泰章 岩井 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006201853A (ja) * 2005-01-18 2006-08-03 Fujitsu Ten Ltd コンテンツ再生装置
US20150070262A1 (en) * 2005-09-21 2015-03-12 Richard Ross Peters Contextual annotations of a message based on user eye-tracking data
JP4591586B2 (ja) 2008-09-22 2010-12-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9872968B2 (en) * 2013-04-17 2018-01-23 Sri International Biofeedback virtual reality sleep assistant
JP6079614B2 (ja) 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
US9990774B2 (en) * 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
US20160195923A1 (en) * 2014-12-26 2016-07-07 Krush Technologies, Llc Gyroscopic chair for virtual reality simulation
JP6706473B2 (ja) * 2015-09-14 2020-06-10 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
US20180321493A1 (en) * 2015-11-11 2018-11-08 Lg Electronics Inc. Hmd and method for controlling same
US10695663B2 (en) * 2015-12-22 2020-06-30 Intel Corporation Ambient awareness in virtual reality
US10179290B2 (en) * 2016-07-21 2019-01-15 Sony Interactive Entertainment America Llc Method and system for accessing previously stored game play via video recording as executed on a game cloud system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062277A (ja) 2014-09-18 2016-04-25 泰章 岩井 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
JP2015133710A (ja) 2015-02-04 2015-07-23 日本ロジックス株式会社 映像・サウンド視聴システム及び映像・サウンドコンテンツの製作方法

Also Published As

Publication number Publication date
EP3599536A4 (en) 2020-04-08
JPWO2018173383A1 (ja) 2020-05-14
US10877555B2 (en) 2020-12-29
US20200004321A1 (en) 2020-01-02
WO2018173383A1 (ja) 2018-09-27
EP3599536A1 (en) 2020-01-29

Similar Documents

Publication Publication Date Title
JP7107302B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11568643B2 (en) Automatic control of wearable display device based on external conditions
CN108886532B (zh) 用于操作个人代理的装置和方法
US11178456B2 (en) Video distribution system, video distribution method, and storage medium storing video distribution program
JP6361649B2 (ja) 情報処理装置、通知状態制御方法及びプログラム
JP2020503574A (ja) ヘッドマウントディスプレイによって提供される仮想現実環境への見物人フィードバックコンテンツの配信
JP7092108B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109542213A (zh) 使用注视信息与计算设备交互的系统和方法
JP6245477B2 (ja) 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
JPWO2017061149A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2021210585A1 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
CN111654752B (zh) 多媒体信息播放方法、装置、电子设备及存储介质
US10643636B2 (en) Information processing apparatus, information processing method, and program
JP7279121B2 (ja) ユーザ行動支援装置、方法およびプログラム
US20200125788A1 (en) Information processing device and information processing method
EP4331489A1 (en) Sound-based attentive state assessment
CN108563322B (zh) Vr/ar设备的控制方法和装置
WO2023189558A1 (ja) 情報処理システムおよび情報処理方法
JP2024046867A (ja) 情報処理装置および恐怖症改善支援方法
JP2024046864A (ja) 情報処理装置および恐怖症改善支援方法
JP2024046866A (ja) 情報処理装置および恐怖症改善支援方法
JP2024046865A (ja) 情報処理装置および恐怖症改善支援方法
US20220408153A1 (en) Information processing device, information processing method, and information processing program
JP2022065576A (ja) プログラム、方法、情報処理装置、及びシステム
WO2023283161A1 (en) Enhanced meditation experience based on bio-feedback

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220627

R151 Written notification of patent or utility model registration

Ref document number: 7107302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151