JP7303846B2 - プログラム、情報処理方法、情報処理装置、及びシステム - Google Patents

Description

本開示は、プログラム、情報処理方法、情報処理装置、及びシステムに関する。

特許文献１には、ＨＭＤ（Head Mounted Display）を用いてユーザに仮想現実を提供する際に、ＨＭＤから音声を出力すること、及び、マイクによる音声入力を可能にすることが開示されている。特許文献２には、仮想現実空間において、ユーザ同士が音声コミュニケーションを行うための技術が開示されている。

特許文献３には、ＡＲ（Augmented Reality）グラス等を用いてユーザに拡張現実コンテンツを提供する際に、拡張現実コンテンツに含まれる音声のパラメータを調整して出力することが開示されている。特許文献４には、ＨＭＤを用いてユーザに拡張現実空間又は複合現実空間を提供する際に、仮想現実空間等の音声とユーザの周辺の実空間の音声とを合成した合成音声を出力することが開示されている。

特開平１１－１８４５８４号公報 特開２０１７－２８３９０号公報 国際公開第２０１９／１４２６５９号 国際公開第２０１８／１２８１６１号

ところで、現実世界においては、ボートレースや競馬などの様々なレースが実施されている。これらのレースを観戦するために実際にレース場へ足を運ぶ人々もいるが、実際にレース場へ足を運ぶことは、時間的又は地理的な制約により不可能な場合もある。

上記のような状況から、現実世界のレースに連動した仮想オブジェクトを用いて、現実世界のレースを仮想的なレースとして表示することができれば、実際にレース場へ行かずともレースを擬似的に観戦することができ、有益である。

また、仮想的なレースを表示する際、レースに関連する音声によって仮想レースの観戦を盛り上げることができれば、ユーザに更なる楽しみを提供することができる。しかし、特許文献１～４に開示された技術は、現実世界のレースを仮想的なレースとして表示するものではなく、当然に、レースに関連する音声によって仮想レースの観戦を盛り上げるものでもなかった。

本開示の一態様は、レースに関連する音声によって仮想レースの観戦を盛り上げることを目的とする。

本開示に示す一実施形態によれば、
プロセッサ及び撮像部を備えた第１コンピュータにおいて実行されるプログラムであって、
前記プログラムは、前記プロセッサに、
現実世界における所定のレースに関する第１情報を第２コンピュータから受信するステップと、
前記第１情報に基づいて、レース場を表すレース場オブジェクトと、前記所定のレースの出場者又は移動体を表す移動オブジェクトと、を含む仮想オブジェクトを生成するステップと、
前記撮像部により撮像された前記第１コンピュータの周囲の現実画像に、前記仮想オブジェクトを重畳させて表示するステップと、
前記所定のレースに関連する音声情報を前記第２コンピュータから受信し、該音声情報に基づいて音声を出力するステップと、を実行させ、
前記第１情報として、前記所定のレースの実施中における前記出場者又は前記移動体の位置情報と、前記位置情報に対応する時間情報と、を含み、
前記表示するステップでは、前記第１情報に基づいて、前記レース場オブジェクト上において前記移動オブジェクトを移動させ、前記所定のレースを仮想的に表示し、
前記出力するステップでは、前記表示するステップにおける前記所定のレースの仮想的な表示とともに、前記音声を出力する、
プログラムが提供される。

本開示に示す一実施形態よれば、レースに関連する音声によって仮想レースの観戦を盛り上げることができる。

ある実施の形態に従うシステムの構成例を示す図である。 ある実施の形態に従うユーザ端末の機能的な構成の一例を示すブロック図である。 ある実施の形態に従うサーバの機能的な構成の一例を示すブロック図である。 ある実施の形態に従う現実世界のレース場の一例を示す模式図である。 ある実施の形態に従うユーザ端末に表示される仮想オブジェクトの一例を示す模式図である。 ある実施の形態に従う表示制御に関する処理の一例を示すフローチャートである。 ある実施の形態に従う撮像部により撮像された現実画像の一例を示す模式図である。 ある実施の形態に従う現実画像に仮想オブジェクトを重畳させて表示した画面の一例を示す模式図である。 ある実施の形態に従う音声制御に関する処理の一例を示すフローチャートである。 ある実施の形態に従うデータテーブルの一例である。 ある実施の形態に従う表示画面の一例を示す模式図である。 ある実施の形態に従う表示画面の一例を示す模式図である。

以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の要素には同一の符号を付し、重複する説明を適宜省略する。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。

（システムの構成）
図１は、本実施の形態に従うシステム１の構成を示す図である。システム１は、例えば、現実世界で実施される所定のレースを、ユーザが使用する情報処理装置上において仮想オブジェクトを用いた仮想レースとして表示することが可能なものである。本明細書において、「所定のレース」とは、現実世界で実施されるレースであれば特に制限はされず、例えば、ボートレース（本番のレースや、展示レース）、競馬、競輪、オートレース、Ｆ１等のカーレース、ドローンレース、ドッグレース、マラソン、駅伝などが挙げられる。

図１に示すように、システム１は、各ユーザが使用する情報処理装置（第１コンピュータ）であるユーザ端末１０Ａ、ユーザ端末１０Ｂ及びユーザ端末１０Ｃ（以下、ユーザ端末１０Ａ、１０Ｂ、１０Ｃなどのユーザ端末を総称して「ユーザ端末１０」とも称する）など複数のユーザ端末１０と、第１サーバ装置（第２コンピュータ）２０と、第２サーバ装置４０と、ネットワーク３０と、を含む。

ユーザ端末１０Ａとユーザ端末１０Ｂとは、無線基地局３１と通信することにより、ネットワーク３０と接続する。ユーザ端末１０Ｃは、家屋などの施設に設置される無線ルータ３２と通信することにより、ネットワーク３０と接続する。ユーザ端末１０は、例えば、タッチスクリーンを備える携帯型端末であり、スマートフォン、ファブレット、タブレットなどでありうる。

ユーザ端末１０は、例えば、アプリ等を配信するプラットフォームを介してインストールされたプログラム、又は、予めプリインストールされているウェブサイト閲覧用ソフトウエアなどを含むプログラムを実行する。ユーザ端末１０は、上記プログラムの実行により、第１サーバ装置２０と通信し、所定のレースに関連するデータやユーザに関連するデータ等を第１サーバ装置２０との間で送受信することにより、ユーザ端末１０上で仮想レースを表示することを可能とする。

第１サーバ装置２０は、所定のレースに関連するデータを、第２サーバ装置４０から受信する。第１サーバ装置２０は、所定のレースに関連するデータを、適宜、ユーザ端末１０へ送信する。第１サーバ装置２０は、所定のレースに関連するデータや、各ユーザに関連するデータを記憶して管理する。

第１サーバ装置２０は、ハードウェア構成として、通信ＩＦ（Interface）２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ（第２プロセッサ）２９と、を備え、これらが通信バスを介して互いに接続されている。

通信ＩＦ２２は、例えばＬＡＮ（Local Area Network）規格など各種の通信規格に対応しており、ユーザ端末１０や第２サーバ装置４０などとの間でデータを送受信するためのインタフェースとして機能する。

入出力ＩＦ２３は、第１サーバ装置２０への情報の入力を受け付けるとともに、第１サーバ装置２０の外部へ情報を出力するためのインタフェースとして機能する。入出力ＩＦ２３は、マウス、キーボード等の情報入力機器の接続を受け付ける入力受付部と、画像等を表示するためのディスプレイ等の情報出力機器の接続を受け付ける出力部とを含みうる。

メモリ２５は、処理に使用されるデータ等を記憶するための記憶装置である。メモリ２５は、例えば、プロセッサ２９が処理を行う際に一時的に使用するための作業領域をプロセッサ２９に提供する。メモリ２５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random
Access Memory）等の記憶装置を含んで構成されている。

ストレージ２６は、プロセッサ２９が読み込んで実行するための各種プログラム及びデータを記憶するための記憶装置である。ストレージ２６が記憶する情報には、所定のレースに関連するデータ（音声情報を含む）や、各ユーザに関連するデータ等が含まれる。ストレージ２６は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の記憶装置を含んで構成されうる。なお、ストレージは、サーバ装置に含まれる形態に限られず、クラウドサービスを利用することもできる 。

プロセッサ２９は、ストレージ２６に記憶されるプログラム等を読み込んで実行することにより、第１サーバ装置２０の動作を制御する。プロセッサ２９は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics
Processing Unit）等を含んで構成されうる。

第２サーバ装置４０は、所定のレースに関連するデータを記憶して管理している。第２サーバ装置４０は、例えば、所定のレースの開催者が管理するサーバ装置や、所定のレースに関する情報を外部へ発信する団体（レース専門誌の発行者、レースの映像配信者又はラジオ配信者など）が管理するサーバ装置等である。第２サーバ装置４０は、所定のレースに関連するデータを、適宜、第１サーバ装置２０へ送信する。ある局面においては、第２サーバ装置４０は、所定のレースに関連するデータをユーザ端末１０へ送信してもよい。第２サーバ装置４０のハードウェア構成は、矛盾の生じない範囲で、第１サーバ装置２０と同様であってもよい。第２サーバ装置４０は、複数あってもよい。

（ユーザ端末）
図２は、ユーザ端末１０の機能的な構成の一例を示すブロック図である。図２に示すように、ユーザ端末１０は、アンテナ１１０と、無線通信ＩＦ１２０と、タッチスクリーン１３０と、入出力ＩＦ１４０と、記憶部１５０と、音声処理部１６０と、マイク１６１と、スピーカ１６２と、撮像部１７０と、制御部（第１プロセッサ）１９０と、を含む。

アンテナ１１０は、ユーザ端末１０が発する信号を電波として空間へ放射する。また、アンテナ１１０は、空間から電波を受信して受信信号を無線通信ＩＦ１２０へ与える。

無線通信ＩＦ１２０は、ユーザ端末１０が他の通信機器と通信するため、アンテナ１１０等を介して信号を送受信するための変復調処理などを行う。無線通信ＩＦ１２０は、チューナー、高周波回路などを含む無線通信用の通信モジュールであり、ユーザ端末１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１９０へ与える。

タッチスクリーン１３０は、ユーザからの入力を受け付けて、ユーザに対し情報をディスプレイ１３２に出力する。タッチスクリーン１３０は、ユーザの操作入力を受け付けるためのタッチパネル１３１と、ディスプレイ１３２と、を含む。タッチパネル１３１は、例えば、静電容量方式のものを用いることによって、ユーザの指などが接近したことを検出する。ディスプレイ１３２は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（electroluminescence）その他の表示装置によって実現される。

入出力ＩＦ１４０は、ユーザ端末１０への情報の入力を受け付けるとともに、ユーザ端末１０の外部へ情報を出力するためのインタフェースとして機能する。

記憶部１５０は、フラッシュメモリ、ＨＤＤ等により構成され、ユーザ端末１０が使用するプログラム、及び、ユーザ端末１０が第１サーバ装置２０等から受信する各種データ等を記憶する。

音声処理部１６０は、音声信号の変復調を行う。音声処理部１６０は、マイク１６１から与えられる信号を変調して、変調後の信号を制御部１９０へ与える。また、音声処理部１６０は、音声信号をスピーカ１６２へ与える。音声処理部１６０は、例えば、音声処理用のプロセッサによって実現される。マイク１６１は、音声信号の入力を受け付けて制御部１９０へ出力するための音声入力部として機能する。スピーカ１６２は、音声信号を、ユーザ端末１０の外部へ出力するための音声出力部として機能する。

撮像部１７０は、ユーザ端末１０の周囲の現実画像を撮像するカメラである。撮像部１７０によって撮像された画像は、制御部１９０によって画像処理がなされ、ディスプレイ１３２へ出力される。

制御部１９０は、記憶部１５０に記憶されるプログラムを読み込んで実行することにより、ユーザ端末１０の動作を制御する。制御部１９０は、例えば、アプリケーションプロセッサによって実現される。

制御部１９０がアプリケーションプログラム１５１を実行する処理について、より詳細に説明する。記憶部１５０は、アプリケーションプログラム１５１と、アプリケーション情報１５２と、ユーザ情報１５３と、音声情報１５４と、を記憶する。

ユーザ端末１０は、例えば、第１サーバ装置２０からアプリケーションプログラム１５１をダウンロードして記憶部１５０に記憶させる。また、ユーザ端末１０は、第１サーバ装置２０と通信することで、アプリケーション情報１５２及びユーザ情報１５３等の各種のデータを第１サーバ装置２０と送受信する。

アプリケーションプログラム１５１は、ユーザ端末１０において仮想レースを表示するためのプログラムである。アプリケーション情報１５２は、アプリケーションプログラム１５１が参照する各種のデータを含む。アプリケーション情報１５２は、第１情報１５２Ａを含む。

第１情報１５２Ａは、第１サーバ装置２０や第２サーバ装置４０から送信された所定のレースに関する情報である。第１情報１５２Ａとしては、例えば、所定のレースの出場者又は移動体（以下、「出場者等」とも称する）のレースタイムを示すレースタイム情報、所定のレースの実施中における出場者等の位置情報、当該位置情報に対応する時間情報と、が含まれる。

本明細書において、「出場者」とは、人間だけでなく、馬や犬などの動物も含む概念である。また、「移動体」とは、所定のレースにおいて移動の主体となるものであり、出場者が乗る動物や機体、出場者が遠隔操縦する機体などである。マラソンやドッグレース等では、「出場者」と「移動体」は同一となる。

第１情報１５２Ａとしては、上記の他にも、例えば、所定のレースの名称、開催日時、レース場データ、出場者データ、移動体データ、オッズ情報、レース予想、レース出走表、レース直前情報、ピットレポート、レース結果、レース動画、レース静止画、過去のレース情報、その他の所定のレースに関する情報誌や情報サイトに掲載されうるような情報などを含んでもよい。

ユーザ情報１５３は、ユーザ端末１０のユーザについての情報を含む。ユーザ情報１５３は、例えば、ユーザを識別する情報、ユーザ端末１０の位置情報、ユーザのレース購入履歴や的中率（例えば、ボートレースであれば購入した舟券の履歴と、購入した舟券の的中率）などを含んでもよい。

音声情報１５４は、第１サーバ装置２０から送信される所定のレースに関連する音声情報（以下、「レース関連音声情報」とも称する）を含む。音声情報１５４は、後述の音声取得部１９６によって取得されるユーザの音声情報（以下、「ユーザ音声情報」とも称する）を含んでもよい。

制御部１９０は、アプリケーションプログラム１５１を読み込んで実行することにより、操作入力受付部１９１と、送受信部１９２と、オブジェクト生成部１９３と、表示制御部１９４と、検出部１９５と、音声取得部１９６と、音声制御部１９７と、の各機能を発揮する。

操作入力受付部１９１は、タッチスクリーン１３０の出力に基づいて、ユーザの操作入力を受け付ける。具体的には、操作入力受付部１９１は、ユーザの指などがタッチパネル１３１に接触又は接近したことを、タッチスクリーン１３０を構成する面の横軸及び縦軸からなる座標系の座標として検出する。

操作入力受付部１９１は、タッチスクリーン１３０に対するユーザの操作を判別する。操作入力受付部１９１は、例えば、「接近操作」、「リリース操作」、「タップ操作」、「ダブルタップ操作」、「長押し操作（ロングタッチ操作）」、「ドラッグ操作（スワイプ操作）」、「ムーブ操作」、「フリック操作」、「ピンチイン操作」、「ピンチアウト操作」などのユーザの操作を判別する。

操作入力受付部１９１は、ユーザ端末１０に搭載された加速度センサ等によって検出されるユーザ端末１０の動きを、操作入力として受け付けてもよい。

送受信部１９２は、無線通信ＩＦ１２０及びネットワーク３０を介して、第１サーバ装置２０や第２サーバ装置４０などの外部の通信機器と各種情報の送信及び受信を行う。送受信部１９２は、例えば、第１サーバ装置２０又は第２サーバ装置４０から第１情報１５２Ａ及びレース関連音声情報を受信する。また、送受信部１９２は、例えば、操作入力受付部１９１が受け付けた操作入力に応じた情報や、ユーザ情報１５３に記憶された情報、音声取得部１９６が取得したユーザ音声情報等を第１サーバ装置２０又は第２サーバ装置４０へと送信する。

オブジェクト生成部１９３は、所定のレースに関する第２情報をユーザに提示するための仮想オブジェクトを、第１情報に基づいて生成する。本明細書において、「第２情報」とは、例えば、第１情報１５２Ａの少なくとも一部、又は、第１情報１５２Ａから算出される情報である。ある局面において、「第２情報」は、テキストとして提示可能な情報でありうる。ある局面において、「第２情報」は、所定のレース中の出場者等の順位又はレース結果として出場者等の順位を示す順位情報でありうる。

オブジェクト生成部１９３は、仮想オブジェクトとして、レース場を表すレース場オブジェクトと、出場者等を表す移動オブジェクトと、を生成する。オブジェクト生成部１９３は、第２情報をテキスト表示するための仮想表示板を生成してもよい。オブジェクト生成部１９３は、上記の各オブジェクトの他にも、第２情報を画像表示するための仮想スクリーン、各種の建物オブジェクト、木などの景観を構成する景観オブジェクト、ユーザのアバターとなるオブジェクト等を生成してもよい。

表示制御部１９４は、撮像部７０により撮像されたユーザ端末１０の周囲の現実画像に、オブジェクト生成部１９３により生成された仮想オブジェクトを重畳させた画像（以下、「重畳画像」とも称する）を、ディスプレイ１３２上に表示させる。表示制御部１９４は、第１情報１５２Ａに含まれるレースタイム情報に基づいて、レース場オブジェクト上において移動オブジェクトを移動させ、所定のレースを仮想的に再現した仮想レースをディスプレイ１３２上に表示させる。表示制御部１９４は、レースタイム情報に加えて、第１情報１５２Ａに含まれる出場者等の位置情報、及び当該位置情報に対応する時間情報に基づいて、仮想レースを再現するものであることが好ましい。

表示制御部１９４は、操作入力受付部１９１が受け付けた操作入力に応じて、重畳画像における視点を変更可能であることが好ましい。表示制御部１９４は、操作入力受付部１９１が受け付けた操作入力に応じて、ディスプレイ１３２に各種のメニュー画面やＧＵＩ（Graphical User Interface）を表示させたり、ディスプレイ１３２の表示内容を変更したりする。

検出部１９５は、撮像部１７０により撮像された現実画像内における平坦面を検出する。平坦面の検出は、従来公知の画像認識技術によって実現される。例えば、検出部１９５が検出した平坦面を選択する操作をユーザが行った場合、当該平坦面にレース場オブジェクトが配置された重畳画像がディスプレイ１３２に表示される。

平坦面は、水平面であることが好ましい。また、平坦面とレース場オブジェクトを構成する底面とのなす角度は０度であってもよいが、鋭角であることが好ましく、例えば、１５度～４５度の範囲にすることができる。上記角度は、ユーザの操作を受け付けて調節する態様とすることもできる。また、現実世界の平坦面の一部に凸部がある場合や、当該平坦面に載置物がある場合であっても、当該凸部や当該載置物がレース場オブジェクトによって隠れる程度のサイズならば、レース場オブジェクトを配置可能は平坦面として検出してもよい。

音声取得部１９６は、表示制御部１９４によって重畳画像が表示されている状態において、マイク１６１等を介してユーザが発した音声を取得し、ユーザ音声情報を生成する。音声取得部１９６は、ユーザの操作入力に応じて音声の取得を開始してもよいし、ユーザが発声したことを検知して音声の取得を開始してもよい。また、音声取得部１９６によって生成される音声情報には、音声が取得された時間を示す取得時間情報が含まれてもよい。また、音声取得部１９６によって生成される音声情報には、音声内容に対応するテキスト情報が含まれてもよい。音声取得部１９６が取得した音声情報は、送受信部１９２を介して、第１サーバ装置２０に送信される。

音声制御部１９７は、送受信部１９２が受信したレース関連音声情報に基づいて、スピーカ１６２から音声を出力するように制御する。音声制御部１９７は、例えば、レース関連音声情報に基づいて音声信号を生成し、該音声信号を必要に応じて音声処理部１６０において復調し、スピーカ１６２から音声を出力させる。

音声制御部１９７による音声の出力は、表示制御部１９４による重畳画像の表示とともに行われる。ここで、表示制御部１９４は、音声制御部１９７による音声の出力とともに、該音声に対応するテキスト情報を表示してもよい。

また、表示制御部１９４は、ユーザに対応するユーザ画像、及び／又は、他のユーザに対応する他ユーザ画像を表示してもよい。表示制御部１９４は、さらに、ユーザ画像の近傍にユーザ音声情報に基づいて作成されるテキスト情報を表示してもよく、他ユーザ画像の近傍に他ユーザ音声情報に基づいて作成されるテキスト情報を表示してもよい。

（第１サーバ装置）
図３は、第１サーバ装置２０の機能的な構成を示すブロック図である。図３を参照して、第１サーバ装置２０の詳細な構成を説明する。第１サーバ装置２０は、プログラムに従って動作することにより、通信部２２０と、記憶部２５０と、制御部２９０としての機能を発揮する。

通信部２２０は、第１サーバ装置２０がユーザ端末１０や第２サーバ装置４０などの外部の通信機器とネットワーク３０を介して通信するためのインタフェースとして機能する。

記憶部２５０は、システム１を実現するための各種プログラム及びデータを記憶する。ある局面において、記憶部２５０は、プログラム２５１と、レース情報２５２と、ユーザ情報２５３と、音声情報２５４と、を記憶する。

プログラム２５１は、第１サーバ装置２０がユーザ端末１０や第２サーバ装置４０と通信して、システム１を実現するためのプログラムである。プログラム２５１は、制御部２９０に実行されることにより、ユーザ端末１０や第２サーバ装置４０とデータを送受信する処理、ユーザ端末１０のユーザが行った操作内容に応じた処理、レース情報２５２やユーザ情報２５３を更新する処理などを第１サーバ装置２０に行わせる。

レース情報２５２は、所定のレースに関連する各種のデータを含む。レース情報２５２は、例えば、第１情報２５２Ａを含む。第１情報２５２Ａは、第１情報１５２Ａの元となる情報であり、第１情報１５２Ａは、第１情報２５２Ａの一部でありうる。第１情報２５２Ａは、例えば、第２サーバ装置４０から取得された情報である。

ユーザ情報２５３は、ユーザ端末１０のユーザについての情報である。ユーザ情報２５３は、ユーザ管理テーブル２５３Ａを含む。ユーザ管理テーブル２５３Ａは、例えば、ユーザを識別する情報、ユーザ端末１０の位置情報、ユーザのレース購入履歴や的中率などをユーザ毎に記憶している。

音声情報２５４は、レース関連音声情報を含む。レース関連音声情報には、例えば、ユーザ端末１０Ａから送信されたユーザＡのユーザ音声情報、ユーザＡとは異なるユーザＢのユーザ端末１０Ｂから送信されたユーザＢのユーザ音声情報（ユーザＡにとっての他ユーザ音声情報）、所定のレースの実況音声から生成される実況音声情報、及び所定のレースが実施される現実世界のレース場で集音された現場音から生成される現場音情報のうちの１以上が含まれうる。

また、レース関連音声情報には、その音声情報の元となった音声が取得された時間を示す取得時間情報や音声内容に対応するテキスト情報が含まれうる。テキスト情報は、各音声情報の送信元であるユーザ端末１０、第２サーバ装置４０又はその他のコンピュータ装置において生成されてもよいし、第１サーバ装置２０において生成されてもよい。

制御部２９０は、プロセッサ２９によって実現され、プログラム２５１を実行することにより、送受信部２９１、第１情報取得部２９２、音声情報取得部２９３、選出部２９４、データ管理部２９５、計時部２９６としての機能を発揮する。

送受信部２９１は、通信部２２０及びネットワーク３０を介して、ユーザ端末１０や第２サーバ装置４０などの外部の通信機器と各種情報の送信及び受信を行う。送受信部２９１は、例えば、第１情報２５２Ａや音声情報２５４の少なくとも一部をユーザ端末１０へ送信する。また、送受信部２９１は、例えば、第１情報２５２Ａを第２サーバ装置４０から受信する。

また、送受信部２９１は、例えば、ユーザ音声情報をユーザ端末１０から受信する。また、送受信部２９１は、例えば、実況音声情報や現場音情報を第２サーバ装置４０又は他のコンピュータ装置（図示せず）から受信する。

第１情報取得部２９２は、送受信部２９１を介して、第１情報２５２Ａを第２サーバ装置４０から取得する。

音声情報取得部２９３は、送受信部２９１を介して、１以上のユーザのユーザ音声情報、実況音声情報、及び現場音情報のうちの１以上をレース関連音声情報として取得する。

選出部２９４は、音声情報２５４に含まれるレース関連音声情報のうちから、ユーザ端末１０に送信する情報を選出する。選出部２９４は、例えば、ユーザ端末１０からの要求にしたがって、ユーザ音声情報、実況音声情報、及び現場音情報のうちのいずれか１以上をユーザ端末１０に送信する情報として選出しうる。また、選出部２９４は、レース関連音声情報に含まれる取得時間情報に基づいて、ユーザ端末１０に送信する情報を選出しうる。

ユーザ端末１０Ａに送信する情報としてユーザＡにとっての他ユーザ音声情報が選出される場合、選出部２９４は、さらに、複数の他ユーザ音声情報のうちから所定の選出基準に基づいて１以上の他ユーザ音声情報を選出することが好ましい。所定の選出基準は、特に制限されないが、例えば、ユーザと他ユーザとの関係性、及び他ユーザの所定期間における予想の的中率又は回収率、のうちの１以上に基づくものであることが好ましい。上記関係性は、特に制限されないが、例えば、ユーザ間のフォロー関係が挙げられる。また、上記所定期間は、特に制限されないが、例えば、直近の１年間、その年の春シーズンや秋シーズン等の期間などが挙げられる。なお、上記所定期間に代えて、ユーザが購入した直近の所定数のレース（例えば、直近１００レース）を基準にして的中率や回収率を算出してもよい。

フォロー関係とは、例えば、アプリ上における相手ユーザのコメント又は行動等が閲覧できる関係である。フォロー関係は、ユーザが特定のユーザを選択して一方的に設定可能なものでもよいし、ユーザが特定のユーザへ申請をした後に該特定のユーザからの承認を経て設定される双方向的なものでもよい。フォロー関係にあるユーザ同士は、例えば、メッセージの送受信等のコミュニケーションが可能であってもよい。フォロー関係には、いわゆるフレンド関係が含まれる。

ある局面において、選出部２９４は、ユーザＡがフォロー関係を結んでいる他ユーザの他ユーザ音声情報を、ユーザ端末１０Ａに送信する情報として選出する。また、ある局面において、選出部２９４は、レースにおける予想の的中率又は回収率の高い他ユーザの他ユーザ音声情報を、ユーザ端末１０Ａに送信する情報として選出する。また、ある局面において、選出部２９４は、ユーザＡがフォロー関係を結んでいる他ユーザのうちでレースにおける予想の的中率又は回収率の高い他ユーザの他ユーザ音声情報を、ユーザ端末１０Ａに送信する情報として選出する。

データ管理部２９５は、第１情報取得部２９２、音声情報取得部２９３等における処理結果に従って、記憶部２５０に記憶される各種データを更新する処理を行う。計時部２９６は、時間を計測する処理を行う。計時部２９６によって計測される時間に基づいて、ユーザ端末１０に表示される各種時間（例えば、レース開始までの時間など）が制御されうる。

（動作例）
次に、図４から図１２を参照して、システム１における動作例について説明する。以下では、所定のレースがボートレースである場合を例示して説明をするが、以下の説明は、所定のレースが他のレースであっても適用可能である。また、以下では、ユーザ端末１０と第１サーバ装置２０の間、及び第１サーバ装置２０と第２サーバ装置４０の間でデータの送受信を行うものとして説明をするが、ある局面においては、ユーザ端末１０と第２サーバ装置４０とで直接的にデータの送受信をするように構成してもよい。

図４は、現実世界のボートレース場の一例を示す模式図である。ボートレース場４０１には、２つのターンマーク４０３が設置されており、各ボートレーサーが乗るボート４０２ａ～４０２ｆによるレースが実施されている。レースが終了した場合、ボート４０２ａ～４０２ｆそれぞれのレースタイムを示すレースタイム情報が、第２サーバ装置４０から第１サーバ装置２０へと送信され、第１サーバ装置２０からユーザ端末１０へと送信される。

ボートレース場４０１には、撮像装置（カメラ）４０４ａ～４０４ｂが設けられている。撮像装置４０４ａは、ボートレース場４０１の上方からボート４０２ａ～４０２ｆを視界に収める。撮像装置４０４ｂは、ボートレース場４０１の側方からボート４０２ａ～４０２ｆを視界に収める。撮像装置４０４ａ～４０４ｂによって撮像されたボート４０２ａ～４０２ｆの画像は、第２サーバ装置４０へ送信される。第２サーバ装置４０では、例えば、各画像の画像解析を行い、各画像の撮影時間におけるボート４０２ａ～４０２ｆそれぞれの位置を示す位置情報を算出する。算出された位置情報と、当該位置情報に対応する撮影時間に関する時間情報は、第１サーバ装置２０へと送信され、第１サーバ装置２０からユーザ端末１０へと送信される。なお、位置情報の算出は、第１サーバ装置２０において実施してもよい。

また、撮像装置４０４ａ～４０４ｂに代えて、又は加えて、ボート４０２ａ～４０２ｆに、ＧＰＳセンサ等の位置センサを設置してもよい。位置センサによって取得されたボート４０２ａ～４０２ｆの位置情報と、当該位置情報が取得された時間を示す時間情報とは、最終的にユーザ端末１０へと送信される。

図５は、ユーザ端末１０に表示される仮想オブジェクトの一例を示す模式図である。図５の例では、仮想オブジェクトとして、レース場オブジェクト５０１と、移動オブジェクト５０２ａ～５０２ｆと、２つのターンマークオブジェクト５０３と、仮想表示板５０５と、が示されている。

レース場オブジェクト５０１は、ボートレース場４０１を仮想的に表示したオブジェクトである。レース場オブジェクト５０１やターンマークオブジェクト５０３は、例えば、ボートレース場４０１のコース情報等のレース場データに基づいて作製されることが好ましく、ボートレース場４０１と対応する形状であることが好ましい。

移動オブジェクト５０２ａ～５０２ｆは、ボート４０２ａ～４０２ｆをそれぞれ仮想的に表示したオブジェクトであり、ボートを模した形状である。移動オブジェクト５０２ａ～５０２ｆは、レースタイム情報や、ボート４０２ａ～４０２ｆの位置情報及び当該位置情報に対応する時間情報に基づいて、レース場オブジェクト５０１を移動する。すなわち、レース場オブジェクト５０１及び移動オブジェクト５０２ａ～５０２ｆによって、現実世界のレースが仮想的なレースとしてユーザ端末１０上で表示される。

なお、ボート４０２ａ～４０２ｆの位置情報及び時間情報がなくとも、レースタイム情報のみによって仮想レースを表示することも可能である。ただ、この場合、最終的な着順は現実世界のレースと同じものになるが、レース中の順位などのレース経過を再現することが困難である。

仮想表示板５０５は、テキスト情報を表示するオブジェクトである。仮想表示板５０５は、例えば、ボートレース場４０１において対応する存在のないオブジェクトである。仮想表示板５０５に表示するテキスト情報は、特に制限はされず、例えば、順位情報やオッズ情報等であってもよい。また、仮想表示板５０５に表示するテキスト情報は、ユーザの操作入力に基づいて変更可能であってもよい。

図６は、表示制御に関する処理の一例を示すフローチャートである。なお、以下で説明するフローチャート（図９を含む）を構成する各処理の順序は、処理内容に矛盾や不整合が生じない範囲で順不同であり、並列的に実行されてもよい。また、各フローチャートにおいて各装置が実行する処理は、矛盾の生じない範囲で、他の装置によって実行されてもよい。

図６及び図９に示される処理は、制御部１９０がアプリケーションプログラム１５１を、制御部２９０がプログラム２５１をそれぞれ実行することにより実現される。まず、ステップＳ６１０において、制御部１９０は、カメラである撮像部１７０を起動する。撮像部１７０によって、ユーザ端末１０の周囲の現実画像が撮像される。

ステップＳ６２０において、制御部１９０は、撮像部１７０によって撮像された画像内における平坦面を検出する。ステップＳ６３０において、制御部１９０は、検出した平坦面に仮想オブジェクトを配置する。

ここで、図７～図８を用いて、ステップＳ６１
０、Ｓ６２０、及びＳ６３０の処理について具体的に説明する。図７は、撮像部１７０により撮像された現実画像の一例を示す模式図である。図７の例では、平坦なデスク７０１上に、キーボード７０２と、モニタ装置７０３と、が置かれている。

ステップＳ６１０において撮像部１７０が起動されると、ディスプレイ１３２上に、撮像部１７０によって撮像されている現実画像が表示される。次に、ステップＳ６２０において、制御部１９０は、撮像部１７０によって撮像された画像内、すなわちディスプレイ１３２に表示された画像内における平坦面を検出する。

図７では、領域７０４が平坦面として検出されている。領域７０４内にはキーボード７０２があるが、キーボード７０２はレース場オブジェクト５０１によって隠れる程度のサイズなので、制御部１９０は、領域７０４を平坦面として検出する。

図７に示す状態で、撮像部１７０によって撮像される位置を変更すれば、領域７０４の位置も変更されうる。領域７０４は、ディスプレイ１３２上において、例えば、所定の色を付加されて、他の部分とは区別可能に表示される。ユーザが領域７０４に対してタップ操作等を実行した場合、ステップＳ６３０において、制御部１９０は、領域７０４上にレース場オブジェクト５０１等の仮想オブジェクトを配置する。

図８は、現実画像に仮想オブジェクトを重畳させて表示した画面の一例を示す模式図である。図８において、モニタ装置７０３を含むドットパターンを付した領域が現実画像であり、その他の領域は仮想オブジェクトが表示されている領域である。仮想オブジェクトが表示されていない領域には、例えば、広告画像を表示してもよい。

図８では、仮想オブジェクトとして、レース場オブジェクト５０１と、複数の移動オブジェクト５０２と、２つのターンマークオブジェクト５０３と、５０５と、大型モニタオブジェクト５０６と、建物オブジェクト５０７ａ～５０７ｂと、その他の符号を付していない多数のオブジェクト（木オブジェクト、時計オブジェクト等）と、が表示されている。これらのオブジェクトは、例えば、第１サーバ装置２０から受信した第１情報１５２Ａに基づいて作製される。

図８は、領域７０４に含まれる平坦面と、レース場オブジェクト５０１を構成する底面とのなす角度が０度になるようにして、領域７０４上にレース場オブジェクト５０１を配置している。この場合、例えば、領域Ｘ１のような奥行方向にある領域や、移動オブジェクト５０２同士が重複して見づらくなることがある。また、大型モニタオブジェクト５０６の奥行方向側の領域などには、移動オブジェクト５０２が見えなくなる死角が生じうる。

しかし、図８に示す状態において、ユーザは、ディスプレイ１３２に表示される重畳画像の視点を変更可能である。例えば、ユーザがピンチイン操作やピンチアウト操作等の操作入力をした場合、撮像部１７０の視点位置がレース場オブジェクト５０１へ近づいたり遠ざかったりしうる。また、ユーザがユーザ端末１０を持ったままディスプレイ１３２の奥行方向へ移動した場合や、手前方向に移動した場合も、撮像部１７０の視点位置がレース場オブジェクト５０１へ近づいたり遠ざかったりしうる。また、ユーザがディスプレイ１３２上の所定の位置を指定するような操作をした場合、視点位置が指定された位置へと移動しうる。このような視点変更によって、上述の視認性の問題は解消しうる。

また、平坦面とレース場オブジェクト５０１を構成する底面とのなす角度θが鋭角になるようにレース場オブジェクト５０１を配置することによっても、視認性に関する上述の問題を軽減しうる。

図６のフローチャートの説明に戻る。ステップＳ６４０において、制御部１９０は、現実世界のボートレース場４０１におけるボート４０２ａ～４０２ｆの位置情報を取得する。すなわち、現実世界においてボート４０２ａ～４０２ｆによるレースが開始された場合、制御部１９０は、第１サーバ装置２０から、ボート４０２ａ～４０２ｆの位置情報及び時間情報を取得する。位置情報及び時間情報の取得方法は、図４を用いて説明したとおりである。

ステップＳ６５０において、制御部１９０は、ステップＳ６４０において取得した位置情報と移動オブジェクトとが連動するよう制御する。具体的には、時間情報と位置情報とを用いて、レース場オブジェクト５０１上におけるボート４０２ａ～４０２ｆそれぞれの動きが、ボートレース場４０１上における移動オブジェクト５０２ａ～５０２ｆと同様になるように制御する。

ステップＳ６４０及びＳ６５０の処理は、少なくとも現実世界におけるレースの開始時点から終了時点まで繰り返されるが、現実世界におけるレースの開始前及び終了後においても繰り返されてもよい。

なお、仮想レースとして表示するレースが過去のレースである場合、仮想レースの開始前に、レースの開始から終了までのボート４０２ａ～４０２ｆの位置情報等をまとめて取得してもよい。また、位置情報等は取得せずに、レースタイム情報のみを取得して、仮想レースを表示してもよい。仮想レースとして表示するレースは、展示レースであってもよい。

現実世界におけるレースの終了後、アプリケーションプログラム１５１を終了する操作入力を受け付けたこと等に応じて、一連の表示制御処理を終了する。

図９は、音声制御に関する処理の一例を示すフローチャートである。図９に示す各処理は、図６に示す各処理のいずれかの前後に実行又は図６に示す各処理のいずれかと並列的に実行されうる。

まず、ステップＳ９０１Ａにおいて、ユーザ端末１０Ａの制御部１９０は、ユーザの操作入力に基づいて、アプリケーションプログラム１５１を起動する。

次に、ステップＳ９０２Ａにおいて、ユーザ端末１０Ａの制御部１９０は、音声ライブモードの選択を受け付ける。ステップＳ９０２Ａは、例えば、ユーザが音声ライブモードを開始するための仮想ボタンをタップする等の操作入力をしたことに応じて実行されうる。なお、「音声ライブモード」とは、レース関連音声情報のうちの１以上をユーザ端末１０Ａにおいて出力可能とするモードである。

次に、ステップＳ９０３Ａにおいて、ユーザ端末１０Ａの制御部１９０は、ディスプレイ１３２上にユーザＡのアバターを表示する。なお、アバターとは、ユーザに対応するユーザ画像である。アバターの容姿や服装等は、例えば、予めユーザによって選択可能でありうる。アバターは、２次元モデルでも３次元モデルでもよい。アバターは、所定のキャラクタの一部（例えば、顔部）を表す画像であってもよい。

次に、ステップＳ９０４Ａにおいて、ユーザ端末１０Ａの制御部１９０は、ユーザＡが発した音声をマイク１６１ユーザ音声情報として取得する。次に、ステップＳ９０５Ａにおいて、ユーザ端末１０Ａの制御部１９０は、ユーザＡのユーザ音声情報を第１サーバ装置２０へ送信する。ステップＳ９０５Ａが実行されたことに応じて、ステップＳ９０６において、第１サーバ装置２０の制御部２９０は、ユーザＡのユーザ音声情報を受信し、取得する。

ユーザＢのユーザ端末１０Ｂにおいても、ステップＳ９０１Ｂ～ステップＳ９０５Ｂの各処理が実行される。ステップＳ９０１Ｂ～ステップＳ９０５Ｂは、それぞれ、ステップＳ９０１Ａ～ステップＳ９０５Ａと同様の処理である。ステップＳ９０５Ｂが実行されたことに応じて、ステップＳ９０６において、第１サーバ装置２０の制御部２９０は、ユーザＢのユーザ音声情報を受信し、取得する。なお、その他のユーザ端末１０においても、ユーザ端末１０Ａ，１０Ｂと同様の処理がされうる。

また、ステップＳ９０４Ｃにおいて、コンピュータ装置Ｃの制御部は、レースを実況する実況者の音声情報である実況音声情報を取得する。次に、ステップＳ９０５Ｃにおいて、コンピュータ装置Ｃの制御部は、実況音声情報を第１サーバ装置２０へ送信する。ステップＳ９０５Ｃが実行されたことに応じて、ステップＳ９０６において、第１サーバ装置２０の制御部２９０は、実況音声情報を受信し、取得する。

コンピュータ装置Ｃとしては、集音機能を備えているものであれば、特に制限はされない。コンピュータ装置Ｃは、第２サーバ装置４０であってもよい。コンピュータ装置Ｃは、第１情報を第１サーバ装置２０へ送信するサーバ装置と同一であってもよいし、異なるサーバ装置であってもよい。

また、ステップＳ９０４Ｄにおいて、コンピュータ装置Ｄの制御部は、現実世界のレース場で集音された現場音の音声から現場音情報を取得する。次に、ステップＳ９０５Ｄにおいて、コンピュータ装置Ｄの制御部は、現場音情報を第１サーバ装置２０へ送信する。ステップＳ９０５Ｄが実行されたことに応じて、ステップＳ９０６において、第１サーバ装置２０の制御部２９０は、現場音情報を受信し、取得する。

コンピュータ装置Ｄとしては、集音機能を備えているものであれば、特に制限はされない。コンピュータ装置Ｄは、第２サーバ装置４０であってもよい。コンピュータ装置Ｄは、第１情報を第１サーバ装置２０へ送信するサーバ装置と同一であってもよいし、異なるサーバ装置であってもよい。

ステップＳ９０６にて取得された各音声情報は、レース関連音声情報として記憶される。なお、本実施形態では、ユーザ音声情報、実況音声情報、及び現場音情報の３種が取得される例を挙げているが、ステップＳ９０６で取得されるものは上記３種のうちのいずれか１以上であればよい。

次に、ステップＳ９０７において、制御部２９０は、各ユーザ端末１０に送信するレース関連音声情報を選出する。ステップＳ９０７では、例えば、各ユーザ端末１０からの要求に応じて、ユーザ音声情報（他ユーザ音声情報を含む）、実況音声情報、及び現場音情報のうちから１以上の音声情報を選出する。

具体的には、ユーザ端末１０Ａにおいて、仮想レースの表示とともにユーザ音声情報を出力するように設定されている場合、ステップＳ９０７では、ユーザ端末１０Ａに送信するレース関連音声情報として、上記仮想レースを表示しているユーザ端末１０から取得したユーザ音声情報が選出される。また、ユーザ端末１０Ｂにおいて、仮想レースの表示とともに実況音声情報及び現場音情報を出力するように設定されている場合、ステップＳ９０７では、ユーザ端末１０Ｂに送信するレース関連音声情報として、上記仮想レースに対応する実況音声情報及び現場音情報が選出される。なお、各ユーザ端末１０においてどのレース関連音声情報を出力するかは、各ユーザが設定可能であることが好ましい。

また、ステップＳ９０７において、ユーザ音声情報が選出される場合、制御部２９０は、さらに、所定の選出基準に基づいて、複数の他ユーザ音声情報のうちから１以上の他ユーザ音声情報を選出してもよい。選出基準は、例えば、図１０に示すようなデータテーブルから取得される的中率、回収率、及びフォロー関係のうちの１以上である。

図１０は、本実施形態に係るデータテーブルの一例である。図１０の（ａ）に示すデータテーブル１００１は、各ユーザの的中率や回収率を示すものである。データテーブル１００１において、的中率（％）は、「（的中レース数／購入レース数）×１００」で算出される値であり、回収率（％）は、「（回収金額／購入金額）×１００」で算出される値である。

選出基準が的中率及び／又は回収率である場合、例えば、所定期間における的中率及び／又は回収率が上位のユーザのユーザ音声情報が優先的に他ユーザ音声情報として選出される。図１０の（ａ）の例において、的中率が選出基準である場合の優先順位は、ユーザ００１、ユーザ００３、ユーザ００２の順である。また、回収率が選出基準である場合の優先順位は、ユーザ００２、ユーザ００１、ユーザ００３の順である。

また、ステップＳ９０７では、例えば、的中率及び／又は回収率が所定の閾値以上であるユーザのユーザ音声情報のみを選出してもよい。例えば、的中率の閾値を８０％とした場合、ステップＳ９０７において選出される他ユーザ音声情報は、ユーザ００１の音声情報のみである。

図１０の（ｂ）に示すデータテーブル１００２は、各ユーザのフォロー相手を示すものである。データテーブル１００２の例では、ユーザ００１は、少なくともユーザ００２～００４をフォロー相手として設定している。選出基準がユーザ間のフォロー関係である場合、ステップＳ９０７において、ユーザ００１のユーザ端末１０では、ユーザ００２～００４のユーザ音声情報が他ユーザ音声情報として選出される。

なお、ユーザ００１とユーザ００２とは、双方向的にフォローし合っている関係性である。一方で、ユーザ００１とユーザ００３とは、ユーザ００１がユーザ００３を一方的にフォローしている関係性である。ステップＳ９０７では、さらに、このようなフォロー関係の種類に基づいて、選出の際の優先順位をつけてもよい。

また、ステップＳ９０７では、ユーザ間のフォロー関係に代えて又は加えて、アプリケーションプログラム１５１を介したユーザ間の交流に応じて上昇する親密度に基づいて、選出の際の優先順位をつけてもよい。

また、ステップＳ９０７では、各レース関連音声情報に含まれる取得時間情報を選出基準の１つとしてもよい。具体的には、ステップＳ９０７では、取得時間情報が示す時間が、現在の時間から所定の時間以内のものを優先的に選出してもよい。

図９のフローチャートの説明に戻る。ステップＳ９０８において、制御部２９０は、各ユーザ端末１０に対して、各ユーザ端末１０への送信内容として選出されたレース関連音声情報を送信する。ステップＳ９０８における送信内容は、ユーザ端末１０毎に異なりうる。

ユーザ端末１０Ａに対してステップＳ９０８が実行されたことに応じて、ステップＳ９０９Ａにおいて、ユーザ端末１０Ａの制御部２９０は、第１サーバ装置２０から送信されたレース関連音声情報を受信し、取得する。

次に、ステップＳ９１０Ａにおいて、ユーザ端末１０Ａの制御部２９０は、ステップＳ９０９Ａにおいて取得したレース関連音声情報をアプリケーションプログラム１５１上に反映させる。具体的には、ステップＳ９１０Ａにおいて、ユーザ端末１０Ａの制御部２９０は、レース関連音声情報に基づいて音声を出力する。また、ステップＳ９１０Ａでは、出力される音声に対応するテキスト情報をディスプレイ１３２上に表示してもよい。

ステップＳ９０３Ａ～ステップＳ９１０Ａの各処理は、仮想レースの表示中において繰り返される。ユーザ端末１０Ａの制御部２９０は、音声ライブモード又はアプリケーションプログラム１５１を終了する操作入力を受け付けたこと等に応じて、一連の音声制御処理を終了する。

また、ユーザ端末１０Ｂに対してステップＳ９０８が実行されたことに応じて、ユーザＢのユーザ端末１０Ｂにおいても、ステップＳ９０９Ｂ及びＳ９１０Ｂの各処理が実行される。ステップＳ９０９Ｂ及びＳ９１０Ｂは、それぞれ、ステップＳ９０９Ａ～ステップＳ９１０Ａと同様の処理である。ただし、ステップＳ９０９Ｂにおいて取得されるレース関連音声情報は、ステップＳ９０９Ａにおいて取得されるものとは異なりうる。

図１１は、本実施形態に係る表示画面の一例を示す模式図である。図１１は、例えば、ステップＳ９１０Ａにおいてユーザ端末１０Ａのディスプレイ１３２に表示される表示画面である。なお、図１１は、ステップＳ９０９Ａにおいて、ユーザＡの音声に基づくユーザ音声情報と、ユーザＡとは異なる他ユーザの他ユーザ音声情報を受信した場合の例である。

図１１の例において、ディスプレイ１３２上では、移動オブジェクト５０２ａ～５０２ｅを用いた仮想レースが表示されている。移動オブジェクト５０２ｃは、例えば、ユーザＡが賭けている移動体であり、その上部に枠番号を表示されている。

また、ディスプレイ１３２には、仮想レースの表示とともに、モード表示欄１１０１、テキスト表示ボタン１１０２、音声出力ボタン１１０３、及びテキスト欄１１１０が表示されている。

モード表示欄１１０１は、音声ライブモードが選択されていることを表示する欄である。ユーザが音声ライブモードを解除する操作入力をした場合、モード表示欄１１０１にその旨が表示される、又は、モード表示欄１１０１は非表示になる。

また、モード表示欄１１０１には、その仮想レースを同時に観戦しているユーザの人数が表示される。これにより、ユーザは、その仮想レースを観戦している人数を把握できるため、例えば、多数のユーザが観戦していて大きな盛り上がりが生じる可能性の高いレースを選択して観戦することが可能になる。なお、仮想レースの観戦者数に代えて又は加えて、その仮想レースにおいて音声ライブモードを選択しているユーザ数を表示してもよい。

テキスト表示ボタン１１０２は、テキスト欄１１１０の表示／非表示を切り替えるためのボタンである。音声出力ボタン１１０３は、レース関連音声情報に基づく音声出力のオン／オフを切り替えるボタンである。テキスト表示ボタン１１０２が表示状態で、音声出力ボタンがオフ状態である場合、レース関連音声情報に基づく音声は出力されずに、レース関連音声情報に基づくテキスト情報のみが表示されることになる。

テキスト欄１１１０には、ユーザＡのアバター１１１１、ユーザＡのユーザ音声情報に基づいて作成されたユーザテキスト欄１１１２、他ユーザの他ユーザ音声情報に基づいて作成された他ユーザテキスト欄１１１３ａ～１１１３ｄ（以下、まとめて「他ユーザテキスト欄１１１３」とも称する）が表示されている。

アバター１１１１は、ユーザＡが自己の画像として設定しているユーザ画像である。ステップＳ９０４ＡにてユーザＡが「３ 差してきた！！」と発声していた場合、ステップＳ９１０Ａでは、「３ 差してきた！！」という音声が出力される。また、その音声出力とあわせて、アバター１１１１の近傍のユーザテキスト欄１１１２には、上記音声内容に対応するテキスト情報に基づくテキストが表示される。

他ユーザテキスト欄１１１３には、ステップＳ９０７において選出された他ユーザ音声情報に対応するテキスト情報に基づくテキストが表示される。図１１の例では、ユーザ名「ＵＳＥＲ１０９」のユーザ音声情報に基づいて「がんばれ！！」という音声出力がされ、その音声出力に対応するテキストが他ユーザテキスト欄１１１３ａに表示される。

他ユーザテキスト欄１１１３には、例えば、音声出力がされた順に時系列に沿ってテキストが表示される。すなわち、他ユーザテキスト欄１１１３には、それぞれの他ユーザ音声情報に含まれる取得時間情報が示す取得時間が新しいものが表示され、古いものから順に消去されうる。なお、ユーザテキスト欄１１１２についても同様である。

他ユーザテキスト欄１１１３には、他ユーザがその他ユーザの画像として設定している他ユーザ画像を表示し、その近傍に該他ユーザのテキスト情報に基づくテキストを表示してもよい。その他、テキスト欄１１１０には、従来のチャットやメッセージアプリ等で採用されている構成を適用してもよい。

図１２は、本実施形態に係る表示画面の一例を示す模式図である。図１２は、例えば、ステップＳ９１０Ｂにおいてユーザ端末１０Ｂのディスプレイ１３２に表示される表示画面である。なお、図１２は、ステップＳ９０９Ｂにおいて、実況音声情報及び現場音情報を受信した場合の例である。

図１２の例において、ディスプレイ１３２上では、図１１の例と同様の仮想レースが表示されている。ただし、図１２の例は、仮想レースの視点が図１１の例とは異なる。

図１２の例において、ディスプレイ１３２には、モード表示欄１１０１、実況者画像１２０１、実況テキスト欄１２０２、及び現場音テキスト欄１２０３が表示されている。

実況者画像１２０１は、仮想レースに対応する現実のレースを実況している実況者の画像である。実況者画像１２０１に表示されるものは、静止画であっても動画であってもよい。なお、ステップＳ９０４Ｃでは、実況者画像１２０１に示される実況者の実況音声から実況音声情報が生成される。また、ステップＳ９１０Ｂでは、ユーザ端末１０Ｂから、実況音声情報に基づく実況音声が出力される。

実況テキスト欄１２０２は、実況音声情報に対応するテキスト情報に基づくテキストが表示される。実況テキスト欄１２０２におけるテキスト表示は、実況音声の出力にあわせて実行される。

現場音テキスト欄１２０３は、現場音情報に対応するテキスト情報に基づくテキストが表示される。現場音テキスト欄１２０３におけるテキスト表示は、現場音の出力にあわせて実行される。

実況テキスト欄１２０２及び現場音テキスト欄１２０３は、例えば、音声出力がされた順に時系列に沿ってテキストが表示され、古いものから順に消去されていく。また、実況テキスト欄１２０２及び現場音テキスト欄１２０３は、ユーザの操作入力に応じて、表示／非表示を切り替え可能であることが好ましい。また、図１２の例において、さらに、図１１で示したようなテキスト欄１１１０を表示してもよい。

上記の実施形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

仮想レースとして表示するレースが過去のレースである場合であっても、仮想レースにおける各移動オブジェクトの位置情報に対応する時間情報と、各レース関連音声情報に含まれる取得時間情報とに基づいて、過去のレースを仮想的に表示しつつ、適切なレース関連音声情報に基づく音声出力が可能である。

また、本開示における音声出力は、レース開始の前後において実行してもよい。例えば、レース開始前後であっても、そのレースのレース場を仮想的に表示しているユーザのユーザ端末に対して、ユーザ音声情報（他ユーザ音声情報を含む）、実況（実況者による各種の解説）音声情報、及び現場音情報のうちのいずれか１以上を提供し、それぞれの音声情報に基づく音声出力等を実行してもよい。

［付記事項］
本開示の内容を列記すると以下の通りである。

（項目１）
プロセッサ及び撮像部を備えた第１コンピュータにおいて実行されるプログラムであって、
前記プログラムは、前記プロセッサに、
現実世界における所定のレースに関する第１情報を第２コンピュータから受信するステップと、
前記第１情報に基づいて、レース場を表すレース場オブジェクトと、前記所定のレースの出場者又は移動体を表す移動オブジェクトと、を含む仮想オブジェクトを生成するステップと、
前記撮像部により撮像された前記第１コンピュータの周囲の現実画像に、前記仮想オブジェクトを重畳させて表示するステップと、
前記所定のレースに関連する音声情報を前記第２コンピュータから受信し、該音声情報に基づいて音声を出力するステップと、を実行させ、
前記第１情報として、前記所定のレースの実施中における前記出場者又は前記移動体の位置情報と、前記位置情報に対応する時間情報と、を含み、
前記表示するステップでは、前記第１情報に基づいて、前記レース場オブジェクト上において前記移動オブジェクトを移動させ、前記所定のレースを仮想的に表示し、
前記出力するステップでは、前記表示するステップにおける前記所定のレースの仮想的な表示とともに、前記音声を出力する、
プログラム。
これにより、レースに関連する音声によって仮想レースの観戦を盛り上げることができる。

（項目２）
前記プロセッサに、さらに、
前記表示するステップの実行中にユーザが発した音声からユーザ音声情報を生成し、該ユーザ音声情報を前記第２コンピュータに送信するステップを実行させ、
前記音声情報には、前記ユーザ音声情報、及び／又は、前記ユーザとは異なる他のユーザの第１コンピュータから前記第２コンピュータに送信された前記他のユーザのユーザ音声情報である他ユーザ音声情報が含まれる、
項目１に記載のプログラム。
これにより、仮想レースを観戦中に発せられた自己の音声、及び／又は、他ユーザの音声がユーザ端末から出力されることになるため、仮想レースの観戦を効果的に盛り上げることができる。

（項目３）
前記音声情報には、前記他ユーザ音声情報が少なくとも含まれ、
前記出力するステップでは、複数の他ユーザ音声情報のうちから所定の選出基準に基づいて選出された１以上の他ユーザ音声情報を出力し、
前記所定の選出基準は、前記ユーザと前記他ユーザとの関係性、及び前記他ユーザの所定期間における的中率又は回収率、のうちの１以上に基づくものである、
項目２に記載のプログラム。
これにより、複数の他ユーザ音声情報のうちから、そのユーザにとって有用であると思われる他ユーザ音声情報を選出することができるため、ユーザの満足度を高めることができる。

（項目４）
前記関係性は、ユーザ間のフォロー関係であり、
前記出力するステップでは、複数の他ユーザ音声情報のうちから前記ユーザがフォローしている１以上の他ユーザの他ユーザ音声情報に基づいて音声を出力する、
項目３に記載のプログラム。
これにより、ユーザとフォロー関係にある他ユーザと一緒にレースを観戦しているような臨場感をユーザに与えることができるため、仮想レースの観戦をより効果的に盛り上げることができる。

（項目５）
前記表示するステップでは、さらに、前記ユーザに対応するユーザ画像、及び／又は、前記他のユーザに対応する他ユーザ画像を表示し、
前記表示するステップでは、さらに、前記ユーザ画像の近傍に前記ユーザ音声情報に基づいて作成されるテキスト情報を表示する、及び／又は、前記他ユーザ画像の近傍に前記他ユーザ音声情報に基づいて作成されるテキスト情報を表示する、
項目２から項目４のいずれか一項に記載のプログラム。
これにより、音声が聞き取れなかった場合でも音声の内容を確認可能になり、ユーザの満足度を高めることができる。また、仮想レースの観戦中に発した音声によってチャットや実況をしているかのような感覚をユーザに与えることができ、仮想レースの観戦をより効果的に盛り上げることができる。

（項目６）
前記音声情報には、前記所定のレースの実況音声から生成される実況音声情報が含まれる、
項目１から項目５のいずれか一項に記載のプログラム。
これにより、仮想レースの観戦中のユーザに、実際のレースの中継をテレビ等で見ているような感覚を与えることができ、仮想レースの観戦をより効果的に盛り上げることができる。

（項目７）
前記表示するステップでは、さらに、前記実況音声情報に基づいて作成されるテキスト情報を表示する、
項目６に記載のプログラム。
これにより、実況音声が聞き取れなかった場合でも実況音声の内容を確認可能になり、ユーザの満足度を高めることができる。

（項目８）
前記音声情報には、前記所定のレースが実施される現実世界のレース場で集音された現場音から生成される現場音情報が含まれる、
項目１から項目７のいずれか一項に記載のプログラム。
これにより、まるで実際のレース場にいるかのような臨場感をユーザに与えることができ、仮想レースの観戦をより効果的に盛り上げることができる。

（項目９）
プロセッサ及び撮像部を備えた第１コンピュータにおいて実行される情報処理方法であって、
前記情報処理方法は、前記プロセッサに、
現実世界における所定のレースに関する第１情報を第２コンピュータから受信するステップと、
前記第１情報に基づいて、レース場を表すレース場オブジェクトと、前記所定のレースの出場者又は移動体を表す移動オブジェクトと、を含む仮想オブジェクトを生成するステップと、
前記撮像部により撮像された前記第１コンピュータの周囲の現実画像に、前記仮想オブジェクトを重畳させて表示するステップと、
前記所定のレースに関連する音声情報を前記第２コンピュータから受信し、該音声情報に基づいて音声を出力するステップと、を実行させることを含み、
前記第１情報として、前記所定のレースの実施中における前記出場者又は前記移動体の位置情報と、前記位置情報に対応する時間情報と、を含み、
前記表示するステップでは、前記第１情報に基づいて、前記レース場オブジェクト上において前記移動オブジェクトを移動させ、前記所定のレースを仮想的に表示し、
前記出力するステップでは、前記表示するステップにおける前記所定のレースの仮想的な表示とともに、前記音声を出力する、
情報処理方法。
これにより、レースに関連する音声によって仮想レースの観戦を盛り上げることができる。

（項目１０）
プロセッサ及び撮像部を備えた情報処理装置であって、
前記プロセッサは、
現実世界における所定のレースに関する第１情報を第２コンピュータから受信し、
前記第１情報に基づいて、レース場を表すレース場オブジェクトと、前記所定のレースの出場者又は移動体を表す移動オブジェクトと、を含む仮想オブジェクトを生成し、
前記撮像部により撮像された前記第１コンピュータの周囲の現実画像に、前記仮想オブジェクトを重畳させて表示し、
前記所定のレースに関連する音声情報を前記第２コンピュータから受信し、該音声情報に基づいて音声を出力するものであり、
前記第１情報として、前記所定のレースの実施中における前記出場者又は前記移動体の位置情報と、前記位置情報に対応する時間情報と、を含み、
前記重畳させて表示することは、前記第１情報に基づいて、前記レース場オブジェクト上において前記移動オブジェクトを移動させ、前記所定のレースを仮想的に表示することを含み、
前記音声を出力することは、前記所定のレースの仮想的な表示とともに、前記音声を出力することを含む、
情報処理装置。
これにより、レースに関連する音声によって仮想レースの観戦を盛り上げることができる。

（項目１１）
第１プロセッサ及び撮像装置を備える第１コンピュータと、第２プロセッサを備え、前記第１コンピュータと通信接続可能な第２コンピュータと、を含むシステムであって、
前記第２プロセッサは、
現実世界における所定のレースに関する第１情報を取得し、
前記所定のレースに関連する音声情報を取得し、
前記第１情報及び前記音声情報を第１コンピュータへ送信し、
前記第１プロセッサは、
前記第１情報を前記第２コンピュータから受信し、
前記第１情報に基づいて、レース場を表すレース場オブジェクトと、前記所定のレースの出場者又は移動体を表す移動オブジェクトと、を含む仮想オブジェクトを生成し、
前記撮像装置により撮像された前記第１コンピュータの周囲の現実画像に、前記仮想オブジェクトを重畳させて表示し、
前記音声情報を前記第２コンピュータから受信し、該音声情報に基づいて音声を出力するものであり、
前記第１情報には、前記所定のレースの実施中における前記出場者又は前記移動体の位置情報と、前記位置情報に対応する時間情報と、が含まれ、
前記重畳させて表示することは、前記第１情報に基づいて、前記レース場オブジェクト上において前記移動オブジェクトを移動させ、前記所定のレースを仮想的に表示することを含み、
前記音声を出力することは、前記所定のレースの仮想的な表示とともに、前記音声を出力することを含む、
システム。
これにより、レースに関連する音声によって仮想レースの観戦を盛り上げることができる。

１：システム、１０：ユーザ端末、２０：第１サーバ装置、３０：ネットワーク、４０：第２サーバ装置、１３０：タッチスクリーン、１５０：（ユーザ端末の）記憶部、１９０：（ユーザ端末の）制御部、２５０：（第１サーバ装置の）記憶部、２９０：（第１サーバ装置の）制御部

Claims (8)

1. コンピュータにおいて実行されるプログラムであって、
   前記プログラムは、前記コンピュータを、
   現実世界における所定のレースに関する第１情報を受信する受信手段と、
   前記第１情報に基づいて、レース場を表すレース場オブジェクトと、前記所定のレースの出場者又は移動体を表す移動オブジェクトと、を含む仮想オブジェクトを生成する生成手段と、
   前記仮想オブジェクトを含む画像を表示する表示手段と、
   前記所定のレースに関連する音声情報を受信し、該音声情報に基づいて音声を出力する出力手段と、
   ユーザが発した音声からユーザ音声情報を生成し、該ユーザ音声情報を第２コンピュータに送信する送信手段、として機能させ、
   前記第１情報として、前記出場者又は前記移動体の位置情報と、前記位置情報に対応する時間情報と、を含み、
   前記表示手段は、前記第１情報に基づいて、前記レース場オブジェクト上において前記移動オブジェクトを移動させ、前記所定のレースを仮想的に表示し、
   前記出力手段は、前記所定のレースの仮想的な表示とともに、前記音声を出力し、
   前記音声情報には、前記ユーザとは異なる他のユーザのユーザ音声情報である他ユーザ音声情報が少なくとも含まれ、
   前記出力手段は、複数の他ユーザ音声情報のうちから所定の選出基準に基づいて選出された１以上の他ユーザ音声情報に基づいて音声を出力し、
   前記所定の選出基準は、前記ユーザと前記他のユーザとの関係性に基づくものである、
   プログラム。
2. 前記関係性は、ユーザ間のフォロー関係であり、
   前記出力手段は、複数の他ユーザ音声情報のうちから前記ユーザがフォローしている１以上の他のユーザの他ユーザ音声情報に基づいて音声を出力する、
   請求項１に記載のプログラム。
3. 前記表示手段は、さらに、前記ユーザに対応するユーザ画像、及び／又は、前記他のユーザに対応する他ユーザ画像を表示し、
   前記表示手段は、さらに、前記ユーザ画像とともに前記ユーザ音声情報に基づいて作成されるテキスト情報を表示する、及び／又は、前記他ユーザ画像とともに前記他ユーザ音声情報に基づいて作成されるテキスト情報を表示する、
   請求項１または請求項２に記載のプログラム。
4. 前記音声情報には、前記所定のレースの実況音声から生成される実況音声情報が含まれる、
   請求項１から請求項３のいずれか一項に記載のプログラム。
5. 前記表示手段は、さらに、前記実況音声情報に基づいて作成されるテキスト情報を表示する、
   請求項４に記載のプログラム。
6. 前記音声情報には、前記所定のレースが実施される現実世界のレース場で集音された現場音から生成される現場音情報が含まれる、
   請求項１から請求項５のいずれか一項に記載のプログラム。
7. プロセッサを備えた情報処理装置であって、
   前記プロセッサは、
   現実世界における所定のレースに関する第１情報を受信し、
   前記第１情報に基づいて、レース場を表すレース場オブジェクトと、前記所定のレースの出場者又は移動体を表す移動オブジェクトと、を含む仮想オブジェクトを生成し、
   前記仮想オブジェクトを含む画像を表示し、
   前記所定のレースに関連する音声情報を受信し、該音声情報に基づいて音声を出力し、
   ユーザが発した音声からユーザ音声情報を生成し、該ユーザ音声情報を第２情報処理装置に送信するものであり、
   前記第１情報として、前記出場者又は前記移動体の位置情報と、前記位置情報に対応する時間情報と、を含み、
   前記画像を表示することは、前記第１情報に基づいて、前記レース場オブジェクト上において前記移動オブジェクトを移動させ、前記所定のレースを仮想的に表示することを含み、
   前記音声を出力することは、前記所定のレースの仮想的な表示とともに、前記音声を出力することを含み、
   前記音声情報には、前記ユーザとは異なる他のユーザのユーザ音声情報である他ユーザ音声情報が少なくとも含まれ、
   前記プロセッサは、さらに複数の他ユーザ音声情報のうちから所定の選出基準に基づいて選出された１以上の他ユーザ音声情報に基づいて音声を出力するものであり、
   前記所定の選出基準は、前記ユーザと前記他のユーザとの関係性に基づくものである、
   情報処理装置。
8. 第１プロセッサを備える第１コンピュータと、第２プロセッサを備え、前記第１コンピュータと通信接続可能な第２コンピュータと、を含むシステムであって、
   前記第２プロセッサは、
   現実世界における所定のレースに関する第１情報を取得し、
   前記所定のレースに関連する音声情報を取得し、
   前記第１情報及び前記音声情報を前記第１コンピュータへ送信し、
   前記第１プロセッサは、
   前記第１情報を前記第２コンピュータから受信し、
   前記第１情報に基づいて、レース場を表すレース場オブジェクトと、前記所定のレースの出場者又は移動体を表す移動オブジェクトと、を含む仮想オブジェクトを生成し、
   前記仮想オブジェクトを重畳させた画像を表示し、
   前記音声情報を前記第２コンピュータから受信し、該音声情報に基づいて音声を出力し、
   ユーザが発した音声からユーザ音声情報を生成し、該ユーザ音声情報を前記第２コンピュータに送信するものであり、
   前記第１情報には、前記出場者又は前記移動体の位置情報と、前記位置情報に対応する時間情報と、が含まれ、
   前記画像を表示することは、前記第１情報に基づいて、前記レース場オブジェクト上において前記移動オブジェクトを移動させ、前記所定のレースを仮想的に表示することを含み、
   前記音声を出力することは、前記所定のレースの仮想的な表示とともに、前記音声を出力することを含み、
   前記音声情報には、前記ユーザとは異なる他のユーザのユーザ音声情報である他ユーザ音声情報が少なくとも含まれ、
   前記第１プロセッサは、さらに複数の他ユーザ音声情報のうちから所定の選出基準に基づいて選出された１以上の他ユーザ音声情報に基づいて音声を出力するものであり、
   前記所定の選出基準は、前記ユーザと前記他のユーザとの関係性に基づくものである、
   システム。

Images