JP6184383B2 - ビデオゲーム処理プログラム、ビデオゲーム処置装置、及びビデオゲーム処理システム - Google Patents

Description

本発明の実施形態の少なくとも１つは、ユーザの操作に応じてビデオゲームの進行を制御する機能をサーバに実現させるためのビデオゲーム処理プログラム、ビデオゲーム処置装置、及びビデオゲーム処理システムに関する。

従来、ビデオゲームの分野では、聴覚障害者に配慮したシステムが種々提案されている。

このようなシステムには、聴覚障害者が健常者と一緒にビデオゲームをプレイするときに聴覚障害がデメリットにならないように、音声を文字として画面上に表示させること等が行われている。このようなものには、例えば、仮想空間における発音源が発する音に対応する字幕が表示されるものもある（特許文献１参照）。

特開２０１１−９２３０２号公報

しかし、従来のシステムでは、ビデオゲームのゲーム性が反映されにくい場合があるという課題があった。すなわち、例えば字幕では表現しきれない音をゲーム画面に反映させることが困難な場合があった。そのため、現在、よりゲーム性を反映させることが可能となる支援システムが求められている。

本発明の少なくとも１つの実施形態の目的は、上記課題を解決し、字幕表示とは異なる方法で聴覚障害者を支援することができるようにすることである。

非限定的な観点によると、本発明に係るビデオゲーム処理プログラムは、ユーザの操作に応じてビデオゲームの進行を制御する機能をサーバに実現させるためのビデオゲーム処理プログラムであって、前記サーバに、前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成機能と、前記出力音情報に基づいて前記端末に出力させる音を表す図形（以下「音図形」という。）に関する情報（以下「音図形情報」という。）を生成する音図形情報生成機能と、前記音図形の表示領域を含むゲーム画面に関する情報（以下「ゲーム画面情報」という。）を生成するゲーム画面情報生成機能とを実現させるためのものである。

非限定的な観点によると、本発明に係るビデオゲーム処理装置は、ユーザの操作に応じてビデオゲームの進行を制御するビデオゲーム処理装置であって、前記ビデオゲームの進行に応じて出力される音に関する情報（出力音情報）を生成する出力音情報生成手段と、前記出力音情報に基づいて出力される音を表す図形（音図形）の表示領域を含むゲーム画面を表示装置の表示画面に表示する表示手段とを含むことを特徴とする。

非限定的な観点によると、本発明に係るビデオゲーム処理システムは、通信ネットワークと、サーバと、ユーザ端末とを備え、ユーザの操作に応じてビデオゲームの進行を制御するビデオゲーム処理システムであって、前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（出力音情報）を生成する出力音情報生成手段と、前記出力音情報に基づいて前記端末に出力させる音を表す図形（音図形）に関する情報（音図形情報）を生成する音図形情報生成手段と、前記音図形の表示領域を含むゲーム画面に関する情報（ゲーム画面情報）を生成するゲーム画面情報生成手段とを含むことを特徴とする。

非限定的な観点によると、本発明に係るビデオゲーム処理プログラムは、ユーザの操作に応じてビデオゲームの進行を制御する機能をユーザ端末に実現させるためのビデオゲーム処理プログラムであって、前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（出力音情報）を生成する出力音情報生成機能と、前記出力音情報に基づいて前記端末に出力させる音を表す図形（音図形）に関する情報（音図形情報）を生成する音図形情報生成機能と、前記音図形の表示領域を含むゲーム画面に関する情報（ゲーム画面情報）を生成するゲーム画面情報生成機能とを有するサーバから前記ゲーム画面情報を受信する機能を前記ユーザ端末に実現させるためのものである。

本願の各実施形態により１または２以上の不足が解決される。

本発明の実施形態の少なくとも一つに対応するビデオゲーム処理システムの構成の例を示すブロック図である。 本発明の実施形態の少なくとも一つに対応するビデオゲーム処理サーバの構成を示すブロック図である。 本発明の実施形態の少なくとも一つに対応するゲーム処理の例を示すフローチャートである。 本発明の実施形態の少なくとも一つに対応するゲーム処理におけるサーバ側の動作の例を示すフローチャートである。 本発明の実施形態の少なくとも一つに対応するゲーム処理における端末側の動作の例を示すフローチャートである。 本発明の実施形態の少なくとも一つに対応するビデオゲーム処理サーバの構成を示すブロック図である。 本発明の実施形態の少なくとも一つに対応するゲーム処理の例を示すフローチャートである。 本発明の実施形態の少なくとも一つに対応するビデオゲーム処理サーバの構成を示すブロック図である。 本発明の実施形態の少なくとも一つに対応するゲーム処理の例を示すフローチャートである。 本発明の実施形態の少なくとも一つに対応するビデオゲーム処理サーバの構成を示すブロック図である。 本発明の実施形態の少なくとも一つに対応するゲーム処理の例を示すフローチャートである。 本発明の実施形態の少なくとも一つに対応するビデオゲーム処理サーバの構成を示すブロック図である。 本発明の実施形態の少なくとも一つに対応するゲーム処理の例を示すフローチャートである。 本発明の実施形態の少なくとも一つに対応するビデオゲーム処理サーバの構成を示すブロック図である。 本発明の実施形態の少なくとも一つに対応するゲーム画面の例を示す説明図である。 本発明の実施形態の少なくとも一つに対応する情報の格納状態の例について説明するための説明図である。 本発明の実施形態の少なくとも一つに対応するゲーム処理の例を示すフローチャートである。 本発明の実施形態の少なくとも一つに対応するゲーム画面の例を示す説明図である。

以下、本発明の実施形態の例について図面を参照して説明する。なお、以下で説明する各実施形態の例における各種構成要素は、矛盾等が生じない範囲で適宜組み合わせ可能である。また、ある実施形態の例として説明した内容については、他の実施形態においてその説明を省略している場合がある。また、各実施形態の特徴部分に関係しない動作や処理については、その内容を省略している場合がある。さらに、以下で説明する各種フローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。

［第１の実施の形態］
図１は、本発明の一実施の形態におけるビデオゲーム処理システム１００の構成の例を示すブロック図である。図１に示すように、ビデオゲーム処理システム１００は、ビデオゲーム処理サーバ１０と、ビデオゲームをプレイする複数のユーザ（プレイヤ）がそれぞれ使用するユーザ端末２０，２０１〜２０Ｎ（Ｎは任意の整数）とを含む。なお、ビデオゲーム処理システム１００の構成はこれに限定されず、単一のユーザ端末を複数のユーザが使用する構成としてもよいし、複数のサーバを備える構成としてもよい。

ビデオゲーム処理サーバ１０と複数のユーザ端末２０，２０１〜２０Ｎは、それぞれインターネットなどの通信ネットワーク３０に接続されている。なお、図示しないが、複数のユーザ端末２０，２０１〜２０Ｎは、通信業者によって管理される基地局と無線通信回線によるデータ通信を行うことによって、通信ネットワーク３０と接続する。

ビデオゲーム処理システム１００は、ビデオゲーム処理サーバ１０と複数のユーザ端末２０，２０１〜２０Ｎとを備えることにより、ユーザの操作に応じてビデオゲームの進行を制御するための各種機能を実現する。

ビデオゲーム処理サーバ１０は、ビデオゲーム処理システム１００の管理者によって管理され、複数のユーザ端末２０，２０１〜２０Ｎに対してビデオゲームに関する情報を提供するための各種の機能を有する。本例において、ビデオゲーム処理サーバ１０は、ＷＷＷサーバなどの情報処理装置によって構成され、各種情報を格納する記憶媒体を備える。なお、サーバ１０Ａは、制御部や通信部などビデオゲームを行うための一般的な構成を備えるが、ここでの説明は省略する。また、ビデオゲーム処理システム１００においては、複数のユーザ端末２０，２０１〜２０Ｎそれぞれにかかる処理負荷を軽減させるといった観点から、ビデオゲームに関する情報はビデオゲーム処理サーバ１０が管理することが好ましい。ただし、各種情報を記憶する記憶部は、サーバ１０がアクセス可能な状態で記憶領域を備えていればよく、例えば専用の記憶領域をサーバ１０の外部に有する構成とされていてもよい。

図２は、ビデオゲーム処理サーバ１０の構成の例であるビデオゲーム処理サーバ１０Ａ（サーバ１０Ａ）の構成を示すブロック図である。サーバ１０Ａは、出力音情報生成部１１と、音図形情報生成部１２と、ゲーム画面情報生成部１３とを少なくとも備える。

出力音情報生成部１１は、ビデオゲームの進行に応じてユーザが操作する端末に出力させる音に関する情報（出力音情報）を生成する機能を有する。

ここで、出力音情報とは、音に関連した情報であり、その構成は特に限定されない。出力音情報の例には、音楽や効果音を表す情報や、端末に記憶された音情報を指定するための情報がある。

音図形情報生成部１２は、出力音情報に基づいて端末に出力させる音を表す図形（音図形）に関する情報（音図形情報）を生成する機能を有する。

ここで、音図形とは、端末に出力させる音を表す図形を意味する。なお、音の表し方は特に限定されず、音の各種要素に応じた所定規則に従って生成される図形であればよい。音図形の例には、音の高低、方向、強さ、種類等を要素とする所定規則に従って描画し得る図形がある。より具体的な音図形の例には、各種要素を軸や線種、線色等により識別可能に表す波形がある。なお、音図形は２次元図形であってもよいし３次元図形であってもよい。

ゲーム画面情報生成部１３は、音図形の表示領域を含むゲーム画面に関する情報（ゲーム画面情報）を生成する機能を有する。

ここで、ゲーム画面情報は、ゲーム画面に関連した情報であれば特に限定されない。ゲーム画面情報の例には、ビデオゲームの進行に応じた画像（静止画または動画）を表す情報や、端末に記憶された画像情報を指定するための情報がある。

また、ゲーム画面における音図形の表示領域の位置や大きさ、ゲーム画面における範囲等は特に限定されず、ユーザが音図形を視認可能であればよい。音図形の表示領域の例には、最上位のレイヤ（例えば、全てのＵＩよりも上のレイヤ）がある。

複数のユーザ端末２０，２０１〜２０Ｎは、それぞれ、ビデオゲームを行うユーザ（プレイヤ）によって管理され、例えば携帯電話端末やＰＤＡ（Personal Digital Assistants）、携帯型ゲーム装置などのネットワーク配信型のゲームを行うことが可能な携帯通信端末によって構成される。複数のユーザ端末２０，２０１〜２０Ｎは、それぞれ、通信ネットワーク３０に接続し、ビデオゲーム処理サーバ１０との通信を行うことによりビデオゲームを実行するためのハードウェア（例えば、ゲーム画面を表示する表示装置や音声出力装置など）およびソフトウェアを備える。なお、複数のユーザ端末２０，２０１〜２０Ｎそれぞれは、ビデオゲーム処理サーバ１０を介さずに互いに直接通信を行うこともできる構成とされていてもよい。また、複数のユーザ端末２０，２０１〜２０Ｎそれぞれがユーザ操作を受け付けるための構成は特に限定されないが、操作性の高いものが好ましい。ユーザ操作を受け付けるための構成の例としては、タッチパネルや物理キーを介してユーザによる操作を受け付ける構成がある。

次に、本例のビデオゲーム処理システム１００（システム１００）の動作について説明する。

図３は、システム１００が実行するゲーム処理の例を示すフローチャートである。本例におけるゲーム処理では、ユーザの操作に応じてビデオゲームの進行を制御することに直接または間接的に関連する処理が行われる。以下、サーバ１０Ａとユーザ端末２０（端末２０）とがゲーム処理を実行する場合を例にして説明する。

ゲーム処理は、例えばビデオゲームの進行に応じて端末２０がユーザ操作を受け付ける状態になったことに応じて開始される。

端末２０は、ゲーム処理において、先ず、ユーザによる操作を受け付ける（ステップＳ１１）。本例において、端末２０は、ユーザによる操作の内容を示す情報（操作情報）を生成し、生成した操作情報をサーバ１０Ａに送信する。なお、操作情報が示す操作内容の例には、コントローラの操作ボタンや、タッチパネルに対するタッチ位置がある。

サーバ１０Ａは、端末２０から操作情報を受信すると、受信した操作情報に応じた出力音情報を生成する（ステップＳ１２）。本例において、サーバ１０Ａは、端末２０に対応するビデオゲームの状況と、受信した操作情報とに基づいて、出力音情報を生成する。

サーバ１０Ａは、出力音情報を生成すると、生成した出力音情報に対応する音図形情報を生成する（ステップＳ１３）。本例において、サーバ１０Ａは、所定規則に従って、生成した出力音情報に対応する音図形情報を生成する。

サーバ１０Ａは、音図形情報を生成すると、ゲーム画面情報を生成する（ステップＳ１４）。本例において、サーバ１０Ａは、端末２０に対応するビデオゲームの状況と、受信した操作情報と、生成した音図形情報とに基づいてゲーム画面情報を生成する。また、本例において、サーバ１０Ａは、生成した出力音情報およびゲーム画面情報を含む出力情報を生成し、生成した出力情報を端末２０に送信して、ここでの処理を終了する。なお、サーバ１０Ａが、生成した音図形情報を含む情報をゲーム画面情報として生成する構成としてもよい。

端末２０は、出力情報を受信すると、受信した出力情報に応じた出力を行う（ステップＳ１６）。

図４は、ゲーム処理におけるサーバ１０Ａ側の動作の例を示すフローチャートである。ここでは、ビデオゲーム処理システム１００におけるサーバ１０Ａの動作について改めて説明する。

サーバ１０Ａは、ゲーム処理において、端末２０から操作情報を受信し（ステップＳ１０１）、受信した操作情報に基づいて出力音情報を生成する（ステップＳ１０２）。

サーバ１０Ａは、出力音情報を生成すると、音図形情報を生成し（ステップＳ１０３）、ゲーム画面情報を生成し（ステップＳ１０４）、出力情報を生成する（ステップＳ１０５）。本例において、サーバ１０Ａは、生成した情報（出力音情報、音図形情報、ゲーム画面情報）を含む出力情報を生成し、生成した出力情報を端末２０に送信して（ステップＳ１０６）、ここでの処理を終了する。

図５は、ゲーム処理における端末２０側の動作の例を示すフローチャートである。ここでは、ビデオゲーム処理システム１００における端末２０の動作について改めて説明する。

端末２０は、ゲーム処理において、先ず、ゲーム画面を表示して（ステップＳ２０１）、ユーザによる操作を受け付けたか否かを判定する（ステップＳ２０２）。

ここで、操作を受け付けたと判定すると（ステップＳ２０２のＹ）、端末２０は、操作情報を生成し（ステップＳ２０３）、生成した操作情報をサーバ１０Ａに送信する（ステップＳ２０４）。

端末２０は、操作情報に対する返信としてサーバ１０Ａから出力情報を受信すると（ステップＳ２０５）、受信した出力情報に基づく各種出力を行い（ステップＳ２０６）、ここでの処理を終了する。

以上に説明したように、第１の実施形態の一側面として、ユーザの操作に応じてビデオゲームの進行を制御するビデオゲーム処理サーバ１０Ａが、出力音情報生成部１１と、音図形情報生成部１２と、ゲーム画面情報生成部１３とを備える構成としているので、ビデオゲームの進行に応じてユーザが操作する端末に出力させる音に関する情報を生成し、生成した情報に基づいて端末に出力させる音を表す図形に関する情報を生成し、音を表す図形の表示領域を含むゲーム画面に関する情報を生成し、字幕表示とは異なる方法で聴覚障害者を支援することができる。

すなわち、ビデオゲームの進行に応じて出力される音を特定し、特定した音を表す図形を生成して表示することができるので、聴覚障害者が音の発生や発生した音の特徴を把握することを支援することができる。

［第２の実施の形態］
図６は、ビデオゲーム処理サーバ１０の例であるビデオゲーム処理サーバ１０Ｂ（サーバ１０Ｂ）の構成を示すブロック図である。本例において、サーバ１０Ｂは、出力音情報生成部１１Ｂと、音図形情報生成部１２Ｂと、ゲーム画面情報生成部１３と、記憶部１４とを少なくとも備える。

記憶部１４は、ビデオゲームの進行に応じて出力され得る音と、当該音の属性と、色彩とを対応付けて記憶する機能を有する。

ここで、音の属性とは、音の属する性質や特徴を意味する。音と属性を対応付けて記憶するための構成は特に限定されず、サーバ１０Ｂが属性を識別可能な構成であればよい。音と属性を対応付けるための構成の例には、予め作成された属性の識別情報と、音を表す情報とを対応付けて管理する構成がある。また、属性の例には、ＢＧＭ、効果音、声、システム音、環境音、がある。

生成部１１Ｂは、記憶部１４を参照して属性を含む出力音情報を生成する機能を有する。すなわち、生成部１１Ｂは、出力される音の属性を示す識別情報を含む出力音情報を生成する。

音図形情報生成部１２Ｂは、属性に対応する色彩の音図形に関する情報を生成する機能を有する。

ここで、属性に対応する色彩の音図形とは、属性に対応付けされた色彩が、図形の少なくとも一部に付された音図形を意味する。なお、各属性には、単一色が対応付けされていてもよいし、複数の色が対応付けされていてもよい。

図７は、システム１００が実行するゲーム処理の例を示すフローチャートである。以下、サーバ１０Ｂと、端末２０の動作を例にして説明する。なお、サーバ１０Ｂと端末２０それぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。

サーバ１０Ｂは、端末２０から操作情報を受信すると、属性を含む出力音情報を生成する（ステップＳ２−１１）。本例において、サーバ１０Ｂは、記憶部１４を参照し、受信した操作情報に応じて出力すべき音と、当該音に対応する属性とを特定する。

サーバ１０Ｂは、出力音情報を生成すると、生成した出力音情報に含まれる属性に対応する色彩の音図形に関する情報（音図形情報）を生成する（ステップＳ２−１２）。本例において、サーバ１０Ｂは、出力音情報に含まれる属性毎に対応する音図形を表す音図形情報を生成する。すなわち、出力される音の属性が複数ある場合、複数または各属性に対応する部分を含む単一の音図形が生成される。

サーバ１０Ｂは、音図形情報を生成すると、ゲーム画面情報を生成し（ステップＳ１４）、ゲーム画面情報を含む出力情報を端末２０に送信してここでの処理を終了する。

以上に説明したように、第２の実施形態の一側面として、ビデオゲーム処理サーバ１０Ｂが、出力音情報生成部１１Ｂと、音図形情報生成部１２Ｂと、ゲーム画面情報生成部１３と、記憶部１４とを備える構成としているので、ビデオゲームの進行に応じて出力され得る音と、当該音の属性と、色彩とを対応付けて記憶する記憶部（あるいは、記憶部が記憶する情報）を参照して属性を含む出力音情報を生成し、属性に対応する色彩の音図形に関する情報を生成し、音の属性を色彩で識別し得るゲーム画面を生成することができる。

なお、上述した第２の実施形態の例では特に言及していないが、サーバ１０Ｂが、属性毎に音図形の透明度や色の濃淡を設定する構成としてもよい。

［第３の実施の形態］
図８は、ビデオゲーム処理サーバ１０の例であるビデオゲーム処理サーバ１０Ｃ（サーバ１０Ｃ）の構成を示すブロック図である。本例において、サーバ１０Ｃは、出力音情報生成部１１Ｃと、音図形情報生成部１２Ｂと、ゲーム画面情報生成部１３と、記憶部１４Ｃとを少なくとも備える。

記憶部１４Ｃは、音と、属性と、発生条件とを対応付けて記憶する機能を有する。

ここで、発生条件とは、音を発生する条件であり、その内容は特に限定されない。発生条件の例には、効果音やシステム音に対応する操作が入力されたことや、ＢＧＭに対応する状況にビデオゲームの状況が進行したことがある。

出力音情報生成部１１Ｃは、ビデオゲームの進行に応じて発生条件が満たされた音の属性を含む出力音情報を生成する機能を有する。

図９は、システム１００が実行するゲーム処理の例を示すフローチャートである。以下、サーバ１０Ｃと、端末２０の動作を例にして説明する。なお、サーバ１０Ｃと端末２０それぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。

サーバ１０Ｃは、端末２０から操作情報を受信すると、発生条件が満たされた音を特定する（ステップＳ３−１１）。本例において、サーバ１０Ｃは、記憶部１４Ｃを参照し、発生条件が満たされた音を特定する。

サーバ１０Ｃは、発生条件が満たされた音を特定すると、属性を含む出力音情報を生成し（ステップＳ２−１１）、音図形情報を生成し（ステップＳ２−１２）、ゲーム画面情報を生成し（ステップＳ１４）、出力情報を端末２０に送信してここでの処理を終了する。

以上に説明したように、第３の実施形態の一側面として、ビデオゲーム処理サーバ１０Ｃが、出力音情報生成部１１Ｃと、音図形情報生成部１２Ｂと、ゲーム画面情報生成部１３と、記憶部１４Ｃとを備える構成としているので、音と、属性と、発生条件とを対応付けて記憶し、ビデオゲームの進行に応じて発生条件が満たされた音の属性を含む出力音情報を生成し、効果音やシステム音など発生条件が満たされた際に出力される音の発生を識別し得るゲーム画面を生成することができる。

なお、上述した第３の実施形態の例では特に言及していないが、サーバ１０Ｃが、一度発生条件を満たした音については、所定の終了条件が満たされるまで音の発生を継続させる構成としてもよい。これにより、例えば一度発生条件を満たしたＢＧＭが再生している間、対応する音図形の表示を継続させることができる。

［第４の実施の形態］
図１０は、ビデオゲーム処理サーバ１０の例であるビデオゲーム処理サーバ１０Ｄ（サーバ１０Ｄ）の構成を示すブロック図である。本例において、サーバ１０Ｄは、出力音情報生成部１１Ｂと、音図形情報生成部１２Ｄと、ゲーム画面情報生成部１３と、記憶部１４Ｄとを少なくとも備える。

記憶部１４Ｄは、少なくとも２つ以上に分類された属性を記憶する機能を有する。なお、分類する基準は特に限定されない。以下、ビデオゲームに採用された属性の種類がＢＧＭ、効果音、声、システム音、および環境音であり、第１類を効果音とシステム音、第２類を環境音と声、第３類をＢＧＭと分類した場合を例にして説明する。

音図形情報生成部１２Ｄは、分類ごとの波形を含む音図形に関する情報を生成する機能を有する。

ここで、分類ごとの波形とは、予め分類された属性ごとに生成される波形を意味する。本例において、音図形情報生成部１２Ｄは、第１類に属する音の波形と、第２類に属する音の波形と、第２類に属する音の波形を生成する。なお、音の波形を生成するための構成（すなわち、音を可視化するための構成）についてはスペクトル解析を用いる公知の技術を用いるので、ここでの詳細な説明は省略する。

また、波形を含む音図形とは、波形自体であってもよいし、波形を一部の構成要素とする図形であってもよい。

図１１は、システム１００が実行するゲーム処理の例を示すフローチャートである。以下、サーバ１０Ｄと、端末２０の動作を例にして説明する。なお、サーバ１０Ｄと端末２０それぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。

サーバ１０Ｄは、属性を含む出力音情報を生成すると（ステップＳ２−１１）、属性の分類ごとの波形を含む音図形に関する情報を生成する（ステップＳ４−１１）。本例において、サーバ１０Ｄは、第１類、第２類、および第３類に属する音ごとの波形を含む音図形を端末に出力させるための情報を生成する。

サーバ１０Ｄは、音図形情報を生成すると、ゲーム画面情報を生成し（ステップＳ１４）、出力情報を端末２０に送信してここでの処理を終了する。

以上に説明したように、第４の実施形態の一側面として、ビデオゲーム処理サーバ１０Ｄが、出力音情報生成部１１Ｂと、音図形情報生成部１２Ｄと、ゲーム画面情報生成部１３と、記憶部１４Ｄとを備える構成としているので、少なくとも２つ以上に分類された属性を記憶し、分類ごとの波形を含む音図形に関する情報を生成し、属性ごとの音の発生を識別し得るゲーム画面を生成することができる。

また、上述した第４の実施の形態の例では、属性が、効果音を含む第１類と、環境音を含む第２類と、ＢＧＭを含む第３類とに分類された場合を例にして説明したが、属性の分類方法はこれに限定されない。また、属性の分類をユーザ設定可能な構成としてもよい。

なお、上述した第４の実施形態の例では特に言及していないが、サーバ１０Ｄが、３つに分類可能な属性を記憶し、属性の分類ごとの波形にＲＧＢの何れかを重複することなく彩色し、分類ごとの波形が同一軸上に配置されるゲーム画面に関する情報を生成する構成としてもよい。これにより、３つの波形を重畳表示する場合に重複部分に合成色を用いることで、他の色を用いる場合と比べて視認性を向上させることができる。

［第５の実施の形態］
図１２は、ビデオゲーム処理サーバ１０の例であるビデオゲーム処理サーバ１０Ｅ（サーバ１０Ｅ）の構成を示すブロック図である。本例において、サーバ１０Ｅは、出力音情報生成部１１Ｅと、音図形情報生成部１２と、ゲーム画面情報生成部１３Ｅと、制御部１５とを少なくとも備える。

制御部１５は、聴取位置を含む仮想空間におけるビデオゲームの進行を制御する機能を有する。

ここで、聴取位置とは、仮想空間で発生した音を聞き取る位置を意味する。すなわち、例えば仮想空間における音源と聴取位置との位置関係により出力される音が変化する場合がある。音に影響する位置関係の条件は特に限定されず、例えば距離や間の遮蔽物の有無がある。また、聴取位置となる位置の条件は特に限定されず、例えばビデオゲームのプレイヤが操作するキャラクタの位置や、仮想カメラの位置がある。なお、聴取位置が設定される仮想空間の次元数は特に限定されず、２次元であってもよいし３次元であってもよい。

出力音情報生成部１１Ｅは、聴取位置を基準として第１方向から聞こえる音と第２方向から聞こえる音とを端末２０に識別させるための識別情報を含む出力音情報を生成する機能を有する。ここで、第１方向と第２方向の例には、聴取位置を基準として右方向と左方向とがある。なお、音源から聴取位置までの音の伝播経路の導出方法については公知の技術を用いるのでここでの詳細な説明は省略する。

ゲーム画面情報生成部１３Ｅは、聴取位置または聴取位置からの視界を含み、かつ第１方向から聞こえる音の音図形と、第２方向から聞こえる音の音図形とがそれぞれ所定位置に表示されるゲーム画面に関する情報を生成する機能を有する。

ここで、聴取位置を含むゲーム画面の例には、ＴＰＳのゲーム画面がある。また、聴取位置から視界を含むゲーム画面の例には、ＦＰＳのゲーム画面がある。

また、ゲーム画面における音図形の表示位置は特に限定されないが、聴取方向との対応をビデオゲームのプレイヤが認識し得る位置であることが好ましい。本例において、ゲーム画面情報生成部１３Ｅは、聴取位置を基準として右側から聞こえる音の音図形が右側に、聴取位置を基準として左側から聞こえる音の音図形が左側に表示されるゲーム画面を表すゲーム画面情報を生成する場合を例にして説明する。

図１３は、システム１００が実行するゲーム処理の例を示すフローチャートである。以下、サーバ１０Ｅと、端末２０の動作を例にして説明する。なお、サーバ１０Ｅと端末２０それぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。

サーバ１０Ｅは、端末２０から操作情報を受信すると、受信した操作情報に基づいてビデオゲームの進行を制御する（ステップＳ５−１１）。

サーバ１０Ｅは、ビデオゲームの進行に応じて、聴取方向の識別情報を含む出力音情報を生成する（ステップＳ５−１２）。すなわち、例えば操作情報に応じて聴取位置が移動した場合、サーバ１０Ｅは、移動後の聴取位置において出力すべき音を示す出力音情報を生成する。

サーバ１０Ｅは、出力音情報を生成すると、生成した出力音情報に対応する音図形情報を生成し（ステップＳ１３）、聴取方向を反映したゲーム画面に関する情報を生成する（ステップＳ５−１３）。本例において、サーバ１０Ｅは、生成された出力音情報に含まれる識別情報を参照してゲーム画面に聴取方向を反映させる。そして、サーバ１０Ｅは、生成した出力音情報とゲーム画面情報出力情報とを含む出力音情報を端末２０に送信してここでの処理を終了する。

以上に説明したように、第５の実施形態の一側面として、ビデオゲーム処理サーバ１０Ｅが、出力音情報生成部１１Ｅと、音図形情報生成部１２と、ゲーム画面情報生成部１３Ｅと、制御部１５とを備える構成としているので、聴取位置を含む仮想空間におけるビデオゲームの進行を制御し、聴取位置を基準として右側から聞こえる音と左側から聞こえる音とを端末に識別させるための識別情報を含む出力音情報を生成し、聴取位置または聴取位置からの視界を含み、かつ右側から聞こえる音の音図形が右側に、左側から聞こえる音の音図形が左側に表示されるゲーム画面に関する情報を生成し、プレイヤが直観的に音の発生方向を認識し得るゲーム画面を生成することができる。

［第６の実施の形態］
図１４は、ビデオゲーム処理サーバ１０の例であるビデオゲーム処理サーバ１０Ｆ（サーバ１０Ｆ）の構成を示すブロック図である。本例において、サーバ１０Ｆは、出力音情報生成部１１Ｆと、音図形情報生成部１２Ｆと、ゲーム画面情報生成部１３と、記憶部１４Ｆと、更新部１６とを少なくとも備える。

音図形情報生成部１２Ｆは、ゲーム画面の端部の少なくとも一部を音の周波数を表す軸とし、当該端から当該ゲーム画面中方に向かう方向を音の強さを表す方向とする音図形に関する情報を生成する機能を有する。

また、音図形情報生成部１２Ｆは、音の周波数を表す軸をゲーム画面の右辺または右辺と平行な線分とする波形を右側から聞こえる音に対応する音図形とし、音の周波数を表す軸を前記ゲーム画面の左辺または左辺と平行な線分とする波形を左側から聞こえる音に対応する音図形とする機能を有する。

図１５は、音図形について説明するための説明図である。図１５に示すように、ゲーム画面１５００の左側には音図形１５１０が配置され、ゲーム画面１５００の右側には音図形１５２０が配置される。以下、音図形について説明する。

本例において、音図形は、音の高低、音の方向、音の強さ、音の種類を表現する。すなわち、音図形の一例は、「サウンドからの情報を元に音情報を画面サイドに波形型のグラフィックとして表示するＵＩ」と定義することもできる。 なお、波形の描画方法の例には、頂点シェーダで帯びポリゴンを変形する方法や、ピクセルシェーダで波を直接描画する方法など種々の例がある。

音図形は、全てのＵＩより手前に表示されることが好ましい。そのため、音図形の色彩は波線や波線と軸の間が透明または半透明であることが好ましい。また、音図形は、ＧＵＩスケールの影響を受けず、常に画面縦方向にフィットする構成とされることが好ましい。画面左右のいわゆるセーフゾーン領域を使用することで、各種ゲームに対応可能となる。

図１５に示すゲーム画面１５００において、画面両端から画面中央側への波形の大きさが音の強さあるいは大きさを表す。なお、波の表示領域幅は特に限定されない。表示領域幅の例には、０−１２８ｐｘがある。また、波の大きさを決定するための構成の例には、入力値のｄＢを線形スケールで波の高さに反映させる構成がある。この場合、入力値が０ｄＢだと波の高さは０になり、表示されなくなるため、「音がないこと」を表現することができる。なお、音図形の描画は、画面解像度には左右されない構成であることが好ましい。

図１５に示すゲーム画面１５００において、表示される波の位置が音の高低を表す。本例において、画面上方が高音、画面下方が低音を表す。なお、表示する音の範囲は特に限定されない。表示する音の範囲の例には、画面上端を２００００Ｈｚ、下端を２０Ｈｚとすることがある。なお、補完に対数スケールを用いる構成としてもよい。

図１５に示すゲーム画面１５００では、画面サイド左右に別々の波形表示領域を用意している。これにより、同周波数帯の左右の波の大きさのバランスで方向を表す。なお、本例においては、一般的な２ｃｈスピーカーを想定している。

図１５に示すゲーム画面１５００では、色の基本要素ＲＧＢ３色を使い、波形の色で音の種類を判別可能に表す。なお、図１５では、音図形１５１０を構成する異色の３波形１５１１，１５１２，１５１３について、それぞれ異なるハッチングを用いることで表している。音図形１５２０について同様である。

更新部１６は、ユーザの操作に応じてユーザ端末における音の出力設定を更新する機能を有する。なお、ユーザ端末における音の出力設定に関する情報や、ユーザの識別情報と対応付けてサーバ１０Ｆが備える記憶装置（本例では、記憶部１４Ｆ）に記憶されるものとする。

ここで、出力設定の内容は特に限定されず、出力の要否やボリュームなど種々の内容が考えられる。なお、出力設定により音図形を表示する機能の有効・無効をユーザが切り替え可能であることが好ましい。また、音図形の表示スケールをユーザが指定可能な構成であることが好ましい。この場合、例えば波の高さに対して０−４００％の間でスケールを行うことが可能な構成としてもよい。また、音図形の表示透明度をユーザが指定可能な構成であることが好ましい。この場合、例えば波形の透明度を０−１００％の間で変更可能な構成としてもよい。透明度をコントロール可能な構成とすることで、他のＵＩの上に表示される場合の視認性の低下に対応できる。

また、本例では、既存サウンドコンフィグ項目も音図形に影響する。すなわち、例えばいわゆるマスターボリュームは、波の高さに影響する。すなわち、マスターボリュームが１００のとき最大音量の入力があった場合波の高さが最大高に達する。また、ＢＧＭ、効果音その他について、それぞれのセッティングはそれぞれの波形に影響を与える。すなわち、例えばＢＧＭが８０のときＢＧＭを波形化する際に８０％のスケールがかかる。

出力音情報生成部１１Ｆは、出力設定に基づいて出力音情報を生成する機能を有する。すなわち、本例においては、例えばユーザ端末でミュート設定されている場合、音図形は生成されない。

記憶部１４Ｆは、５種類（ＢＧＭ、効果音、声、システム音、環境音）に分類された音に関する情報を記憶する。また、本例では、この５種類が３つの属性（色）に振り分けられる。すなわち、効果音とシステム音がＲ（赤）、環境音と声がＧ（緑）、ＢＧＭがＢ（青）である。なお、音をどのようなカテゴリ（本例では、属性）に何種類に分類するかは、ハードウェアの性能に左右され得る。分類した音のうち、どれとどれを組み合わせて表示するかも同様である。

図１６は、記憶部１４Ｆに記憶される情報の格納状態の例について説明するための説明図である。記憶部１４Ｆは、図１６に示すように、音情報と、属性と、種類と、発生条件とを対応付けて記憶する。

ここで、音情報とは、端末に音を出力（または再生）させるための情報を意味する。また、発生条件の内容は特に限定されず、例えば特定の操作が入力されたことや、プレイヤが特定のエリアに移動したこと、シナリオが特定のシーンまで進行したことがある。また、他プレイヤやノンプレイヤキャラクタの行動に応じて満たされる内容が発生条件に含まれる構成としてもよい。

なお、記憶部１４Ｆが、その他出力音情報を生成するために利用可能な情報を記憶する構成としてもよい。ここで、利用可能な情報の例には、毎フレームごとの音のチャンネル、要素、周波数帯別の音量データがある。なお、ハードウェアデコーダ後の音情報をＵＩ側で受け取れるかの確認を行うための情報も有用である。

図１７は、システム１００が実行するゲーム処理の例を示すフローチャートである。以下、サーバ１０Ｆと、端末２０の動作を例にして説明する。なお、サーバ１０Ｆと端末２０それぞれの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。

端末２０は、ユーザによる出力設定操作受け付ける（ステップＳ６−１１）。本例において、端末２０は、出力設定操作の内容を示す情報（出力設定情報）を生成し、生成した出力設定情報をサーバ１０Ｆに送信する。

サーバ１０Ｆは、端末２０から出力設定情報を受信すると、受信した出力設定情報に応じて出力設定を更新する（ステップＳ６−１２）。本例において、サーバ１０Ｆは、記憶部１４Ｆに記憶された出力設定に関する情報を、受信した出力設定情報に基づいて更新する。

サーバ１０Ｆは、出力設定を更新した後、端末２０から操作情報を受信すると、出力音情報を生成する（ステップＳ６−１３）。本例において、サーバ１０Ｆは、記憶部１４Ｆを参照し、受信した操作情報に応じて発生条件が満たされた音を特定して出力音情報を生成する。

サーバ１０Ｆは、出力音情報を生成すると、音図形情報を生成し（ステップＳ６−１４）、生成した音図形情報に対応するゲーム画面情報を生成し（ステップＳ１４）、出力情報を端末２０に送信してここでの処理を終了する。

端末２０は、出力情報を受信すると、ゲーム画面と音とを出力し（ステップＳ１５）、ここでの処理を終了する。

図１８は、ゲーム画面の例を示す説明図である。図１８に示すように、本例においては、ゲーム画面の略中央に聴取位置に対応するプレイヤキャラクタ１８０１が表示され、ゲーム画面の両端にそれぞれ音図形１８１０，１８２０が表示される。

以上に説明したように、第６の実施形態の一側面として、ビデオゲーム処理サーバ１０Ｆが、出力音情報生成部１１Ｆと、音図形情報生成部１２Ｆと、ゲーム画面情報生成部１３と、記憶部１４Ｆとを備える構成としているので、ゲーム画面の端部の少なくとも一部を音の周波数を表す軸とし、当該端から当該ゲーム画面中方に向かう方向を音の強さを表す方向とする音図形に関する情報を生成し、ビデオゲームの進行に応じて発生した音に関する情報をプレイヤが認識し得るゲーム画面を生成することができる。

また、第６の実施形態の一側面として、ビデオゲーム処理サーバ１０Ｆが、独立したラべリング済みの音データをリアルタム処理で内部でミキシングし、個別に任意の方式で表示する構成としているので、ＡＶ機器などのミックスダウンされた音をそのまま出力する機構とは異なる構成で音を視覚化することができる。

また、第６の実施形態の一側面として、ビデオゲーム処理サーバ１０Ｆが、出力音情報生成部１１Ｆと、音図形情報生成部１２Ｆと、ゲーム画面情報生成部１３と、記憶部１４Ｆとを備える構成としているので、音の周波数を表す軸をゲーム画面の右辺または右辺と平行な線分とする波形を聴取位置に対して右側から聞こえる音に対応する音図形とし、音の周波数を表す軸をゲーム画面の左辺または左辺と平行な線分とする波形を聴取位置に対して左側から聞こえる音に対応する音図形として、音の発生方向をプレイヤが認識し得るゲーム画面を生成することができる。これは、ゲーム画面の下辺または下辺と平行な線分を音の周波数を表す軸とする場合に比べて、見た目の高低と音の高低とを合わせられる点でより好適である。

また、第６の実施形態の一側面として、ビデオゲーム処理サーバ１０Ｆが、出力音情報生成部１１Ｆと、音図形情報生成部１２Ｆと、ゲーム画面情報生成部１３と、記憶部１４Ｆと、更新部１６とを備える構成としているので、ユーザの操作に応じてユーザ端末における音の出力設定を更新し、出力設定に基づいて出力音情報を生成し、ユーザ端末で出力される音に対応する音図形を表すゲーム画面を生成することができる。

以上に説明したように、本願の各実施形態により１または２以上の不足が解決される。なお、夫々の実施形態による効果は、非限定的な効果または効果の一例である。

なお、上述した各実施の形態では特に言及していないが、ビデオゲーム処理装置（例えば、サーバ１０または端末２０）が、特定の属性に対応する音図形のみを表示するゲーム画面を生成する構成としてもよい。特定の属性の例には、ユーザにより選択された属性がある。

なお、述した各実施の形態では特に言及していないが、ビデオゲーム処理装置（例えば、サーバ１０または端末２０）が、ユーザ端末の音のボリューム設定に基づいて出力音情報を生成し、ユーザ端末が実際に発音するか否かに関わらず出力音情報を生成する構成としてよい。ただし、ゲーム画面に表示される音図形とユーザ端末の出力設定の関係は、健常者が音図形を視認することで聴覚障害を有するプレイヤよりも有利にビデオゲームをプレイできるようなことがないように構成されることが好ましい。すなわち、音図形を表示するための構成は、健常者と聴覚障害者との間にビデオゲームをプレイするうえでの優劣ができないように利用されることが好ましい。

なお、上述した各実施の形態では特に言及していないが、ビデオゲーム処理装置（例えば、サーバ１０または端末２０）が、属性の異なる音については干渉を発生させない構成としてもよい。この場合、特定の属性の音については、予め作成された音図形の発生態様を示す情報に基づいて音図形情報を生成する構成としてもよい。これにより、音図形情報の生成に要する処理負荷を軽減させることができる。

なお、上述した各実施の形態では特に言及していないが、ビデオゲーム処理装置（例えサーバ１０または端末２０）が、音図形情報の生成に関して、常に処理を継続する構成としてもよい。ここで、常にとは、例えば同一のユーザ端末から新たな操作情報を受信しない場合にもという程度の意味である。常に処理を継続することで、リアルタイムに出力音と音図形とをリンクさせることができる。また、このような音の視覚化により、「音がないこと」も表現することができる。

また、上述した各実施形態では、複数のユーザ端末２０，２０１〜２０Ｎとビデオゲーム処理サーバ１０は、自己が備える記憶装置に記憶されている各種制御プログラム（例えば、ビデオゲーム処理プログラム）に従って、上述した各種の処理を実行する。

なお、ビデオゲーム処理システム１００の構成は上述した各実施形態の例として説明した構成に限定されず、例えばユーザ端末が実行する処理として説明した処理の一部または全部をサーバ１０が実行する構成としてもよいし、サーバ１０が実行する処理として説明した処理の一部または全部を複数のユーザ端末２０，２０１〜２０Ｎの何れか（例えば、ユーザ端末２０）が実行する構成としてもよい。また、サーバ１０が備える記憶部の一部または全部を複数のユーザ端末２０，２０１〜２０Ｎの何れかが備える構成としてもよい。すなわち、ビデオゲーム処理システム１００におけるユーザ端末２０とビデオゲーム処理サーバ１０のどちらか一方が備える機能の一部または全部を、他の一方が備える構成とされていてもよい。

また、ビデオゲーム処理プログラムが、上述した各実施形態の例として説明した機能の一部または全部を、通信ネットワークを含まない装置単体に実現させる構成としてもよい。

また、上述した各実施形態において、ビデオゲームの進行に応じてとは、ビデオゲームで発生し得る種々の進行あるいは変化等が生じたことを特定の処理の契機や基準とすることを意味する。特定の処理の例としては、判定処理や情報更新処理などがある。また、ビデオゲームで発生し得る種々の進行あるいは変化等の例としては、時間の進行、ゲーム要素値の変化、特定のステータス若しくはフラグの更新、あるいはユーザによる操作入力などがある。

［付記］
上述した実施形態の説明は、少なくとも下記発明を、当該発明の属する分野における通常の知識を有する者がその実施をすることができるように記載した。
［１］
ユーザの操作に応じてビデオゲームの進行を制御する機能をサーバに実現させるためのビデオゲーム処理プログラムであって、
前記サーバに、
前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成機能と、
前記出力音情報に基づいて前記端末に出力させる音を表す図形（以下「音図形」という。）に関する情報（以下「音図形情報」という。）を生成する音図形情報生成機能と、
前記音図形の表示領域を含むゲーム画面に関する情報（以下「ゲーム画面情報」という。）を生成するゲーム画面情報生成機能とを
実現させるためのビデオゲーム処理プログラム。
［２］
前記出力音情報生成手段では、前記ビデオゲームの進行に応じて出力され得る音と、当該音の属性と、色彩とを対応付けて記憶する記憶部を参照して前記属性を含む出力音情報を生成する機能を実現させ、
前記音図形情報生成機能では、前記属性に対応する色彩の音図形に関する情報を生成する機能を
実現させるための［１］記載のビデオゲーム処理プログラム。
［３］
前記記憶部は、前記音と、前記属性と、発生条件とを対応付けて記憶し、
前記出力音情報生成機能では、前記ビデオゲームの進行に応じて前記発生条件が満たされた音の前記属性を含む出力音情報を生成する機能を
実現させるための［２］記載のビデオゲーム処理プログラム。
［４］
前記記憶部は、少なくとも２つ以上に分類された属性を記憶し、
前記音図形情報生成機能では、前記分類ごとの波形を含む音図形に関する情報を生成する機能を
実現させるための［２］または［３］記載のビデオゲーム処理プログラム。
［５］
前記記憶部は、３つに分類可能な属性を記憶し、
前記音図形情報生成機能では、前記属性の分類ごとの波形にＲＧＢの何れかを重複することなく彩色する機能を実現させ、
前記ゲーム画面生成機能では、前記分類ごとの波形が同一軸上に配置されるゲーム画面に関する情報を生成する機能を
実現させるための［４］記載のビデオゲーム処理プログラム。
［６］
前記サーバに、聴取位置を含む仮想空間における前記ビデオゲームの進行を制御する制御機能を実現させ、
前記出力音情報生成機能では、前記聴取位置を基準として右側から聞こえる音と左側から聞こえる音とを前記端末に識別させるための識別情報を含む出力音情報を生成する機能を実現させ、
前記ゲーム画面情報生成機能では、前記聴取位置または前記聴取位置からの視界を含み、かつ前記右側から聞こえる音の音図形が右側に、前記左側から聞こえる音の音図形が左側に表示されるゲーム画面に関する情報を生成する機能を
実現させるための［１］から［５］のうち何れかに記載のビデオゲーム処理プログラム。
［７］
前記音図形情報生成機能では、前記ゲーム画面の端部の少なくとも一部を音の周波数を表す軸とし、当該端から当該ゲーム画面中方に向かう方向を音の強さを表す方向とする音図形に関する情報を生成する機能を
実現させるための［１］から［６］のうち何れかに記載のビデオゲーム処理プログラム。
［８］
前記音図計情報生成機能では、
前記音の周波数を表す軸を前記ゲーム画面の右辺または右辺と平行な線分とする波形を前記右側から聞こえる音に対応する音図形とし、
前記音の周波数を表す軸を前記ゲーム画面の左辺または左辺と平行な線分とする波形を前記左側から聞こえる音に対応する音図形とする機能を
実現させるための［６］に従属する［７］記載のビデオゲーム処理プログラム。
［９］
前記サーバに、前記ユーザの操作に応じてユーザ端末における音の出力設定を更新する更新機能を実現させ、
前記出力音情報生成機能では、前記出力設定に基づいて前記出力音情報を生成する機能を
実現させるための［１］から［８］のうち何れかに記載のビデオゲーム処理プログラム。
［１０］
［１］から［９］のうち何れかに記載のビデオゲーム処理プログラムが前記サーバに実現させる機能のうち少なくとも１つの機能を、当該サーバと通信可能なユーザ端末に実現させるためのビデオゲーム処理用プログラム。
［１１］
［１］から［１０］のうち何れかに記載のビデオゲーム処理プログラムがインストールされたサーバ。
［１２］
通信ネットワークと、サーバと、ユーザ端末とを備え、ユーザの操作に応じてビデオゲームの進行を制御するビデオゲーム処理システムであって、
前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成手段と、
前記出力音情報に基づいて前記端末に出力させる音を表す図形（以下「音図形」という。）に関する情報（以下「音図形情報」という。）を生成する音図形情報生成手段と、
前記音図形の表示領域を含むゲーム画面に関する情報（以下「ゲーム画面情報」という。）を生成するゲーム画面情報生成手段とを含む
ことを特徴とするビデオゲーム処理システム。
［１３］
前記サーバが、前記出力音情報生成手段と、前記音図形情報生成手段と、前記ゲーム画面情報生成手段を含み、
前記ユーザ端末が、前記ゲーム画面情報を受信する受信手段を含む
［１２］記載のビデオゲーム処理システム。
［１４］
ユーザの操作に応じてビデオゲームの進行を制御する機能をユーザ端末に実現させるためのビデオゲーム処理プログラムであって、前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成機能と、前記出力音情報に基づいて前記端末に出力させる音を表す図形（以下「音図形」という。）に関する情報（以下「音図形情報」という。）を生成する音図形情報生成機能と、前記音図形の表示領域を含むゲーム画面に関する情報（以下「ゲーム画面情報」という。）を生成するゲーム画面情報生成機能とを有するサーバから前記ゲーム画面情報を受信する機能を前記ユーザ端末に
実現させるためのビデオゲーム処理プログラム。
［１５］
ユーザの操作に応じてビデオゲームの進行を制御する機能をユーザ端末に実現させるためのビデオゲーム処理プログラムであって、
前記ユーザ端末に、
前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成機能と、
前記出力音情報に基づいて前記端末に出力させる音を表す図形（以下「音図形」という。）に関する情報（以下「音図形情報」という。）を生成する音図形情報生成機能と、
前記音図形の表示領域を含むゲーム画面に関する情報（以下「ゲーム画面情報」という。）を生成するゲーム画面情報生成機能とを
実現させるためのビデオゲーム処理プログラム。
［１６］
［１５］記載のビデオゲーム処理プログラムが前記ユーザ端末に実現させる機能のうち少なくとも１つの機能を、当該ユーザ端末と通信可能なサーバに実現させるためのビデオゲーム処理プログラム。
［１７］
［１５］または［１６］記載のビデオゲーム処理プログラムがインストールされたユーザ端末。
［１８］
ユーザの操作に応じてビデオゲームの進行を制御するビデオゲーム処理方法であって、
前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成処理と、
前記出力音情報に基づいて前記端末に出力させる音を表す図形（以下「音図形」という。）に関する情報（以下「音図形情報」という。）を生成する音図形情報生成処理と、
前記音図形の表示領域を含むゲーム画面に関する情報（以下「ゲーム画面情報」という。）を生成するゲーム画面情報生成処理とを含む
ことを特徴とするビデオゲーム処理方法。
［１９］
通信ネットワークと、サーバと、ユーザ端末とを備えるビデオゲーム処理システムが、 ユーザの操作に応じてビデオゲームの進行を制御するために実行するビデオゲーム処理方法であって、
前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成処理と、
前記出力音情報に基づいて前記端末に出力させる音を表す図形（以下「音図形」という。）に関する情報（以下「音図形情報」という。）を生成する音図形情報生成処理と、
前記音図形の表示領域を含むゲーム画面に関する情報（以下「ゲーム画面情報」という。）を生成するゲーム画面情報生成処理とを含む
ことを特徴とするビデオゲーム処理方法。
［２０］
ユーザの操作に応じてビデオゲームの進行を制御するビデオゲーム処理装置であって、
前記ビデオゲームの進行に応じて出力される音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成手段と、
前記出力音情報に基づいて出力される音を表す図形（以下「音図形」という。）の表示領域を含むゲーム画面を表示装置の表示画面に表示する表示手段とを含む
ことを特徴とするビデオゲーム処理装置。
［２１］
ユーザの操作に応じてビデオゲームの進行を制御するビデオゲーム処理装置であって、
前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成手段と、
前記出力音情報に基づいて前記端末に出力させる音を表す図形（以下「音図形」という。）に関する情報（以下「音図形情報」という。）を生成する音図形情報生成手段と、
前記音図形の表示領域を含むゲーム画面に関する情報（以下「ゲーム画面情報」という。）を生成するゲーム画面情報生成手段とを含む
ことを特徴とするビデオゲーム処理装置。

本発明の実施形態の一つによれば、字幕表示とは異なる方法で聴覚障害者を支援することができるようにするのに有用である。

１０ ビデオゲーム処理サーバ
１１ 出力音情報生成部
１２ 音図形情報生成部
１３ ゲーム画面情報生成部
１４ 記憶部
１５ 制御部
１６ 更新部
２０，２０１〜２０Ｎ ユーザ端末
３０ 通信ネットワーク
１００ ビデオゲーム処理システム

Claims (9)

1. ユーザの操作に応じてビデオゲームの進行を制御する機能をサーバに実現させるためのビデオゲーム処理プログラムであって、
   前記サーバに、
   前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成機能と、
   前記出力音情報に基づいて前記端末に出力させる音を表す図形（以下「音図形」という。）に関する情報（以下「音図形情報」という。）を生成する音図形情報生成機能と、
   前記音図形の表示領域を含むゲーム画面に関する情報（以下「ゲーム画面情報」という。）を生成するゲーム画面情報生成機能と、
   前記出力音情報に対応する音と前記ゲーム画面情報に対応するゲーム画面とを前記端末が出力するように、前記出力音情報と前記ゲーム画面情報とを含む出力情報を当該端末に送信する送信機能とを
   実現させるためのビデオゲーム処理プログラム。
2. 前記出力音情報生成機能では、前記ビデオゲームの進行に応じて出力され得る音と、ＢＧＭや効果音など予め定義された音の属性と、色彩とを対応付けて記憶する記憶部を参照して前記属性を含む出力音情報を生成する機能を実現させ、
   前記音図形情報生成機能では、前記属性に対応する色彩を含む音図形に関する情報を生成する機能を
   実現させるための請求項１記載のビデオゲーム処理プログラム。
3. 前記記憶部は、前記音と、前記属性と、発生条件とを対応付けて記憶し、
   前記出力音情報生成機能では、前記ビデオゲームの進行に応じて前記発生条件が満たされた音の前記属性を含む出力音情報を生成する機能を
   実現させるための請求項２記載のビデオゲーム処理プログラム。
4. 前記記憶部は、少なくとも２つ以上に分類された属性を記憶し、
   前記音図形情報生成機能では、前記分類ごとの波形を含む音図形に関する情報を生成する機能を
   実現させるための請求項２または請求項３記載のビデオゲーム処理プログラム。
5. 前記サーバに、聴取位置を含む仮想空間における前記ビデオゲームの進行を制御する制御機能を実現させ、
   前記出力音情報生成機能では、前記聴取位置を基準として右側から聞こえる音と左側から聞こえる音とを前記端末に識別させるための識別情報を含む出力音情報を生成する機能を実現させ、
   前記ゲーム画面情報生成機能では、前記聴取位置または前記聴取位置からの視界を含み、かつ前記右側から聞こえる音の音図形が右側に、前記左側から聞こえる音の音図形が左側に表示されるゲーム画面に関する情報を生成する機能を
   実現させるための請求項１から請求項４のうち何れかに記載のビデオゲーム処理プログラム。
6. 前記音図形情報生成機能では、前記ゲーム画面の端部の少なくとも一部を音の周波数を表す軸とし、当該端から当該ゲーム画面中方に向かう方向を音の強さを表す方向とする音図形に関する情報を生成する機能を
   実現させるための請求項１から請求項５のうち何れかに記載のビデオゲーム処理プログラム。
7. ユーザの操作に応じてビデオゲームの進行を制御するビデオゲーム処理装置であって、
   前記ビデオゲームの進行に応じて出力される音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成手段と、
   前記出力音情報に基づいて出力される音を表す図形（以下「音図形」という。）に関する情報が生成された場合に、当該情報に対応する前記音図形の表示領域を含むゲーム画面を表示装置の表示画面に表示する表示手段と、
   前記出力音情報に基づいて音を出力する出力手段とを含む
   ことを特徴とするビデオゲーム処理装置。
8. 通信ネットワークと、サーバと、ユーザ端末とを備え、ユーザの操作に応じてビデオゲームの進行を制御するビデオゲーム処理システムであって、
   前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成手段と、
   前記出力音情報に基づいて前記端末に出力させる音を表す図形（以下「音図形」という。）に関する情報（以下「音図形情報」という。）を生成する音図形情報生成手段と、
   前記音図形の表示領域を含むゲーム画面に関する情報（以下「ゲーム画面情報」という。）を生成するゲーム画面情報生成手段と、
   前記出力音情報に対応する音と前記ゲーム画面情報に対応するゲーム画面とを前記ユーザ端末に出力させる出力手段とを含む
   ことを特徴とするビデオゲーム処理システム。
9. ユーザの操作に応じてビデオゲームの進行を制御する機能をユーザ端末に実現させるためのビデオゲーム処理プログラムであって、前記ビデオゲームの進行に応じて前記ユーザが操作する端末に出力させる音に関する情報（以下「出力音情報」という。）を生成する出力音情報生成機能と、前記出力音情報に基づいて前記端末に出力させる音を表す図形（以下「音図形」という。）に関する情報（以下「音図形情報」という。）を生成する音図形情報生成機能と、前記音図形の表示領域を含むゲーム画面に関する情報（以下「ゲーム画面情報」という。）を生成するゲーム画面情報生成機能とを有するサーバから前記出力音情報と前記ゲーム画面情報とを含む出力情報を受信して前記出力音情報に対応する音と前記ゲーム画面情報に対応するゲーム画面とを出力する機能を前記ユーザ端末に
   実現させるためのビデオゲーム処理プログラム。
   

Images