WO2018135393A1

WO2018135393A1 - 情報処理装置およびゲーム画音生成方法

Info

Publication number: WO2018135393A1
Application number: PCT/JP2018/000592
Authority: WO
Inventors: 林　正和; 英樹 ▲柳▼澤; 達明橋本
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2017-01-20
Filing date: 2018-01-12
Publication date: 2018-07-26
Also published as: JP2018114241A; JP6840548B2

Abstract

ゲーム実行部２００は、ゲーム画像およびゲーム音声を生成する。通知受信部２２４は、情報処理装置１０とは別の端末装置から通知情報を受信する。提供部２２６は、受信した通知情報をゲーム実行部２００に提供し、ゲーム実行部２００は、ゲーム画像および／またはゲーム音声に、提供された通知情報を含める。ゲーム実行部２００は、ゲーム中のオブジェクトから通知情報を出力させてよい。ゲーム実行部２００は、通知情報の種類に応じて、通知情報を出力するタイミングを決定してもよい。

Description

情報処理装置およびゲーム画音生成方法

　本発明は、２つの情報処理装置を連携させる技術に関する。

　ヘッドマウントディスプレイ（ＨＭＤ）はユーザの頭部に装着されて仮想現実（ＶＲ）の映像世界をユーザに提供する。最近ではＨＭＤをゲーム装置に接続して、ユーザがＨＭＤに表示されたゲーム画像を見ながら、ゲームコントローラを操作してゲームをプレイすることも行われている。ＨＭＤはユーザの視野全体にＶＲ画像を提供するために、映像世界へのユーザの没入感を高め、ゲームのエンタテインメント性を飛躍的に向上させる効果がある。ＨＭＤにヘッドトラッキング機能をもたせ、ユーザの頭部の姿勢と連動して仮想３次元空間のゲーム画像を生成することで、ゲーム世界への没入感をさらに高めることができる。

　一方で、ＨＭＤがユーザの視野全体にＶＲ画像を提供することで、ユーザが周囲の状況を把握できにくいということが指摘されている。スマートホンなどの通信端末装置に着呼やメール着信があっても、ユーザは通信端末装置の状態を目視できないため、そのことに気付かないことが多い。特にユーザがヘッドホンを使用してゲームをプレイしていると、電話の呼出音やメールの着信音が聞こえにくくなるため、結果としてゲームプレイを終了してＨＭＤを頭部から外すまで、着呼やメール着信に気付かないこともある。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、ユーザがゲームプレイに使用している情報処理装置に対して、スマートホンなどの端末装置が着信等を知らせる通知情報を送信することで、ユーザがゲームをプレイしながら着信等を認識できるようにする技術を提供することにある。

　上記課題を解決するために、本発明のある態様の情報処理装置は、ゲーム画像およびゲーム音声を生成するゲーム実行部と、当該情報処理装置とは別の端末装置から、通知情報を受信する通知受信部と、受信した通知情報を、ゲーム実行部に提供する提供部と、を備える。ゲーム実行部は、ゲーム画像および／またはゲーム音声に、提供された通知情報を含める。

　本発明の別の態様は、ゲーム画音生成方法である。この方法は、ゲーム画像およびゲーム音声を生成するステップと、端末装置から通知情報を受信するステップと、受信した通知情報をゲームに提供するステップと、を備える。ゲームは、ゲーム画像および／またはゲーム音声に、提供された通知情報を含める。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

情報処理システムの構成例を示す図である。ＨＭＤの外観形状の例を示す図である。ＨＭＤの機能ブロックを示す図である。情報処理装置の機能ブロックを示す図である。ＨＭＤに表示されるゲーム画像の一例を示す図である。ゲーム画像中に表示される通知情報の一例を示す図である。ゲーム画像中に表示される通知情報の別の例を示す図である。優先度「高」を設定された通知情報の例を示す図である。

　図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、端末装置３０と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザが手指で操作する入力装置１６と、ＨＭＤ１００を装着したユーザを撮影する撮像装置１４と、画像および音声を表示する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

　ＨＭＤ１００はユーザの頭部に装着されて仮想現実（ＶＲ）の映像世界をユーザに提供する。ＨＭＤ１００にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画像を更新することで、映像世界への没入感を高められる。

　情報処理装置１０は、処理装置１１、出力制御装置１２および記憶装置１３を備える。処理装置１１は、ユーザにより入力装置１６に入力された操作情報を受け付けて、ゲームなどのアプリケーションを実行する端末装置である。処理装置１１と入力装置１６とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。なお実施例の処理装置１１は、ＨＭＤ１００の姿勢情報をゲームに対するユーザの操作情報として受け付けて、ゲームの仮想３次元空間に配置する仮想カメラの視線方向を定める機能をもつ。出力制御装置１２は、処理装置１１で生成された画像データおよび音声データをＨＭＤ１００に出力する処理ユニットであり、出力制御装置１２とＨＭＤ１００とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。

　撮像装置１４はステレオカメラであって、ＨＭＤ１００を装着したユーザを所定の周期で撮影し、撮影画像を処理装置１１に供給する。後述するがＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、処理装置１１は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、処理装置１１は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置１１はＨＭＤ１００の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。

　ユーザはＨＭＤ１００で画像を見るため、ＨＭＤ１００を装着したユーザにとって出力装置１５は必ずしも必要ではないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。出力制御装置１２または処理装置１１は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤ１００を装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのオブジェクト（キャラクタ）視点からのゲーム画像が表示されてもよい。

　ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。この光学歪みの補正処理は、処理装置１１、出力制御装置１２のいずれが行ってもよい。

　処理装置１１、記憶装置１３、出力装置１５、入力装置１６および撮像装置１４は、従来型のゲームシステムを構築してよい。この場合、処理装置１１はゲームを実行するゲーム装置であり、入力装置１６はゲームコントローラ、キーボード、マウス、ジョイスティックなど処理装置１１にユーザによる操作情報を供給する機器である。記憶装置１３は、システムソフトウェアやゲームソフトウェアなどを記憶している。このゲームシステムの構成要素に、出力制御装置１２およびＨＭＤ１００を追加することで、仮想３次元空間のＶＲ画像をＨＭＤ１００に提供する情報処理システム１が構築される。

　なお出力制御装置１２による機能は、処理装置１１に組み込まれてもよい。つまり情報処理装置１０の処理ユニットは、１台の処理装置１１から構成されても、また処理装置１１および出力制御装置１２から構成されてもよい。以下においては、ＶＲ画像をＨＭＤ１００に提供する機能を、まとめて情報処理装置１０の機能として説明する。

　情報処理装置１０は、ユーザ頭部（実際にはＨＭＤ１００）の位置座標および姿勢を検出する。ここでＨＭＤ１００の位置座標とは、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標（緯度、経度）であってよい。またＨＭＤ１００の姿勢とは、３次元空間における基準姿勢に対する３軸方向の傾きである。なお基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、ＨＭＤ１００の電源がオンされたときに基準姿勢が設定されてよい。

　情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサデータのみから、ＨＭＤ１００の位置座標および姿勢を検出でき、さらに撮像装置１４で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の位置座標および姿勢を検出できる。たとえばユーザがゲーム空間内でユーザオブジェクトを操作するゲームの場合、情報処理装置１０は、ＨＭＤ１００の位置情報をもとにユーザオブジェクトの仮想３次元空間内の位置を算出し、ＨＭＤ１００の姿勢情報をもとにユーザオブジェクトの視線方向を算出してもよい。なおＨＭＤ１００を装着したユーザは周囲の状況を目視できないため、基本的には移動しないことが好ましく、実施例のゲームでは、仮想３次元空間内におけるユーザオブジェクトの位置を、入力装置１６の操作情報をもとに算出してよい。

　情報処理システム１において、端末装置３０はスマートホンやタブレットなど、通信機能を有する情報処理装置であってよい。端末装置３０は、別のユーザから電話やメールの着信を受けると、着信したことを知らせるためにインジケータを点滅させたり、着信音を鳴らしたりする。しかしながらＨＭＤ１００を装着したユーザは外界から視界を遮られているため、着信用のインジケータが点滅しても、それに気付けない。またユーザがヘッドホンを使用している場合には、着信音にも気付きにくい。

　そこで端末装置３０は、情報処理装置１０と連携するための連携アプリケーションを用いて、ＨＭＤ１００を装着しているユーザに着信があったことを知らせるようにする。連携アプリケーションは、端末装置３０において電話やメールの着信があったときに、その旨を示す情報（以下、「通知情報」とも呼ぶ）を情報処理装置１０に送信する機能をもつ。また連携アプリケーションは、情報処理装置１０から送信されるコマンドを受信して、端末装置３０において対応するアプリケーションやシステムソフトウェアに引き渡す機能ももつ。

　図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

　出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

　筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

　ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサデータを情報処理装置１０に送信し、また情報処理装置１０で生成された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。

　図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

　通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

　制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

　図４は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、ゲーム実行部２００、出力処理部２１０、連携処理部２２０および入力インタフェース２５０を備える。図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　ゲーム実行部２００はゲームソフトウェア（以下、単に「ゲーム」とも呼ぶこともある）を実行して、ゲームの画像データおよび音声データを生成する機能を有する。以下では、画像および／または音声を「画音」と呼ぶこともある。つまり画音は、画像および音声の少なくとも一方であり、画像および音声の双方であってもよく、画像または音声の一方であってもよい。ゲーム実行部２００として示す機能は、システムソフトウェア、ゲームソフトウェア、ＧＰＵなどのハードウェアなどにより実現される。ゲーム実行部２００は、ゲームの画像データを生成するゲーム画像生成部２０２と、ゲームの音声データを生成するゲーム音声生成部２０４とを有する。

　入力インタフェース２５０は、センサデータ受信部２５２、撮影画像受信部２５４および入力データ受信部２５６を有する。センサデータ受信部２５２は、ユーザが装着したＨＭＤ１００の姿勢センサ１２４から所定の周期でセンサデータを受信して、ゲーム実行部２００に供給する。撮影画像受信部２５４は、撮像装置１４から所定の周期でＨＭＤ１００を撮影した画像を受信して、ゲーム実行部２００に供給する。ゲーム実行部２００はセンサデータおよび撮影画像から、ＨＭＤ１００の姿勢情報を取得し、ゲームにおいてユーザが操作するオブジェクトの視線方向を定める。

　入力データ受信部２５６は入力装置１６から、ユーザが入力したキーデータを受信して、ゲーム実行部２００に供給する。ゲーム実行部２００はキーデータを、ゲームに対する操作情報として受け付ける。ユーザによるゲームプレイ中、ゲーム実行部２００は、ユーザにより入力装置１６に入力された操作情報をもとに、仮想３次元空間におけるユーザオブジェクトの視点位置を定め、またユーザオブジェクトの挙動を決定して、ユーザオブジェクトを動かす演算処理を実施する。ゲーム画像生成部２０２は、レンダリング処理などを実行するＧＰＵ（Graphics Processing Unit）を含み、仮想３次元空間における演算処理結果を受けて、ユーザオブジェクトの視点位置および視線方向からのゲーム画像データを生成する。またゲーム音声生成部２０４は、仮想空間内の視点位置におけるゲーム音声データを生成する。

　図５は、ＨＭＤ１００に表示されるゲーム画像の一例を示す。このゲーム画像例は、ファーストパーソンシューター（ＦＰＳ）ゲームの画像を示している。ゲーム画像生成部２０２は、左目用のゲーム画像と右目用のゲーム画像を生成し、出力処理部２１０が、それぞれのゲーム画像をＨＭＤ１００に提供して、表示パネル１３０に表示させる。またゲーム音声生成部２０４は、左耳用のゲーム音声と右耳用のゲーム音声を生成し、出力処理部２１０が、それぞれのゲーム音声をＨＭＤ１００に提供して、音声出力部１３２から出力させる。

　連携処理部２２０は、宣言受付部２２２、通知受信部２２４、提供部２２６、重畳処理部２２８、受付部２３０および応答処理部２３２を備える。連携処理部２２０として示す機能は、システムソフトウェアや、専用の連携アプリケーションなどにより実現される。連携処理部２２０は、端末装置３０と連携して、端末装置３０から送信される通知情報を画像および／または音声として、ＨＭＤ１００の表示パネル１３０および／または音声出力部１３２から出力させる機能を備える。

　実施例のゲームは、ユーザの操作情報をゲーム画音に反映するとともに、端末装置３０から送信される通知情報をゲーム画音に反映する機能を有する。実施例では、通知情報にもとづく画音データの生成機能を有するゲームを実行しているときの情報処理装置１０と端末装置３０との間の連携処理を示すが、ゲーム実行部２００は、通知情報にもとづく画音データの生成機能を有しないゲームも実行可能である。そのため端末装置３０との連携処理を担当する連携処理部２２０は、実行中のゲームが通知情報にもとづく画音データの生成機能を有しているのか否かを確認する必要がある。

　そこで通知情報にもとづく画音データの生成機能を有するゲームは、ゲーム実行部２００により起動されるとすぐに、データ生成機能に関する宣言、具体的には、端末装置３０からの通知情報をゲーム画音として出力することに対応していることを宣言する機能を有する。そこでゲーム起動直後、宣言受付部２２２は、ゲームから、通知情報を出力することに対応していることの宣言を受け付ける。

　なお通知情報にもとづく画音データの生成機能を有しないゲームは、かかる宣言機能を有しなくてよい。そこで宣言受付部２２２は、通知情報にもとづく画音データの生成機能を有するゲームのみから、宣言を受け付けることになる。ゲーム起動直後に、宣言受付部２２２がゲームから宣言を受け付けなければ、連携処理部２２０は、端末装置３０からの通知情報の出力をゲーム側に任せるのではなく、連携処理部２２０側で出力処理を実施する。

　端末装置３０は、電話やメールなどの着信を受けると、その旨を示す通知情報を生成して、情報処理装置１０に自動送信する。通知情報には、着信があった時間を示す時間情報、電話またはメールなどの着信の種類を示す種類情報が含まれる。また通知情報には、送信者情報が含まれてもよい。

　通知受信部２２４は、端末装置３０から通知情報を受信する。ここで宣言受付部２２２がゲームから宣言を受け付けている場合、提供部２２６は、受信した通知情報を、ゲーム実行部２００に提供する。ゲーム実行部２００は、ゲーム画像および／またはゲーム音声に、提供された通知情報を含める処理を行う。

　ゲームにおいて、独自の世界観は人気を左右する重要な要素である。そのため、端末装置３０からの通知情報をゲーム画音として出力するときには、ゲームの世界観を壊さないような配慮がなされることが好ましい。一例としてゲームは、ゲームシーンに登場しているゲームオブジェクトから通知情報を出力させてよい。ゲームオブジェクトは、たとえばユーザが操作するユーザキャラクタであってもよく、またユーザが操作しないノンプレイヤーキャラクタ（ＮＰＣ）であってもよい。

　図６は、ゲーム画像中に表示される通知情報の一例を示す。通知情報３００は、ゲームオブジェクトから出力され、ここではユーザが操作しているユーザオブジェクトから戦闘中の会話の一部として表示出力されている。なおＦＰＳゲームの場合、図６に示すように自身のオブジェクトは画面表示されないこともあるが、ユーザは画面手前に自身のユーザオブジェクトの存在を認識しているため、通知情報３００として表示される会話の吹き出しを、ユーザキャラクタの発声として認識できる。

　ゲームは、提供部２２６から通知情報を受け取ると、受け取った通知情報にもとづいて、ゲームオブジェクトから出力する通知情報３００を生成する。ここではゲーム画像生成部２０２が、電話の着信があったことを示す通知情報をもとに、「いま電話が鳴っているぞ」とするユーザオブジェクトからの発声を通知情報３００としてゲーム画像に含めている。ゲーム画像生成部２０２は、通知情報３００を大きく表示したり、目立つ色で表示して、ゲームにおける会話の通常の表示態様と異ならせてもよい。ゲーム音声生成部２０４は、この通知情報をもとに、「いま電話が鳴っているぞ」とする音声を、ユーザオブジェクトと同じ声でゲーム音声に含めてもよい。このようにゲームがオブジェクトを通じて、電話着信があったことを通知することで、ゲームの世界観が壊れることなく、ユーザは電話着呼があったことを知ることができる。

　なおゲーム中で、ユーザキャラクタが交信用の通信機器を有している場合には、その通信機器から呼出音や着信音を出力させるようにしてもよい。このときゲーム中で使用される通信機器の呼出音ではなく、実際に端末装置３０に設定している呼出音や着信音を、ゲーム音声生成部２０４が出力してもよい。これによりユーザは、端末装置３０に電話呼出やメール着信があったことを認識できる。特に端末装置３０において、異なる電話呼出音とメール着信音とが設定されている場合には、ユーザは、電話呼出音であるかメール着信音であるかを区別することも可能となる。

　ここで電話と、メール（ＳＮＳサービスのテキスト送信も含む）の通信態様を比較する。一般に電話は「同期」型の通信と呼ばれ、メールやＳＮＳサービスは「非同期」型の通信と呼ばれる。「同期」型の通信は、緊急性を要するときに有効とされており、リアルタイムの通信を実現可能とする。一方で「非同期」型の通信は、リアルタイムの割り込みを行わないため、緊急性を要しないときに利用されることが多い。

　このような通信の特性を考慮して、ゲーム実行部２００は、通知情報の種類に応じて、通知情報を出力するタイミングを決定してもよい。上記したように通知情報には着信の種類を示す種類情報が含まれており、ゲーム実行部２００は、種類情報をもとに出力タイミングを決定する。

　具体的にゲーム実行部２００は、電話の通知情報である場合には、すぐにゲームオブジェクトから通知情報を出力させるようにする。たとえばゲームオブジェクトが、ゲームシーンの中で発声している場合であっても、ゲームが電話の通知情報を受け取った場合には、ゲームシーンの発声を強制停止させて、電話がかかっていることを画像および／または音声で出力させる。ただ、この場合は、ゲームの世界観を壊さないように、ゲームは、図６に示す通知情報３００とは異なる通知情報を出力するようにしてもよい。たとえばゲーム画像生成部２０２および／またはゲーム音声生成部２０４は、ゲームオブジェクトの発声を中断させて通知情報３００を出力させる場合には、「おっとすまん、話の途中だが、いま電話が鳴っているぞ」と、ゲームの進行状況に応じて適切な通知情報３００を出力させるようにすることが好ましい。

　一方でゲーム実行部２００は、メールの通知情報である場合には、ゲームの進行状況を考慮して、ゲームオブジェクトから通知情報を出力させるようにする。たとえばゲームオブジェクトが、ゲームシーンの中で発声している場合には、その発声が終わってから、メールを着信したことを画像および／または音声で出力してよい。この場合は、「３０秒前に、メールを受信したぞ」と通知して、リアルタイムに通知していないことをユーザが分かるようにしてもよい。またゲーム実行部２００は、ゲームプレイにおいてユーザが手を離せない状況、たとえば敵と交戦中の間は、メールの通知情報を出力しないようにしてもよい。

　ゲーム実行部２００は、通知情報をゲーム画音に含めると、連携処理部２２０に対して通知情報を出力したことを報告する。これにより連携処理部２２０は、通知情報が出力されたことを確認できる。後述するように連携処理部２２０は、ゲーム実行部２００から報告を受けなければ、代わりに通知情報をゲーム画音に重畳する処理を実施してよい。

　宣言受付部２２２がゲームから宣言を受け付けていない場合、通知受信部２２４が端末装置３０から通知情報を受信すると、提供部２２６は、受信した通知情報をゲーム実行部２００には提供せずに、重畳処理部２２８に提供する。重畳処理部２２８は、ゲーム実行部２００により生成されたゲーム画像および／またはゲーム音声に、提供された通知情報を重畳させる処理を実施する。

　図７は、ゲーム画像中に表示される通知情報の別の例を示す。通知情報３１０は、重畳処理部２２８により生成されて、出力処理部２１０が、ゲーム画像に通知情報３１０を重畳する。なおゲームの世界観を壊さないように、出力処理部２１０は、通知情報３１０をゲーム画像の端側に重畳する。これによりゲームが通知情報をゲーム画音に含められない場合であっても、重畳処理部２２８が通知情報３１０を生成することで、ユーザは電話の着信があったことを知ることができる。なお重畳処理部２２８は、電話の着信があったことを知らせる音声ガイドを生成して、出力処理部２１０が、ゲーム音声に音声ガイドを重畳してもよい。

　なおゲームが通知情報をゲーム画音に含める機能を有する場合に、ゲーム実行部２００が通知情報をゲーム画音に含めると、連携処理部２２０に通知情報を出力したことを報告するが、なんらかの要因により、ゲーム実行部２００が通知情報をゲーム画音に含められないケースが生じうる。連携処理部２２０は、通知情報を出力したことの報告を受け付けない場合に、ゲームに代わって、通知情報の重畳処理を実施してよい。たとえば電話の通知情報の場合、連携処理部２２０は、通知情報をゲーム実行部２００に提供してから所定時間（たとえば５秒）以内に報告を受け取らなければ、重畳処理部２２８が、通知情報の重畳処理を実施してよい。

　連携処理部２２０は、端末装置３０からの通知情報を出力させるだけでなく、端末装置３０にコマンドを送信する機能も搭載している。ユーザはゲーム画音から通知情報を確認すると、入力装置１６の所定のボタンを操作することで、通知情報に応じたコマンドを送信できる。

　具体的に受付部２３０が所定のボタン操作を受け付けると、応答処理部２３２が端末装置３０に所定のコマンドを送信する。このコマンドは、通知情報の種類に応じて設定されてよい。たとえば着呼の通知情報に対してユーザが所定のボタン操作を行うと、応答処理部２３２は、端末装置３０に「受話コマンド」を送信する。端末装置３０は、受話コマンドを電話をとる操作として受け付けて相手からの電話をつなぐとともに、相手からの音声データを情報処理装置１０に送信し、情報処理装置１０は、ユーザの音声データを端末装置３０に送信する。端末装置３０は、ユーザの音声データを、端末装置３０のマイクへの入力音声として扱い、相手に送信する。これによりユーザは、ゲームをプレイしながら、相手と電話することが可能となる。このときゲームは、ゲーム音声を自動で消音にしてもよい。

　またメール受信の通知情報に対してユーザが所定のボタン操作を行うと、応答処理部２３２は、端末装置３０の画面データのストリーミング送信を要求する「画面要求コマンド」を送信する。端末装置３０は、画面要求コマンドを受信すると、情報処理装置１０に画面データをストリーミング送信する。このとき表示パネル１３０には、端末装置３０の画面が表示され、ユーザはエミュレーション用コマンドを入力装置１６から入力することで、端末装置３０を操作する。これによりユーザは、端末装置３０が受信したメールを読むことができる。

　以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では端末装置３０が、スマートホンやタブレットなどの通信端末装置であることを説明したが、他の機器であってもよい。

　実施例では、電話の着呼またはメール受信を知らせる通知情報が端末装置３０から送信されることを説明した。たとえば端末装置３０は、タイマに設定された時刻になったときに、通知情報を情報処理装置１０に送信してもよい。ユーザが外出する用事の前の空き時間にゲームをプレイしようとする場合、家を出る少し前の時刻にタイマセットしておくことで、ユーザはゲームプレイ中に、設定時刻になったことの通知を受けることが可能となる。また端末装置３０は、外部から受信した災害に関する速報などの緊急情報を受信したことを情報処理装置１０に通知してもよい。

　実施例で端末装置３０は、着信の種類を示す種類情報を通知情報に含ませて、情報処理装置１０に送信することを説明した。この種類情報には、電話であることを示す情報、メールであることを示す情報、緊急情報であることを示す情報などが含まれる。ゲーム実行部２００は、通知情報の種類に応じて、通知情報を出力するタイミングを決定する。

　変形例では、通知情報に、通知の優先度を設定して、情報処理装置１０が、優先度に応じて通知制御を行うようにしてもよい。優先度の設定は、通知情報を受信した情報処理装置１０において実施されてもよいが、通知情報を送信する端末装置３０において実施されてもよい。

　端末装置３０は、電話、メール、緊急情報などを受信すると、少なくとも、その種類に応じて優先度を設定する。優先度は、たとえば「高」、「中」、「低」の３段階で用意されており、「高」は緊急性が高く、通知優先度が最も高い受信に対して割り当てられ、「中」は緊急性は高いが、通知優先度が通常の受信に対して割り当てられ、「低」は緊急性が低く、通知優先度が最も低い受信に対して割り当てられる。情報処理装置１０は、通知情報に設定された優先度に応じて、通知の態様を決定する。情報処理装置１０は、通知優先度「高」および「中」が設定された通知情報を受信すると、即時に通知情報を出力する。一方で情報処理装置１０は、通知優先度「低」が設定された通知情報を受信すると、適切なタイミングで通知情報を出力する。なお通知優先度「低」が設定された通知情報を受信したときに出力することに支障がなければ、情報処理装置１０は、即時に通知情報を出力してよい。

　以下、緊急情報、電話、メールのそれぞれに対して設定される優先度について説明する。
＜緊急情報＞
　地震などの災害に関する緊急速報などの緊急情報に対して、端末装置３０は優先度「高」を割り当てる。通知の緊急性が間違いなく高いためである。
＜電話＞
　電話に対して、端末装置３０は優先度「高」または「中」を割り当てる。たとえば端末装置３０は、所定のユーザ、たとえば電話帳に登録しているユーザからの電話である場合に、その通知情報に優先度「高」を設定する。なお端末装置３０において、優先度「高」を設定するユーザが事前に登録されていてもよい。端末装置３０は、優先度「高」を設定する条件を満たさない電話の場合には、その通知情報に優先度「中」を設定する。
＜メール＞
　メールに対して、端末装置３０は優先度「低」を割り当てる。既述したようにメール連絡は緊急性を要しないときに利用されるためである。

　通知受信部２２４は、端末装置３０から、優先度を設定された通知情報を受信する。変形例において、優先度「高」を設定された通知情報は、提供部２２６によってゲームには提供されず、重畳処理部２２８に提供される。優先度「高」を設定された通知情報は、通知緊急性が高いために、確実にユーザに通知できるように、ゲームではなくシステムが通知する。

　図８は、優先度「高」を設定された通知情報の例を示す。通知情報３２０は、重畳処理部２２８により生成されて、出力処理部２１０が、ゲーム画像に通知情報３２０を重畳する。優先度「高」を設定された通知情報の場合、重畳処理部２２８は、表示パネル１３０のほぼ全面に通知情報３２０を表示させて、端末装置３０が災害に関する緊急速報を受信したことを通知する。このとき提供部２２６は、ゲーム実行部２００に対して停止指示を提供し、ゲーム進行が強制停止されてよい。なお端末装置３０が、通知情報に緊急情報として送信されたテキストを含められる場合には、重畳処理部２２８が、通知情報３２０に、緊急情報のテキストを含めてもよい。

　優先度「中」を設定された通知情報は、宣言受付部２２２がゲームから宣言を受け付けている場合には、提供部２２６が通知情報をゲーム実行部２００に提供し、ゲーム実行部２００は、提供された通知情報を、ゲーム画音データに即時に含める処理を実施する。一方で、優先度「中」を設定された通知情報は、宣言受付部２２２がゲームから宣言を受け付けていない場合には、提供部２２６が通知情報を重畳処理部２２８に提供し、重畳処理部２２８は、提供された通知情報を、ゲーム画音データに即時に重畳させる処理を実施する。

　優先度「低」を設定された通知情報は、宣言受付部２２２がゲームから宣言を受け付けている場合には、提供部２２６が通知情報をゲーム実行部２００に提供し、ゲーム実行部２００は、提供された通知情報を、ゲーム画音データに適切なタイミングで含める処理を実施する。一方で、優先度「低」を設定された通知情報は、宣言受付部２２２がゲームから宣言を受け付けていない場合には、提供部２２６が通知情報を重畳処理部２２８に提供し、重畳処理部２２８は、提供された通知情報を、ゲーム画音データに適切なタイミングで重畳させる処理を実施する。

　このように変形例では、端末装置３０が通知情報に通知優先度を示す情報を含めて、情報処理装置１０が、通知優先度に応じて通知制御を実施する。たとえば端末装置３０は文章を含むメールなどを受信した場合には、文章に含まれる特定キーワードに応じて優先度を設定できてもよい。また添付ファイルがある場合などには、優先度を「中」に設定してもよい。また端末装置３０は、受信内容から広告であることを判断すると、本来の優先度よりも一段下げた優先度を設定してもよい。なお広告の場合、情報処理装置１０は、ゲーム中は通知情報を通知せずに、ゲーム終了の段階で、広告の通知情報をまとめて出力するようにしてもよい。

　さらに端末装置３０は、通知情報に、応答するゲームタイトルを特定する情報（タイトル情報）を含めてもよい。この場合、情報処理装置１０において、当該タイトルのゲームが起動していれば、そのゲームが通知情報を出力し、起動していなければ連携処理部２２０が通知情報を出力してもよい。

　情報処理装置１０は、ユーザへの通知情報を、通知時刻とともにリスト形式で表示する画面を生成してもよい。このとき、通知情報の提供主体、具体的にはゲームが通知したのか、あるいは連携アプリケーションが通知したのかを、表示リストに含めるようにしてもよい。たとえばゲームが通知した情報については、所定のアイコンを付けて表示してもよい。表示リストでは、通知した情報の時刻のみならず、優先度、種類に応じて並べ替えられるようにしてよい。

１・・・情報処理システム、１０・・・情報処理装置、３０・・・端末装置、１００・・・ＨＭＤ、２００・・・ゲーム実行部、２０２・・・ゲーム画像生成部、２０４・・・ゲーム音声生成部、２１０・・・出力処理部、２２０・・・連携処理部、２２２・・・宣言受付部、２２４・・・通知受信部、２２６・・・提供部、２２８・・・重畳処理部、２３０・・・受付部、２３２・・・応答処理部、２５０・・・入力インタフェース、２５２・・・センサデータ受信部、２５４・・・撮影画像受信部、２５６・・・入力データ受信部。

　本発明は、２つの情報処理装置を連携させる技術に利用できる。

Claims

　情報処理装置であって、
　ゲーム画像およびゲーム音声を生成するゲーム実行部と、
　当該情報処理装置とは別の端末装置から、通知情報を受信する通知受信部と、
　受信した通知情報を、前記ゲーム実行部に提供する提供部と、を備え、
　前記ゲーム実行部は、ゲーム画像および／またはゲーム音声に、提供された通知情報を含める、
　ことを特徴とする情報処理装置。
　前記ゲーム実行部は、ゲーム中のオブジェクトから通知情報を出力させる、
　ことを特徴とする請求項１に記載の情報処理装置。
　前記ゲーム実行部は、通知情報の種類に応じて、通知情報を出力するタイミングを決定する、
　ことを特徴とする請求項２に記載の情報処理装置。
　ゲームから、通知情報を出力することに対応していることの宣言を受け付ける宣言受付部を、さらに備え、
　前記宣言受付部が、ゲームから通知情報を出力することに対応していることの宣言を受け付けた場合に、前記提供部は、受信した通知情報を前記ゲーム実行部に提供する、
　ことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
　前記宣言受付部が、ゲームから前記宣言を受け付けていない場合に、前記提供部は、受信した通知情報をゲーム画像またはゲーム音声に重畳させる重畳処理部に提供する、
　ことを特徴とする請求項４に記載の情報処理装置。
　端末装置にコマンドを送信する応答処理部を、さらに備える、
　ことを特徴とする請求項１から５のいずれかに記載の情報処理装置。
　前記ゲーム実行部は、ヘッドマウントディスプレイに表示されるゲーム画像を生成する、
　ことを特徴とする請求項１から６のいずれかに記載の情報処理装置。
　ゲーム画像およびゲーム音声を生成するステップと、
　端末装置から、通知情報を受信するステップと、
　受信した通知情報を、ゲームに提供するステップと、を備え、
　ゲームは、ゲーム画像および／またはゲーム音声に、提供された通知情報を含める、
　ことを特徴とするゲーム画音生成方法。
　コンピュータに、
　ゲーム画像およびゲーム音声を生成する機能と、
　端末装置から受信した通知情報を、ゲーム画像および／またはゲーム音声に含める機能と、
　を実現させるためのゲームプログラム。