JP5775051B2

JP5775051B2 - プログラム、情報処理装置及び制御方法

Info

Publication number: JP5775051B2
Application number: JP2012235959A
Authority: JP
Inventors: 哲史岩崎
Original assignee: Square Enix Holdings Co Ltd
Current assignee: Square Enix Holdings Co Ltd
Priority date: 2011-08-17
Filing date: 2012-10-25
Publication date: 2015-09-09
Anticipated expiration: 2032-01-31
Also published as: US20130263199A1; CA2803956A1; CA2803956C; JP2013042539A; JP2013041568A; WO2013024640A1; KR20130036357A; EP2596474A4; JP5155462B2; US9008187B2; CN103329526A; KR101422424B1; US8873636B2; EP2596474A1; CN103329526B; US20150002626A1

Description

本発明は、プログラム、情報処理装置及び制御方法に関し、特に符号化動画データのストリーミング配信技術に関する。

ネットワーク接続可能なパーソナルコンピュータ（ＰＣ）等のクライアント機器が普及している。このような機器の普及により、インターネットにおけるネットワーク人口は増加している。近年では、ネットワークユーザに対する、インターネットを利用した様々なサービスが展開されており、ゲーム等のエンターテインメントサービスも提供されている。

ネットワークユーザに対するサービスの１つとして、ＭＭＯＲＰＧ（Massively Multiplayer Online Role-Playing Game）等の多人数同時参加型のネットワークゲームがある。多人数同時参加型のネットワークゲームでは、ユーザは使用するクライアント機器を、ゲームを提供するサーバ機器に接続することで、該サーバ機器に接続されているクライアント機器を使用するユーザとの対戦プレイや協力プレイを行うことができる。

一般的な多人数参加型のネットワークゲームでは、クライアント機器はサーバ機器との間でゲームの描画に必要なデータの送受信を行う。クライアント機器は、受信した描画に必要なデータを用いて描画処理を実行し、生成したゲーム画面をクライアント機器に接続された表示装置に提示することで、ユーザにゲーム画面を提供する。また、ユーザが入力インタフェースを操作することで入力された情報はサーバ機器に送信され、サーバ機器における演算処理に使用されたり、サーバ機器に接続された他のクライアント機器に伝送されたりする。

しかしながら、このようなクライアント機器で描画処理を行うネットワークゲームの中には、十分な描画性能を有するＰＣや専用のゲーム機をユーザが使用することが必要となるものがある。このため、ネットワークゲーム（１コンテンツ）のユーザ数は、コンテンツが要求するクライアント機器の性能に依存してしまう。高性能の機器は当然高価であり、該機器を所有できるユーザも限られる。即ち、例えば美麗なグラフィックを提供するゲーム等の高い描画性能が要求されるゲームでは、ユーザ数を増加させることが困難である。

これに対し、近年ではクライアント機器の描画性能等の処理能力に依存せずに、ユーザがプレイ可能なゲームも提供されている。特許文献１のようなゲームでは、サーバ機器はクライアント機器においてなされた操作の情報を取得し、該情報を用いて描画処理を実行して得られたゲーム画面を、クライアント機器に対して提供している。

国際公開第２００９／１３８８７８号パンフレット

上述した特許文献１のようなゲームでは、サーバ機器がクライアント機器に対して提供するゲーム画面は、送信する情報量を削減するために、符号化された動画データの形態で提供される。採用される符号化方式にも依るが、例えばＭＰＥＧ規格のように一般的な動画符号化方式においては、１フレームの画像を分割した各ブロックについて動き補償を伴わないイントラ符号化（フレーム内符号化）、あるいはフレーム間予測による動き補償を伴うインター符号化（フレーム間符号化）が行われる。それぞれの符号化方式には圧縮効率のよい被写体が存在しており、一般的には各ブロックについてイントラ符号化及びインター符号化のそれぞれを行ったブロック（iblock、pblock）を生成し、圧縮効率が高いブロックを符号化データに含める。

イントラ符号化は、圧縮対象のブロックの画像を加工せずにＤＣＴ変換及びランレングス符号化等を適用して圧縮する。一方、インター符号化は、圧縮対象のブロックの画像と、前のフレームの画像から抽出した該ブロックに対応する参照画像との差分画像を生成して、ＤＣＴ変換及びランレングス符号化等を適用して圧縮する。このため、インター符号化においては、前のフレームの画像について、圧縮対象のブロックの画像との相関が最も高い領域を特定する処理が含まれる。このような相関が最も高い領域の検出に係る処理は、前のフレームの画像について評価領域を移動させながら、圧縮対象のブロックの画像との類似度及び距離を算出して解析を行うため、解析処理に時間を要してしまうことがある。

特に、ユーザの入力に応じてインタラクティブに描画内容が変化するゲーム等では、リアルタイム性、即ち入力に対する高速なレスポンスが要求され、動画符号化処理に要する時間が制限される。このような場合、各ブロックについての符号化処理、及びイントラ符号化及びインター符号化のいずれを行うかの判断処理を高速に行うことが要求される。しかしながら、描画した画面を高速かつ効率的に動画符号化する具体的な方法については、これまで開示されていなかった。

本発明は、上述の問題点に鑑みてなされたものであり、描画処理により得られた画面を高速かつ効率的に動画符号化するプログラム、情報処理装置及び制御方法を提供することを目的とする。

前述の目的を達成するために、本発明のプログラムは、少なくとも２段階の描画処理により画面を順次描画する描画手段が接続されたコンピュータに、少なくとも２段階の描画処理のうちの、第１の段階の描画処理において、該第１の段階よりも後段の第２の段階の描画処理において参照される、対応する画面に係る中間値マップを描画手段に生成させる処理と、第２の段階の描画処理において、対応する画面に係る中間値マップを参照して、対応する画面を描画手段に描画させる処理と、第１の画面に係る第１の中間値マップと、第１の画面よりも前に描画された第２の画面に係る第２の中間値マップとの類似度に基づいて、第１の画面の符号化を行う方式を制御する処理と、を実行させる。

前述の目的を達成するために、本発明の情報処理装置は、少なくとも２段階の描画処理により画面を順次描画する描画手段が接続された情報処理装置であって、少なくとも２段階の描画処理のうちの、第１の段階の描画処理において、該第１の段階よりも後段の第２の段階の描画処理において参照される、対応する画面に係る中間値マップを描画手段に生成させる第１の描画制御手段と、第２の段階の描画処理において、第１の描画制御手段により生成された対応する画面に係る中間値マップを参照して、対応する画面を描画手段に描画させる第２の描画制御手段と、第１の画面に係る第１の中間値マップと、第１の画面よりも前に描画された第２の画面に係る第２の中間値マップとの類似度に基づいて、第１の画面の符号化を行う方式を制御する制御手段と、を有する。

このような構成により本発明によれば、描画処理により得られた画面を高速かつ効率的に動画符号化することが可能となる。

本発明の実施形態に係る動画配信システムのシステム構成を示した図。本発明の実施形態に係るＰＣ１００の機能構成を示したブロック図。本発明の実施形態に係る動画配信サーバ２００の機能構成を示したブロック図。本発明の実施形態に係る動画配信サーバ２００の動画配信処理を例示したフローチャート。本発明の実施形態に係る描画オブジェクトのデータ構造を例示した図。本発明の実施形態に係る動画配信サーバ２００の符号化処理を例示したフローチャート。本発明の実施形態に係るＰＣ１００の動画再生処理を例示したフローチャート。本発明の実施形態に係るＰＣ１００の復号前処理を例示したフローチャート。本発明の実施形態に係る動画配信システムの全体処理を例示したフローチャート。本発明の変形例に係る動画配信サーバ２００の動画配信処理を例示したフローチャート。本発明の変形例に係る最も相関が高いと思われる領域の推定方法を説明するための図。

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、動画配信システムの一例としての、動画再生装置であるＰＣ１００と動画配信サーバ２００とに本発明を適用した例を説明する。

＜動画配信システムの構成＞
図１は、本発明の実施形態に係る動画配信システムのシステム構成を示す図である。

図示されるように、ＰＣ１００と動画配信サーバ２００とはインターネット等のネットワーク３００を介して接続されている。本実施形態ではＰＣ１００は、動画配信コンテンツの一例として、動画配信サーバ２００において実行されるゲームコンテンツに係るゲーム画面を、符号化動画データとして受信する。本実施形態では動画配信サーバ２００は、ＰＣ１００においてなされた操作（ユーザ入力）を受信し、該操作に応じたゲーム画面を１フレームごとに描画する。そして動画配信サーバ２００は、描画したゲーム画面を符号化し、得られた符号化動画データをＰＣ１００に配信する。またＰＣ１００は、動画配信サーバ２００から符号化動画データを受信すると、該符号化動画データを復号して再生することで、ユーザに対してゲーム画面を提供することができる。

なお、本実施形態では動画配信コンテンツの一例として、ネットワーク３００上の動画配信サーバ２００において実行されるゲームプログラムにより描画されたゲーム画面を提供するコンテンツを説明するが、本発明の実施はこれに限られるものではない。動画配信サーバ２００は、配信先に提供する動画配信コンテンツの１フレームを描画処理により描画し、各フレームについて行われた符号化処理により得られた符号化動画データを配信する構成であればよい。また、１フレームに係る画面の描画は、必ずしも動画配信サーバ２００において実行される必要はなく、例えば外部の描画サーバにより実行されてもよい。

また、本実施形態では動画配信サーバ２００に接続するクライアント機器として、ＰＣ１００を用いて説明するが、本発明の実施はこれに限られるものではない。例えば動画配信サーバ２００と接続するクライアント機器は、家庭用ゲーム機、携帯ゲーム機、携帯電話、ＰＤＡ、タブレット等の、動画配信サーバ２００から受信した符号化動画データを復号して再生可能な機器であればよい。

＜ＰＣ１００の構成＞
図２は、本発明の実施形態に係るＰＣ１００の機能構成を示すブロック図である。

ＣＰＵ１０１は、ＰＣ１００が有する各ブロックの動作を制御する。具体的にはＣＰＵ１０１は、例えばＲＯＭ１０２や記録媒体１０６に記録されている動画再生処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリである。ＲＯＭ１０２は、動画再生処理等の動作プログラムに加え、ＰＣ１００が有する各ブロックの動作に必要な定数等の情報を記憶する。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、動作プログラムの展開領域としてだけでなく、ＰＣ１００が有する各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。

復号部１０４は、後述する通信部１０５が受信した符号化動画データについて復号処理を行い、１フレームに係るゲーム画面を生成する。また復号部１０４は、符号化動画データについての復号処理を行う前に、該復号処理に用いる参照データを準備する復号前処理を行う。復号部１０４において実行される復号前処理及び復号処理については、後述する動画再生処理において詳述する。

通信部１０５は、ＰＣ１００が有する通信インタフェースである。通信部１０５は、ネットワーク３００を介して接続した、動画配信サーバ２００等の他の機器との間におけるデータ送受信を行う。データ送信時には通信部１０５は、ネットワーク３００あるいは送信先の機器との間で定められたデータ伝送形式にデータを変換し、送信先の機器へのデータ送信を行う。またデータ受信時には通信部１０５は、ネットワーク３００を介して受信したデータを、ＰＣ１００において読み取り可能な任意のデータ形式に変換し、例えばＲＡＭ１０３に記憶させる。

なお、本実施形態ではＰＣ１００と動画配信サーバ２００とは、ネットワーク３００を介して接続されるものとして説明するが、例えばＰＣ１００と動画配信サーバ２００とが直接ケーブルにより接続される形態であってもよいことは容易に想像されよう。

表示部１０６は、例えばＬＣＤモニタ等のＰＣ１００に接続された表示装置である。表示部１０６は、入力されたゲーム画面を表示領域に表示する表示制御を行う。なお、表示部１０６は、ラップトップＰＣのようにＰＣ１００に内蔵される表示装置であってもよいし、ケーブルを用いてＰＣ１００に外部接続された表示装置であってもよい。

操作入力部１０７は、例えばマウス、キーボード、ゲームパッド等のＰＣ１００が有するユーザインタフェースである。操作入力部１０７は、ユーザによりユーザインタフェースの操作がなされたことを検出すると、該操作に対応する制御信号をＣＰＵ１０１に対して出力する。

＜動画配信サーバ２００の構成＞
図３は、本発明の実施形態に係る動画配信サーバ２００の機能構成を示すブロック図である。

サーバＣＰＵ２０１は、動画配信サーバ２００が有する各ブロックの動作を制御する。具体的にはサーバＣＰＵ２０１は、例えばサーバＲＯＭ２０２に記憶されている動画配信処理の動作プログラムを読み出し、サーバＲＡＭ２０３に展開して実行することにより、各ブロックの動作を制御する。

サーバＲＯＭ２０２は、例えば書き換え可能な不揮発性メモリである。サーバＲＯＭ２０２は、動画配信処理等の動作プログラムに加え、動画配信サーバ２００が有する各ブロックの動作において必要となる定数等の情報を記憶する。

サーバＲＡＭ２０３は、揮発性メモリである。サーバＲＡＭ２０３は、動作プログラムの展開領域としてだけでなく、動画配信サーバ２００が有する各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。

サーバＧＰＵ２０４は、ＰＣ１００の表示部１０６に表示するゲーム画面の生成を行う。サーバＧＰＵ２０４には、サーバＶＲＡＭ２０５が接続される。サーバＧＰＵ２０４は、サーバＣＰＵ２０１より描画命令及びゲーム画面の描画に用いるカメラの位置及び方向の情報（視点情報）を受信すると、該描画命令に係る描画オブジェクトを例えば後述するサーバ記録媒体２０７から読み出し、ＧＰＵメモリに格納する。サーバＧＰＵ２０４は、接続されたサーバＶＲＡＭ２０５に対して描画を行う場合、描画オブジェクトのキャッシュメモリへの展開を行なった後、該展開後の描画オブジェクトをサーバＶＲＡＭ２０５に書き込む。

なお、本実施形態のサーバＧＰＵ２０４は、ゲーム画面の生成に係る描画処理において、所謂遅延レンダリング（Deferred Rendering）という手法を用いる。

従来の描画手法は、ゲーム画面に含まれる描画オブジェクトの各々を順番に選択し、該描画オブジェクトについて
１．バーテックスシェーダによる移動・回転処理
２．ジオメトリシェーダによる頂点処理
３．ピクセルシェーダによるピクセル単位の陰影処理を含むエフェクト処理
を行って描画する。即ち、各描画オブジェクトについて、陰影処理→描画の流れを有する、所謂Forward Renderingであった。Forward Renderingでは、各オブジェクトが逐次処理されるために、ピクセルによっては１つのオブジェクトが描画された後、よりカメラに対して近い位置にある（該オブジェクトよりも手前にある）別のオブジェクトの描画により、描画内容が上書きされてしまうケースがある。この場合、後から描画されたオブジェクトにより遮蔽される、先に描画されたオブジェクトの一部の領域については、適用した陰影処理が無駄になってしまう。また例えば描画するシーンに存在する光源等は、シーンに存在するオブジェクトに対して共通であるが、Forward Renderingでは１つのオブジェクトを描画する際の共通の計算内容を、別のオブジェクトの描画のために再利用することが難しかった。このため、特に複雑な陰影処理を行うゲーム画面の描画においては、Forward Renderingは効率的ではなかった。

これに対しDeferred Renderingでは、Forward Renderingとは異なり、陰影処理に用いるジオメトリの計算を先に行い、全ての描画オブジェクトについての陰影処理を、後からまとめて行う。即ち、ジオメトリ描画→陰影処理→描画の流れを有する２段階の描画処理を行う。Deferred Renderingでは、前段の描画において、ライティングを行わずに陰影処理に用いるパラメータとともにジオメトリの描画処理を行い、陰影処理で使用される中間値を示す複数の中間値マップ（散乱マップ、深度マップ、法線マップ、反射マップ、拡散マップ等）を生成する。そして後段の描画処理において、生成された複数の中間値マップを利用しながら、光源を適用して陰影処理を行なった画面を描画する。

サーバ符号化部２０６は、サーバＧＰＵ２０４によりサーバＶＲＡＭ２０５に生成されたゲーム画面に対する符号化処理を行う。サーバ符号化部２０６は、符号化対象のゲーム画面をブロックに分割し、各ブロックをイントラ符号化（フレーム内符号化）あるいはインター符号化（フレーム間符号化）する。符号化処理の詳細は後述するが、本実施形態ではサーバ符号化部２０６は、各ブロックをＹＣｂＣｒの色チャネルごとに離散コサイン変換（ＤＣＴ）した後、ランレングス符号化により圧縮する。なお、本実施形態ではゲーム画面に対する符号化処理を行うブロックとしてサーバ符号化部２０６が単体で存在するものとして説明するが、符号化処理はサーバＧＰＵ２０４が実行してもよい。

サーバ記録媒体２０７は、例えばＨＤＤ等の、動画配信サーバ２００に着脱可能に接続される記録装置である。本実施形態ではサーバ記録媒体２０７には、画面の描画処理において用いられる、各描画オブジェクトのデータや、画面に表現される３次元シーンに配置された光源情報等が記録されているものとする。

サーバ通信部２０８は、動画配信サーバ２００が有する通信インタフェースである。本実施形態ではサーバ通信部２０８は、ネットワーク３００を介して接続したＰＣ１００等の、他の機器との間におけるデータ送受信を行う。なお、サーバ通信部２０８は通信部１０５と同様に、通信仕様に従ったデータ形式の変換を行う。

＜動画配信処理＞
このような構成をもつ本実施形態の動画配信システムの動画配信サーバ２００において実行される動画配信処理について、図４のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、サーバＣＰＵ２０１が、例えばサーバＲＯＭ２０２に記録されている対応する処理プログラムを読み出し、サーバＲＡＭ２０３に展開して実行することにより実現することができる。なお、本動画配信処理は、例えば動画配信サーバ２００の提供するゲームコンテンツの提供要求をＰＣ１００から受信したことを、サーバＣＰＵ２０１が検出した際に開始され、ゲームの１フレームごとに繰り返し実行されるものとして説明する。

なお、本実施形態では動画配信サーバ２００は、３次元シーンをDeferred Renderingの手法を用いて描画したゲーム画面を符号化動画データの形態でＰＣ１００に提供するものとして説明する。しかしながら、上述したように動画配信サーバ２００が配信するコンテンツはこれに限られず、３次元シーンを少なくとも２段階の描画処理を行なって描画した画面を提供する任意のコンテンツであればよい。

Ｓ４０１で、サーバＣＰＵ２０１は、次に描画するゲーム画面の視点情報を更新する。具体的にはサーバＣＰＵ２０１は、例えばサーバ通信部２０８が受信した、ＰＣ１００においてユーザによりなされた、ゲームに係る操作入力の情報を参照し、次に描画するゲーム画面の視点情報を更新する。視点情報の更新が生じうるユーザによる操作は、例えば視点位置及び方向の変更操作、あるいはユーザの操作対象のキャラクタの移動等が相当する。なお、ゲーム画面の描画に用いられる視点情報の更新は、ＰＣ１００においてなされたユーザ操作にのみ更新されるものではなく、例えばゲームの進行状況に応じて変更されるものであってもよい。

Ｓ４０２で、サーバＣＰＵ２０１は、Ｓ４０１において更新した視点情報に対応するゲーム画面について、サーバＧＰＵ２０４に前段の描画処理を実行させ、後段の描画処理で用いる各種中間値マップを生成させる。具体的にはサーバＣＰＵ２０１は、描画されるゲーム画面に含まれる描画オブジェクトを特定し、各描画オブジェクトのデータを描画順に従ってサーバＧＰＵ２０４に伝送する。サーバＧＰＵ２０４は、転送された描画オブジェクトのデータをＧＰＵメモリに格納する。描画オブジェクトのデータは、例えば図５に示されるような構成であり、本実施形態ではオブジェクト識別ＩＤに関連付けられて、モデルデータ（あるいは頂点データ及び結線データ）、テクスチャデータ、及び位置・回転情報が含まれる。なお、テクスチャデータは３次元モデルに適用（貼り付け）される、該３次元モデルの模様等を表現する一般的な画像テクスチャ（デカルテクスチャ）だけでなく、該３次元モデルの陰影処理や質感の表現に用いられる各種マップが含まれる。

サーバＧＰＵ２０４は、描画命令を受けた描画オブジェクトについての位置・回転情報のパラメータに従ってＧＰＵメモリに格納されたモデルデータを移動及び回転させた後、光源エフェクト（陰影処理、シェーディング）を適用することなく、サーバＶＲＡＭ２０５への描画を行う。このときサーバＶＲＡＭ２０５には、最終的にＰＣ１００に対して提供するゲーム画面に対応する、複数種類の中間値マップが生成される。該複数種類の中間値マップは、後述する後段の描画処理における陰影処理で参照されるマップであり、本実施形態では少なくとも
・散乱マップ（Albedo map）
・深度マップ（Depth map）
・法線マップ（Normal map）
・反射マップ（Specular map）
・拡散マップ（Diffuse map）
を含む。なお、深度マップ以外の中間値マップは、描画するゲーム画面に含まれる全描画オブジェクトのデータの各々に含まれる対応するテクスチャデータやモデルデータの各ポリゴンの情報等を、描画するゲーム画面の視点情報に応じて変換することで生成される。即ち、Forward Renderingでは各描画オブジェクトについて該描画オブジェクトのテクスチャデータを考慮して１つ１つに陰影処理を実行するのに対し、Deferred Renderingの前段の描画処理では、描画するゲーム画面の全体を１つの描画オブジェクトとして捉えた中間値マップを生成することで、後段の描画処理においてゲーム画面の全体を対象として陰影処理を行うことができ、演算の重複を低減することができる。

なお、深度マップについては、中間値マップの生成において各描画オブジェクトの描画時に、ピクセル単位で描画オブジェクトの前後関係による遮蔽（オクルージョン）を考慮して従来の方法で生成される。

このように前段の描画処理が完了すると、サーバＣＰＵ２０１は、Ｓ４０３乃至Ｓ４０７の処理と、Ｓ４０８乃至Ｓ４１１の処理とを並行して実行する。

Ｓ４０３で、サーバＣＰＵ２０１は、前段の描画処理で生成された中間値マップを、描画しているフレーム（現フレーム）を識別するフレームＩＤに関連づけてサーバＲＡＭ２０３に格納する。本実施形態の動画配信サーバ２００は、ＰＣ１００に提供する符号化動画データの各フレームについて、描画したゲーム画面の生成に用いられた中間値マップをサーバＲＡＭ２０３に格納し、少なくとも次のフレームの符号化処理が完了するまで保持するものとする。

Ｓ４０４で、サーバＣＰＵ２０１は、複数種類の中間値マップのうちの少なくとも１つのマップを符号化判断用に選択し、該判断用の中間値マップ（判断用中間値マップ）を所定の画素数（例えば１６pixel×１６pixel）のブロックに分割する。上述したように中間値マップの各々は最終的にＰＣ１００に提供するゲーム画面に対応しており、該提供するゲーム画面の各ブロックの動画符号化においてフレーム間予測を行うか否かを判断するために中間値マップを用いることができる。

判断用中間値マップとして選択される中間値マップは、本実施形態では散乱マップ、深度マップ、反射マップ、及び拡散マップの少なくともいずれかであるものとする。なお、生成された中間値マップのうち、法線マップも原理的には符号化判断に用いることが可能である。しかしながら、該マップは画素値が法線方向を示しているため、例えば凹凸はないが模様がある面を含む描画オブジェクトについては、該面は全て同じ画素値となってしまう。このため、法線マップのみを用いて後述する符号化判断を行うことは、必ずしも好ましいデータ圧縮を実現できない可能性があるため、本実施形態では前段の描画処理で生成した複数種類の中間値マップのうち、法線マップ以外のマップを用いて符号化判断を行うものとする。

Ｓ４０５で、サーバＣＰＵ２０１は、判断用中間値マップの各ブロックについて現フレームの１つ前のフレーム（前フレーム）のゲーム画面に係る前段の描画処理で生成された対応する中間値マップから、最も相関が高い領域を特定する。具体的にはサーバＣＰＵ２０１は、前フレームのゲーム画面に係る前段の描画処理で生成された中間値マップのうち、Ｓ４０４において判断用中間値マップとして選択されたマップに対応する（同一種類の）マップ（判断用過去中間値マップ）をサーバＲＡＭ２０３から読み出す。そしてサーバＣＰＵ２０１は、各ブロックについて判断用過去中間値マップから相関が最も高い領域を探索する。

このときサーバＣＰＵ２０１は、符号化判断を行うブロックの画像を基準画像として設定し、該基準画像と同一の画素数の判断対象領域を判断用過去中間値マップから設定し、例えば画像間のユークリッド距離を算出することで類似度を取得する。判断対象領域の設定は判断用過去中間値マップにおいて画素単位あるいは半画素単位で領域をずらしながら行われ、サーバＣＰＵ２０１は、最終的に基準画像に対して最もユークリッド距離が短くなる（類似度が最大となる）領域の位置を、最も相関が高い領域の位置として特定する。

なお、本実施形態の動画配信サーバ２００では後述する符号化処理においてフレーム間符号化を行う場合に現フレームの１つ前のフレームから取得した参照データを使用し、現フレームの画像と参照データとの差分画像を符号化する。このため、符号化判断も現フレームの１つ前のフレームについて行うものとして説明するが、フレーム間符号化で参照される過去のフレームは現フレームの１つ前のフレームに限らず、現フレームよりも前のフレームが用いられてよい。

Ｓ４０６で、サーバＣＰＵ２０１は、判断用中間値マップの各ブロックについてフレーム内符号化を行うか、あるいはフレーム間符号化を行うかを決定する（符号化判断）。具体的にはサーバＣＰＵ２０１は、各ブロックと最も相関が高い判断用過去中間値マップの領域について算出された類似度（例えばユークリッド距離の逆数）が予め設定された閾値以上であるか否かを判断する。そしてサーバＣＰＵ２０１は、最も相関が高い領域との類似度が閾値以上であるブロックについてはフレーム間符号化を行うものとして決定し、類似度が閾値未満であるブロックについてはフレーム内符号化を行うものとして決定する。

Ｓ４０７で、サーバＣＰＵ２０１は、判断用中間値マップの各ブロックのうち、フレーム間符号化を行うとして決定されたブロックについて、判断用過去中間値マップの最も相関が高い領域からの動きベクトルを算出する。そしてサーバＣＰＵ２０１は、該フレーム間符号化を行うとして決定されたブロックを特定する特定情報に関連付けて、該ブロックについての動きベクトルの情報をサーバ通信部２０８に伝送し、前処理情報としてＰＣ１００に対して送信させる。

一方、サーバＣＰＵ２０１はＳ４０３乃至Ｓ４０７の処理と並行して実行する処理では、Ｓ４０８でサーバＧＰＵ２０４にＳ４０１において更新した視点情報に対応するゲーム画面についての後段の描画処理を実行させ、最終的にＰＣ１００に提供するゲーム画面（提供ゲーム画面）を生成させる。具体的にはサーバＣＰＵ２０１は、描画されるゲーム画面についての３次元シーンに適用される光源を特定し、該光源の属性や強度等の情報をサーバＧＰＵ２０４に伝送する。サーバＧＰＵ２０４は、前段の描画処理で生成した各種中間値マップを用いて、各種光源をまとめて陰影処理（光源エフェクトの適用）しながら、再度ゲーム画面に含まれる描画オブジェクトを描画し、提供ゲーム画面をサーバＶＲＡＭ２０５のフレームバッファに生成する。

Ｓ４０９で、サーバＣＰＵ２０１は、Ｓ４０６の処理である現フレームについての符号化判断処理が完了したか否かを判断する。サーバＣＰＵ２０１は、符号化判断処理が完了していると判断した場合は処理をＳ４１０に移し、完了していないと判断した場合は処理を本ステップの処理を繰り返す。

Ｓ４１０で、サーバＣＰＵ２０１は、提供ゲーム画面をＳ４０４におけるブロック分割と同様にブロック分割し、符号化処理を実行して符号化動画データを生成する。

（符号化処理）
ここで、本実施形態の動画配信サーバ２００において実行される符号化処理について、図６を参照して詳細を説明する。

Ｓ６０１で、サーバＣＰＵ２０１は、提供ゲーム画面のブロックのうち、符号化がなされていないブロックを選択する。

Ｓ６０２で、サーバＣＰＵ２０１は、判断用中間値マップについて行われた符号化判断処理の結果を参照し、選択ブロックについてフレーム間符号化を行うか否かを判断する。サーバＣＰＵ２０１は、選択ブロックについてフレーム間符号化を行うと判断した場合は処理をＳ６０３に移し、フレーム間符号化を行わないと判断した場合は処理をＳ６０５に移す。

Ｓ６０３で、サーバＣＰＵ２０１は、現フレームの１つ前のフレームで描画されたゲーム画面（前フレーム画面）内の選択ブロックに対応する領域の画像から、フレーム間符号化に使用する参照画像（参照データ）を生成する。具体的にはサーバＣＰＵ２０１はまず、前フレームでＰＣ１００に提供されたゲーム画面（過去ゲーム画面）を例えばサーバＲＡＭ２０３から読み出す。そしてサーバＣＰＵ２０１は、選択ブロックについて特定された最も相関が高い領域に対応する領域の画像を、参照画像として過去ゲーム画面から抽出する。

Ｓ６０４で、サーバＣＰＵ２０１は、選択ブロックの画像と参照画像との差分を差分画像として生成し、符号化対象画像として設定する。具体的にはサーバＣＰＵ２０１は、選択ブロックの画像の各画素値から、参照画像の対応する画素の画素値を減算することにより差分画像（pblock）を生成する。

一方、Ｓ６０２においてフレーム間符号化を行わないと判断した場合、サーバＣＰＵ２０１はＳ６０５において、選択ブロックの画像を符号化対象画像として設定する。

Ｓ６０６で、サーバＣＰＵ２０１は、符号化対象画像をサーバ符号化部２０６に伝送し、ＤＣＴ処理を実行させて周波数領域のデータに変換させる。またサーバＣＰＵ２０１は、変換により得られた周波数領域のデータに対してサーバ符号化部２０６にランレングス符号化を行わせることで、選択ブロックの符号化データを生成させる。

Ｓ６０７で、サーバＣＰＵ２０１は、描画されたゲーム画面の全てのブロックについてＳ６０２乃至Ｓ６０６の処理を実行したか否かを判断する。サーバＣＰＵ２０１は、まだ処理が実行されていないブロックが存在すると判断した場合は処理をＳ６０１に戻し、存在しないと判断した場合は本符号化処理を完了する。

サーバＣＰＵ２０１は、描画されたゲーム画面から符号化動画データを生成した後、Ｓ４１１で該符号化動画データをサーバ通信部２０８に伝送してＰＣ１００に対して送信させ、現フレームの動画配信処理を完了する。

このように、本実施形態の動画配信サーバ２００では、ＰＣ１００に対して提供するゲーム画面の生成が多段階の描画処理によって行われることを利用し、最終的なゲーム画面の描画が行われる後段の描画処理中に、前段の描画処理で生成された中間値マップを用いて、ゲーム画面の各ブロックについての符号化方法を決定することができる。このため、最終的なゲーム画面の描画を行なった後に符号化方法を決定することなく符号化処理に移行できるため、ゲーム画面のＰＣ１００への提供に要する時間を短縮することができる。

＜動画再生処理＞
次に、本実施形態のＰＣ１００において実行される動画再生処理について、図７のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、ＣＰＵ１０１が、例えばＲＯＭ１０２に記録されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本動画再生処理は、例えばＰＣ１００において動画配信サーバ２００の提供するゲームコンテンツを受信するアプリケーションが実行された際に開始され、ゲームの１フレームごとに繰り返し実行されるものとして説明する。

Ｓ７０１で、ＣＰＵ１０１は、通信部１０５が動画配信サーバ２００から前処理情報を受信したか否かを判断する。ＣＰＵ１０１は、動画配信サーバ２００から前処理情報を受信したと判断した場合は処理をＳ７０２に移し、受信していないと判断した場合は本ステップの処理を繰り返す。

Ｓ７０２で、ＣＰＵ１０１は、前処理情報を参照し、現フレームのゲーム画面の復号に必要な参照データを準備する復号前処理を実行する。

（復号前処理）
ここで、本実施形態のＰＣ１００で実行される復号前処理について、図８のフローチャートを用いて詳細を説明する。

Ｓ８０１で、ＣＰＵ１０１は、現フレームで受信するゲーム画面のブロックのうち、使用された符号化方式の判定がなされていないブロックを選択する。

Ｓ８０２で、ＣＰＵ１０１は前処理情報を参照し、選択ブロックについてフレーム間符号化がなされるか否かを判断する。具体的にはＣＰＵ１０１は、選択ブロックを特定する情報が前処理情報に含まれるか否かを判断する。ＣＰＵ１０１は、選択ブロックについてフレーム間符号化がなされると判断した場合は処理をＳ８０３に移し、なされていないと判断した場合は処理をＳ８０４に移す。

Ｓ８０３で、ＣＰＵ１０１は、現フレームの１つ前のフレームで復号したゲーム画面（前フレーム画面）から、選択ブロックについての復号に使用する参照画像（参照データ）を抽出する。具体的にはＣＰＵ１０１は、前処理情報に含まれる選択ブロックについて関連付けられた動きベクトルを参照し、前フレーム画面における選択ブロックの復号で参照される領域を特定し、該領域の画像を参照画像として抽出する。

Ｓ８０４で、ＣＰＵ１０１は、現フレームで受信するゲーム画面の全てのブロックについてＳ８０２乃至Ｓ８０３の処理を実行したか否かを判断する。サーバＣＰＵ２０１は、まだ処理が実行されていないブロックが存在すると判断した場合は処理をＳ８０１に戻し、存在しないと判断した場合は本復号前処理を完了する。

このように本実施形態のＰＣ１００では、符号化動画データの前に受信した前処理情報を参照することで、符号化動画データの受信後に行われる復号処理に先立って、復号処理で用いられる参照データを準備することができる。

Ｓ７０３で、ＣＰＵ１０１は、通信部１０５が動画配信サーバ２００から符号化動画データを受信したか否かを判断する。ＣＰＵ１０１は、動画配信サーバ２００から符号化動画データを受信したと判断した場合は処理をＳ７０４に移し、受信していないと判断した場合は本ステップの処理を繰り返す。

Ｓ７０４で、ＣＰＵ１０１は、受信した符号化動画データを復号部１０４に伝送し、復号処理を実行させてゲーム画面を生成させる。具体的には復号部１０４は、符号化動画データの各ブロックについてランレングス符号化データ列の復号、逆ＤＣＴ処理を行うことで現フレームのゲーム画面のブロックデータを生成する。またフレーム間符号化が行われたブロックについては、上述した復号前処理で生成された参照データを加算することで、復号部１０４は現フレームのゲーム画面を生成する。

Ｓ７０５で、ＣＰＵ１０１は、Ｓ７０４において生成された現フレームのゲーム画面を表示部１０６に伝送し、対応する表示領域に表示させ、現フレームの動画再生処理を完了する。

このように、本実施形態の動画配信システムにおける動画配信サーバ２００は、符号化動画データの生成が完了して配信するよりも前に、符号化方法の情報を動画再生装置であるＰＣ１００に伝えることができる。即ち、符号化動画データの受信前に参照画像を前処理として準備することができるため、符号化動画データを受信してから行われる復号処理を短縮することができる。つまり、フレーム間符号化がなされたブロックの復号に用いる参照画像を、受信した符号化動画データに含まれる動きベクトルを参照して前のフレームの画像から生成する従来の方法に比べて、本実施形態の動画配信方法は復号した動画像の再生までに要する時間を短縮することができる。

即ち、動画配信システム全体としては、図９に示されるような処理フローとなり、本発明を適用することで、動画配信サーバ２００における動画符号化処理の効率化、及びＰＣ１００における動画復号処理の効率化の両方を実現することができる。

なお、上述した動画配信処理では、現フレームの画面の全てのブロックについて符号化判断を行った後に前処理情報をＰＣ１００に送信するものとして説明したが、前処理情報の送信タイミングはこれに限られないことは容易に想像されよう。即ち、各ブロックについてフレーム間符号化を行うか否かの判断結果が得られた場合に、全てのブロックについての判断結果が得られるのを待たずに、都度、サーバＣＰＵ２０１は該ブロックの前処理情報をＰＣ１００に送信してもよい。またこの場合、ＰＣ１００のＣＰＵ１０１が、前処理情報を受信すると、該前処理情報で特定されるブロックの参照画像を生成するようにすることで、動画再生処理における更なる効率化が見込める。
また、本実施形態では判断用中間値マップの各ブロックのうち、フレーム間符号化を行うとして決定されたブロックについては、判断用過去中間値マップの最も相関が高い、ブロックと同じ画素数の領域を、符号化時の参照データとして探索するものとした。そして、該領域を示す動きベクトル（２次元）をＰＣ１００に対して送信するものとして説明した。しかしながら、フレーム間符号化を行う際に参照データとなる領域は、このように同じ画素数の領域でなくてもよい。例えば判断用過去中間値マップの一部の領域を拡大／縮小することにより得られる画像が符号化対象ブロックと最も相関が高い場合は、参照データとして拡大／縮小処理後の画像が用いられてもよい。また例えば判断用過去中間値マップの一部の領域を回転あるいは投影（変形）することにより得られる画像が符号化対象ブロックと最も相関が高い場合は、参照データとして回転あるいは投影処理後の画像が用いられてもよい。またこのような場合は、参照データとして用いる前フレーム画面の領域を特定するために、例えば３次元の動きベクトルや、２次元の動きベクトルとともに拡大／縮小パラメータや回転／投影用の変換マトリックスが、ＰＣ１００に対して送信されてもよい。なお、該参照データとして用いる前フレーム画面の領域を特定する情報は、これに限られるものではなく、例えば直接領域の頂点座標を指定する情報等、領域を特定できる情報であればどのような形式であってもよい。

以上説明したように、本実施形態の動画配信サーバは描画処理により得られた画面を高速かつ効率的に動画符号化することができる。具体的には動画配信サーバは、描画する画面を決定する視点情報を用いて、少なくとも２段階の描画処理により提供画面を描画する。該描画処理は、後段の描画処理において、前段の描画処理で生成された特定のチャネルの中間値マップを参照して提供画面の描画がなされる。動画配信サーバは、第１の画面の後段の描画処理の実行中に少なくとも１つのチャネルの中間値マップを選択し、設定されたブロックごとに第１の画面よりも前に描画された第２の画面について生成された対応する中間値マップを参照してフレーム間符号化を行うか否かを判断する。動画配信サーバは、第１の画面の後段の描画処理の終了後、該判断の結果に応じて符号化を行って外部装置に符号化動画データを送信する。また該判断の結果は、第１の画面の符号化動画データの生成が完了する前に外部装置に送信される。

［変形例］
上述した実施形態では、前段の描画処理で生成された複数種類の中間値マップのうちの少なくとも１つの中間値マップを用いて、前フレームの対応するマップにおける各符号化ブロックに最も相関が高い領域をユークリッド距離の算出等の相関演算により特定するものとして説明した。一般に、最も相関が高い領域を特定する処理は、演算対象領域を変更しながら総当り式に相関演算を実行するため、計算量が多い。即ち、後段の描画処理中に全符号化ブロックに係る相関演算を完了する演算能力がサーバＣＰＵ２０１には求められるため、動画配信サーバ２００の導入コストが増大する可能性がある。このため、本変形例では全符号化ブロックについて総当り式に相関演算を行うことなく、最も相関が高い領域の推定、及び該領域の相関度の算出を行う方法について説明する。

＜動画配信処理＞
以下、上述と同様の構成を有する本変形例の動画配信サーバ２００において実行される動画配信処理について、図１０のフローチャートを用いて具体的な処理を説明する。なお、本変形例の動画配信処理において、上述した実施形態の動画配信処理と同様の処理を行うステップについては同一の参照番号を付すことにより説明を省略し、以下では本変形例において特徴的な処理を行うステップについての説明に留める。

Ｓ４０２の前段の描画処理が完了した後、サーバＣＰＵ２０１は並行処理の１つの処理におけるＳ１００１で、生成された中間値マップを、Ｓ４０１において更新した視点情報（描画視点情報）に関連付けてサーバＲＡＭ２０３に格納する。

Ｓ１００２で、サーバＣＰＵ２０１は、複数種類の中間値マップのうち、深度マップを符号化判断用に選択し、ブロック分割する。

Ｓ１００３で、サーバＣＰＵ２０１は、深度マップの各ブロックについて、前フレームのゲーム画面における最も相関が高いと思われる領域を推定する。具体的にはサーバＣＰＵ２０１は、対象ブロックの四隅の座標に描画されている描画オブジェクト（ブロック特定オブジェクト）の３次元座標を特定する。具体的にはサーバＣＰＵ２０１は、深度バッファから対象ブロックの四隅の座標の各々における深度値を取得する。次にサーバＣＰＵ２０１は、描画視点情報と対象ブロックの四隅の座標とから、ブロック特定オブジェクトへの方向を特定する。そしてサーバＣＰＵ２０１は、特定したブロック特定オブジェクトへの方向と深度値とから、ブロック特定オブジェクトの３次元座標を特定する。次にサーバＣＰＵ２０１は、ブロック特定オブジェクトの３次元座標を、前フレームのゲーム画面の描画に用いられた視点情報（過去視点情報）を用いて、前フレームのゲーム画面におけるスクリーン座標に変換する。このようにすることで、前フレームのゲーム画面における最も相関が高いと思われる領域の四隅の座標を特定することができる。即ち、本変形例では、図１１に示されるように対象ブロックと同一の描画オブジェクトが表現されている領域、即ち相関が高い描画内容である可能性が高い領域を３次元シーンに逆変換して特定することができる。

Ｓ１００４で、サーバＣＰＵ２０１は、Ｓ１００３において推定された最も相関が高いと思われる領域について、相関度を算出する。具体的にはサーバＣＰＵ２０１は、前フレームの前段の描画処理で生成された深度マップ（過去深度マップ）から、推定された最も相関が高いと思われる領域の画像を抽出し、該画像に対して例えば過去視点情報と描画視点情報とから生成された変換マトリックスを乗ずることで、対象ブロックと同じ画素数の参照画像を生成する。そしてサーバＣＰＵ２０１は、該参照画像と対象ブロックの画像との相関度を算出し、処理をＳ４０６に移す。

このように、本変形例の動画配信サーバ２００では、前段の描画処理で生成される深度マップを使用し、符号化ブロックと最も相関が高いと思われる領域を、座標変換により推定することができる。このため、総当り式に相関度を算出して最も相関が高いと思われる領域を特定する必要がなく、後段の描画処理中に全符号化ブロックについての相関演算に係る演算量を低減することができる。

なお、本変形例では対象ブロックに描画されている描画オブジェクトの、前フレームのゲーム画面におけるスクリーン座標を厳密に特定し、対象ブロックと同一の画素数の画像に変形して相関度の判定を行うものとして説明したが、本発明の実施はこれに限られない。例えば、対象ブロックの中心に描画されている描画オブジェクトについて前フレームのゲーム画面におけるスクリーン座標を算出し、該座標を中心として設定した対象ブロックと同一の画素数の領域を最も相関が高いと思われる領域として設定する構成であってもよい。

Claims

少なくとも２段階の描画処理により画面を順次描画する描画手段が接続されたコンピュータに、
前記少なくとも２段階の描画処理のうちの、第１の段階の描画処理において、該第１の段階よりも後段の第２の段階の描画処理において参照される、対応する画面に係る中間値マップを前記描画手段に生成させる処理と、
前記第２の段階の描画処理において、前記対応する画面に係る中間値マップを参照して、前記対応する画面を前記描画手段に描画させる処理と、
第１の画面に係る第１の前記中間値マップと、前記第１の画面よりも前に描画された第２の画面に係る第２の前記中間値マップとの類似度に基づいて、前記第１の画面の符号化を行う方式を制御する処理と、
を実行させるプログラム。
前記制御する処理は、前記第１の中間値マップと前記第２の中間値マップとの類似度に応じて、使用する符号化方式を異ならせる請求項１に記載のプログラム。
前記制御する処理は、前記第１の画面について定められる部分領域の各々について、前記第１の中間値マップの該部分領域に対応する領域と、前記第２の中間値マップの該部分領域に対応する領域との類似度に基づいて、該部分領域の符号化を行う方式を制御する請求項１または２に記載のプログラム。
前記第１の画面に対応する視点情報と、前記第２の画面に対応する視点情報とに基づいて、前記第２の中間値マップの前記部分領域に対応する領域を特定する処理をさらに前記コンピュータに実行させる請求項３に記載のプログラム。
前記制御する処理は、前記第１の中間値マップの前記部分領域に対応する領域と、前記第２の中間値マップの該部分領域に対応する領域との類似度が閾値を超える場合に、該部分領域について前記第１の画面と前記第２の画面とを用いる符号化方式を採用することを決定する請求項３または４に記載のプログラム。
前記制御する処理は、前記第１の中間値マップの前記部分領域に対応する領域と、前記第２の中間値マップの該部分領域に対応する領域との類似度が閾値を超えない場合に、該部分領域について前記第１の画面のみを用いる符号化方式を採用することを決定する請求項３乃至５のいずれか１項に記載のプログラム。
前記部分領域の各々について、決定された前記採用する符号化方式で符号化する処理をさらに前記コンピュータに実行させる請求項５または６に記載のプログラム。
少なくとも２段階の描画処理により画面を順次描画する描画手段が接続された情報処理装置であって、
前記少なくとも２段階の描画処理のうちの、第１の段階の描画処理において、該第１の段階よりも後段の第２の段階の描画処理において参照される、対応する画面に係る中間値マップを前記描画手段に生成させる第１の描画制御手段と、
前記第２の段階の描画処理において、前記第１の描画制御手段により生成された前記対応する画面に係る中間値マップを参照して、前記対応する画面を前記描画手段に描画させる第２の描画制御手段と、
第１の画面に係る第１の前記中間値マップと、前記第１の画面よりも前に描画された第２の画面に係る第２の前記中間値マップとの類似度に基づいて、前記第１の画面の符号化を行う方式を制御する制御手段と、を有する情報処理装置。
少なくとも２段階の描画処理により画面を順次描画する描画手段が接続された情報処理装置の制御方法であって、
前記少なくとも２段階の描画処理のうちの、第１の段階の描画処理において、該第１の段階よりも後段の第２の段階の描画処理において参照される、対応する画面に係る中間値マップを前記描画手段に生成させる第１の描画制御工程と、
前記第２の段階の描画処理において、前記第１の描画制御工程において生成された前記対応する画面に係る中間値マップを参照して、前記対応する画面を前記描画手段に描画させる第２の描画制御工程と、
第１の画面に係る第１の前記中間値マップと、前記第１の画面よりも前に描画された第２の画面に係る第２の前記中間値マップとの類似度に基づいて、前記第１の画面の符号化を行う方式を制御する制御工程と、を有する情報処理装置の制御方法。