JP6220449B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、プログラム及び情報記憶媒体に関する。

ゲームのプレイ内容を示す動画像などといった、プログラムの実行内容を示す動画像をキャプチャする技術が存在する（例えば特許文献１参照）。

このようにしてキャプチャされた動画像は、例えば当該プログラムが実行された装置に記憶される。そして当該装置において当該動画像を再生させることで当該プログラムが実行された際に表示された画像や出力された音声を再現させることが可能となる。

またこのようにしてキャプチャされた動画像は、例えば画像公開サイトにアップロードされたりライブストリーミング配信されたりすることもある。例えば送信側の装置でプログラムの実行内容を示す動画像をキャプチャして受信側の装置に送信したとする。この場合、受信側の装置において当該動画像を再生させることで、送信側の装置において当該プログラムが実行された際に表示された画像や出力された音声を受信側の装置で再現させることが可能となる。

また例えばゲームプログラムなどのプログラムの実行状況に応じて、コントローラを振動させる技術も存在する。

米国特許出願公開第２００９／０１１８００８号明細書

従来技術では上述のようにしてプログラムが実行された際に表示された画像や出力された音声の再現は可能であったが、プログラムの実行状況に応じたコントローラの振動については再現が可能ではなかった。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、プログラムの実行状況に応じたコントローラの振動の再現を可能とする情報処理装置、情報処理方法、プログラム及び情報記憶媒体を提供することにある。

上記課題を解決するために、本発明に係る情報処理装置は、プログラムの実行状況に応じてコントローラを振動させるよう制御する振動制御部と、前記プログラムの実行内容を示す動画像がキャプチャされるよう制御するキャプチャ制御部と、前記コントローラが振動するよう制御されるタイミングに表示部に表示される画像に対応付けられる、前記動画像の少なくとも一部に、当該振動を表す振動情報を関連付ける関連付け部と、を含むことを特徴とする。

また、本発明に係る情報処理方法は、プログラムの実行状況に応じてコントローラを振動させるよう制御するステップと、前記プログラムの実行内容を示す動画像がキャプチャされるよう制御するステップと、前記コントローラが振動するよう制御されるタイミングに表示部に表示される画像に対応付けられる、前記動画像の少なくとも一部に、当該振動を表す振動情報を関連付けるステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、プログラムの実行状況に応じてコントローラを振動させるよう制御する手順、前記プログラムの実行内容を示す動画像がキャプチャされるよう制御する手順、前記コントローラが振動するよう制御されるタイミングに表示部に表示される画像に対応付けられる、前記動画像の少なくとも一部に、当該振動を表す振動情報を関連付ける手順、をコンピュータに実行させることを特徴とする。

また、本発明に係る情報記憶媒体は、プログラムの実行状況に応じてコントローラを振動させるよう制御する手順、前記プログラムの実行内容を示す動画像がキャプチャされるよう制御する手順、前記コントローラが振動するよう制御されるタイミングに表示部に表示される画像に対応付けられる、前記動画像の少なくとも一部に、当該振動を表す振動情報を関連付ける手順、をコンピュータに実行させることを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。

また、本発明に係る別の情報処理装置は、コントローラを振動させるタイミングを表す振動情報に関連付けられている動画像を取得する動画像取得部と、前記動画像を再生させる再生部と、前記動画像の再生の際に、当該動画像に関連付けられている振動情報が表すタイミングにコントローラを振動させるよう制御する振動制御部と、を含むことを特徴とする。

また、本発明に係る別の情報処理方法は、コントローラを振動させるタイミングを表す振動情報に関連付けられている動画像を取得するステップと、前記動画像を再生させるステップと、前記動画像の再生の際に、当該動画像に関連付けられている振動情報が表すタイミングにコントローラを振動させるよう制御するステップと、を含むことを特徴とする。

また、本発明に係る別のプログラムは、コントローラを振動させるタイミングを表す振動情報に関連付けられている動画像を取得する手順、前記動画像を再生させる手順、前記動画像の再生の際に、当該動画像に関連付けられている振動情報が表すタイミングにコントローラを振動させるよう制御する手順、をコンピュータに実行させることを特徴とする。

また、本発明に係る別の情報記憶媒体は、コントローラを振動させるタイミングを表す振動情報に関連付けられている動画像を取得する手順、前記動画像を再生させる手順、前記動画像の再生の際に、当該動画像に関連付けられている振動情報が表すタイミングにコントローラを振動させるよう制御する手順、をコンピュータに実行させることを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。

本発明の一態様では、前記振動情報は、前記動画像を構成するフレーム画像に配置される情報として当該動画像に関連付けられており、前記動画像の再生の際には、前記コントローラは、前記振動情報が配置されているフレーム画像が表示される際に振動するよう制御される。

この態様では、前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される情報として当該動画像に関連付けられており、前記動画像の再生の際には、前記コントローラは、表示されるフレーム画像の一部を占める前記領域内に前記振動情報が配置されていることが検出される際に振動するよう制御されてもよい。

また、本発明の一態様では、前記振動情報は、前記動画像を構成するフレーム画像に配置されている、前記プログラムを実行するユーザを撮影した撮影画像として当該動画像に関連付けられており、前記動画像の再生の際には、表示されるフレーム画像の一部を占める前記撮影画像に応じて前記コントローラの振動が制御される。

この態様では、前記プログラムは、複数のユーザがプレイヤとして参加可能なゲームのプログラムであり、前記振動情報は、前記動画像を構成するフレーム画像に配置されている、前記ゲームにプレイヤとして参加する複数のユーザのそれぞれを撮影した撮影画像として当該動画像に関連付けられており、前記動画像の再生の際には、表示されるフレーム画像の一部を占める前記撮影画像に応じて前記コントローラの振動が制御されてもよい。

また、本発明の一態様では、前記振動情報は、振動させる振動子及び当該振動子が振動する強さを示す。

また、本発明の一態様では、前記動画像が他の装置に配信される際に当該動画像に関連付けられる前記振動情報は、当該動画像が前記情報処理装置に記憶される際に関連付けられる前記振動情報と異なる。

また、本発明に係るさらに別の情報処理装置は、プログラムの実行状況に応じて出力されるコントローラの振動を表す振動情報を取得する振動情報取得部と、取得される前記振動情報に基づいて、出力デバイスの種別に応じた出力を表す出力情報を生成する出力情報生成部と、生成される前記出力情報に従った出力が前記出力デバイスから行われるよう制御する出力制御部と、を含むことを特徴とする。

また、本発明に係るさらに別の情報処理方法は、プログラムの実行状況に応じて出力されるコントローラの振動を表す振動情報を取得するステップと、取得される前記振動情報に基づいて、出力デバイスの種別に応じた出力を表す出力情報を生成するステップと、生成される前記出力情報に従った出力が前記出力デバイスから行われるよう制御するステップと、を含むことを特徴とする。

また、本発明に係るさらに別のプログラムは、プログラムの実行状況に応じて出力されるコントローラの振動を表す振動情報を取得する手順、取得される前記振動情報に基づいて、出力デバイスの種別に応じた出力を表す出力情報を生成する手順、生成される前記出力情報に従った出力が前記出力デバイスから行われるよう制御する手順、をコンピュータに実行させることを特徴とする。

また、本発明に係るさらに別の情報記憶媒体は、プログラムの実行状況に応じて出力されるコントローラの振動を表す振動情報を取得する手順、取得される前記振動情報に基づいて、出力デバイスの種別に応じた出力を表す出力情報を生成する手順、生成される前記出力情報に従った出力が前記出力デバイスから行われるよう制御する手順、をコンピュータに実行させることを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。

本発明の一実施形態に係る動画共有システムの全体構成の一例を示す図である。 本発明の一実施形態に係るクライアントの構成の一例を示す図である。 本発明の一実施形態に係るゲームコンソールのハードウェア構成の一例を示す図である。 プレイ画像の一例を示す図である。 キャプチャ画像の一例を示す図である。 振動情報の一例を示す図である。 本発明の一実施形態に係るゲームコンソールで実装される機能の一例を示す機能ブロック図である。 本実施形態に係るゲームコンソールで行われる処理の流れの一例を示すフロー図である。 本実施形態に係るゲームコンソールで行われる処理の流れの一例を示すフロー図である。 キャプチャ画像の一例を示す図である。 キャプチャ画像の一例を示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る動画共有システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る動画共有システム１は、いずれもコンピュータを中心に構成された動画配信サーバ１０とクライアント１２（１２−１、１２−２、・・・、１２−ｎ）とを含んでいる。動画配信サーバ１０、クライアント１２は、インターネットなどのコンピュータネットワーク１４に接続されている。そして、動画配信サーバ１０、クライアント１２は、互いに通信可能になっている。

動画配信サーバ１０は、クライアント１２から送信される動画像を記憶し、当該動画像をクライアント１２に配信するためのサーバコンピュータである。動画配信サーバ１０は、例えばコンピュータネットワーク１４を介してクライアント１２との間でデータを授受する。

クライアント１２は、当該クライアント１２のユーザが利用する情報処理装置であり、本実施形態では例えば、図２に示すように、ゲームコンソール１２ａ、ディスプレイ１２ｂ、コントローラ１２ｃ、カメラマイクユニット１２ｄ、を含む。なおクライアント１２は図２に示すものである必要はなく、例えばパーソナルコンピュータ、テレビ受像機、携帯型ゲーム装置、携帯情報端末、などであっても構わない。

ゲームコンソール１２ａは、本実施形態では例えば、図３に示すように、制御部２０、記憶部２２、通信部２４、入出力部２６を含んでいる。制御部２０は、例えばゲームコンソール１２ａにインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係る制御部２０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部２２には、制御部２０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部２２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。通信部２４は、例えばネットワークボードや無線ＬＡＮモジュールなどの通信インタフェースなどである。入出力部２６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートやＵＳＢポートなどの入出力ポートである。

本実施形態に係るディスプレイ１２ｂは、液晶ディスプレイ等の表示部であり、ゲームコンソール１２ａが生成する画面などを表示させる。また、本実施形態に係るディスプレイ１２ｂは、ゲームコンソール１２ａが生成する音声データが表す音声を出力するスピーカも備えている。ゲームコンソール１２ａとディスプレイ１２ｂとは、例えば、ＡＶケーブルや、ＨＤＭＩケーブル等を介して接続されている。

本実施形態に係るコントローラ１２ｃは、ゲームコンソール１２ａに対する操作入力を行うための操作入力装置である。本実施形態に係るコントローラ１２ｃは、例えばボタン、タッチパネル、操作スティックなどの操作子が設けられている。また、本実施形態に係るコントローラ１２ｃは、角速度を検出するジャイロセンサ、加速度を検出する加速度センサ等のセンサを備えている。また、本実施形態に係るコントローラ１２ｃは、左右に２つの振動子、本実施形態では例えば偏心モータを備えている。なお振動子は偏心モータである必要はなく例えばボイスコイルモータなどであっても構わない。またコントローラ１２ｃが備える振動子の数は２つに限定されない。例えば４個の振動子のそれぞれが、コントローラ１２ｃの左上、右上、左下、及び右下に備えられていてもよい。

また、本実施形態に係るコントローラ１２ｃは、ＵＳＢポートを備えている。コントローラ１２ｃは、ＵＳＢケーブルでゲームコンソール１２ａと接続することで、入出力部２６を介して有線で入力データをゲームコンソール１２ａに出力することができる。また本実施形態では、ＵＳＢケーブルでコントローラ１２ｃとゲームコンソール１２ａとが接続されている際には、ゲームコンソール１２ａは、入出力部２６を介して有線で振動子を振動させる強度を表す振動強度信号をコントローラ１２ｃに出力することができる。また、本実施形態に係るコントローラ１２ｃは、無線通信モジュール等を備えており、通信部２４を介して無線で入力データをゲームコンソール１２ａに出力することができるようにもなっている。また本実施形態では、無線でコントローラ１２ｃとゲームコンソール１２ａとが接続されている際には、ゲームコンソール１２ａは、通信部２４を介して無線で振動強度信号をコントローラ１２ｃに出力することができる。

本実施形態では、左右の振動子のそれぞれに対応付けられる２つの値を示す振動強度信号がゲームコンソール１２ａからコントローラ１２ｃに送信される。以下、当該２つの値のそれぞれを振動強度値と呼ぶこととする。また、左の振動子に対応付けられる振動強度信号の値を左振動強度値と呼び、右の振動子に対応付けられる振動強度信号の値を右振動強度値と呼ぶこととする。本実施形態に係る振動強度値は、０以上２５５以下の整数であることとする。ここで例えば、振動強度値が０である振動強度信号をコントローラ１２ｃが受け付けた場合は、振動子は振動しない。そして例えば振動強度値が１以上である振動強度信号をコントローラ１２ｃが受け付けた場合は、振動子は当該振動強度値が大きいほど強い強さで振動する。そして、振動強度値が２５５である振動強度信号をコントローラ１２ｃが受け付けた場合は、振動子は、最も強い強さで振動する。このようにして本実施形態に係るコントローラ１２ｃが備える２つの振動子のそれぞれは、２５５段階のいずれかの強さで振動するようになっている。

本実施形態に係るカメラマイクユニット１２ｄは、例えば被写体を撮像した画像をゲームコンソール１２ａに出力するカメラＣ及び周囲の音声を取得して当該音声を音声データに変換してゲームコンソール１２ａに出力するマイクＭを含んでいる。

本実施形態では例えば、クライアント１２−１のゲームコンソール１２ａにゲームのプログラム等のプログラムがインストールされていることとする。そしてクライアント１２−１のユーザが、当該ゲームのプログラムを実行することとする。すると、図４に示すように、当該プログラムの実行内容を示す画像が生成されて、ディスプレイ１２ｂに表示される。以下、当該ゲームのプログラムの実行内容を示す画像をプレイ画像３０と呼ぶこととする。本実施形態では、ゲームコンソール１２ａのフレームバッファに描画されたプレイ画像３０がディスプレイ１２ｂに表示されることとなる。そして表示されるプレイ画像３０は所定のフレームレートで更新される。本実施形態ではプレイ画像３０が１／６０秒間隔で更新されることとする。

また本実施形態では、クライアント１２−１のゲームコンソール１２ａが、当該プログラムの実行状況に応じて、当該クライアント１２−１のコントローラ１２ｃを振動させるよう制御する。本実施形態では上述のようにゲームコンソール１２ａが振動強度信号をコントローラ１２ｃに出力し、コントローラ１２ｃが当該振動強度信号を受け付ける。そして、コントローラ１２ｃは、当該振動強度信号の振動強度値に応じた強さで当該コントローラ１２ｃが備える振動子が振動するよう制御する。ここでは例えば、図４に示すプレイ画像３０が表示されている際にクライアント１２−１のコントローラ１２ｃが振動することとする。

また本実施形態では、ユーザは所定の操作を行うことにより、上述のようにして所定のフレームレートで表示される一連のプレイ画像３０から構成されるプレイ動画像がキャプチャされる。本実施形態では例えば、ユーザが行うキャプチャ開始操作に応じて、ディスプレイ１２ｂに表示されているプレイ動画像のキャプチャが開始される。このようにしてキャプチャされるプレイ動画像は、エンコードされてゲームコンソール１２ａの記憶部２２に記憶されることとなる。なお、ディスプレイ１２ｂに表示されるプレイ動画像のフレームレートとキャプチャされるプレイ動画像のフレームレートとが異なっていてもよい。プレイ動画像のキャプチャは、ユーザが所定のキャプチャ終了操作を行うまで継続される。以下、キャプチャされたプレイ画像３０をキャプチャ画像３２（図５参照）と呼び、キャプチャされたプレイ動画像をキャプチャ動画像と呼ぶこととする。すなわち、キャプチャ動画像は、一連のキャプチャ画像３２をフレーム画像として含むこととなる。

図５は、図４に示すプレイ画像３０をキャプチャすることで記憶部２２に記憶されたキャプチャ画像３２の一例を示す図である。本実施形態では、コントローラ１２ｃが振動されるタイミングにディスプレイ１２ｂに表示されるプレイ画像３０に対応付けられる、キャプチャ動画像の少なくとも一部に、当該振動を表す振動情報が関連付けられる。本実施形態における当該振動情報の一例は、図５に例示する振動識別画像３４である。そして本実施形態では例えば、コントローラ１２ｃが振動するよう制御されるタイミングにディスプレイ１２ｂに表示されるプレイ画像３０をキャプチャすることで生成されるキャプチャ画像３２に振動識別画像３４が配置される。このように本実施形態では、キャプチャ画像３２に振動識別画像３４が配置されることによって、キャプチャ動画像の一部と振動情報との関連付けが行われることとなる。このように本実施形態に係る振動情報は、キャプチャ動画像を構成するフレーム画像であるキャプチャ画像３２に配置される情報、ここではキャプチャ画像３２の一部を占める配置領域Ｒに配置される情報としてキャプチャ動画像に関連付けられている。そして本実施形態では、例えばクライアント１２−１においてキャプチャ動画像を再生させる際に、振動識別画像３４が配置されたフレーム画像が表示されるタイミングに当該クライアント１２−１のコントローラ１２ｃが振動するよう制御される。本実施形態では例えば、公知の画像解析技術を用いてキャプチャ画像３２に対して形状解析が行われ、振動識別画像３４の有無が検出される。そして振動識別画像３４の検出に応じて、クライアント１２−１のコントローラ１２ｃが振動するよう制御される。このようにして本実施形態では、キャプチャ動画像の再生の際に、プログラムの実行状況に応じたコントローラ１２ｃの振動を再現させることができることとなる。

本実施形態では、振動識別画像３４が配置される位置が、コントローラ１２ｃの振動子に対応付けられる。図５の例では、キャプチャ画像３２に、振動識別画像３４が配置されるべき領域である配置領域Ｒが２つ設けられている。そして、キャプチャ画像３２の左上の一部を占める第１の配置領域Ｒ１が左の振動子に対応付けられ、キャプチャ画像３２の右上の一部を占める第２の配置領域Ｒ２が右の振動子に対応付けられる。そして本実施形態では、表示されるキャプチャ画像３２内の第１の配置領域Ｒ１に円形の振動識別画像３４−１が配置されている際にコントローラ１２ｃが備える左の振動子が振動する。また本実施形態では、表示されるキャプチャ画像３２内の第２の配置領域Ｒ２に三角形の振動識別画像３４−２が配置されている際にコントローラ１２ｃが備える右の振動子が振動する。このようにして本実施形態では、キャプチャ動画像の再生の際には、コントローラ１２ｃは、振動情報が配置されているキャプチャ画像３２が表示される際に振動するよう制御される。

また本実施形態では例えば、振動識別画像３４が配置されている配置領域Ｒ内における位置が、振動子が振動する強さに対応付けられている。具体的には例えば振動識別画像３４が配置領域Ｒ内において右下に配置されているほど強い強さで振動子が振動するよう制御される。このように本実施形態に係る振動情報は、振動させる振動子及び当該振動子が振動する強さを示している。

なお、振動子が振動する強さに対応付けられるものは振動識別画像３４が配置されている位置には限定されない。例えば、振動識別画像３４の大きさが、振動子が振動する強さに対応付けられてもよい。この場合例えば、振動識別画像３４の大きさが大きいほど強い強さで振動子が振動するよう制御されることとなる。

また例えば、配置領域Ｒに配置される振動識別画像３４の個数が、振動子が振動する強さに対応付けられてもよい。この場合例えば、配置領域Ｒに配置される振動識別画像３４の数が多いほど強い強さで振動子が振動するよう制御されることとなる。

また例えば、振動識別画像３４の形状が円形でない場合に、振動識別画像３４の角度が、振動子が振動する強さに対応付けられてもよい。この場合例えば、配置されている振動識別画像３４の、基準となる姿勢に対して傾いている角度が大きいほど強い強さで振動子が振動するよう制御されることとなる。

また例えば、振動識別画像３４の縦横比が、振動子が振動する強さに対応付けられてもよい。この場合例えば、配置領域Ｒに配置される振動識別画像３４の縦横比の値が大きいほど強い強さで振動子が振動するよう制御されることとなる。

また例えば、振動識別画像３４として配置される図形の輪郭が破線である場合に、破線の数が、振動子が振動する強さに対応付けられてもよい。この場合例えば、振動識別画像３４の輪郭である破線の数が多いほど強い強さで振動子が振動するよう制御されることとなる。

また例えば振動識別画像３４の色相、彩度、明度などが、振動子が振動する強さに対応付けられてもよい。また例えば所定の周波数で振動識別画像３４が配置されている状態と配置されていない状態とが繰り返されるようにしてもよい。そして例えば周波数が低いほど強い強さで振動子が振動するよう制御されるようにしてもよい。

また１つの配置領域Ｒに複数の形状の振動識別画像３４が配置されてもよい。例えば、第１の配置領域Ｒ１に円形の振動識別画像３４−１及び三角形の振動識別画像３４−２が配置されるようにしても構わない。この場合例えば、表示されるキャプチャ画像３２内の第１の配置領域Ｒ１に円形の振動識別画像３４−１が配置されている際にコントローラ１２ｃが備える左の振動子が振動する。そして当該第１の配置領域Ｒ１に三角形の振動識別画像３４−２が配置されている際にコントローラ１２ｃが備える右の振動子が振動する。

また本実施形態では、ユーザが所定の操作を行うことで上述のキャプチャ動画像は動画配信サーバ１０にアップロードされる。ここで例えばクライアント１２−１から動画配信サーバ１０にアップロードされたキャプチャ動画像をクライアント１２−２が動画配信サーバ１０からダウンロードして再生させたとする。すると、クライアント１２−２のコントローラ１２ｃが備える振動子は、表示されるキャプチャ画像３２に振動識別画像３４が配置されている際に振動するよう制御される。このようにして本実施形態では、他のクライアント１２で実行されたプログラムの実行状況に応じたコントローラ１２ｃの振動を再現させることができ、異なるユーザ間で振動体験が共有されることとなる。

なお、振動識別画像３４がコントローラ１２ｃを表すアイコンであっても構わない。あるいはキャプチャ画像３２に振動識別画像３４の代わりにコントローラ１２ｃによる振動の再現が可能であることを表すメッセージが配置されてもよい。こうすれば、ユーザはコントローラ１２ｃを接続することにより振動を再現できることを容易に認識することができる。

また、コントローラ１２ｃの振動を表す振動情報は上述の振動識別画像３４には限定されない。例えば、コントローラ１２ｃが振動するよう制御されるタイミングにディスプレイ１２ｂに表示されるプレイ画像３０の縁を加工することでキャプチャ画像３２が生成されるようにしてもよい。このとき例えば明度や彩度の変化量が大きいほど、キャプチャ画像３２が表示される際に振動子が強く振動するようにしてもよい。また同様に、コントローラ１２ｃが振動するよう制御されるタイミングにディスプレイ１２ｂに表示されるプレイ画像３０の一辺、辺の一部、隅、画面中央部分を加工することでキャプチャ画像３２が生成されるようにしてもよい。また当該加工の態様は、例えばブラー、３原色分割、位置ズレ、拡大又は縮小などが挙げられる。

また振動情報は画像として表現される必要はない。例えば振動情報が、図６に示すような、開始タイミング、終了タイミング、左振動強度値、及び、右振動強度値を含むデータであっても構わない。ここで開始タイミングとは、例えば、キャプチャ動画像の再生開始から振動子の振動が開始されるタイミングまでの時間を示す。また終了タイミングとは、例えば、キャプチャ動画像の再生開始から振動子の振動が開始されるタイミングまでの時間を示す。またあるいは例えば振動情報が音声データとして表現されてもよい。また振動情報は、キャプチャ動画像のファイルの一部として含まれてもよいし、キャプチャ動画像のファイルとは独立したファイルに含まれるようにしてもよい。なお振動情報が画像以外の形式で表現されている場合は、キャプチャ動画像の解像度によらず振動を再現させることが可能となる。

また例えば、キャプチャされた動画像ではない、動画配信サーバ１０に予め記憶されている映画やドラマ等の動画像コンテンツに振動情報が関連付けられていてもよい。具体的には例えば動画像コンテンツを構成するフレーム画像に振動識別画像３４が配置されても構わない。そして、振動識別画像３４が配置されたフレーム画像が表示されるタイミングに上述のようにコントローラ１２ｃの振動子が振動するよう制御されてもよい。例えば、警告として、あるいは視聴者の期待を高めるために、出演者が絶叫するシーンなどといった視聴者が驚くシーンのフレーム画像の直前のフレーム画像に例えば振動識別画像３４が配置されるなどして振動情報が関連付けられていてもよい。また例えば特定のキャラクタが登場するシーンを知らせる意味で、当該シーンのフレーム画像又はその直前のフレーム画像に、例えば振動識別画像３４が配置されるなどして振動情報が関連付けられていてもよい。

また振動識別画像３４が配置されたり、上述の加工が施されたりした、キャプチャ動画像や動画像コンテンツが表示されるクライアント１２がコントローラ１２ｃを備えていなくてもよい。この場合でも、キャプチャ動画像や動画像コンテンツを閲覧するユーザは、振動識別画像３４が上述の加工によって振動が発生するタイミングであることを視覚的に認識することができることとなる。そして例えばコントローラ１２ｃを含めるようクライアント１２を構成することによって、ユーザは、当該コントローラ１２ｃの振動子の振動による、よりリッチなユーザ体験を味わうことができる。

また本実施形態によれば、コントローラ１２ｃが接続されていない装置で上述の動画像を閲覧するユーザに対して、コントローラ１２ｃやコントローラ１２ｃが接続可能なゲームコンソール１２ａ等の装置を購入するよう促すことができることとなる。

また振動情報に関連付けられた動画像が再生されるクライアント１２に、振動情報と出力デバイスの種別に応じた出力とを関連付けた変換規則データや振動情報に基づいて出力デバイスの種別に応じた出力を特定するプログラムなどが記憶されていてもよい。そして変換規則データや当該プログラムによって振動識別画像３４等の振動情報に基づいて、出力デバイスの種別に応じた出力を表す出力情報が生成されるようにしてもよい。そして、当該出力情報に従った出力が当該出力デバイスから出力されるようにしてもよい。こうすれば、プログラムの実行状況に応じたコントローラ１２ｃの振動が再現されるクライアント１２が備える出力デバイスに応じた好適な振動の再現を行うことが可能となる。

ここで例えば出力デバイスがスピーカである場合は、出力情報は例えば音量を表すこととなる。また例えば出力デバイスがＬＥＤライト等の照明である場合は、出力情報は例えば光量を表すこととなる。

また例えば出力デバイスがコントローラ１２ｃである場合は、出力情報は例えば振動子の強さを表すこととなる。なおここで振動情報が生成されたクライアント１２が備えるコントローラ１２ｃと、出力情報に従った出力が行われるクライアント１２が備えるコントローラ１２ｃが異なっていてもよい。例えば、振動情報が生成されたクライアント１２が備えるコントローラ１２ｃは振動子を２つ備えており、出力情報に従った出力が行われるクライアント１２が備えるコントローラ１２ｃは振動子を４つ備えていてもよい。この場合は、出力情報は、４つの振動子それぞれについての振動強度値を示すこととなる。

以下、ゲームコンソール１２ａで実行される振動情報の動画像への関連付け及びプログラムの実行状況に応じたコントローラ１２ｃの振動の再現についてさらに説明する。

図７は、本実施形態に係るゲームコンソール１２ａで実装される、ゲームコンソール１２ａで実行される振動情報の動画像への関連付け及びプログラムの実行状況に応じたコントローラ１２ｃの振動の再現に関する機能の一例を示す機能ブロック図である。なお、本実施形態に係るゲームコンソール１２ａで、図７に示す機能のすべてが実装される必要はなく、また、図７に示す機能以外の機能が実装されていても構わない。

本実施形態に係るゲームコンソール１２ａは、図７に示すように、機能的には例えば、プログラム実行部４０、プレイ時表示制御部４２、プレイ時振動制御部４４、キャプチャ制御部４６、関連付け部４８、動画像記憶部５０、動画像送信部５２、動画像受信部５４、動画像取得部５６、再生部５８、生成規則記憶部６０、出力情報生成部６２、再現時出力制御部６４、を含んでいる。プログラム実行部４０、関連付け部４８、動画像取得部５６、出力情報生成部６２は、制御部２０を主として実装される。プレイ時表示制御部４２、再生部５８は、制御部２０及び入出力部２６を主として実装される。プレイ時振動制御部４４、再現時出力制御部６４は、通信部２４又は入出力部２６を主として実装される。キャプチャ制御部４６は、制御部２０及び記憶部２２を主として実装される。動画像記憶部５０、生成規則記憶部６０は、記憶部２２を主として実装される。動画像送信部５２、動画像受信部５４は、通信部２４を主として実装される。

そして、以上の機能は、コンピュータであるゲームコンソール１２ａにインストールされた、以上の機能に対応する指令を含むプログラムを制御部２０で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどの通信手段を介してゲームコンソール１２ａに供給される。

図７に示す機能を備えるゲームコンソール１２ａは、キャプチャ動画像に振動情報を関連付ける振動情報関連付け装置としての側面がある。例えばプレイ時振動制御部４４、キャプチャ制御部４６、関連付け部４８、動画像記憶部５０、動画像送信部５２が、振動情報関連付け装置としての側面に関係する機能である。またゲームコンソール１２ａは、動画像の再生の際に、当該動画像に関連付けられている振動情報に従ってコントローラ１２ｃを振動させるよう制御する振動再現装置としての側面もある。例えば動画像受信部５４、動画像取得部５６、再生部５８、出力情報生成部６２、再現時出力制御部６４が、振動再現装置としての側面に関係する機能である。

プログラム実行部４０は、ゲームプログラム等のプログラムを実行する。

プレイ時表示制御部４２は、プログラム実行部４０が実行するゲームプログラム等のプログラムの実行内容を示すプレイ画像３０をディスプレイ１２ｂに表示させる。

プレイ時振動制御部４４は、プログラム実行部４０が実行するゲームプログラム等のプログラムの実行状況に応じてコントローラ１２ｃを振動させるよう制御する。

キャプチャ制御部４６は、ゲームプログラム等のプログラムの実行内容を示す動画像がキャプチャされるよう制御する。キャプチャ制御部４６は、本実施形態では例えば、ディスプレイ１２ｂに表示される一連のプレイ画像３０から構成されるプレイ動画像をキャプチャする。

関連付け部４８は、コントローラ１２ｃが振動するよう制御されるタイミングにディスプレイ１２ｂに表示される画像に対応付けられる、プログラムの実行内容を示す動画像の少なくとも一部に、当該振動を表す振動情報を関連付ける。関連付け部４８は、本実施形態では例えば、キャプチャ動画像を構成するフレーム画像のうち、コントローラ１２ｃが振動するよう制御されるタイミングにディスプレイ１２ｂに表示されるよう制御されたプレイ画像３０に対応付けられるものを特定する。そして関連付け部４８は、特定されるフレーム画像に振動識別画像３４を配置する。なおここで関連付け部４８は、上述したようにコントローラ１２ｃが振動するよう制御されるタイミングにディスプレイ１２ｂに表示されるプレイ画像３０を加工することでキャプチャ画像３２を生成してもよい。また関連付け部４８が、図６に示すデータなどといった振動情報を生成してもよい。

また関連付け部４８は、キャプチャ画像３２内における配置領域Ｒ（Ｒ１、Ｒ２）の位置を示す配置領域データを保持していてもよい。配置領域データは、例えば配置領域Ｒ（Ｒ１、Ｒ２）それぞれの４頂点の座標値などを示すデータである。そして関連付け部４８は、配置領域データに基づいて配置領域Ｒ（Ｒ１、Ｒ２）を特定してもよい。そして特定された配置領域Ｒ（Ｒ１、Ｒ２）に振動識別画像３４を配置するようにしてもよい。

動画像記憶部５０は、キャプチャ動画像を記憶する。本実施形態では例えば、関連付け部４８が、プレイ動画像に対して振動識別画像３４の配置や上述の加工を行うことでキャプチャ動画像を生成して、当該キャプチャ動画像を動画像記憶部５０に記憶させる。なお関連付け部４８が、例えば図６に示す振動情報を生成した上で、当該振動情報をキャプチャ制御部４６がプレイ動画像をキャプチャすることで生成されるキャプチャ動画像に関連付けて動画像記憶部５０に記憶させてもよい。

動画像送信部５２は、ユーザからの要求に応じて、キャプチャ動画像を送信する。本実施形態では例えば、動画像送信部５２は、キャプチャ動画像を動画配信サーバ１０に送信する。当該キャプチャ動画像は動画配信サーバ１０に記憶されることとなる。ここで動画像送信部５２は、他のクライアント１２にキャプチャ動画像を直接送信するようにしても構わない。

動画像受信部５４は、再生の対象となる、振動情報に関連付けられた動画像を受信する。動画像受信部５４は、本実施形態では例えば動画配信サーバ１０に記憶されているキャプチャ動画像を受信する。なお動画像受信部５４が、他のクライアント１２から送信されるキャプチャ動画像を受信してもよい。また動画像受信部５４が、動画配信サーバ１０に記憶されている、振動情報に関連付けられた映画やドラマ等の動画像コンテンツを受信してもよい。

動画像取得部５６は、再生の対象となる、振動情報に関連付けられた動画像を取得する。動画像取得部５６は、本実施形態では例えば動画像受信部５４が受信した動画像や動画像記憶部５０に記憶されている動画像を取得する。また本実施形態では、動画像取得部５６は、プログラムの実行状況に応じて出力されるコントローラ１２ｃの振動を表す振動情報を取得する振動情報取得部としての役割も担っている。

再生部５８は、動画像取得部５６が取得した動画像を再生させる。

生成規則記憶部６０は、振動情報に基づいて、出力デバイスの種別に応じた出力を表す出力情報を生成する規則に対応するデータやプログラムを記憶する。生成規則記憶部６０は、具体的には例えば、振動情報と出力デバイスの種別に応じた出力とを関連付けた変換規則データや振動情報に基づいて出力デバイスの種別に応じた出力を特定するプログラムを記憶する。

出力情報生成部６２は、生成規則記憶部６０に記憶されているデータやプログラムと、動画像取得部５６が取得する動画像に関連付けられている振動情報と、に基づいて、出力情報を生成する。ここで出力情報生成部６２は、例えば、キャプチャ画像３２内の、配置領域Ｒに対して公知の画像解析技術を用いて形状解析を行い、振動識別画像３４の有無を検出する。そして、出力情報生成部６２は、振動識別画像３４が検出された際に、当該振動識別画像３４に応じた出力情報を生成する。

また生成規則記憶部６０が、キャプチャ画像３２内における配置領域Ｒ（Ｒ１、Ｒ２）の位置を示す配置領域データを記憶していてもよい。そして出力情報生成部６２が、配置領域データに基づいて配置領域Ｒ（Ｒ１、Ｒ２）を特定してもよい。そして出力情報生成部６２が、キャプチャ画像３２内の、特定された配置領域Ｒ（Ｒ１、Ｒ２）に対して形状解析を行い、振動識別画像３４の有無を検出するようにしてもよい。このようにして、キャプチャ動画像の再生の際には、コントローラ１２ｃは、表示されるキャプチャ画像３２の一部を占める配置領域Ｒ内に振動情報が配置されていることが検出される際に振動するよう制御されてもよい。

再現時出力制御部６４は、出力情報生成部６２が生成した出力情報に従った出力が所定の出力デバイスから出力されるよう制御する。ここで例えば当該出力デバイスがコントローラ１２ｃである場合は、再現時出力制御部６４は、出力情報生成部６２が生成した出力情報に従った振動強度信号を当該コントローラ１２ｃに出力する。この場合は、再現時出力制御部６４は、キャプチャ動画像の再生の際に、当該キャプチャ動画像に関連付けられている振動情報が表すタイミングにコントローラ１２ｃを振動させるよう制御する振動制御部としての役割を担うこととなる。

ここで、本実施形態に係るゲームコンソール１２ａで、あるフレームにおける、キャプチャ動画像の生成処理及び振動情報のキャプチャ動画像への関連付け処理の流れの一例を、図８に示すフロー図を参照しながら説明する。ここではプログラム実行部４０は、ゲームプログラム等のプログラムを実行していることとする。

まずプレイ時表示制御部４２が、当該フレームにおけるプログラムの実行内容を示すプレイ画像３０を生成してディスプレイ１２ｂに表示させる（Ｓ１０１）。そして、プレイ時振動制御部４４は、当該プログラムの実行状況に応じて、当該フレームにおいてコントローラ１２ｃを振動させるか否かを決定する（Ｓ１０２）。そしてＳ１０２に示す処理でコントローラ１２ｃを振動させないことが決定された場合は（Ｓ１０２：Ｎ）、キャプチャ制御部４６が、Ｓ１０１に示す処理で表示されるプレイ画像３０がキャプチャされるよう制御して（Ｓ１０３）、本処理例に示す処理を終了する。Ｓ１０３に示す処理では本処理例では例えば、キャプチャ制御部４６が、Ｓ１０１に示す処理で表示されるプレイ画像３０をキャプチャしてキャプチャ画像３２を生成して、当該キャプチャ画像３２を動画像記憶部５０に記憶させる。

一方、Ｓ１０２に示す処理でコントローラ１２ｃを振動させることが決定された場合は（Ｓ１０２：Ｙ）、プレイ時振動制御部４４は、当該プログラムの実行状況に応じてコントローラ１２ｃを振動させるよう制御する（Ｓ１０４）。Ｓ１０４に示す処理では本処理例では例えば、当該プログラムの実行状況に応じて、当該フレームにおける振動強度信号を生成して、コントローラ１２ｃに出力する。コントローラ１２ｃは受け付ける振動強度信号に従って振動する。そしてキャプチャ制御部４６が、Ｓ１０１に示す処理で表示されるプレイ画像３０がキャプチャされるよう制御する（Ｓ１０５）。Ｓ１０５に示す処理では本処理例では例えば、キャプチャ制御部４６が、Ｓ１０１に示す処理で表示されるプレイ画像３０をキャプチャしてキャプチャ画像３２を生成する。そして、関連付け部４８が、Ｓ１０５に示す処理で生成されたキャプチャ画像３２に振動情報を関連付けて、当該キャプチャ画像３２を動画像記憶部５０に記憶させる（Ｓ１０６）。Ｓ１０６に示す処理では本処理例では例えば、関連付け部４８は、Ｓ１０４に示す処理で生成される振動強度信号に応じた振動識別画像３４をＳ１０５に示す処理で生成されたキャプチャ画像３２に配置する。そして関連付け部４８は、当該キャプチャ画像３２を動画像記憶部５０に記憶させて、本処理例に示す処理を終了する。

なお、以上の処理例において、Ｓ１０２に示す決定処理を行わなくてもよい。そして例えば、コントローラ１２ｃを振動させない場合でも左振動強度値及び右振動強度値が０である振動強度信号を生成して、コントローラ１２ｃに出力されるようにしてもよい。またこの場合は、関連付け部４８は、左振動強度値及び右振動強度値が０である振動強度信号に対応付けられる振動情報をキャプチャ画像３２に関連付けてもよい。

次に、本実施形態に係るゲームコンソール１２ａで、あるフレームにおける、キャプチャ動画像を構成するフレーム画像であるキャプチャ画像３２の表示処理及びコントローラ１２ｃの振動制御処理の流れの一例を、図９に示すフロー図を参照しながら説明する。

まず、再生部５８が、当該フレームにおけるキャプチャ画像３２をディスプレイ１２ｂに表示させる（Ｓ２０１）。そして、出力情報生成部６２が、生成規則記憶部６０に記憶されているデータやプログラムと、Ｓ２０１に示す処理で表示されるフレーム画像と、に基づいて出力情報を生成するか否かを決定する（Ｓ２０２）。ここでは例えば、キャプチャ画像３２内の配置領域Ｒに対して形状解析を行って振動識別画像３４が検出された際に、当該振動識別画像３４に応じた出力情報を生成することを決定する。

そしてＳ２０２に示す処理で出力情報が生成されないことが決定された場合は（Ｓ２０２：Ｎ）、本処理例に示す処理を終了する。一方、生成されたことが判定された場合は（Ｓ２０２：Ｙ）、出力情報生成部６２が、生成規則記憶部６０に記憶されているデータやプログラムと、Ｓ２０１に示す処理で表示されるフレーム画像と、に基づいて出力情報を生成する（Ｓ２０３）。そして、再現時出力制御部６４が、Ｓ２０２に示す処理で生成された出力情報に従った出力が所定の出力デバイスから出力されるよう制御して（Ｓ２０４）、本処理例に示す処理を終了する。ここで例えば当該出力デバイスがコントローラ１２ｃである場合は、出力情報生成部６２が生成した出力情報に従った振動強度信号が当該コントローラ１２ｃに出力されて、当該コントローラ１２ｃは当該振動強度信号に従って振動する。

なお、本発明は上述の実施形態に限定されるものではない。

例えばゲームのプレイ中に、カメラＣが、当該ゲームのプログラムの実行内容を示すプレイ画像３０が更新されるフレームレートで画像を撮影してもよい。そして図１０に示すように、ゲームのプログラムの実行内容を示すプレイ画像３０と当該ゲームのプレイ中にカメラＣにより撮影される撮影画像７０とに基づいて、キャプチャ動画像を構成するキャプチャ画像３２が生成されてもよい。図１０に示すキャプチャ画像３２では、プレイ画像３０が占める領域の一部に撮影画像７０が配置されている。ここで撮影画像７０は、例えば、当該プレイ画像３０がディスプレイ１２ｂに表示された際にカメラＣがユーザを撮影した画像である。なおキャプチャ画像３２は、プレイ画像３０と撮影画像７０とが並んで配置された画像であっても構わない。

そして振動情報は、撮影画像７０としてキャプチャ動画像に関連付けられていてもよい。すなわち、撮影画像７０が表す振動情報の検出に応じて、当該撮影画像７０を含むキャプチャ画像３２を再生させるクライアント１２のコントローラ１２ｃが振動するよう制御されてもよい。こうすれば、上述の振動識別画像３４よりも自然な形で振動情報が画像として伝達されることとなる。この場合、例えば上述の関連付け部４８が、所定のフレームレートでカメラＣにより撮影される、図１０に例示する撮影画像７０を取得する。そして関連付け部４８が、キャプチャ制御部４６がキャプチャしたプレイ動画像と、一連の撮影画像７０から構成される撮影動画像に基づいて、図１０に例示するキャプチャ画像３２を含んで構成されるキャプチャ動画像を生成することとなる。

例えば、コントローラ１２ｃが振動するよう制御されるタイミングにディスプレイ１２ｂに表示されるプレイ画像３０をキャプチャすることで生成されるキャプチャ画像３２に配置される撮影画像７０の周囲には枠が配置されるようにしてもよい。一方コントローラ１２ｃが振動するよう制御されないタイミングにディスプレイ１２ｂに表示されるプレイ画像３０をキャプチャすることで生成されるキャプチャ画像３２に配置される撮影画像７０の周囲には枠が配置されないようにしてもよい。そして例えば、当該撮影画像７０を含むキャプチャ画像３２を再生させるクライアント１２において、公知の画像解析技術を用いてキャプチャ画像３２に対して形状解析が行われ、撮影画像７０の周囲に配置された枠の有無が検出されてもよい。そして振動識別画像３４の検出に応じて、当該撮影画像７０を含むキャプチャ画像３２を再生させるクライアント１２のコントローラ１２ｃが振動するよう制御されるようにしてもよい。このようにして本実施形態では、キャプチャ動画像の再生の際に、プログラムの実行状況に応じたコントローラ１２ｃの振動を再現させることができることとなる。

また例えば、キャプチャ画像３２に配置される撮影画像７０の周囲に配置される枠の太さや色が、振動子が振動する強さに対応付けられていてもよい。この場合には例えば、当該撮影画像７０を含むキャプチャ画像３２を再生させるクライアント１２のコントローラ１２ｃの振動子が、撮影画像７０の縁に配置される枠が太いほど強い強さで振動子が振動するよう制御されることとなる。

また例えば振動子が振動する強さに対応付けられる振幅又は周波数で撮影画像７０の周囲に配置される枠が振動する（波打つ）よう制御されてもよい。図１０に例示する撮影画像７０の周囲に配置されている枠は振動している状態となっている枠を表している。あるいは例えば振動子が振動する強さに対応付けられる振幅又は周波数で撮影画像７０の全体が振動する（波打つ）よう制御されてもよい。この場合には例えば、当該撮影画像７０を含むキャプチャ画像３２を再生させるクライアント１２のコントローラ１２ｃの振動子が当該撮影画像７０に応じた強さで振動するよう制御されることとなる。

また例えば撮影画像７０が配置されている領域の大きさが、振動子が振動する強さに対応付けられてもよい。この場合は例えば、撮影画像７０が配置されている領域が大きい程強い強さで振動子が振動するよう制御されることとなる。

また例えば撮影画像７０が配置されている領域の傾きが、振動子が振動する強さに対応付けられてもよい。この場合は例えば、撮影画像７０が配置されている領域が傾いている角度が大きい程強い強さで振動子が振動するよう制御されることとなる。

また例えば撮影画像７０が配置されている領域の位置が、振動子が振動する強さに対応付けられてもよい。この場合は例えば、撮影画像７０が配置されている領域が右下に配置されている程強い強さで振動子が振動するよう制御されることとなる。

また例えば撮影画像７０が配置されている領域を囲む枠の色が、コントローラ１２ｃの振動子に対応付けられていてもよい。この場合例えば、撮影画像７０が配置されている領域を赤い枠が囲んでいる際にコントローラ１２ｃが備える右の振動子が振動し、青い枠が囲んでいる際にコントローラ１２ｃが備える左の振動子が振動するよう制御されてもよい。

また例えば、振動子が振動する強さや振動の有無に応じた上述の振動識別画像３４が、撮影画像７０内に配置されてもよい。

また例えば、図１１に示すように、複数のユーザがプレイヤとして参加するゲームについては、プレイ画像３０と複数の撮影画像７０とに基づいて、キャプチャ画像３２が生成されてもよい。図１１に示すキャプチャ画像３２では、プレイ画像３０が占める領域の一部に、撮影画像７０−１及び撮影画像７０−２が配置されている。例えば当該ゲームに、クライアント１２−１を使用するユーザとクライアント１２−２を使用するユーザとがプレイヤとして参加していることとする。そして当該キャプチャ画像３２を含んで構成されるキャプチャ動画像はクライアント１２−１によって動画配信サーバ１０にアップロードされていることとする。この場合には例えば、図１１に示すプレイ画像３０は、当該ゲームのプレイ中にクライアント１２−１が備えるディスプレイ１２ｂに表示される画像であってもよい。そして図１１に示す撮影画像７０−１は、当該プレイ画像３０がクライアント１２−１のディスプレイ１２ｂに表示された際に、クライアント１２−１が備えるカメラＣにより撮影された、クライアント１２−１を使用するユーザの像を含む画像であってもよい。また図１１に示す撮影画像７０−２は、当該プレイ画像３０がクライアント１２−１のディスプレイ１２ｂに表示された際に、クライアント１２−２が備えるカメラＣにより撮影された、クライアント１２−２を使用するユーザの像を含む画像であってもよい。

そして撮影画像７０−１や撮影画像７０−２が上述のようにして振動情報としての役割を担ってもよい。この場合例えば、撮影画像７０−１は、クライアント１２−１が備えるコントローラ１２ｃの振動を表す振動情報であり、撮影画像７０−２は、クライアント１２−２が備えるコントローラ１２ｃの振動を表す振動情報である。そしてこの場合、撮影画像７０−１又は撮影画像７０−２の少なくとも一方が表す振動情報の検出に応じて、当該キャプチャ画像３２を再生させるクライアント１２のコントローラ１２ｃが振動するよう制御されてもよい。

また例えば、クライアント１２が、振動の再現を行うか否かを設定する機能を備えても構わない。この場合、例えば振動の再現を行わない設定が行われた際には、振動識別画像３４が配置されているキャプチャ画像３２が表示されてもコントローラ１２ｃの振動は抑制される。

また例えば、プレイ動画像をキャプチャしてキャプチャ動画像を生成する際に、実行されているプログラムにおける所定のイベントの発生を検出してもよい。そして、キャプチャの開始タイミングからイベントの発生タイミングまでの時間を示す振動情報が生成されるようにしてもよい。そしてキャプチャ動画像の再生の際には、再生開始から当該振動情報が示す時間が経過した際に、コントローラ１２ｃが振動するよう制御されてもよい。このようにコントローラ１２ｃの振動を表す振動情報は、実際にコントローラ１２ｃが振動したことを表す情報である必要はなく、例えば所定のイベントの発生タイミングのようにコントローラ１２ｃが振動するよう制御されるタイミングを示す情報であってもよい。

また振動情報はキャプチャ動画像等の動画像コンテンツに関連付けられる必要はない。例えばサーバでゲームのプログラムが実行されて、当該ゲームの実行内容を表すプレイ画像がクライアント１２に配信されて表示される場面において、配信されるプレイ画像に振動情報が関連付けられていてもよい。具体的には例えばコントローラ１２ｃの振動子が振動すべきタイミングに表示されるプレイ画像に振動識別画像３４が配置されるようにしてもよい。そして振動識別画像３４が配置されたプレイ画像３０がディスプレイ１２ｂに表示された際にコントローラ１２ｃの振動子が振動するよう制御されてもよい。

また、振動情報が明示的に画像に配置されている必要はない。例えば、キャプチャ動画像の再生の際に公知の画像解析技術によって、キャプチャ画像３２が例えば自動車同士が衝突していること等所定のイベントが発生していることを表していることが検出された際に、コントローラ１２ｃが振動するよう制御されてもよい。また例えば、公知の音声解析技術によって、動画像の再生の際に自動車同士が衝突していることを表す音声などといった所定のイベントが発生していることを表す音声が出力されたことが検出された場合に、コントローラ１２ｃが振動するよう制御されてもよい。

またキャプチャ動画像は動画配信サーバ１０を経由して送受信される必要はない。例えば第１のクライアント１２−１でキャプチャされたキャプチャ動画像がピアツーピア方式で第２のクライアント１２−２に送信されるようにしてもよい。

また本実施形態をライブストリーミング配信されるキャプチャ動画像に応用してもよい。例えばライブストリーミング配信されるキャプチャ動画像を構成するフレーム画像に上述の振動識別画像３４や上述の撮影画像７０が配置されるようにしてもよい。そして振動識別画像３４が配置されたフレーム画像が表示されたタイミングなどといった、キャプチャ動画像に関連付けられている振動情報が表すタイミングにコントローラ１２ｃが振動するよう制御されてもよい。

また例えば、キャプチャ動画像が他のクライアント１２に配信される際に当該キャプチャ動画像に関連付けられる振動情報は、当該キャプチャ動画像がクライアント１２に記憶される際に関連付けられる振動情報と異なっていてもよい。例えば、キャプチャ動画像が記憶される際の振動情報と、キャプチャ動画像が動画配信サーバ１０にアップロードされる際の振動情報と、が異なっていてもよい。例えば動画像記憶部５０には、プレイ動画像及び振動情報を表す図６に例示するデータが記憶されてもよい。ここで例えば、クライアント１２がキャプチャ動画像の送信要求をユーザから受け付けたこととする。この場合には関連付け部４８が、当該送信要求の受付に応じて、動画像記憶部５０に記憶されているプレイ動画像及び図６に例示するデータに基づいて、キャプチャ動画像を生成してもよい。ここで生成されるキャプチャ動画像は、例えば図５に例示するような、振動識別画像３４が配置されたキャプチャ画像３２を含んで構成されるものであってもよい。そして動画像送信部５２は、生成されたキャプチャ動画像を動画配信サーバ１０に送信してもよい。

また本実施形態の適用範囲は、動画配信サーバ１０から配信されるキャプチャ動画像や動画像コンテンツに限定されるものではない。例えば本実施形態を、クライアント１２が備えるストレージデバイスに記憶される、振動情報が関連付けられた動画像に応用してもよい。また例えば本実施形態を、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介してクライアント１２に提供される動画像に応用してもよい。具体的には例えばストレージデバイスに記憶される動画像や情報記憶媒体を介して提供される動画像を構成するフレーム画像に上述の振動識別画像３４が配置されるようにしてもよい。そして振動識別画像３４が配置されたフレーム画像が表示されたタイミングなどといった、キャプチャ動画像に関連付けられている振動情報が表すタイミングにコントローラ１２ｃが振動するよう制御されてもよい。

また、ゲームコンソール１２ａ、ディスプレイ１２ｂ、コントローラ１２ｃ、の役割分担は上述のものに限定されない。また、ゲームコンソール１２ａが複数の筐体から構成されていてもよい。

また、上記の具体的な文字列や図面中の具体的な文字列は例示であり、これらの文字列には限定されない。

Claims (15)

1. プログラムの実行状況に応じてコントローラを振動させるよう制御する振動制御部と、
   前記プログラムの実行内容を示す動画像がキャプチャされるよう制御するキャプチャ制御部と、
   前記コントローラが振動するよう制御されるタイミングに表示部に表示される画像に対応付けられる、前記動画像の少なくとも一部に、当該振動を表す振動情報を関連付ける関連付け部と、を含み、
   前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される、ユーザが振動が発生するタイミングであることを視覚的に認識可能な画像として、当該動画像に関連付けられており、
   前記動画像の再生の際には、前記コントローラは、表示されるフレーム画像の一部を占める前記領域内に前記振動情報が配置されていることが検出される際に振動するよう制御される、
   ことを特徴とする情報処理装置。
2. コントローラを振動させるタイミングを表す振動情報に関連付けられている動画像を取得する動画像取得部と、
   前記動画像を再生させる再生部と、
   前記動画像の再生の際に、当該動画像に関連付けられている振動情報が表すタイミングにコントローラを振動するよう制御する振動制御部と、を含み、
   前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される、ユーザが振動が発生するタイミングであることを視覚的に認識可能な画像として、当該動画像に関連付けられており、
   前記動画像の再生の際には、前記コントローラは、表示されるフレーム画像の一部を占める前記領域内に前記振動情報が配置されていることが検出される際に振動するよう制御される、
   ことを特徴とする情報処理装置。
3. プログラムの実行状況に応じてコントローラを振動させるよう制御する振動制御部と、
   前記プログラムの実行内容を示す動画像がキャプチャされるよう制御するキャプチャ制御部と、
   前記コントローラが振動するよう制御されるタイミングに表示部に表示される画像に対応付けられる、前記動画像の少なくとも一部に、当該振動を表す振動情報を関連付ける関連付け部と、を含み、
   前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される、ユーザが振動が発生するタイミングであることを視覚的に認識可能な画像として、当該動画像に関連付けられており、
   前記動画像の再生の際には、表示されるフレーム画像の一部を占める前記撮影画像に応じて前記コントローラの振動が制御される、
   ことを特徴とする情報処理装置。
4. コントローラを振動させるタイミングを表す振動情報に関連付けられている動画像を取得する動画像取得部と、
   前記動画像を再生させる再生部と、
   前記動画像の再生の際に、当該動画像に関連付けられている振動情報が表すタイミングにコントローラを振動するよう制御する振動制御部と、を含み、
   前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される、ユーザが振動が発生するタイミングであることを視覚的に認識可能な画像として、当該動画像に関連付けられており、
   前記動画像の再生の際には、表示されるフレーム画像の一部を占める前記撮影画像に応じて前記コントローラの振動が制御される、
   ことを特徴とする情報処理装置。
5. 前記プログラムは、複数のユーザがプレイヤとして参加可能なゲームのプログラムであり、
   前記振動情報は、前記動画像を構成するフレーム画像に配置されている、前記ゲームにプレイヤとして参加する複数のユーザのそれぞれを撮影した撮影画像として当該動画像に関連付けられており、
   前記動画像の再生の際には、表示されるフレーム画像の一部を占める前記撮影画像に応じて前記コントローラの振動が制御される、
   ことを特徴とする請求項３又は４に記載の情報処理装置。
6. 前記振動情報は、振動させる振動子及び当該振動子が振動する強さを示す、
   ことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記動画像が他の装置に配信される際に当該動画像に関連付けられる前記振動情報は、当該動画像が前記情報処理装置に記憶される際に関連付けられる前記振動情報と異なる、
   ことを特徴とする請求項１に記載の情報処理装置。
8. プログラムの実行状況に応じてコントローラを振動させるよう制御するステップと、
   前記プログラムの実行内容を示す動画像がキャプチャされるよう制御するステップと、
   前記コントローラが振動するよう制御されるタイミングに表示部に表示される画像に対応付けられる、前記動画像の少なくとも一部に、当該振動を表す振動情報を関連付けるステップと、を含み、
   前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される、ユーザが振動が発生するタイミングであることを視覚的に認識可能な画像として、当該動画像に関連付けられており、
   前記動画像の再生の際には、前記コントローラは、表示されるフレーム画像の一部を占める前記領域内に前記振動情報が配置されていることが検出される際に振動するよう制御される、
   ことを特徴とする情報処理方法。
9. コントローラを振動させるタイミングを表す振動情報に関連付けられている動画像を取得するステップと、
   前記動画像を再生させるステップと、
   前記動画像の再生の際に、当該動画像に関連付けられている振動情報が表すタイミングにコントローラを振動させるよう制御するステップと、を含み、
   前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される、ユーザが振動が発生するタイミングであることを視覚的に認識可能な画像として、当該動画像に関連付けられており、
   前記動画像の再生の際には、前記コントローラは、表示されるフレーム画像の一部を占める前記領域内に前記振動情報が配置されていることが検出される際に振動するよう制御される、
   ことを特徴とする情報処理方法。
10. プログラムの実行状況に応じてコントローラを振動させるよう制御するステップと、
    前記プログラムの実行内容を示す動画像がキャプチャされるよう制御するステップと、
    前記コントローラが振動するよう制御されるタイミングに表示部に表示される画像に対応付けられる、前記動画像の少なくとも一部に、当該振動を表す振動情報を関連付けるステップと、を含み、
    前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される、ユーザが振動が発生するタイミングであることを視覚的に認識可能な画像として、当該動画像に関連付けられており、
    前記動画像の再生の際には、表示されるフレーム画像の一部を占める前記撮影画像に応じて前記コントローラの振動が制御される、
    ことを特徴とする情報処理方法。
11. コントローラを振動させるタイミングを表す振動情報に関連付けられている動画像を取得するステップと、
    前記動画像を再生させるステップと、
    前記動画像の再生の際に、当該動画像に関連付けられている振動情報が表すタイミングにコントローラを振動するよう制御するステップと、を含み、
    前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される、ユーザが振動が発生するタイミングであることを視覚的に認識可能な画像として、当該動画像に関連付けられており、
    前記動画像の再生の際には、表示されるフレーム画像の一部を占める前記撮影画像に応じて前記コントローラの振動が制御される、
    ことを特徴とする情報処理方法。
12. プログラムの実行状況に応じてコントローラを振動させるよう制御する手順、
    前記プログラムの実行内容を示す動画像がキャプチャされるよう制御する手順、
    前記コントローラが振動するよう制御されるタイミングに表示部に表示される画像に対応付けられる、前記動画像の少なくとも一部に、当該振動を表す振動情報を関連付ける手順、をコンピュータに実行させ、
    前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される、ユーザが振動が発生するタイミングであることを視覚的に認識可能な画像として、当該動画像に関連付けられており、
    前記動画像の再生の際には、前記コントローラは、表示されるフレーム画像の一部を占める前記領域内に前記振動情報が配置されていることが検出される際に振動するよう制御される、
    ことを特徴とするプログラム。
13. コントローラを振動させるタイミングを表す振動情報に関連付けられている動画像を取得する手順、
    前記動画像を再生させる手順、
    前記動画像の再生の際に、当該動画像に関連付けられている振動情報が表すタイミングにコントローラを振動させるよう制御する手順、をコンピュータに実行させ、
    前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される、ユーザが振動が発生するタイミングであることを視覚的に認識可能な画像として、当該動画像に関連付けられており、
    前記動画像の再生の際には、前記コントローラは、表示されるフレーム画像の一部を占める前記領域内に前記振動情報が配置されていることが検出される際に振動するよう制御される、
    ことを特徴とするプログラム。
14. プログラムの実行状況に応じてコントローラを振動させるよう制御する手順、
    前記プログラムの実行内容を示す動画像がキャプチャされるよう制御する手順、
    前記コントローラが振動するよう制御されるタイミングに表示部に表示される画像に対応付けられる、前記動画像の少なくとも一部に、当該振動を表す振動情報を関連付ける手順、をコンピュータに実行させ、
    前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される、ユーザが振動が発生するタイミングであることを視覚的に認識可能な画像として、当該動画像に関連付けられており、
    前記動画像の再生の際には、表示されるフレーム画像の一部を占める前記撮影画像に応じて前記コントローラの振動が制御される、
    ことを特徴とするプログラム。
15. コントローラを振動させるタイミングを表す振動情報に関連付けられている動画像を取得する手順、
    前記動画像を再生させる手順、
    前記動画像の再生の際に、当該動画像に関連付けられている振動情報が表すタイミングにコントローラを振動するよう制御する手順、をコンピュータに実行させ、
    前記振動情報は、前記動画像を構成するフレーム画像の一部を占める領域に配置される、ユーザが振動が発生するタイミングであることを視覚的に認識可能な画像として、当該動画像に関連付けられており、
    前記動画像の再生の際には、表示されるフレーム画像の一部を占める前記撮影画像に応じて前記コントローラの振動が制御される、
    ことを特徴とするプログラム。

Images