JP5407708B2 - 撮影映像処理装置、制御方法及びプログラム - Google Patents

Description

本発明は、ユーザを撮影した動画をリプレイする機能を装備する撮影映像処理装置、制御方法及びプログラムに関する。

特許文献１は、ゲームプレイ中のイベント発生に対し、該イベントの発生以前の所定時刻から発生時までのゲームプレイをリプレイするゲーム装置を開示する（特許文献１図１１のＡ２９ＹＥＳ→Ａ３１→Ａ３３ＮＯ→Ａ１３ＹＥＳ→Ａ１７ＹＥＳ→Ａ１９）。該ゲーム装置のリプレイ画面では、発生イベントに関連する複数のキャラクタに仮想カメラを向けて撮影し、各キャラクタの撮影動画が並べられて同時進行するようになっている（特許文献１の図２→図３→図４）。

特許文献２は、各店舗に設置された複数のゲーム端末及びモニタ端末をインターネット上の共通のサーバへ接続したゲームシステムを開示する（特許文献２の図１）。該ゲームシステムでは、ゲーム端末において名場面が出現すると、該名場面をリプレイするのに必要なゲームデータがゲーム端末からインターネットを介してサーバへ送信されて、サーバに記憶される（特許文献２図３０Ａ２２ＹＥＳ→Ａ２３→Ａ２４→Ａ２５）。サーバは、モニタ端末からリプレイデータの送信要求があると、該当のリプレイデータを該モニタ端末へ送信し（特許文献２図３４Ｅ１３→Ｅ１４→Ｅ１５）、モニタ端末は、サーバから受信した名場面のリプレイデータを記憶し（特許文献２図３４Ｅ１６）、該リプレイデータを適宜読み出して、ディスプレイに名場面をリプレイするようになっている（特許文献２図３５Ｆ１３）。

特開２００７−３１３００１号公報 特開２００６−６８５３号公報

異なるユーザが、同一の教則ビデオソフトやゲームソフトをもち、各ユーザが、自分の撮影動画処理装置において、それらの動画を見ながら、踊りや体操等の運動を行い、その運動を撮像装置により録画することが考えられる。その場合、各ユーザは、他のユーザがどのような運動をしているかを参考にしたいことがある。

特許文献１は、ゲームプレイのイベント発生に対して該イベント発生までの所定期間のゲームプレイを再現して、ゲーム空間の複数の対象を複数の仮想カメラでとらえた複数画像を並べてかつ同時進行で表示するのみであり、同一の教材やゲーム等に対する他機ユーザの動画を自機で見れるようにするための具体的な手立て開示していない。特許文献２は、各ゲーム端末で出現した名場面データをインターネット上のサーバへアップロードして、サーバのデータベースに蓄積し、サーバが各モニタ端末へ名場面データを配信して、各モニタ端末で名場面を個々に見れるようにすることを開示するのみであり、同一の教材やゲーム等に対する他機ユーザの動画を自機で見れるようにするための具体的な手立て開示していない。

本発明の目的は、所定の基本動画に対して他のユーザが行った振る舞いの撮影動画を有効利用できるようにした撮影映像処理装置、制御方法及びプログラムを提供することである。

本発明によれば、撮影映像処理装置は、所定のソフト動画（ソフト動画には、ゲームソフトやＤＶＤのソフト動画だけでなく、テレビ番組の動画も含む。）に対して行った他機ユーザの振る舞いの撮影動画のデータを、ネットワークを介して取得し、他機ユーザ撮影動画を基本動画や自機ユーザ撮影動画と対比して表示器に表示する。

本発明の撮影映像処理装置は、表示器に基本映像を表示させる表示制御手段、前記表示器に前期基本映像を表示している期間の自機ユーザを記録した自機ユーザ撮影データを記憶装置に保存する自機ユーザ撮影データ保存手段、通信手段を介して他機へ直接又は撮影データ管理サーバへ前記自機ユーザ撮影データをアップロードするアップロード手段、他機の表示器において基本映像を表示している期間の他機ユーザを記録した他機ユーザ撮影データを、他機から直接又は撮影データ管理サーバから通信手段を介して取得する他機ユーザ撮影データ取得手段、前記基本映像と前記他機ユーザ撮影データに基づく他機ユーザ撮影映像とを各対応フレーム同士の表示タイミングを揃えた合成映像を生成する合成映像生成手段、及び前記合成映像生成手段が生成した合成映像を前記表示器に表示する前記表示制御手段、を備えることを特徴とする。
本発明の別の撮影映像処理装置は、表示器に基本映像を表示させる表示制御手段、前記表示器に前記基本映像を表示している期間の自機ユーザを記録した自機ユーザ撮影データを記憶装置に保存する自機ユーザ撮影データ保存手段、通信手段を介して他機へ直接又は撮影データ管理サーバへ前記自機ユーザ撮影データをアップロードするアップロード手段、及び他機の表示器において基本映像を表示している期間の他機ユーザを記録した他機ユーザ撮影データを、他機から直接又は撮影データ管理サーバから通信手段を介して取得する他機ユーザ撮影データ取得手段、を備え、前記表示制御手段は、前記基本映像と前記他機ユーザ撮影データとを同時に表示することを特徴とする。

本発明の撮影映像処理装置制御方法は、表示器に基本映像を表示させる第１表示制御ステップ、前記表示器に前記基本映像を表示している期間の自機ユーザを記録した自機ユーザ撮影データを記憶装置に保存する自機ユーザ撮影データ保存ステップ、通信手段を介して他機へ直接又は撮影データ管理サーバへ前記自機ユーザ撮影データをするアップロードステップ、他機の表示器において基本映像を表示している期間の他機ユーザを記録した他機ユーザ撮影データを、他機から直接又は撮影データ管理サーバから通信手段を介して取得する他機ユーザ撮影データ取得ステップ、前記基本映像と前記他機ユーザ撮影データに基づく他機ユーザ撮影映像とを各対応フレーム同士の表示タイミングを揃えた合成映像を生成する合成映像生成ステップ、及び前記合成映像生成ステップにおいて生成した合成映像を前記表示器に表示する第２表示制御ステップ、を備えることを特徴とする。
本発明の別の撮影映像処理装置制御方法は、表示器に基本映像を表示させる第１表示制御ステップ、前記表示器に前記基本映像を表示している期間の自機ユーザを記録した自機ユーザ撮影データを記憶装置に保存する自機ユーザ撮影データ保存ステップ、通信手段を介して他機へ直接又は撮影データ管理サーバへ前記自機ユーザ撮影データをするアップロードステップ、他機の表示器において基本映像を表示している期間の他機ユーザを記録した他機ユーザ撮影データを、他機から直接又は撮影データ管理サーバから通信手段を介して取得する他機ユーザ撮影データ取得ステップ、及び前記基本映像と前記他機ユーザ撮影データとを前記表示器に同時に表示する第２表示制御ステップ、を備えることを特徴とする。

本発明のプログラムは、前記撮影映像処理装置の各手段としてコンピュータを機能させる。

本発明によれば、ユーザは、他機ユーザが自分の基本動画と同一の基本動画に対して行った振る舞いの撮影動画を基本動画や自分の撮影動画と見比べることができる。

ゲームシステムの概略構成図である。 ゲーム装置のブロック図である。 第１の録画方法のフローチャートである。 ゲーム情報の具体例を示す図である。 第２の録画方法のフローチャートである。 第３の録画方法のフローチャートである。 データアップロード方法のフローチャートである。 サーバのゲーム情報データベースにおいて登録済みのゲーム情報を示す図である。 第１の対比用動画リプレイ方法のフローチャートである。 ゲーム映像の合成画像を示す図である。 第２の対比用動画リプレイ方法のフローチャートである。 撮影映像処理装置のブロック図である。 撮影映像処理装置制御方法のフローチャートである。

図１はゲームシステム１０の概略構成図である。ゲームシステム１０は、インターネット１１、複数のゲーム装置１２，１３及びサーバ１４を備える。複数のゲーム装置１２，１３及びサーバ１４は、インターネット１１へ接続されて、データを相互に授受自在になっている。図１では、図示の便宜上、ゲーム装置１２，１３の２つしか記載していないが、現実のゲームシステム１０では、多数のゲーム装置がインターネット１１へ接続されることになる。ゲーム装置１２，１３及びサーバ１４は、インターネット１１に代えて専用回線で結ぶこともできる。また、本実施例では、ゲーム装置１２，１３は、データの授受を直接ではなく、サーバ１４を介して間接に行うことになっている。

本実施例では、ゲーム装置１２、ＡＶ出力装置１９及び撮像装置２０はユーザ１８の自宅に配備されている。ユーザ１８は、ゲーム装置１２、ＡＶ出力装置１９及び撮像装置２０として自宅以外の体育施設やゲームセンター等に配備されたものを使用することもできる。ＡＶ出力装置１９はディスプレイ２１と左右スピーカ２２とを装備している。

ユーザ１８は、教則やゲームの各種ソフトをゲーム装置１２にセットしてから、ＡＶ出力装置１９の前に立ち、リモコン（図示せず）でゲーム装置１２、ＡＶ出力装置１９及び撮像装置２０を遠隔操作し、ソフトの再生又は起動の指示を出す。これに伴い、それらソフトのコンテンツの動画及び音声がそれぞれディスプレイ２１及びスピーカ２２から出力される。なお、ユーザ１８は、これら各種ソフトを、それらを格納したＤＶＤ等の記録媒体により入手するだけでなく、インターネット等の通信回線を経て所定のサーバから入手することもできる。本実施例では、該コンテンツは、美容体操やダンス等の模範演技であり、教師２３の模範演技がディスプレイ２１に表示されている。ユーザ１８は、ディスプレイ２１における教師２３の模範演技に合わせて演技する。また、撮像装置２０は、ユーザ１８の演技を撮影し、映像信号をゲーム装置１２へ出力する。なお、撮像装置２０をマイクロホン内蔵式とし、ユーザ１８の声や周囲の音を該マイクロホンで採取して、その音声信号もゲーム装置１２へ出力することもできる。ゲーム装置１２は、撮像装置２０からの映像信号及び／又は音声信号のデータを第２の記録部３２（図２）に所定の圧縮規格形式で記憶する。

ゲーム装置１３は、ゲーム装置１２とは別の場所に配備され、ユーザ１８とは別のユーザが使用するものとする。ゲーム装置１３は、ゲーム装置１２と同様に、ゲーム装置１３の配備場所におけるＡＶ出力装置及び撮像装置と接続されて、ゲーム装置１２の同様の使い方で他のユーザにより使用される。

図２はゲーム装置１２のブロック図である。ゲーム装置１２は、ゲーム記録媒体２５、映像信号入力部２６、音声信号入力部２７、映像信号出力部２８、音声信号出力部２９、通信部３０、第１の記録部３１、第２の記録部３２、制御部３３、再生部３４及び操作入力部３５を備え、それらゲーム記録媒体２５、映像信号入力部２６、音声信号入力部２７、映像信号出力部２８、音声信号出力部２９、通信部３０、第１の記録部３１、第２の記録部３２、制御部３３、再生部３４及び操作入力部３５は、共通のバスを介してデータを相互に授受するようになっている。

ゲーム記録媒体２５は、ＣＤ−ＲＯＭやＤＶＤ等の記録媒体であり、教則やゲーム用のＡＶ（Audio Visual）自体のデータや、教則ソフトやゲームソフトのプログラムを格納している。映像信号入力部２６及び音声信号入力部２７は、撮像装置２０及びその内蔵マイクロホンからの映像信号及び音声信号をそれぞれ入力される。映像信号出力部２８及び音声信号出力部２９は、それぞれ映像信号及び音声信号をＡＶ出力装置１９へ出力する。

通信部３０は、有線ＬＡＮ、無線ＬＡＮ、ブルートゥース、又は携帯電話網等に接続するための通信モジュール等から構成され、これら有線ＬＡＮ等を介してインターネット１１へ接続され、サーバ１４とデータを送受する。

第１の記録部３１は、例えばＵＳＢメモリやＳＤカード等の着脱自在のフラッシュメモリから成り、ゲーム情報（図４）を読書き自在にしている。第２の記録部３２は、例えばハードディスク装置、ＤＶＤ−Ｒ又はＤＶＤ−ＲＷから成り、撮像装置２０からの映像信号及び音声信号に係る圧縮データを読書きに記録される。制御部３３は、ＣＰＵから成り、ゲーム装置１２内の各素子を制御する。

再生部３４は、ユーザ１８の指示、ゲームの進行等に応じて、ゲーム記録媒体２５、第１及び第２の記録部３１，３２のコンテンツデータを読み出して、映像及び音声の再生信号を生成し、映像信号出力部２８及び音声信号出力部２９へ送る。操作入力部３５はゲーム装置１２のユーザインターフェースである。操作入力部３５は、典型的にはゲーム用コントローラであるが、ユーザ１８からのゲーム装置１２、ＡＶ出力装置１９及び撮像装置２０についての全ユーザ操作を一括して受付けるようになっている。

図３は第１の録画方法４５のフローチャートである。ゲーム装置１２は、録画方法として第１の録画方法４５（図３）、第２の録画方法６０（図５）又は第３の録画方法６８（図６）を採用することができる。

Ｓ４６では、ユーザ１８は、操作入力部３５を操作して、ゲームの記録を指示する。これに伴い、ゲーム記録媒体２５のゲームソフト（教則ビデオソフトを含む。）が起動し、撮像装置２０は、撮影信号の出力を開始する。なお、撮像装置２０からの出力が開始されても、該出力の記録は開始されない。

Ｓ４７では、撮像装置２０がユーザ１８を認識したか否かを判定する。具体的には、ユーザの認識について、公知の顔認識技術や人感センサ等を撮像装置に搭載することで達成される。Ｓ４７の判定が正になりしだい、Ｓ４８へ進む。なお、Ｓ４７は省略してもよい。Ｓ４８において、撮像装置２０からの映像信号を第２の記録部３２へ記録開始する。第２の記録部３２への信号記録では、撮像装置２０の内蔵マイクロホンからの音声信号の記録も並行して行うことができる。映像信号のデータ及び音声信号のデータは、別々のファイルとして記録されてもよいし、同一のファイルとして記録されてもよい。

Ｓ４９では、第１の記録部３１へのゲーム情報の記録を開始する。図４はゲーム情報の具体例を示す。図４の各行がゲーム情報に対応しており、ユーザ１８は、ゲーム装置１２において複数のソフトを実施するので、複数のゲームタイトルについてのゲーム情報が存在する。ゲーム情報の項目として、ゲームタイトル、ゲーム進行状況、撮影開始日時及び撮影終了日時が存在する。

ゲーム進行状況は、撮影開始日時のゲーム開始位置と、撮影終了日時のゲーム終了位置とから特定される。図４の例では、ゲーム進行状況は、ゲーム開始位置とゲーム終了位置との２つの情報で表現せず、ゲーム開始位置からゲーム終了位置までのゲーム範囲で示している。ゲーム範囲とは、図４の「２−１−３」及び「２−１−４−２７」のことであり、左の数字ほど、大きい区切りを示している。例えば図４の「ヨガマスター」の「２−１−３」は、「ヨガマスター」の第２章第１節第３項のゲーム範囲を示し、ユーザ１８が「ヨガマスター」の「２−１−３」の最初から最後までを撮影開始時刻から撮影終了時刻までの時間で実施したことを意味する。

ゲーム情報は、後述のＳ５２において第１の記録部３１に記録される。第１の記録部３１への記録前のゲーム情報は、制御部３３のＲＡＭに一時的に記憶されている。Ｓ４９では、ゲーム情報の内、ゲームタイトル、ゲーム進行状況の開始位置、及び撮影開始日時が決まる。ゲーム進行状況の終了位置及び撮影終了日時は後述のＳ５２の実行時に決まる。

Ｓ５０では、ユーザ１８から撮影終了の指示があったか否かを判定し、判定が正になりしだい、Ｓ５１へ進む。ユーザ１８は、撮影終了の指示を操作入力部３５におけるキーの操作により行う。Ｓ５１では、撮像装置２０からの映像信号を第２の記録部３２に記録する処理を終了する。Ｓ５２では、ゲーム情報を第１の記録部３１に記録する処理を終了する。すなわち、ゲーム情報は、１つのファイルとされて、第１の記録部３１に記録される。

図５は第２の録画方法６０のフローチャートである。第２の録画方法６０において、第１の録画方法４５（図３）のステップと同一処理を行うステップは、第１の録画方法４５の対応ステップと同一番号を付けて説明を省略し、相違点についてのみ説明する。

第２の録画方法６０のＳ６１は、第１の録画方法４５のＳ５０に代えて、実行される。Ｓ６１では、ゲーム中の所定のイベントが終了したか否かを判定し、判定が正になりしだい、Ｓ５１へ進む。具体的には、ゲームの或るステージをクリアした時や、教則型コンテンツにおいて教則の１単位（ヨガの１ポーズ等）が終了した時、又はスポーツゲームでの得点時（野球のホームランやサッカーのゴールシーン等）を所定のイベント終了時と判断する。なお、イベント終了は、終了イベントの発生と理解してもよい。すなわち、イベントを、開始イベント（図６のＳ６９）と終了イベントとに区分けして定義し、イベント終了とは、終了イベントの発生を意味する。終了イベントとは例えば野球ゲームにおけるホームランやサッカーゲームにおけるゴールである。

第２の録画方法６０のＳ５１，Ｓ５２では、Ｓ６１のイベント終了時に一致させて、撮影映像及びゲーム情報の記録を終了する。なお、イベント終了が得点シーンとなっている場合には、イベント終了時刻を基点に所定の期間遡った時刻を撮像装置２０の映像及びゲーム情報の記録開始時刻として、開始時刻より以前のゲーム情報は削除するようにしてもよい。

図６は第３の録画方法６８のフローチャートである。第３の録画方法６８において、第２の録画方法６０（図５）のステップと同一処理を行うステップは、第２の録画方法６０の対応ステップと同一番号を付けて説明を省略し、相違点についてのみ説明する。

Ｓ６９は、Ｓ４７とＳ４８との間に挿入される。Ｓ６９では、ゲームのイベントが開始されたか否かを判定し、判定が正になりしだい、Ｓ４８へ進む。イベントの開始は、開始イベントの発生ととらえることもでき、開始イベントには、例えば、ゲーム中の或るステージの開始、教則型コンテンツにおける１教則単位の開始、スポーツゲームにおける試合開始、前半及び後半の開始、並びに野球ゲームにおける攻撃、守備の交代がある。

Ｓ７０は、Ｓ５２の後に実行される。Ｓ７０では、ゲームの終了指示がユーザ１８によりなされたか否かを判定し、判定が正であれば、第３の録画方法６８を終了し、判定が否であれば、Ｓ６９へ戻る。具体的には、ゲーム装置１２の電源操作、リセットボタンの押し下げ、別のゲームの選択等が挙げられる。ゲームのイベントとして発生するゲームオーバーをゲームの終了指示と判断してもよい。

Ｓ７０否で、Ｓ６９へ戻る結果、第３の録画方法６８では、ゲームプレイ期間の所定の進行期間部分ごとに撮影映像データのファイル及びゲーム情報のファイルが作成される。

図７はデータアップロード方法７５のフローチャートである。データアップロード方法７５は、第１の録画方法４５，第２の録画方法６０又は第３の録画方法６８の実施により撮影映像の記録やゲーム情報の記録が行われてから、実行される。

Ｓ７６では、ユーザ１８に、サーバ１４へアップロードしようとするユーザ１８の撮影映像を、第２の記録部３２に記録済みとなっている撮影映像の中から選択させる。具体的には、ユーザ１８は、（ａ）第２の記録部３２に記録済みとなっている各撮影映像に対応付けてサムネイルを表示し、１以上の所望のサムネイルを選択したり、（ｂ）特定の用語や記録日時等で検索してから、さらにソートをかけて、所望の撮影映像に対応付けられる語句を表示させて、それを選択したりする。

Ｓ７７では、関連するゲーム情報、すなわちＳ７６で選択したユーザ１８の撮影映像に対応付けられるゲーム情報があるか否かを判断する。関連するゲーム情報が無い場合の例として、Ｓ５２（図３、図５又は図６）の記録処理において記録したゲーム情報をユーザ１８が意図的に又は誤って削除した場合が挙げられる。ゲーム情報が有る場合は、Ｓ７８へ進み、無い場合は、Ｓ８５へ進む。Ｓ７８では、撮影映像とゲーム情報とをサーバ１４にアップロードする。サーバ１４は、ゲーム装置１２からアップロードされた撮影映像とゲーム情報とを一時保存する。

Ｓ７９では、アップロードされたゲーム情報に対し、該ゲーム情報と関連付けることができるゲーム情報がサーバ１４のゲーム情報データベースに登録済みであるか否かを判定し、判定が正であれば、Ｓ８１へ進み、否であれば、Ｓ８０へ進む。図８はサーバ１４のゲーム情報データベースにおいて登録済みのゲーム情報を示している。ゲーム装置１２のゲーム情報（図４）の項目の内、ゲームタイトルとゲーム進行状況のみがサーバ１４のゲーム情報データベースのゲーム情報の項目となっている。ゲーム装置１２からサーバ１４へアップロードしたゲーム情報について、そのゲームタイトルとゲーム進行状況との対が一致する対がサーバ１４のゲーム情報データベースに登録済みとなっていれば、Ｓ７９の判定は正となる。

Ｓ８０では、ユーザ１８がＳ７８でアップロードした撮影映像に対応付けるサーバ１４側のゲーム情報を選択したか否かを判定し、判定が正であれば、Ｓ８１へ進み、否であれば、Ｓ８９へ進む。すなわち、アップロードした撮影映像について、それに対応付けられるゲーム情報がサーバ１４のゲーム情報データベースに未登録となっている場合には、該撮影映像をサーバ１４のどこに登録すればよいか定まらないので、この登録場所をユーザ１８に選択させる。ユーザ１８は当該撮影映像をゲームタイトルやイベントや進行状況に対応付けてその対応場所へ登録する。なお、サーバ装置はユーザからの要求に応じて、ゲームタイトル、イベント、進行状況に応じたゲームの映像、音声の情報を送り、ユーザ端末でその映像を再生することにより確認するようにしてもよい。Ｓ８０でユーザ１８がアップロード撮影映像に対応付けるゲームタイトルを設定すれば、以降は、それと同一のゲーム情報については、Ｓ７９の判定が正になり、Ｓ８０の繰り返しの実行が回避される。

Ｓ８１では、サーバ１４に一時保存されている撮影映像をサーバ１４側のゲーム情報に対応付けてサーバ１４の記憶装置に正式に記憶する。一方、Ｓ８９では、Ｓ７８でアップロードして一時保存されていた撮影映像及びゲーム情報の内、ゲーム情報は除外して、撮影映像のみをサーバ１４の記憶装置に保存する。Ｓ８９における撮影映像の保存では、サーバ１４において後で所望の撮影映像を検索できるようにするため、ユーザＩＤや登録日、記録日等の基本情報を撮影映像に対応付けて登録するようにする。

Ｓ８５では、ゲーム情報がない旨を表示する。Ｓ８６では、これからアップロードしようとする撮影映像に関連付けるサーバ１４側のゲーム情報をユーザ１８が選択したか否かを判定し、判定が正であれば、Ｓ８７へ進み、否であれば、Ｓ８８へ進む。なお、Ｓ８６のユーザ操作は、前述のＳ８０のユーザ操作と同一である。

Ｓ８７では、ユーザ１８がＳ８６において選択したゲーム情報に関連付けて撮影映像及び自機のゲーム情報をアップロードする。アップロードされたゲーム情報及び撮影映像は、サーバ１４に一時保存され、その後、Ｓ８１の実行に伴い、サーバ１４に一時保存中の撮影映像はサーバ１４側のゲーム情報に対応付けられたサーバ１４の記憶装置の保存場所に正式に記憶される。Ｓ８８では、撮影映像のみをサーバ１４へアップロードし、Ｓ８８の実行後にＳ８９（Ｓ８９の説明はＳ８０否の所で説明済み）を実行する。

Ｓ７７否である場合、すなわちアップロードしようとする撮影映像に対応付けられるゲーム情報がゲーム装置１２に無い場合、これからアップロードしようとする撮影映像に関連付けるサーバ１４側のゲーム情報をユーザ１８に選択させてから（Ｓ８６正）、ゲーム情報及び撮影映像をサーバ１４へアップロードしているが（Ｓ８７）、先に、ゲーム情報及び撮影映像をサーバ１４へアップロードしてから、アップロードした撮影映像に関連付けるサーバ１４側のゲーム情報をユーザ１８に選択させて、その後、Ｓ８１を実施するようにすることもできる。

図９は第１の対比用動画リプレイ方法１００のフローチャートである。Ｓ１０１では、サーバ１４にアクセスし、表示させたい他のユーザの映像を選択する。具体的には、ユーザ１８は、サーバ１４の映像データベースに登録されている撮影映像についてのユーザＩＤやゲーム名、ゲーム中のイベント名等から所望のイベントを選択する。

Ｓ１０２では、ユーザ１８が選択した他のユーザの撮影映像と関連する（具体的には対応する）自分の撮影映像が第２の記録部３２にあるか否かを判定し、判定が正であれば、Ｓ１０３へ進み、否であれば、Ｓ１０５へ進む。Ｓ１０３では、ユーザ１８が、第２の記録部３２にある関連する自分の撮影映像を、選択した他のユーザの撮影映像と並べてディスプレイ２１に表示する及び表示しないのどちらを選択したかを判定し、表示するを選択した場合には、Ｓ１０４へ進み、表示しないを選択した場合には、Ｓ１０５へ進む。

Ｓ１０４では、他のユーザの撮影映像と第２の記録部３２における自分の撮影映像とを再生する設定を行う。Ｓ１０５では、他のユーザの撮影映像のみを再生する設定を行う。

Ｓ１０６では、Ｓ１０４又はＳ１０５で設定した撮影映像のゲーム情報に関連する（具体的には対応する）ゲーム映像があるか否かを判定し、判定が正であれば、Ｓ１０７へ進み、否であれば、Ｓ１０９へ進む。具体的にはゲーム記録媒体２５の中に関連するゲーム映像があるか否かに基づきＳ１０６の判定を行う。なお、ゲーム記録媒体２５の中ではなく、サーバ１４から関連するゲーム映像をダウンロードできる場合は、Ｓ１０６の判定を正としてもよい。

Ｓ１０７では、ユーザ１８にゲーム映像を表示するか表示しないかを選択させ、表示すると選択した場合には、Ｓ１０８へ進み、表示しないを選択した場合には、Ｓ１０９へ進む。Ｓ１０８では、ゲーム映像の表示を設定する。Ｓ１０９では、ゲーム映像を表示しない設定をする。

Ｓ１１０では、Ｓ１０４，Ｓ１０５，Ｓ１０８，Ｓ１０９で設定された情報に基づき他のユーザの撮影映像、自分の撮影映像、及び／又はゲーム映像を合成した動画をディスプレイ２１へ出力する。

図１０は他のユーザの撮影映像、自分の撮影映像、及び／又はゲーム映像の合成画像を示す。Ｇ１，Ｇ２，Ｇ３はそれぞれゲーム映像、自分の撮影映像及び他のユーザの撮影映像に対応する。このような合成画像は、周知のピクチャ・イン・ピクチャや画面分割の技術を用いて実現することができる。図１０では、Ｇ３の人物（ゲーム映像：教師）におけるポーズの向きはＧ１，Ｇ２の人物（他機ユーザ及び自機ユーザ：生徒）におけるポーズの向きとは左右逆になっている。これは、生徒は、ディスプレイ２１と向き合う位置に立ち、ディスプレイ２１に表示されたゲーム映像のポーズ（図示の例は"三角のポーズ"）を見たとおりの左右関係で真似をし、それをＡＶ出力装置１９側の撮像装置２０で撮影するからである。ディスプレイ２１のＧ１，Ｇ２，Ｇ３の合成画像において、Ｇ１に対するＧ２，Ｇ３の左右が逆になっていることが見苦しいのであれば、Ｇ１の画像についてだけ鏡像反転処理をして合成画像を生成し、それディスプレイ２１に表示してもよい。

なお、他のユーザの撮影映像、自分の撮影映像、及び／又はゲーム映像の合成画像において、ゲーム映像Ｇ１、他のユーザの撮影映像Ｇ３及び／又は自分の撮影映像Ｇ２間の表示タイミングは当然に整合していなければならない。表示タイミング整合させるために、例えば、ゲーム映像の１以上の所定のフレーム（例：最初のフレームや所定のイベント発生のフレーム）を基準フレームに選定し、基準フレームがＡＶ出力装置１９に表示された時の撮影映像のフレームがどれであるかを特定する情報を撮影映像とは別途、記録し、特定情報を参照して、基準フレームと対応付けられる撮影映像のフレームが同時刻に表示する合成画像フレームを作成する。

図１１は第２の対比用動画リプレイ方法１３０のフローチャートである。第２の対比用動画リプレイ方法１３０において、第１の対比用動画リプレイ方法１００（図９）のステップと同一処理を行うステップは、第１の対比用動画リプレイ方法１００の対応ステップと同一番号を付けて説明を省略し、相違点についてのみ説明する。

Ｓ１３１では、ユーザ１８にゲーム装置１２の第２の記録部３２に記録されている自分の撮影映像を選択させる。Ｓ１３２では、サーバ１４にアクセスするとともに、Ｓ１３１で選択した撮影映像に対応付けられて第１の記録部３１に記録されているゲーム情報に基づき、サーバ１４の撮影映像データベースを検索し、該当する撮影映像があるか否かを判定し、判定が正であれば、Ｓ１３４へ進み、否であれば、Ｓ１３３へ進む。

Ｓ１３３では、他のユーザの撮影映像がない旨を表示し、第２の対比用動画リプレイ方法１３０を終了する。Ｓ１３４では、他のユーザの撮影映像を再生するか否かをユーザ１８に選択させ、ユーザ１８が再生しないと選択した場合は、第２の対比用動画リプレイ方法１３０を終了し、再生するを選択した場合は、Ｓ１３５へ進む。

Ｓ１３５では、Ｓ１３２で該当する撮影映像とした他のユーザの撮影映像を複数（２つ以上）再生するか否かをユーザ１８に選択させ、ユーザ１８が複数は再生しないを選択した場合には、Ｓ１３７へ進む。Ｓ１３６では、ユーザ１８に、該当する他のユーザの撮影映像を複数、選択させ、複数再生の設定を行う。Ｓ１３７では、ユーザ１８に、該当する他のユーザの撮影映像を１つ、選択させ、再生の設定を行う。Ｓ１３６又はＳ１３７の実行後、Ｓ１０６へ進む。

第２の対比用動画リプレイ方法１３０において、Ｓ１３７及びＳ１０８が実行された場合には、Ｓ１１０の実行後、ＡＶ出力装置１９のディスプレイ２１には、図１０の画面が表示される。なお、図１０の画面からＧ２（自機の映像）の表示は行わず、Ｇ１（ゲームの映像）とＧ３（他機の映像）の映像を表示するようにしても良い。Ｓ１３６及びＳ１０８が実行された場合には、Ｓ１１０の実行後、ＡＶ出力装置１９のディスプレイ２１には、図１０の画面において、Ｇ２に代えて、Ｇ３のユーザ以外の他の１以上のユーザの撮影映像が表示される。

なお、第２の対比用動画リプレイ方法１３０のＳ１３６又はＳ１３７とＳ１０６との間に、第１の対比用動画リプレイ方法１００（図９）のＳ１０３〜Ｓ１０５を挿入して、ユーザ１８の撮影映像も１以上の他のユーザの撮影映像に並べてディスプレイ２１に表示することもできる。

図１２は撮影映像処理装置１５０のブロック図である。撮影映像処理装置１５０の一例はゲーム装置１２（図１）である。撮影映像処理装置１５０は表示制御手段１５１、他機ユーザ撮影データ取得手段１５２及び対比用映像生成手段１５３を備える。映像とは動画及び／又は静止画である。

なお、以下に使用する「基本映像」、「対比用映像」及び「部分映像」について定義しておく。「基本映像」は、例えば教則ビデオソフトやゲームソフトから生成するソフト動画や、テレビ放送の体操番組のようなコンテンツの動画である。その場合は、該コンテンツを録画しておき、その再生録画を部分映像とする対比映像を生成する必要がある。基本映像は、典型的には、撮影映像処理装置１５０に実装されるソフトの基本映像であるが、サーバからダウンロードした基本映像であってもよい。「部分映像」は、相互に対比される映像を部分的にキャプチャした映像を意味する。「対比用映像」は、複数の部分映像を含む対比するための全体映像である。

表示制御手段１５１は、表示器１６１に基本映像を表示させる。他機ユーザ撮影データ取得手段１５２は、他機の表示器において基本映像を表示している期間の他機ユーザを映像で記録した他機ユーザ撮影データを、通信手段１６２を介して取得する。対比用映像生成手段１５３は、基本映像と他機ユーザ撮影データに基づく他機ユーザ撮影映像とを部分映像として各部分映像を対比しつつ各部分映像の各対応フレーム同士の表示タイミングを揃えた対比用映像を生成する。表示制御手段１５１は、対比映像生成手段が生成した対比用映像を表示器１６１に表示する。

対比映像の一場面の具体例は図１０のディスプレイ２１の表示画面である。該表示画面には自機ユーザの表示も含まれているが、自機ユーザは除外してもよい。通信手段１６２の具体例はインターネット１１（図１）である。通信手段１６２は、複数の撮影映像処理装置１５０を接続されて１つの施設に設けたＬＡＮやその他のネットワークであってもよい。他機ユーザ撮影データ取得手段１５２は、他機ユーザ撮影データを典型的には撮影データ管理サーバ１６４を介して取得するが、撮影データ管理サーバ１６４を介することなく他機から直接取得してもよいとする。

対比用映像に部分映像として含まれる他機ユーザの撮影映像の数は１に限定されない。２以上であることもある（例：図１１の第２の対比用動画リプレイ方法１３０のＳ１３６）。

対比映像における各部分動画の時間軸を合わせるために、例えば、同時に表示する各部分映像の各フレームについて、対応付け情報を記録する。対応付け情報は、全フレームについて設定する必要はなく、対比映像又は基本映像の特定のフレーム（例：ソフト動画の表示開始時や所定イベント発生時のフレーム）に対応する各部分映像の各フレームのみについて設定することができる。

こうして、ユーザは、基本映像に対して他のユーザが他機において振る舞った撮影映像を見て、参考にすることができる。

好ましくは、撮影映像処理装置１５０は、さらに、自機ユーザ撮影データ保存手段１５４を備える。自機ユーザ撮影データ保存手段１５４は、表示器１６１に基本映像を表示している期間の自機ユーザを映像で記録した自機ユーザ撮影データを記憶装置１６３に保存する。対比用映像生成手段１５３は、記憶装置１６３から読み出した自機ユーザ撮影データに基づく自機ユーザ撮影映像を部分映像として含む対比用映像を生成する。

記憶装置１６３の具体例は第２の記録部３２（図２）である。自機ユーザ撮影映像を部分映像として含む対比用映像の一場面の具体例は図１０のディスプレイ２１の表示画面である。こうして、撮影映像処理装置１５０のユーザは、同一の基本映像に対する自分及び他人の振る舞いを対比してみることができる。

撮影映像処理装置１５０はさらにアップロード手段１５５を備えることもできる。アップロード手段１５５は、自機ユーザ撮影データをネットワーク上の撮影データ管理サーバ１６４へアップロードする。他機ユーザ撮影データ取得手段１５２は、撮影データ管理サーバ１６４から他機ユーザ撮影データを取得する。撮影データ管理サーバ１６４の具体例はサーバ１４（図１）である。

対比用映像生成手段１５３は、基本映像の部分映像は除外した対比用映像を生成してもよい。該対比用映像の一場面の具体例は、図１０のディスプレイ２１の表示画面から部分画像Ｇ３を削除し、部分画像Ｇ１，Ｇ２のみを残したものである。

撮影映像処理装置１５０は、さらに、部分表示期間設定手段１５６を備えることもできる。部分表示期間設定手段１５６は、基本映像の全表示期間におけるイベント発生に基づき該全表示期間の中に１以上の部分表示期間を設定する。自機ユーザ撮影データ保存手段１５４は、各部分表示期間に対応付けて各部分表示期間の自機ユーザを映像で記録した自機ユーザ撮影データを記憶装置１６３に保存する。イベントは、撮影映像の１まとまりを画定するものとして適切なものが設定される（例：進行場面の切り替わり、及びゴール）。

こうして、基本映像の重点期間に限定して撮影映像を見ることにより、ユーザは能率的な視認を行うことができる。なお、撮影映像処理装置１５０は、対比映像だけでなく、音声も出力するようにすることもできる。該音声は、対比映像に含まれている１つの又は複数の部分映像（例：図１０のＧ１，Ｇ２及び／又はＧ３）についての記録音声とすることができる。典型的には、撮影映像とその音声との記録データは同一のファイルに格納されて、再生時には、撮影映像とその音声とが再生タイミングが合わされて再生される。

好ましい撮影映像処理装置１５０では、さらに、他機ユーザ撮影データ取得手段１５２は、各部分表示期間に対応付けられている他機ユーザ撮影映像を、通信手段１６２を介して取得する。また、対比用映像生成手段１５３は、各部分表示期間についての対比用映像を生成する。

図１３は撮影映像処理装置制御方法１８０のフローチャートである。撮影映像処理装置制御方法１８０は撮影映像処理装置１５０に適用される。

Ｓ１８１では、表示器１６１に基本映像を表示させる。Ｓ１８２では、表示器１６１に基本映像を表示している期間の自機ユーザを記録した自機ユーザ撮影データを記憶装置１６３に保存する。Ｓ１８３では、通信手段１６２を介して他機へ直接又は撮影データ管理サーバ１６４へ自機ユーザ撮影データをアップロードする。

Ｓ１８１〜Ｓ１８３の処理は、撮影映像処理装置１５０（図１２）の他機ユーザ撮影データ取得手段１５２、対比用映像生成手段１５３及び表示制御手段１５１の機能にそれぞれ対応している。撮影映像処理装置１５０の各手段について前述した具体的態様は、撮影映像処理装置制御方法１８０において対応するステップの具体的態様としても適用可能である。撮影映像処理装置制御方法１８０には、自機ユーザ撮影データ保存手段１５４、アップロード手段１５５及び部分表示期間設定手段１５６の機能に対応するステップを追加可能である。追加ステップの順番又は挿入位置は、各手段間の入出力関係に従い、出力側の手段に対応するステップが入力側の手段に対応するステップより順番が前になるように配置される。

本発明を適用したプログラムは、コンピュータを撮影映像処理装置１５０の各手段として機能させる。本発明を適用した別のプログラムは、撮影映像処理装置制御方法１８０の各ステップをコンピュータに実行させる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更（付加及び削除も含む。）が可能であることは言うまでもない。

本明細書は様々な範囲及びレベルの発明を開示している。それら発明は、本明細書で説明した様々な技術的範囲及び具体的レベルの各装置及び各方法だけでなく、拡張ないし一般化の範囲で、各装置及び各方法から独立の作用、効果を奏する１つ又は複数の要素を抽出したものや、１つ又は複数の要素を拡張ないし一般化の範囲で変更したものや、さらに、各装置間及び各方法間で１つ又は複数の要素の組合せを入れ換えたものを含む。

１５０：撮影映像処理装置、１５１：表示制御手段、１５２：他機ユーザ撮影データ取得手段、１５３：対比用映像生成手段、１５４：自機ユーザ撮影データ保存手段、１５５：アップロード手段、１５６：部分表示期間設定手段、１６１：表示器、１６２：ネットワーク、１６３：記憶装置、１６４：撮影データ管理サーバ、１８０：撮影映像処理装置制御方法。

Claims (8)

1. 表示器に基本映像を表示させる表示制御手段、
   前記表示器に前期基本映像を表示している期間の自機ユーザを記録した自機ユーザ撮影データを記憶装置に保存する自機ユーザ撮影データ保存手段、
   通信手段を介して他機へ直接又は撮影データ管理サーバへ前記自機ユーザ撮影データをアップロードするアップロード手段、
   他機の表示器において基本映像を表示している期間の他機ユーザを記録した他機ユーザ撮影データを、他機から直接又は撮影データ管理サーバから通信手段を介して取得する他機ユーザ撮影データ取得手段、
   前記基本映像と前記他機ユーザ撮影データに基づく他機ユーザ撮影映像とを各対応フレーム同士の表示タイミングを揃えた合成映像を生成する合成映像生成手段、及び
   前記合成映像生成手段が生成した合成映像を前記表示器に表示する前記表示制御手段、
   を備えることを特徴とする撮影映像処理装置。
2. 前記記憶装置から読み出した前記自機ユーザ撮影データに基づく自機ユーザ撮影映像を前記合成映像に含む前記合成映像生成手段、
   を備えることを特徴とする請求項１記載の撮影映像処理装置。
3. 基本映像の全表示期間におけるイベント発生に基づき該全表示期間の中に１以上の部分表示期間を設定する部分表示期間設定手段、及び
   各部分表示期間に対応付けて各部分表示期間の自機ユーザを記録した自機ユーザ撮影データを記憶装置に保存する前記自機ユーザ撮影データ保存手段、
   を備えることを特徴とする請求項１又は２記載の撮影映像処理装置。
4. 各部分表示期間に対応付けられている他機ユーザ撮影映像を、通信手段を介して取得する前記他機ユーザ撮影データ取得手段、及び
   各部分表示期間についての対比用映像を生成する前記対比用映像生成手段、
   を備えることを特徴とする請求項３記載の撮影映像処理装置。
5. 表示器に基本映像を表示させる表示制御手段、
   前記表示器に前記基本映像を表示している期間の自機ユーザを記録した自機ユーザ撮影データを記憶装置に保存する自機ユーザ撮影データ保存手段、
   通信手段を介して他機へ直接又は撮影データ管理サーバへ前記自機ユーザ撮影データをアップロードするアップロード手段、及び
   他機の表示器において基本映像を表示している期間の他機ユーザを記録した他機ユーザ撮影データを、他機から直接又は撮影データ管理サーバから通信手段を介して取得する他機ユーザ撮影データ取得手段、
   を備え、
   前記表示制御手段は、前記基本映像と前記他機ユーザ撮影データとを同時に表示することを特徴とする撮影映像処理装置。
6. 表示器に基本映像を表示させる第１表示制御ステップ、
   前記表示器に前記基本映像を表示している期間の自機ユーザを記録した自機ユーザ撮影データを記憶装置に保存する自機ユーザ撮影データ保存ステップ、
   通信手段を介して他機へ直接又は撮影データ管理サーバへ前記自機ユーザ撮影データをするアップロードステップ、
   他機の表示器において基本映像を表示している期間の他機ユーザを記録した他機ユーザ撮影データを、他機から直接又は撮影データ管理サーバから通信手段を介して取得する他機ユーザ撮影データ取得ステップ、
   前記基本映像と前記他機ユーザ撮影データに基づく他機ユーザ撮影映像とを各対応フレーム同士の表示タイミングを揃えた合成映像を生成する合成映像生成ステップ、及び
   前記合成映像生成ステップにおいて生成した合成映像を前記表示器に表示する第２表示制御ステップ、
   を備えることを特徴とする撮影映像処理装置制御方法。
7. 表示器に基本映像を表示させる第１表示制御ステップ、
   前記表示器に前記基本映像を表示している期間の自機ユーザを記録した自機ユーザ撮影データを記憶装置に保存する自機ユーザ撮影データ保存ステップ、
   通信手段を介して他機へ直接又は撮影データ管理サーバへ前記自機ユーザ撮影データをするアップロードステップ、
   他機の表示器において基本映像を表示している期間の他機ユーザを記録した他機ユーザ撮影データを、他機から直接又は撮影データ管理サーバから通信手段を介して取得する他機ユーザ撮影データ取得ステップ、及び
   前記基本映像と前記他機ユーザ撮影データとを前記表示器に同時に表示する第２表示制御ステップ、
   を備えることを特徴とする撮影映像処理装置制御方法。
8. 請求項１〜５のいずれか１項に記載の撮影映像処理装置の各手段としてコンピュータを機能させるプログラム。

Images