JP6557410B2 - ビデオコンテンツの選択 - Google Patents

Description

本明細書は録画されたビデオコンテンツの選択に関するものである。

背景

オーディオ／ビデオの記録及び編集の分野では、データサイズの比較的大きなファイルを処理する必要が度々ある。データ量が大きくなってしまう記録装置の配置からオーディオ／ビデオコンテンツを取得する場合、ある特定の問題が発生する。この問題は、信頼性が高く、効率的で使いやすい方法で大容量のデータを管理することに対し、新しい挑戦をもたらす。

摘要

第１の態様において、本明細書は、ポジショニングタグのユーザ選択を検出すること、前記選択されたポジショニングタグに関連する方向情報及びタイムスタンプ情報を読み出すこと、前記選択されたタグに関連する方向情報を、記録エリアからビデオコンテンツをキャプチャするよう構成されるカメラ配列の方向情報と比較すること、前記記録エリアからビデオコンテンツをキャプチャするように構成される前記カメラ配列の１つ以上のカメラによってキャプチャされたビデオコンテンツを特定すること、を開示する。ここで、前記選択されたタグに関連するスタンプ情報に関する期間にわたって該タグの位置に関係する前記記録エリアのセクションから、前記１つ以上のカメラがビデオコンテンツをキャプチャしていた場合に、前記特定することが行われる。

前記キャプチャされたビデオコンテンツの前記選択部分には、カメラから取得されたビデオコンテンツを含めることができる。ここで、カメラはタグが位置していることが決定されるエリアをカバーするように配置されている。

前記キャプチャされたビデオコンテンツの前記選択部分には、前記カメラ（タグが位置していることが決定されるエリアをカバーするように配置されているカメラ）に隣接するカメラから取得されたビデオコンテンツを含めることができる。

本方法はさらに、前記キャプチャされたビデオコンテンツの前記選択部分に割り当てられるビットレートを増やすことを含む。

本方法はさらに、前記キャプチャされたビデオコンテンツの残り部分に割り当てられるビットレートを減らすことを含む。

前記方向情報及びタイムスタンプ情報は、前記キャプチャされたビデオコンテンツとは別のファイルに保存することができる。

１つ以上のカメラを特定することには、１つ以上の立体画像用カメラのペアを特定することを含む。

本方法はさらに、記録装置、再生装置、リモートサーバの１つから選択されたビデオコンテンツを読み出すことを含む。

本方法はさらに、１つ以上の特定のカメラから取得したビデオコンテンツを含むキャプチャされたビデオコンテンツの一部を表示させることを含む。

前記ポジショニングタグのユーザ選択の検出には、複数のポジショニングタグのユーザ選択の検出を含んでもよい。

本方法はさらに、前記複数のポジショニングタグに対応するカメラから取得されたビデオコンテンツを含む、前記キャプチャされたビデオコンテンツの一部を分割スクリーンフォーマットで表示される。

各カメラでキャプチャされた前記ビデオコンテンツは、複合的なデータファイルの一部又は個別ファイルとして記録される。

前記方向情報には方位角を含むことができる。

前記方向情報には仰角を含むことができる。

第２の態様では、本明細書はコンピュータプログラムを説明する。このコンピュータプログラムがコンピューティング装置で実行された場合、コンピューティング装置は第１の態様を実行する。

第３の態様において、本明細書は装置の説明を行う。本装置は少なくとも１つのプロセッサと、コンピュータ可読命令を有する少なくとも１つのメモリを備える。そして、前記少なくとも１つのプロセッサによって、前記コンピュータ可読命令が実行されると、前記装置に少なくとも、ポジショニングタグのユーザ選択を検出させ、前記選択されたポジショニングタグに関連する方向情報及びタイムスタンプ情報を読み出させ、前記選択されたタグに関連する方向情報を、記録エリアからビデオコンテンツをキャプチャするよう構成されるカメラ配列の方向情報と比較させ、前記記録エリアからビデオコンテンツをキャプチャするように構成される前記カメラ配列の１つ以上のカメラによってキャプチャされたビデオコンテンツを特定させる。ここで、前記選択されたタグに関連する前記スタンプ情報に関する期間にわたって該タグの位置に関係する前記記録エリアのセクションから、前記１つ以上のカメラが、ビデオコンテンツをキャプチャしていた場合、前記特定が行われる。

第４の態様において、本明細書はコンピュータ可読コードを有するコンピュータ可読媒体の説明を行う。このコンピュータ可読コードが少なくとも１つのプロセッサによって実行された場合、ポジショニングタグのユーザ選択を検出すること、前記選択されたポジショニングタグに関連する方向情報及びタイムスタンプ情報を読み出させること、前記選択されたタグに関連する方向情報を、記録エリアからビデオコンテンツをキャプチャするよう構成されるカメラ配列の方向情報と比較させること、前記記録エリアからビデオコンテンツをキャプチャするように構成される前記カメラ配列の１つ以上のカメラによってキャプチャされたビデオコンテンツを特定させること、を遂行させる。ここで、前記選択されたタグに関連する前記スタンプ情報に関する期間にわたって該タグの位置に関係する前記記録エリアのセクションから、前記１つ以上のカメラがビデオコンテンツをキャプチャしていた場合に、前記特定が行われる。

第５の態様において、本明細書は装置の説明を行う。この装置は、ポジショニングタグのユーザ選択を検出する手段と、前記選択されたポジショニングタグに関連する方向情報及びタイムスタンプ情報を読み出す手段と、前記選択されたタグに関連する方向情報を、記録エリアからビデオコンテンツをキャプチャするよう構成されるカメラ配列の方向情報と比較する手段と、前記記録エリアからビデオコンテンツをキャプチャするように構成される前記カメラ配列の１つ以上のカメラによってキャプチャされたビデオコンテンツを特定する手段と、前記１つ以上のカメラから取得された前記特定されたビデオコンテンツを、表示用に選択する手段とを備える。ここで、前記選択されたタグに関連する前記スタンプ情報に関する期間にわたって該タグの位置に関係する前記記録エリアのセクションから、前記１つ以上のカメラが、ビデオコンテンツをキャプチャしていた場合、前記特定が行われる。

本明細書に記載した方法、装置、コンピュータ可読命令をより詳細に理解するために、次の添付図面と合わせて以下の説明を参照されたい。
レコーディング環境を示したものである。 記録装置と編集／再生装置とを示した図面である。 コントローラの図面である。 カメラの図面である。 携帯型タグの図面である。 記録装置で実行されるステップを示すフローチャートを記載したフローチャートである。 再生装置で実行されるステップを示すフローチャートを記載したフローチャートである。 記憶媒体を示す。 他の実施形態によるカメラ配列を示す。 他の実施形態によるカメラ配列を示す。

詳細説明

本発明の実施形態は、記録デバイスの視野領域にあるポジショニングタグに関する方向データをキャプチャすると同時に、記録デバイスの配置にわたってビデオ及び／またはオーディオをキャプチャするためのシステムを提供する。方向データは、その後のビデオの処理過程／編集過程の少なくとも一過程で使用することができ、その結果、記録デバイスの配置によってキャプチャされた多重ストリームを効率的に処理することができる。さらに、ビデオが視聴者によってその後に視聴される場合、ポジショニングタグの無線送信から測定された相対位置に基づくビデオの一部として、特定のビューを強調することができる。

本発明の実施形態は、無線検出されたオブジェクトの相対位置を記録すること、及び、その位置をビデオ及び／またはオーディオデータにキャプチャされたエリアと関連付けることを含む。方向無線情報の記録は、ビデオ及び／またはオーディオレコーディングファイルに追加することができる。代替として、方向無線情報とタイムスタンプとを含む独立したファイルを記録することができ、この場合、そのファイルを同時に記録したビデオ及び／またはオーディオファイルとマッチングさせる。

図１は、レコーディング環境の一例を示す。記録装置１０は、ビデオカメラ１１の球状の配置と筐体とを含む。記録装置と称される一方、この装置はビデオコンテンツを記録してストレージ媒体に保存すると同時に、ライブビデオストリームをキャプチャするよう構成される。実施形態では、ビデオコンテンツが保存される場所は、記録装置自体でもよいし、ビデオ編集用コンピュータまたはリモートサーバでもよい。ビデオカメラ１１は、仰角及び方位角の両方に関して３６０°にわたるビデオ撮影可能な範囲を提供するように配置される。すなわち、球全体にわたるものであり、ビデオ球体と称してもよい。他の実施形態では、半球状の範囲または球状のエリアの一部のみをカバーするカメラを含む配置とすることもできることに留意すべきである。

カメラ１１のそれぞれは、カメラアレイ１０を囲む三次元空間の一部分をキャプチャするよう構成される。図１に示す記録装置１０は、６つのカメラ１１ａ〜１１ｆを備える。カメラ１１ｆは、図１には示されていないが、図２には図示されている。

ポジショニングタグ２０（例えば、ＢＬＥ（Bluetooth Low Energy）タグ）は、図１に示されている。この例では、ポジショニングタグ２０はユーザの時計の一部である。他の非限定的な例では、ポジショニングタグ２０が動物の首輪に取り付けられ、野生動物のドキュメンタリービデオをキャプチャする手助けをしたり、または、ポジショニングタグ２０を携帯電話またはキーホルダーに組み込むことも可能である。

記録装置１０及びポジショニングタグ２０は、適合するあらゆるタイプの無線送信／変換技術を使用して操作するよう構成されうる。適合する技術タイプには、ＢＲ／ＥＤＲ（Bluetooth Basic Rate / Enhanced Data Rate）及びＢＬＥ（Bluetooth Low Energy）が含まれるがこれに限定されない。ＢＬＥ（Bluetooth Low Energy）は、Bluetoothコア仕様Ver4.0の構成要素として、Bluetooth SIGによって公表された比較的新しい無線通信技術である。適合する他の技術タイプとして、例えば、IEEE 802.11 and IEEE 802.15.4に基づく技術が含まれる。ＢＬＥの使用は、その比較的低いエネルギー消費のために特に便利である。なぜなら、殆どの携帯電話機その他の携帯型電子機器はＢＬＥ技術を使用した通信が可能であるためである。

ポジショニングタグ２０によって送信される信号／ポジショニングパケットは、HAIP（the High Accuracy Indoor Positioning）ソリューションに従う。HAIPは、例えば、http://www.in-location-alliance.comで公表されている。

本明細書に記載の実施形態では、ＢＬＥメッセージ及びＨＡＩＰシステムを使用するが、代替として、IEEE 802.15.4等の低電力無線技術を使用してもよい。

記録装置１０は、球状座標のシステムの原点であるとみなされる。ポジショニングタグ２０は、このように図１に示すＸ−Ｙ平面の方位角θ、及び、Ｚ軸に対する仰角φによって定義することができる。後述する詳細にあるように、ポジショニングタグ２０は一定間隔で無線メッセージを送信する。これら無線メッセージは、記録装置１０によって受信される。そして、記録装置１０は受信パケットに関する到達の方位角及び仰角を定義する。記録装置１０はさらに、受信パケットに関するＲＳＳＩ（受信信号強度表示）を定義することができる。この情報は適当なフォーマットに保存することができる。

図２は、記録装置１０と編集及び／または再生装置１５とを示した図面である。記録装置１０はコントローラ１３を備える。コントローラ１３は記録装置１０を制御する。コントローラ１３は、タグ２０から受信したパケットからの到達角度情報を決定するように構成される。

図２に示す例示的な実装では、コントローラ１３は、ビデオ／オーディオ記録システムの中心に搭載される。本実施形態では６つのカメラがあり、１つのレンズを備える各カメラ、及び１つのコントローラ１３を備える。カメラレコーディングの出力は、コントローラ１３によって保管された１つ以上のファイルに保存される。ここで、このファイルのフォーマットは未加工または特定の処理がなされている。個々のカメラの出力は、コントローラ１３によって保存される個別のファイルに保存することができる。代替として、カメラの出力を、コントローラ１３によって保存される単独の合成ファイルに連結することも可能である。また、方向データは１つ以上のファイルに保存される。ここで、このファイルのフォーマットは、未加工または特定の処理がなされている。ビデオデータ及び方向データは、記録装置１０に局所的に保存しても、分散して保存してもよい。例えば、リモートサーバ１７０に保存し、再生装置１５によってリモートアクセスすることが可能である。代替として、記録済み媒体及び方向データを再生装置１５自体にアップロードしてもよい。

記録装置１０は通信モジュール１４を備えてもよい。通信モジュール１４はＲＦアンテナ及びＲＦ送受信機を備え、記録装置１０及びリモートサーバ１７０（又はコンピュータ１５）の間の無線通信を可能にする。ここで、リモートサーバ１７０（又はコンピュータ１５）は、ビデオ編集機能を有している。記録装置１０は、Wi-Fi等の無線ネットワークを介して通信可能に構成されている。代替として、記録装置１０がビデオ編集機能を有するコンピュータとの有線リンク（図示せず）を備えてもよい。

記録装置１０は、ユーザ入出力部１２を備えてもよい。ユーザ入出力部１２は、スクリーン及びキーボードを備えていてもよい。ここでキーボードは、タッチスクリーンに組み込まれていてもよい。ユーザ入出力部１２を使用することで、ユーザが１つ以上のカメラ１１の操作と、記録装置１０の再生機能とを制御することが可能となる。ユーザ入出力部１２によってユーザは、選択された１つ以上のカメラからの再生を制御することが可能となる。図７を参照して後述するように、ユーザは 装置１０のスクリーンに表示されたユーザインタフェースから１つ以上のタグ２０を選択可能である。そして、タグ位置に関係するビデオコンテンツの部分選択は装置１０で実施されうる。

スクリーンは１つ以上のカメラからのライブ映像を観るために使用することができる。ユーザは１つ以上のタグ２０を選択し、カメラからのライブ映像を観ることができる。このカメラは、選択されたタグと関連する。選択されたビデオコンテンツは装置１０、再生装置１５、リモートサーバ１７０に保存することができる。

編集及び／または再生装置１５は、プロセッサ１５０及び記憶装置１５１を備えるコンピュータであってもよい。記憶装置１５１は、揮発性メモリ１５２及び不揮発性メモリ１５３を備える。不揮発性メモリ１５３は、ＯＳ（operating system）１５４と、保存されたビデオの編集用ソフトウェア１５５を有していてもよい。不揮発性メモリ１５３はさらに方向データファイル１５６を備える。方向データファイル１５６には、コントローラ１３から受信した方向データが保存される。ビデオファイル１５７はまた、コントローラ１３から受信したビデオストリームデータと共に保存することができる。代替として、ビデオファイルをリモートサーバ１７０で保存することができる。ビデオストリームデータは個別のファイルとして保存することができる。そして、各ビデオファイルは各カメラの出力を含む。代替として、方向データをビデオファイルの中に含ませることができる。編集及び／または再生装置１５は、ＲＦ送受信機１５８及びＲＦアンテナ１５９をさらに備え、記録装置１０及びサーバ１７０との無線通信を可能にする。再生装置１５は、スクリーン、キーボード、スピーカー等の入出力コンポーネント１６０を備えるコンピュータであってもよい。ユーザは、記録装置１０から受信したライブストリーム等のビデオコンテンツを観ることができる。代替として、ビデオコンテンツを再生装置１５またはリモートサーバ１７０に保存しておき、再生することができる。

図３は、コントローラ１３の例示的なブロック図である。コントローラ１３はプロセッサ３００とストレージデバイス３１０とを備える。ストレージデバイス３１０は不揮発性メモリ３２０を備え、この不揮発性メモリ３２０にはコンピュータ可読コード３２０Ａが保存される。不揮発性メモリには、Bluetoothモジュール３２０Ｂが備わっている。本発明の実施形態では、コンピュータ可読コード３２０Ａが、コントローラ１３の特定の機能によって保存や実行を行うことを可能にする。Bluetoothモジュール３２０Ｂは要求されるコードを含み、受信したBluetoothメッセージはBluetooth標準規格に従って処理されうる。ストレージデバイス３１０は揮発性メモリ３３０も備える。

プロセッサ３００は、到達方位角情報及び到達仰角情報を処理するように構成されている。プロセッサ３００は、方向データを１つ以上のカメラから取得した配信ビデオに適用することができる。代替として、プロセッサ３００は、１つ以上のカメラから取得した方向データ及び配信ビデオをリモートサーバに出力することができる。

コントローラ１３は、ＲＦスイッチ３４１に接続する方位角アンテナアレイ３４０、送受信機３４２、到達方位角（ＡｏＡ）推定モジュール３４３を備える。コントローラ１３はさらに、ＲＦスイッチ３５１に接続する仰角アンテナアレイ３５０、送受信機３５２、到達仰角（ＡｏＡ）推定モジュール３５３を備える。

到達角度（ＡｏＡ）の推定は、受信機内の信号のコピー（物理的に別々になっている多重のアンテナによって送信されたもの）の測定時間差に基づくものである。時間差は様々な伝搬チャネル長に依存する。そして通常、実際の推定処理は、結果として生じる信号のコピーの位相差等、信号に対する二次的な影響に基づく。到達角度の位置決めは、数十センチまたは２°程度の方向予測の位置決め精度を提供することが示されている。

プロセッサ３００とアンテナ３４０、３５０との間のリンクは双方向性があり、送受信機３４２、３５２、及びアンテナ３４０、３５０はＲＦ通信のために使用することができる。

コントローラ１３は、クロック３６０及びタイムスタンプ機能も備えている。コントローラ１３は、受信パケットのＲＳＳＩデータを測定及び記録するように構成されうる。

コントローラ１３は参照値を保存し、方位角及び仰角を均等に監視することを可能にする。ストレージデバイス３１０は、方位角及び仰角における０°の相対的位置を定義する情報を保存することができる。これらの基準点から、特定のカメラによって網羅されるエリアを定義することができる。例えば、カメラ１１ａは方位角０〜６０°、仰角０〜６０°を網羅するとして定義されうる。カメラ１１及びコントローラ１３は、集積記録装置１０を形成することができ、ここで、相対位置情報がカメラ１１及び／またはコントローラ１３のメモリに保存される。代替的な実施形態では、カメラ１１及び／またはコントローラ１３にコンパスを備えてその方向を決定し、又は／且つ、ジャイロスコープを備えて幾何学的位置を決定してもよい。

図４は、カメラ１１の１つのブロック図である。カメラ１１はカメラモジュール４００を備える。カメラモジュール４００はビデオカメラコンポーネントを備える。このビデオカメラコンポーネントは、具体的には、レンズ、ＣＣＤアレイ、画像プロセッサを備える技術であることが知られている。各カメラ１１は、コントローラ１３によって制御されてもよい。いくつかの実施形態では、カメラ１１は通信モジュール１４からの命令を受信する。同様に、この通信モジュール１４は、ビデオ編集用コンピュータから無線で命令を受信する。代替として、各カメラ１１がＲＦアンテナと送受信機を備え、各コントローラがビデオ編集用コンピュータからの命令を直接受信し、このビデオ編集用コンピュータによって制御されてもよい。カメラ１１はさらに、プロセッサ４０２とストレージデバイス４０３とを備える。ストレージデバイスは、不揮発性メモリ４０４及び揮発性メモリ４０５を備える。不揮発性メモリには、コンピュータ可読命令４０４Ａが備わっている。クロック４０５をカメラに設け、タイムラインを記録済みビデオコンテンツに適用してもよい。各カメラのクロックをコントローラ１３に同期させ、正確な時間管理を提供するよう保証することも可能である。カメラ１１はさらに、オーディオコンテンツをキャプチャするマイクロホン４０６を備えてもよい。カメラは別途、ビデオプロセッサ及びオーディオプロセッサを備えていてもよい。代替として、ビデオ及びオーディオ処理機能を一つのマルチメディアプロセッサに組み込んでもよく、また、図４に示すように、カメラモジュール４００及びマイクロホン４０６の処理機能をプロセッサ４０２で実現してもよい。

図５は、ポジショニングタグ２０の１つのブロック図である。ポジショニングタグ２０は、ＢＬＥ advertisement メッセージ等の無線メッセージを送信するための送受信機２００、及びアンテナ２０１を備える。ポジショニングタグ２０はさらに、プロセッサ２１０とストレージデバイス２２２とを備える。ストレージデバイスは、不揮発性メモリ２２０及び揮発性メモリ２２１を備える。不揮発性メモリには、Bluetoothモジュール２２０Ａ及びプログラム命令２２０Ｂが備わっている。本発明の実施形態では、プログラム命令２２０Ｂによって、ポジショニングタグ２０の特定の機能を保存したり、実行したりすることを可能にする。Bluetoothモジュール２２０Ａは要求されるコードを含み、BluetoothメッセージがBluetooth標準規格に従って送信される。

いくつかの実施形態では、ポジショニングタグ２０は、携帯電話機、スマートウォッチ、電子メガネ等の移動体通信機器の構成要素を形成することができる。この場合、移動体通信機器は入力部２３０を備えることができ、この入力部２３０によってユーザは無線メッセージに含まれる付加的情報を入力することができる。例えば、ユーザは自分の名前を含ませることができる。他の例では、ポジショニングタグ２０がスマートウォッチ又は携帯電話機の一部として備わり、ＢＬＥadvertisement メッセージ等の無線メッセージにあるデータフィールドとして送信されるユーザの心拍を記録することができる。

図６は、ビデオ録画時の記録装置１０の動作を示すフローチャートである。

処理６．１では、任意であるが、コントローラ１３は記録装置１０の近傍にあるポジショニングデバイス２０からの情報を収集することができる。ポジショニングデバイス２０は、センサデータを含む無線メッセージを送信できる。このセンサデータは、近傍にあるポジショニングデバイス２０の存在を記録装置１０に通知する。無線メッセージは、ポジショニングデバイス２０に関するセンサ情報を含むことができる。センサ情報は、例えば、ユーザが装着している装置（例えば、スマートウォッチ、電子メガネ等）のユーザ固有情報を含むことができる。ポジショニングデバイス２０との接続を介したセンサデータの収集は、記録中または記録後に行うことも可能である。

さらに、コントローラ１３に多重無線送受信機または多重接続機能を備えることで、例えば、ビデオ撮影をしながら競争相手の心拍を記録することもできる。追加データは、方向ファイルとして同一のファイルに保存されるか、または、別のファイルに保存される。別のファイルで保存することの利点は、迅速に検索できることにある。検索は、特定の固有情報のみに関連する検索レコードに基づいて検索されうる。

処理６．２では、記録が開始される。記録を開始する指示はコンピュータに入力され、そのコンピュータは記録装置１０と無線通信することができる。代替として、記録装置１０は、ボタン、タッチスクリーン等の入力機能を備えることができる。ビデオは、図１に示した球体状のカメラ１１のそれぞれによって記録することができる。ビデオは、ｗｍｖ、ｍｏｖ、ｍｐｅｇその他の適切なフォーマットでビデオファイルフォーマットに保存することができる。オーディオデータは、ビデオと同一のデータファイル、または別のファイルに記録することができる。オーディオファイルフォーマットの例としては、ｗａｖ、ｍｐ３その他の適切なファイルフォーマットが使用可能である。

処理６．３では、記録装置１０が、図１に示したポジショニングタグ２０等のポジショニングタグから無線メッセージを受信する。無線メッセージは識別子を含むことができ、これによって、パケットを送信したポジショニングタグを識別することができる。無線メッセージはまたさらに、テキスト等のフィールドを含むことができる。例えば、メッセージにポジショニングタグ２０によって取得した心拍情報を含ませることも可能である。

処理６．４では、到達方位角および／または到達仰角を決定する。受信信号からの信号源の方向推定は、多重アンテナの素子を用いて実行される。到達方位角及び到達仰角の推定は、コントローラ１３で（図３の物理的に離れている多重のアンテナ素子３４０、３５０によって受信した）信号のコピーの測定時間差に基づくものである。時間差は様々な伝搬チャネル長に依存する。そして通常、実際の推定処理は、結果として生じる信号のコピーの位相差等、信号に対する二次的な影響に基づく。

ポジショニングタグ２０は無線メッセージを送信し、コントローラ１３はパケットの受信中にアンテナの切り替えを実施する。コントローラ１３は無線メッセージを解析し、パケットの受信中、振幅及び位相のサンプリングを実施する。コントローラ１３は、アンテナの配置情報と共に振幅及び位相のサンプルを利用して、ポジショニングタグ２０からのパケットのAoA（到達角度）を推定することができる。

処理６．５は任意のステップである。受信したパケットのＲＳＳＩ値が測定され、記録される。処理６．６では、受信したパケットにタイムスタンプが付される。処理６．７では、処理６．４、６．５、６．６で取得されたデータを保存する。データは、ビデオファイルの一部として保存される。代替として、データを別のファイルで保存することもできる。データを別のファイルに保存することは、ビデオファイルメタデータにデータを追加することをサポートするビデオフォーマットに依存しないため、有利である。

［表１］方向データファイルのコンテンツの例

例示的な方向データは、検出された方向信号の送信機（すなわち、ポジショニングタグ２０）の識別子、測定された方向角及び仰角、ＲＳＳＩの値を含む。それぞれの角度及び対応するＲＳＳＩの値は、タイムスタンプに関連する。受信した方向データパケットに適用されたタイムスタンプは、ビデオ記録に対応一致し、観測されたタグはビデオストリームと照合一致させることができる。

表１に示すファイルコンテンツが表す実施形態では、記録装置１０を包囲する球状の空間のあらゆる箇所（すなわち、方位角及び仰角の両方において０°〜３６０°の範囲）に設置されたタグ２０から受信した無線メッセージが、１つのファイルに記録される。本例では、１つのコントローラ１３が各カメラ１１に接続して使用される。他の実施形態では、各カメラ１１が個別のコントローラ１３と接続し、カメラによって記録されるセクタ内のタグ検出イベントに関連するデータを含むファイルを、各コントローラで保持してもよい。代替として、タグ検出に関連するデータを含む１つのファイルを（ビデオ編集用コンピュータ等の）中央処理装置によって作成してもよい。このファイルは、記録装置１０を包囲する球状の空間の各セクタに関連するタグデータのファイルに基づくものである。

コントローラからの方向情報及びカメラ情報を記録することで、送信機を一体化したカメラレコーディング（３６０°記録）に取り入れることができる。コントローラは受信したパケット全部又はそれらの一部からデータを収集することができる。

ビデオ／オーディオデータの一部と方向データとの間のリンクは、方向性を有する電波圏（directional radio sphere）とビデオ／オーディオ記録球体との間の関係をマッチングさせるためのセッティングに基づくと言ってよい。各カメラは球体の特定部分をビデオに記録する。カメラがカバーする球体の部分は重複していてもよい。様々な実施形態において、カメラを記録範囲に隙間なく配置することが可能である。カメラがカバーする球体の一部は、電波圏（方向性を有する球体）（radio/directional sphere）の特定の部分と合致する。所望の無線送信機が特定の方位角及び仰角で検出された場合、対応する１つまたは複数のカメラがＯＮ状態に切り替わるか、または、それらのフォーカスが無線／方向検出に従って調節される。

図７は、ユーザがビデオコンテンツを再生及び編集したい場合に実行される動作を示す。ビデオコンテンツは、記録装置１０のスクリーンにライブ配信することができる。この場合、図７に示す後続のステップは、記録装置１０で実行される。代替として、ビデオコンテンツを再生装置１５のスクリーンにライブ配信してもよい。この場合、図７に示す後続のステップは、再生装置１５で実行される。

他の実施形態では、ビデオコンテンツを記録したのち、再生のために再生装置１５、記録装置１０、またはリモートサーバ１７０等のローカルに保存してもよい。選択されたビデオコンテンツは、再生装置１５または記録装置１０に保存することができる。

この事例では、記録装置１０は球状の記録エリア全域でビデオコンテンツをキャプチャしている。図１に示すカメラ配列からのビデオコンテンツを含むビデオストリームのデータサイズは、結果的に大変大きくなる可能性がある。再生及び編集する間、ユーザは特定のタグの方向に基づくビデオを視聴することを選択できる。様々なカメラからキャプチャされたビデオコンテンツを興味のあるタグに関連する方向データとマッチングさせることで、処理が必要なビデオデータの量を削減することができる。

処理７．１でユーザは、ビデオコンテンツの再生中に追跡したい１つ以上のポジショニングタグ２０を選択する。この選択は様々な方法で実現できる。例えば、ユーザにはタグのリストが表示されるユーザインタフェースが提供されてもよい。表示用に選択されたタグは、方向データファイル１５６から取得することができる。方向データファイル１５６にはタグ識別子が含まれており、ユーザに提示される。ユーザは、追跡したいタグを少なくとも１つ選択する。

処理７．２では、再生装置１５または記録装置１０が、選択されたポジショニングタグ２０に関連する方向性データ及びタイムスタンプデータに対応する方向データファイル１５６を検索する。選択されたポジショニングタグ２０に関連する方向データ及びタイムスタンプデータが読み出される。

処理７．３では、再生装置１５は選択されたタグ２０の方向データを各カメラ１１に関連する方向情報と比較する。処理７．４では、１つ以上のカメラが特定される。このカメラは球体状の記録エリアのセクションからビデオコンテンツを記録している。ここで、そのセクションは選択されたタグの位置に関係する。

処理７．５では、特定された１つ以上のカメラからのビデオコンテンツを含んだビデオコンテンツの一部が選択される。そして、１つ以上のカメラ１１からのビデオコンテンツが読み出される。さらに、タイムスタンプを解析し、特定のカメラのビデオコンテンツのタイムラインと比較することで、ポジショニングタグがある、特定のカメラで記録された領域で一定期間に記録されたコンテンツのみが読み出される。

そして、処理７．５で選択されたコンテンツの一部をユーザに見せることができる。いくつかの実施形態では、表示させたいポジショニングタグをユーザが複数選択できる。ユーザが、別のカメラによってカバーされるポジションングタグを選択したと判断した場合、そのタグを同時に分割スクリーンフォーマットに表示してもよい。一例では、アイスホッケー選手がウェアラブルなポジショニングタグを装着している。ユーザは、視聴するアイスホッケー選手２名を選択する。この２名のアイスホッケー選手を同一のカメラでカバーできないと判断した場合、この２名の選手は分割スクリーンフォーマットに表示される。

選択されたタグが設置された領域をカバーするカメラからのビデオコンテンツを読み出すと同様、選択されたタグが位置している領域をカバーするカメラに隣接するカメラからのビデオコンテンツを取得してもよい。タグは移動性が高く、ビデオ撮影範囲を迅速に移動できると便利である。

ユーザに選択されるポジショニングタグが、ビデオ撮影範囲の種々のセクタ間を移動する場合、そのポジショギングタグが一定期間設置された領域をカバーしているカメラからのみ、ビデオコンテンツデータを読み取ることができる。この場合、タグが設置された領域をカバーしないカメラからのビデオコンテンツデータにアクセスする必要がない。

本発明の実施形態は、ビデオ／オーディオ及び無線方向の記録を使って、記録された題材の一部のみを視聴またはダウンロードすることを可能にする。無線方向の情報は送信機の方向に基づいており、送信機はオブジェクト（例えば、人間、動物、装置）に取り付けられる。したがって、ビデオ／オーディオのレコードフォーカス領域は、ポジショニングタグ２０から受信した所望の無線送信機の識別情報及びその他のデータを選択することに基づく。ユーザが追跡したい無線信号オブジェクトを決定すると、例えば、タグをカバーするカメラのビットレートを増加させる等して、高画質でこのオブジェクト（及びその近傍）を配信してもよい。他のタグまたは方向は低画質で配信して帯域幅をセーブし、ストリーミング機能を向上させることができる。さらに、選択されたタグを示さないカメラからのビデオ配信は、全くダウンロードまたは配信させないことで帯域幅をセーブすることも可能である。

また、特定時刻の特定のオブジェクトのビデオ記録は、そのオブジェクトに関連する識別子と方向情報とを用いて効果的に検索及び視聴できる。検索スピードは、方向情報の記録を保存する軽サイズの別ファイルにすることによって早くすることができる。代替として、方向情報をビデオファイルの一部として保存してもよい。

図９は、他の実施形態による記録装置９０を示す。記録装置９０は、記録デバイスの円形アレイを含む。一般に、記録装置９０の操作は、記録装置１０の操作と同様である。一方、円形アレイは単一面に配置され、カメラ９１のそれぞれがカメラ配列９０を囲む三次元空間の一部分をキャプチャするよう構成される。３６０°のビデオ記録を提供できるカメラ配列の一例として、ＧｏＰｒｏ３６０のカメラ配列がある。このような配置は、カメラの円形アレイの記録エリア内に、記録すべき領域がある場合に利点がある。単一面の配置は、半円等の特定の円形をカバーできることに留意すべきである。

次の表２は、位置タグの検出中に作成されるファイルの例である。
［表２］

カメラ９１の全てが同一平面に設置されているため、仰角情報を収集する必要がない。よって、ファイルサイズは小さくなる。記録装置９０の中に含まれるコントローラ９２は、到達角度を計算して方位角を決定するのみでよい。よって、コントローラに要求される処理は、仰角も決定する場合より少ない。

図１０は、他の実施形態による記録装置１０００を示す。記録装置１０００はカメラのペア１００１の配置を備える。カメラの各ペア１００１は、第１のカメラ１００１ａ及び第２のカメラ１００２ｂで構成されている。第１のカメラ１００１ａは左目で見る画像をキャプチャするように構成され、第２のカメラ１００１ｂは右目で見る画像をキャプチャするように構成される。記録装置１０００はコントローラを備え、左目でみる画像と右目でみる画像を組み合わせて立体的な画像を形成する。各ペア１００１の両方のカメラからキャプチャされた画像であることが必要なため、立体的ビデオを形成することを含む処理は比較的集中的なものとなることが理解されよう。その後の立体的ビデオの編集もまた、比較的集中的な処理である。カメラのペアの配置は、球状または円形状であってもよい。球状の配置の場合、仰角及び方位角双方のデータを記録してもよい。円形状の配置の場合、方位角のみのデータを記録してもよい。

本実施形態では、方向データの保存は前述と同様の方法で広く実行される。

コントローラ１００２は参照値を保存し、方位角を（球状の配置の場合は仰角も）を均等に監視することを可能にする。制御モジュールは、方位角及び仰角における０°の方角を定義する情報を保存することができる。これらの基準点から、特定のカメラのペアによって網羅されるエリアを定義することができる。例えば、第１のカメラペアは方位角０〜６０°、仰角０〜６０°を網羅するとして定義することができる。カメラのペア及びコントローラ１００２は、集積記録装置を形成することができ、ここで、方角情報がカメラ及び／またはコントローラ１００２のメモリに保存される。代替的な実施形態では、カメラ及び／またはコントローラ１００２がコンパスを備えてその方向を決定し、又は／且つ、ジャイロスコープを備えて幾何学的位置を決定することを可能にする。

様々な実施形態（特に、カメラ配列が立体的なビデオコンテンツを記録するようにされている場合）の利点として、高い解像度を有するフィードを管理できること等がある。例えば、前述の配置にあるカメラは、最大約６Ｋの解像度を有することができる。異なるカメラからのフィードを編集する場合、いくつかの高帯域フィードの間での切り替えが必要になる場合がある。これは、カメラのペアを含む球状のカメラ配列を有する実施形態で、特に当てはまる。再生装置１５での大容量フィードの間の切り替えは、より広い帯域を必要とする。さらに、フィードがリモートサーバに保存され、無線接続を介した再生装置１５によってリモートアクセスされる場合、大容量フィードの間の切り替えが帯域管理及びコストの面で困難になるおそれがある。本実施形態は、検索が必要な大容量フィードを最小限のサイズにしておくことができるという利点をもたらす。

コンピュータ可読命令、ソフトウェア、ＯＳは、装置１１、１３、１４、１５、２０、９２、１００２に事前にプログラミングされていてもよい。代替として、コンピュータ可読命令、ソフトウェア、ＯＳを、磁気的なキャリア信号を介して装置１１、１３、１４、１５、２０、９２、１００２に送信してもよいし、コンピュータプログラム製品、ＣＤ−ＲＯＭ又はＤＶＤ等のメモリデバイスまたは記録装置等の物理的エンティティ（図８参照）からコピーしてもよい。コンピュータ可読命令、ソフトウェア、ＯＳは、デバイス／装置１１、１３、１４、１５、２０、９２、１００２が前述の機能を実行できるようなロジック及びルーチンを提供することができる。

本明細書で使用する「メモリ」という用語は、その他の意味であることを明示しない限り、不揮発性メモリ及び揮発性メモリの両方を含むメモリに関連することを意味する。ただし、本用語はまた、１つ以上の揮発性メモリのみ、１つ以上の不揮発性メモリ、１つ以上の揮発性メモリ及び不揮発性メモリも含むことができる。揮発性メモリの例には、ＲＡＭ、ＤＲＡＭ、ＳＤＲＡＭ等が含まれる。不揮発性メモリの例には、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、光学式ストレージ、磁気的ストレージ等が含まれる。

本開示の実施形態は、ソフトウェア、ハードウェア、アプリケーション・ロジック、又はこれらの結合として実装されうる。ソフトウェア、アプリケーションロジック、及び／またはハードウェアは、メモリ又はコンピュータメディアに存在してもよい。例示的実施形態においては、アプリケーション・ロジック、ソフトウェア、または命令セットは、種々の標準的なコンピュータ可読媒体の何れかに保持される。本出願の文脈において「コンピュータ可読媒体」はメディアや手段であって、命令を実行するコンピュータのようなシステムや装置、デバイスによって又はそれと共に使用される命令を含むことや格納すること、通信すること、伝達すること、送信することの何れかが可能な如何なるメディアや手段であってもよい。
コンピュータ可読媒体はコンピュータ可読記憶媒体を備えてもよい。それは、コンピュータのような、命令を実行するシステムや装置、デバイスによってまたはそれと共に使用される命令を含むか格納しうる、如何なる触れることが可能な媒体や手段であってもよい。

本開示の前述の態様の様々な実施形態によれば、上記態様のいずれかによるコンピュータプログラムは、コンピュータプログラム製品に実装することができ、このコンピュータプログラム製品は触ることが可能なコンピュータ可読媒体を含む。また、このコンピュータ可読媒体は上述の機能を実装するプロセッサで使用可能な、本明細書で具現化されたコンピュータプログラムを有する。

「コンピュータ可読記憶媒体」や「コンピュータプログラム製品」、「有形物として具現化されたコンピュータプログラム」等の用語や、「プロセッサ」、「プロセッシング回路」等の用語は、様々なアーキテクチャを有するコンピュータのみならず、特殊回路もカバーするものと理解すべきである。こうしたコンピュータのアーキテクチャには、シングル／マルチプロセッサ・アーキテクチャや、直列／並列アーキテクチャ等がある。特殊回路にはフィールドプログラマブルゲートアレイ（FPGA）や特定用途向け集積回路（ASIC）、シグナルプロセッシングデバイス、その他の処理回路等がある。コンピュータプログラムや命令、コード等の用語は、プログラマブルプロセッサやファームウェア用のソフトウェアも意味するものと理解すべきである。こうしたものとして、プロセッサに対する命令や、固定機能デバイス、ゲートアレイ、プログラマブルロジックデバイス等の構成設定といったハードウェアデバイスのプログラマブルコンテンツ等がある。

例として、限定的ではないが、「コンピュータ可読媒体」等は非一時的なコンピュータ可読ストレージ媒体を意味する場合があり、このコンピュータ可読ストレージ媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、その他の光学式ストレージ、磁気的ディスクストレージ、その他の磁気的ストレージデバイス、フラッシュメモリを含む。また、このコンピュータ可読ストレージ媒体は、命令またはデータ構造の形式で要求されるプログラムコードを保存するように使用可能で、かつ、コンピュータによってアクセス可能なあらゆるその他の媒体を含む。しかし、「コンピュータ可読ストレージ媒体」及びデータストレージ媒体は、接続、搬送波、信号その他の一時的メディアを含まず、非一時的、有形のストレージ媒体を意味すると理解すべきである。

命令は１つ以上のプロセッサによって実行される。ここで、プロセッサには、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレー（ＦＰＧＡ）その他これに相当する集積回路または個別論理回路等がある。そのため、本明細書で使用される用語「プロセッサ」は、前述の構造または本明細書に記載した技術を実装するために適したその他のあらゆる構造を意味する。さらに、いくつかの態様では、本明細書に記載された機能が専用のハードウェア及び／又はソフトウェアモジュールで提供される場合がある。さらに、１つ以上の回路または論理要素の中で、技術が完全に実装される場合がある。

必要に応じて、本出願で開示した様々なステップが異なる順序で、及び／又は同時に実行されてもよい。さらに必要に応じて、前述のステップの1つ又は複数が任意選択できたり、統合されたりしてもよい。

本開示の様々な態様が独立請求項に記載されているが、前述の実施形態からの特定事項の他の組合せ、および／または独立請求項の特定事項を備える従属請求項を、請求項に明記された単なる組合せとは別に、本開示の他の態様が備えてもよい。

Claims (17)

1. ポジショニングタグのユーザ選択を検出することと；
   選択されたタグに関連する方向情報及びタイムスタンプを読み出すことと；
   前記選択されたタグに関連する方向情報を、記録エリアからビデオコンテンツをキャプチャするように構成されるカメラ配列の方向情報と比較することと；
   前記記録エリアからビデオコンテンツをキャプチャするように構成される前記カメラ配列の１つ以上のカメラによってキャプチャされたビデオコンテンツを特定することと；
   前記１つ以上のカメラから取得した前記特定されたビデオコンテンツを、表示用に選択することと；
   を含み、ただし前記特定することは、前記選択されたタグに関連するタイムスタンプ情報に関する期間にわたって前記選択されたタグの位置と関係する前記記録エリアのセクションから、前記１つ以上のカメラがビデオコンテンツをキャプチャしていた場合に行われる、方法。
2. 前記キャプチャされたビデオコンテンツの前記選択された部分は、前記タグが位置していることが決定されるエリアをカバーするように配置されたカメラから取得されたビデオコンテンツを含む、請求項１に記載の方法。
3. 前記キャプチャされたビデオコンテンツの前記選択された部分は、前記タグが位置していることが決定されるエリアをカバーするように配置されたカメラに隣接するカメラから取得されたビデオコンテンツを含む、請求項１又は２に記載の方法。
4. 前記キャプチャされたビデオコンテンツの前記選択された部分に割り当てられるビットレートを増やすことをさらに含む、請求項１から３の何れかに記載の方法。
5. 前記キャプチャされたビデオコンテンツの残り部分に割り当てられるビットレートを減らすことをさらに含む、請求項４に記載の方法。
6. 前記方向情報及び前記タイムスタンプ情報は、前記キャプチャされたビデオコンテンツとは別のファイルに保存される、請求項１から５の何れかに記載の方法。
7. １つ以上のカメラを特定することは、１つ以上の立体画像用カメラのペアを特定することを含む、請求項１から６の何れかに記載の方法。
8. 記録デバイス、再生デバイス、リモートサーバのうちの何れか１つから、前記選択されたビデオコンテンツを読み出すことをさらに含む、請求項１から７の何れかに記載の方法。
9. 前記１つ以上の特定のカメラから取得したビデオコンテンツを含む前記キャプチャされたビデオコンテンツの一部を表示させることをさらに含む、請求項１から８の何れかに記載の方法。
10. 前記ポジショニングタグのユーザ選択を検出することは、複数のポジショニングタグのユーザ選択を検出することを含む、請求項１から９の何れかに記載の方法。
11. 前記複数のポジショニングタグに対応する前記カメラから取得されたビデオコンテンツを含む前記キャプチャされたビデオコンテンツの一部を分割スクリーンフォーマットで表示させることをさらに含む、請求項１０に記載の方法。
12. 各カメラでキャプチャされた前記ビデオコンテンツは、複合的なデータファイルの一部又は個別ファイルとしてキャプチャされる、請求項１から１１の何れかに記載の方法。
13. 前記方向情報は方位角情報を含む、請求項１から１２の何れかに記載の方法。
14. 前記方向情報は仰角情報を含む、請求項１から１３の何れかに記載の方法。
15. コンピューティング装置の処理手段で実行されたときに、前記コンピューティング装置に、請求項１から１４の何れかに記載の方法を遂行させる命令を含む、コンピュータプログラム。
16. 処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は前記処理手段で実行されると、前記装置に、請求項１から１４の何れかに記載の方法を遂行させるように構成される、装置。
17. ポジショニングタグのユーザ選択を検出する手段と；
    前記選択されたタグに関連する方向情報及びタイムスタンプ情報を読み出す手段と；
    前記選択されたタグに関連する方向情報を、記録エリアからビデオコンテンツをキャプチャするように構成されるカメラ配列の方向情報と比較する手段と；
    前記記録エリアからビデオコンテンツをキャプチャするように構成される前記カメラ配列の１つ以上のカメラによってキャプチャされた前記ビデオコンテンツを特定する手段と；
    前記１つ以上のカメラから取得した前記特定されたビデオコンテンツを表示用に選択する手段と；
    を備え、ここで前記ビデオコンテンツの特定は、前記選択されたタグに関連するタイムスタンプ情報に関する期間にわたって前記選択されたタグの位置と関係する前記記録エリアのセクションから、前記１つ以上のカメラがビデオコンテンツをキャプチャしていた場合に行われる、装置。

Images