JP7459044B2 - ライブストリーム又はライブレンダリングコンテンツのｂロール状態を特定するシステム及び方法 - Google Patents

Description

（関連出願）
本出願は、２０１８年７月１８日出願の米国特許仮出願第６２／６９９，７３９号「ライブストリーム又はライブレンダリングコンテンツのＢロール状態を特定するシステム及び方法」の優先権を主張し、その開示内容全体は、全ての目的のために引用により本明細書に組み込まれる。

（技術分野）
本開示は、一般に遊園地の分野に関する。具体的には、本開示の実施形態は、乗物又はアトラクション用のビデオストリームを管理することを含む、遊園地運営を管理する手法に関する。

遊園地環境などの特定の環境において、特定の乗物及び他の設備は、ますます相互作用的になってきている。とりわけ、これは乗物及び設備の特定の態様が必ずしも台本どおりではない場合があることを意味する。実際には、このような乗物及び来園者始動式設備がライブレンダリング又はゲームセントリックなどのより動的になるにつれて、これはアトラクション上に表示されたビデオなどのアトラクションの構成要素が意図されたように表示されない場合に益々識別が難しくなる。想定外の表示の問題を監視するように及び／又は解決するようにオペレータに命ずることは、結果的に、不正確かつ非能率な遊園地運営につながる場合がある。加えて、この依存は、来園者体験が設備誤動作又は故障が原因で影響を受ける状況につながる可能性がある。

従って、表示媒体に関する問題を特定して、このような問題に対応するために是正処置を取ることができる手法及びシステムに対する必要性が存在する。

以下、当初の特許請求の範囲の主題と同一範囲の特定の実施形態を要約する。これらの実施形態は、特許請求する主題の範囲を制限するものではなく、むしろ考えられる主題の形態の概要を示すにすぎない。実際には、本主題は、以下に示す実施形態と同様の又は異なる様々な形態を含むことができる。

１つの実施形態において、ビデオストリーム管理システムは、ビデオをライブレンダリングするビデオ制御装置を含む。ビデオストリーム管理システムはまた、ビデオ制御装置に通信可能に接続され、ライブレンダリングビデオを含む主ビデオフィードを表示するディスプレイを含む。ビデオ制御装置、ディスプレイ、又はその組み合わせは、画素パターンを主ビデオフィードに埋め込む。ビデオフィード管理システムは、ディスプレイ上の１又は２以上の表示画像を監視して主ビデオフィードのエラーを特定する。

１つの実施形態において、ビデオフィードを管理する方法は、動的画素パターンをライブビデオフィードのフレームに埋め込むステップを含む。動的画素パターンは、第１のフレームに関連した第１の画素パターン及び第２のフレームに関連した第２の画素パターンを含み、第１の画素パターンは、第２の画素パターンとは異なる。本方法はまた、動的画素パターンを有するライブビデオフィードをディスプレイを使用して表示するステップを含む。加えて、本方法は、ディスプレイ上の表示画像を監視するステップを含む。さらに、本方法は、監視された表示画像が埋め込み動的画素パターンに適合しない表示画素パターンを含むと判定されることに応答して、ライブビデオフィードのエラーを特定するステップを含む。さらに、本方法は、ライブビデオフィードのエラーの存在を特定することに応答して、ライブビデオフィードの表示から代替的ビデオフィードの表示に切り替えるステップを含む。

１つの実施形態において、ビデオストリーム管理システムは、来園者存在を検出するように構成された１又は２以上のセンサーと、ビデオストリーム制御装置と、ビデオストリーム制御装置に通信可能に接続されたディスプレイとを含む。ビデオストリーム制御装置は、検出された来園者存在に基づいてビデオをライブレンダリングして主ビデオストリームを生成し、画素パターンを主ビデオストリームに埋め込んでビデオストリームを生成する。ディスプレイは、ビデオストリームを受け取り、ビデオストリームを表示して表示画像を生成し、ディスプレイ上の表示画像を監視してエラーを表示画像及び画素パターンの比較に基づいて特定し、エラーの特定に基づいてエラー信号を生成する。

本開示の上記及び他の特徴、態様、及び利点は、以下の詳細な説明を、図面を通して同じ符号が同じ部品を表す添付図面を参照して読む場合により深く理解されよう。

本開示の実施形態による、ビデオストリーム監視システムを利用するアトラクションを含む遊園地乗物の概略図である。 本開示の実施形態による、図１のアトラクションにおいて使用されるビデオストリーム監視システムのブロック図である。 本開示の実施形態による、ビデオストリーム監視システムを使用して監視を行って検出された想定外の表示に基づいて代替的ビデオストリームをディスプレイに送るための方法のプロセスフロー図である。 本開示の実施形態による、埋め込み動的画素パターンを有する相互作用的ビデオストリーム又はライブレンダリングビデオストリームによって提供された画像データのフレームの概略図である。 本開示の実施形態による、図４のフレーム上の想定外の表示の例の概略図である。 本開示の実施形態による、図４のフレーム上の想定外の表示の別の例の概略図である。 本開示の実施形態による、代替的ビデオストリームによって提供された画像データのフレームの概略図である。

以下、本開示の１又は２以上の特定の実施形態について説明する。これらの実施形態を簡潔に説明するために、本明細書では実際の実装の特徴を全て説明していない場合もある。あらゆる工学又は設計プロジェクトにおいて見られるようなあらゆるこのような現実の実装の開発においては、実装によって異なり得るシステム関連及びビジネス関連の制約の順守などの開発者の個別の目的を達成するために、数多くの実装固有の決定を行わなければならないと理解されたい。さらに、このような開発努力は複雑かつ時間の掛かるものとなり得るが、本開示の恩恵を受ける当業者にとっては設計、製作及び製造という日常的な取り組みであると理解されたい。

本開示の様々な実施形態の要素を導入するとき、冠詞「ａ」「ａｎ」、「ｔｈｅ」は、要素のうちの１又は２以上があることを意味することを目的としている。用語「備える」、「含む」、及び「有する」は、包括的であり、記載された要素以外の別の要素があり得ることを意味することが意図されている。さらに、本開示の「１つの実施形態」又は「実施形態」に言及したとしても、記載された特徴部を同様に包含する追加的な実施形態の存在を除外すると解釈されることを目的していないことを理解されたい。

遊園地は、遊園地乗物、実演ショー、及びゲームなどの様々な娯楽を特徴としている。様々な種類の娯楽は、遊園地での来園者の体験を高める相互作用的又はライブレンダリング特徴部を含むことができる。相互作用的特徴部は、来園者の存在に基づいて作動される乗物又は設備を含むことができる。例えば、アトラクション環境の一部として使用されるディスプレイは、相互作用的とすることができ、表示された要素又はオブジェクトは、タイマーで及び／又は事前に録画された再生で動作するのではなく、検出された来園者の存在に基づいて変化するように作動する又は動作することができるようになっている。変化としては、照明、模様、アニメーションなどを含む、表示されたビデオ環境の変更を挙げることができる。しかしながら、それでも、表示の変化は、不変と知覚することができる一部のオブジェクト又は特徴部を維持することができる。従って、一部の特徴部（例えば、背景）は不変のままとすることができるので、ビデオストリームの相互作用的態様がもはや相互作用的ではないときを観察するのが難しい場合がある。付加的に又は代替的に、ビデオストリーム表示は、ライブレンダリングとすることができるので、ビデオ表示の変化は「リアルタイム」である。再生が早いのでリアルタイムであると知覚される場合がある。ライブレンダリング再生がもはやライブレンダリングではないとき（例えば、停止表示の場合）を観測するのが難しい場合もある。

外部要因は、相互作用的及び／又はライブレンダリングビデオストリームに想定外の様式で作用する場合があるので、ディスプレイ上の相互作用的特徴部がもはや来園者と相互作用しない又はライブレンダリング画像がもはやリアルタイムで変化しない。従って、表示されたビデオストリームは、もはや乗物上の来園者の途切れのない視聴を可能にしない場合がある。通常、オペレータは、想定外の表示挙動を監視して解決する仕事を課される場合がある。しかしながら、この挙動を解決するために１人のアトラクションオペレータに依存すると、来園者の処理人数及び乗物の送り出しなどのオペレータの他の重要な業務を妨げる可能性がある。さらに、このように監視するには、複数のディスプレイが存在する場合には複数のオペレータを必要とする可能性がある。監視要員による問題の解決、解決データの提示、ビデオストリームデータの検討などの作業は、結果的に、乗物送り出しの不当な遅延及び可能性のある乗物停止時間につながる場合がある。加えて、相互作用的又はライブビデオストリームにおいて想定外の挙動を特定することは判断が難しい場合があるので、様々なオペレータによるビデオストリームの一貫性のない不正確な監視となる可能性がある。従って、手動のビデオディスプレイ監視は難しく非効率的となる可能性があり、来園者の視聴及び相互作用の不良、乗物の送り出しの間の不必要な待ち時間につながり、結果として、遊園地の長い行列及び来園者の楽しみの減少が発生する可能性がある。

例えば、乗物上に設けられる又はアトラクション環境の一部として設けられるディスプレイの監視を容易にするために本発明の手法を使用する、本明細書で示す実施例は、一般的に遊園地及び乗物アトラクションの関連で提示することができるが、本開示における手法は、他の非遊園地関連状態及び／又は状況に適用することができることに留意されたい。従って、本発明の実施例は、検討のための有用な状況を提供するために乗物上のディスプレイ監視システムの現実世界の実施例を単に反映していると理解する必要があり、さらに、本手法の適用可能性を制限すると見なされるものではない。代わりに、本手法は、ビデオが表示される他の状況に適用可能であることを理解されたい。

本発明を考慮して、図１は、ディスプレイ１０２上のビデオストリームを含むことができる遊園地乗物１００の概略図である。例えば、図示の実施形態において、遊園地乗物１００は、乗物経路１０４に沿って１又は２以上のディスプレイ１０２を含むことができる。乗物１００には来園者行列１０６を介してアクセスすることができ、乗物は、表示条件を含む様々な条件が満たされていると準備完了とみなすことができる。表示条件は、１又は２以上のディスプレイ１０２上の途切れのない視聴体験を可能にする条件とすることができる。図示するように、乗物オペレータ１１０は、表示条件が満たされていると判断すると、来園者に乗物カート１１２（例えば、乗物車両）に入るよう報知するように乗物を操作することができる。

表示条件は、ビデオストリームの相互作用的及び／又はライブレンダリング特徴部が適切に機能している場合に満たすことができ、環境、要素、又はアニメーションを含むビデオストリーム特徴部は、リアルタイムに知覚される、及び／又は、検出された来園者の存在又はジェスチャーに応答して引き起こされる。来園者の存在の検出は、様々な感知機構を含むことができる。

１つの実施形態において、図示するように、乗物経路１０４に沿うことを含む乗物１００に沿って設置することができるカメラ１１４又は一連のカメラ１１４は、来園者の存在及び／又はジェスチャーを検出することができる。付加的に又は代替的に、カメラ１１４は、ディスプレイ１０２に一体化することができる。カメラ１１４は、限定されるものではないが、顔認識、骨格追跡、体熱認識などを含む様々な検出機構を使用することができる。また、カメラ１１４は、来園者の動き（例えば、ジェスチャー）を取り込むことができ、これらの取り込まれた動きを使用して、ディスプレイ１０２上に示された要素又はアニメーションとのライブレンダリング又は相互作用をシミュレートすることもできる。ディスプレイ１０２上に示されたビデオストリームは、来園者のライブビデオ（カメラ１１４によって取り込まれた）又は来園者の描写を含むライブレンダリングビデオとすることもできる。

別の実施形態において、来園者の存在検出は、乗物カート１１２又は来園者ウェアラブルデバイスへ組み込まれた無線周波数識別（ＲＦＩＤ）タグ１１８、又は乗物軌道１１６に沿って配置された重量センサー１２０などの１又は２以上のセンサーによって行うことができる。これらのセンサーは、どこで来園者の存在が見込まれるかに基づいて（例えば、乗物カート１１２内の座席）、所定の領域に設置又は配置することができる。ＲＦＩＤタグ１１８は、ＲＦＩＤタグ１１８の存在を示すために、乗物軌道１１６又は乗物カート１１２（例えば、乗物カート１１２の内部、側面、又は通路）などの、乗物１００上に組み込まれた電子読取装置１１９と通信することができる。従って、乗物経路１０４（例えば、乗物軌道１１６又は乗物カート１１２）上に設置された電子読取装置１１９は、乗物カート１１２が電子読取装置１１９を通過する際に乗物カート１１２上のＲＦＩＤタグ１１８をスキャンすることができる。付加的に又は代替的に、重量センサー１２０は、乗物軌道１１６上に取り付けることができ、予め定められた重量に基づいて、乗物軌道１１６上の乗物カート１１２の存在を示すために使用することができる。来園者の存在を検出するＲＦＩＤタグ１１８及び／又は重量センサー１２０は、ディスプレイ１０２上にライブレンダリング又は相互作用的ビデオをもたらすことができる。加えて、センサーは、来園者存在の指示をカメラ１１４にもたらしてカメラの電源をオンにすること、又は来園者を検出することができる乗物領域範囲を狭めることができる。従って、カメラ１１４は、単独で使用すること、又は来園者を検出して追跡するために他の検出機構（例えば、ＲＦＩＤタグ１１８又は重量センサー１２０）と併せて使用することができる。

来園者存在が特定及び追跡されると、ディスプレイ１０２は、ディスプレイ１０２上のオブジェクトが外見的に来園者と相互作用するか又は来園者に反応することができるように変わることができる。アニメーション又はライブストリームレンダリングは、来園者の動き及び来園者の位置に従って、ディスプレイ１０２に対して作用を及ぼすことができる。図示の実施形態において、道化師がディスプレイ１０２上に描写される。描写された道化師は、来園者の検出及び／又は来園者の追跡された動きに応答して反応することができる（例えば、曲芸をする）。従って、道化師のビデオ表示は、来園者の動きに基づいたライブストリームビデオとすること及び／又は相互作用的とすることができる。上述したように、相互作用的及び／又はライブストリームビデオ（例えば、道化師ビデオ）は、リアルタイムで相互作用するのを又は表示するのを中断する場合があり、表示の想定外の変化を検出するために来園者又はオペレータ１１０に依存することができる。本開示の実施形態によれば、ビデオストリーム管理システム１５０は、自動的に想定外の表示を検出して、途切れのない視聴体験を可能にするために代替的ビデオソースに切り替えるために使用することができる。

以上を考慮して、本開示の実施形態は、ディスプレイ１０２に送られたビデオストリーム及び／又はディスプレイ１０２自体が期待された画像をもはや表示していない場合を判定することができる。すなわち、一部の実施形態において、ビデオストリーム管理システム１５０は、埋め込まれた画素パターンを有するビデオストリームを使用して、想定外の表示を検出し、次に、代替的ビデオストリームに切り替えて最適な来園者体験のために途切れのない視聴を提示することができる。

ビデオストリーム管理システム１５０の構成及び機能は、図２を参照してより良く理解することができ、図２は、本明細書で提示する手法を使用してビデオストリームを監視及び切り替えるビデオストリーム管理システム１５０のブロック図を示す。ビデオストリーム管理システム１５０は、少なくとも１つのカメラ１１４、ビデオストリーム制御装置１５２、監視サブシステム１５４、及びディスプレイ１０２を含み、ディスプレイ１０２は、１又は複数のディスプレイ１０２を表すことができる。以下の説明の一部では、カメラ１１４、ビデオストリーム制御装置１５２、監視サブシステム１５４、及びディスプレイ１０２が、電線／ケーブルを介して直接接続されるか又は間接的に接続されるビデオストリーム管理システム１５０の別々の構成要素として説明されるが（特定の実施形態を示す）、方法及びシステムは、全ての構成要素が１つのディスプレイ１０２に一体化されるなどの、構成要素の何らの適切な構成を使用して実行及び実施することができることに留意されたい。例えば、監視サブシステム１５４は、ビデオストリーム制御装置１５２内に含めることもでき、ビデオストリーム制御装置１５２は、ディスプレイ１０２に一体化することができる。さらに、ディスプレイ１０２は、カメラ１１４を含むことができる。従って、１つの実施形態において、全ての機能（例えば、検出、監視、切り替えなど）は、単一の一体型ディスプレイ１０２によってもたらすことができる。ディスプレイ１０２は、複数の画素を含むことができる。

例示するように、１又は２以上のカメラ１１４は、ビデオストリーム制御装置１５２に接続することができる。カメラ１１４は、来園者を追跡する（例えば、来園者の存在を検出する及び／又は来園者の動きを取り込む）ために使用することができ、来園者の動きは、相互作用的又はライブレンダリングビデオストリームに使用することができるようになっている。来園者の存在又は動きが検出及び／又は追跡されると、カメラ１１４は、検出信号及び／又は追跡信号をビデオストリーム制御装置１５２に送ることができる。ビデオストリーム制御装置１５２は、ビデオストリーム１５６をディスプレイ１０２に送ることを可能にするためにカメラ信号を使用することができる。ビデオストリーム制御装置１５２は、プロセッサ１６０によって実行可能な命令を記憶するメモリー１５８を含むことができる。

プロセッサ１６０は、１又は２以上の処理装置を含むことができ、メモリー１５８は、１又は２以上の有形の非一時的な機械可読媒体を含むことができる。例示的に、このような機械可読媒体としては、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又は、光ディスク記憶装置、磁気ディスク記憶装置、又は他の磁気記憶装置、又は、所望のプログラムコードを機械実行可能な命令又はデータ構造の形で保持又は記憶するために使用することができ、プロセッサ１６０によって又は他のプロセッサ対応のデバイスによってアクセスすることができる何らかの他の媒体を挙げることができる。プロセッサ１６０は、メモリー１５８に記憶された機械実行可能な命令アルゴリズムを実行する処理コア１６２を含むことができる。

記憶されたアルゴリズムとしては、埋め込まれた画素パターン１６４、相互作用的ビデオストリーム１６６、ライブレンダリングビデオストリーム１６９、及び／又は予め録画されたビデオストリームなどの代替的なビデオソース１７４を含む、ビデオデータストリームをディスプレイ１０２に送るアルゴリズムを挙げることができる。また、プロセッサ１６０は、プロセッサ１６０に関連したディスプレイ１０２及びカメラ１１４などの乗物１００上のハードウェア構成要素と相互作用するために処理コア１６２上で実行されるソフトウェアアプリケーション用のプロセッサ側インターフェース１７０を含むこともできる。

画素パターン１６４の埋め込みは、ディスプレイ１０２に供給されるビデオストリーム１５６を生成するために主ビデオストリーム１６８に関連したデータの変更を含むことができる。主ビデオストリーム１６８は、本明細書で提示するように、ライブレンダリングビデオストリーム１６９又は相互作用的ビデオストリーム１６６などの、相互作用的ビデオに関連したビデオストリームを指すことができる。主ビデオストリーム１６８は、１又は２以上の画像（例えば、主ビデオストリームの個々のフレーム）の画像データを変更することによって埋め込み画素パターン１６４が埋め込まれており、変更された１又は２以上の画像は、表示されると埋め込み画素パターン１６４を表示するようになっている。１つの実施形態において、１又は２以上の画像の画像データは、埋め込み画素パターン１６４に関連した各画素に関して色を符号化する情報を含む。従って、埋め込み画素パターン１６４で変更される場合に、ビデオストリーム１５６の１又は２以上の画像は、主ビデオストリーム１６８に関連して１又は２以上の画素に関して異なる色を表示する。主ビデオストリーム内の画像は、埋め込み画素パターン１６４に関連した色を表示するために既に符号化されている特定の画素を含み得ることを理解されたい。すなわち、１又は複数のソース画像は、埋め込み画素パターン１６４の黒色画素に対応する特定の画素位置で既に黒とすることができる。しかしながら、埋め込み画素パターン１６４は、十分に複雑であり、様々とすることができるので、ソース画像は、変更なしで統計学的に完全な埋め込み画素パターン１６４を提示する可能性が低い。さらに、埋め込み画素パターン１６４は、動的であり、フレーム単位で変わる場合があり、これによって、元のソース画像の埋め込み画素パターン１６４との整合が更に低減される。埋め込み画素パターン１６４の動的特徴は、連続フレーム全体にわたる異なる画素位置への埋め込み画素パターン１６４の変換、後続フレーム内の埋め込み画素パターン１６４に関連した全ての画素の変更、及び／又は、埋め込み画素パターン１６４内の画素の異なる配列を含むことができる。

ビデオストリーム制御装置１５２は、プロセッサ１６０に接続されたスイッチ１７２又は一連のスイッチを含むこともできる。プロセッサ１６０で実行された命令に基づいて、スイッチ１７２を使用して、ディスプレイ１０２に送られたデータストリームの切り替えを実施することができる。図示するように、一部の実施形態において、プロセッサ１６０は、ライブレンダリングビデオストリーム１６９又は相互作用的ビデオストリーム１６６などの主ビデオストリーム１６８を埋め込み画素パターン１６４と一緒に、ビデオストリーム１５６としてケーブル（例えば、高解像度マルチメディアインタフェース（ＨＤＭＩ）ケーブル）によってディスプレイ１０２に送ることができる。埋め込み画素パターン１６４は、主ビデオストリーム１６８に埋め込むことができ、想定外の表示挙動を検出するために使用することができる。

ビデオストリーム１５６をディスプレイ１０２に提供することに加えて、ビデオストリーム管理システム１５０は、ビデオストリームを切り替えることによって想定外の表示挙動を自動的に解決するように動作することもできる。例えば、ビデオストリーム管理システム１５０は、表示されたビデオストリーム１５６を代替的ビデオソース１７４に切り替えることができ、代替的ビデオソース１７４は、同時にディスプレイ１０２にストリーミングすることができる。ビデオストリーム制御装置１５２のスイッチ１７２及び／又はディスプレイ１０２のディスプレイプロセッサ１６５は、乗物１００のためにどのストリームをディスプレイ１０２上に表示するかを制御することができる。図示の実施形態において、ディスプレイ１０２構成は、ビデオストリーム１５６にデフォルト設定することができ、ビデオストリーム制御装置１５２によって送られかつディスプレイプロセッサ１６５によって処理された付加的な命令に基づいて代替的ビデオソース１７４に切り替わることができる。付加的な命令は、想定外の表示挙動が検出される際に監視サブシステム１５４による表示エラー検出に基づいて送られて実行されることができる。

特に、監視サブシステム１５４は、エラー検出論理回路１７６、監視サブシステムメモリー１８０、及び監視サブシステムプロセッサ１８２を含むことができる。アルゴリズムを使用して、ディスプレイ１０２上のエラーを、例えば、エラー閾値及びパターン識別を使用して特定することができる。アルゴリズムは、監視サブシステムメモリー１８０に記憶して、監視サブシステムプロセッサ１８２で実行することができる。

エラー検出論理回路１７６の画素コンパレータ１７８は、以下で詳細に説明するように、想定外の表示を判定することができる。画素コンパレータ１７８を使用して、ディスプレイ１０２上に表示された表示ビデオストリーム１５６の画像画素を、監視サブシステムメモリー１８０に記憶された１又は２以上の画素パターン及び／又は埋め込み画素パターン１６４によって送られた画素パターンと比較することができる。監視サブシステム１５４は、画素又は画素パターンに関する受け取った表示データ１８４をビデオストリーム制御装置１５２に伝えることができる。エラー検出論理回路１７６は、エラーを特定するとエラー信号１８６を生成することができる。エラー検出論理回路１７６が想定外の表示挙動を検出すると、監視サブシステム１５４は、エラー信号１８６をビデオストリーム制御装置１５２に送ることもできる。想定外の表示挙動は、監視サブシステムメモリー１８０に記憶された期待画素パターンに対するディスプレイ１０２上に表示された画素パターンに基づいて判定することができる。一部の実施形態において、埋め込み画素パターン１６４に関する情報は、認可ユーザーによってのみアクセス可能とすることができる。このような実施形態において、埋め込み画素パターン１６４は、暗号化すること又はキーでのみアクセス可能とすることができる。認可ユーザー用のサブシステムメモリー１８０に記憶されたキーを使用して、同様に監視サブシステムメモリー１８０に記憶された埋め込み画素パターン１６４をプレーンテキストに復号すること又は照合することができ、これはエラー（例えば、想定外の表示挙動）を特定するために使用することができる。キーは、メタデータ、ネットワーク接続、及び／又は記憶場所（例えば、サブシステムメモリー１８０）に基づいて生成することができる。例えば、ビデオストリーム制御装置１５２が、無許可又は未承認ネットワークなどの特定のネットワークに接続されている場合、ビデオストリーム制御装置１５２は、対のキー（例えば、ネットワーク接続毎の固有秘密キー）を入力するか又はロードしないと埋め込み画素パターン１６４にアクセスすることができない。このため、ビデオストリーム制御装置１５２は、キーを使用しなければ、現在表示されている画素を期待される埋め込み画素パターン１６４と比較して想定外の表示挙動を特定できない可能性がある。想定外の表示挙動の例としては、限定されるものではないが、ビデオストリーム１５６によって送られたビデオフレームの少なくとも一部をブロックするダイアログボックス、フリーズしたビデオフレーム、ビデオストリーム１５６表示の失敗（例えば、ブラックスクリーン）、及び／又は、ディスプレイ１０２上の特定の画素位置での誤った画素点灯（例えば、画素色又は輝度）を挙げることができる。付加的に又は代替的に、ビデオストリーム制御装置１５２上のエラー検出アルゴリズムを使用して、受け取った表示データ１８４に基づいてエラー又は想定外の表示挙動を判定することができる。

実施形態において、コンパレータ１７８は、ビデオストリーム１５６内のフレーム毎のこのフレームに関する表示画像と期待される画素パターンとの間の画素不一致をカウントするように動作する。閾値は、画素不一致の閾値数に設定することができ、それにより、閾値よりも小さい不一致の数という判定は、正しいビデオストリーム１５６を示し、閾値よりも大きい画素不一致の数は、エラーを示す。例えば、誤動作画素に対応するために、１－２画素の不一致という特定の許容公差があり得る。実施形態において、コンパレータ１７８は、エラーの表示、従って、代替的ビデオソース１７４の切り替えを引き起こす前に、少なくとも一定数のフレーム中に存在することになる閾値を上回る画素不一致を必要とするように設定することができる。ビデオストリーム１５６の個々のフレーム又はフレームのサブセットのみは、埋め込み画素パターン１６４（例えば、期待される画素パターン）を含むことができる。コンパレータは、表示画像を期待される埋め込み画素パターン１６４と関連付けることができる。すなわち、画素パターンがビデオストリームのフレーム間で変わる動的埋め込み画素パターン１６４に関して、ビデオストリームの表示画像の期待される埋め込み画素パターン１６４は、特定のフレーム識別子に関連付けることができ、これはビデオストリーム１５６のメタデータの一部とすることができる。ディスプレイプロセッサ１６５は、表示中、コンパレータ１７８がその特定のフレームの期待される画素パターンを使用することができるように、フレーム識別子を有するメタデータをエラー検出論理回路１７６に提供することができる。

エラーの検出は、ビデオストリーム１５６を受け取るデバイス（例えば、ディスプレイ１０２）で生じることができる。ビデオストリーム１５６に対する何らかのアクティブレンダリング又は相互作用的な変更は、ビデオストリーム制御装置１５２で生じることができる。しかしながら、他の実施形態において、ビデオストリーム制御装置１５２及びディスプレイ１０２は、単一デバイスとして設けられている。実施形態において、ビデオストリーム１５６は、一連の連続画像フレームから形成され、それにより、各画像フレームは、ディスプレイ１０２の複数の画素を使用して表示される。画素パターン（例えば、埋め込み画素パターン１６４）は、ディスプレイ１０２で画像を表示する際に使用された全画素のサブセットで形成すること又はこのサブセットのみを組み込むことができる。例えば、各フレーム又は画像の画素パターンは、ディスプレイ１０２上の有効な画素の１０％、５％、２％、又は１％未満を含むことができる。このように、受け取りデバイスでのエラー検出論理回路１７６の画素コンパレータ１７８は、ディスプレイ１０２の有効な画素（例えば、期待される画素パターンに関連した画素のみ）のサブセットのみを評価することができ、その結果、ビデオストリーム１５６内のエラー検出の高速化及び効率化のために、複雑な全画像／ビデオ比較操作が回避される。

監視サブシステム１５４のエラー検出論理回路１７６の実施例を詳細に例示するために、図３には、想定外の表示を検出するための及び／又は想定外の表示への応答を生成するプロセス２００が記述されている。概して、プロセス２００は、主ビデオストリーム１６８を生成するステップ（処理ブロック２０２）と、画素パターン１６４を主ビデオストリーム１６８に埋め込むステップ（処理ブロック２０４）と、埋め込み画素パターン１６４を有する主ビデオストリーム１６８を含むビデオストリーム１５６をディスプレイ１０２に送るステップ（処理ブロック２０６）と、期待される画素パターンが表示されているか否かを特定するためにディスプレイ１０２上の表示画像を評価するステップ（処理ブロック２０８）と、表示画像が所定の閾値内の期待される画素パターンを含むか否かを評価するステップ（判断ブロック２１０）と、を含む。表示画像内で特定された画素パターンが閾値内である場合、ディスプレイ１０２は、埋め込み画素パターン１６４を有する主ビデオストリーム１６８をビデオストリーム１５６として表示し続け（処理ブロック２１２）、画素パターンが閾値内ではない場合、ディスプレイ１０２は、ビデオストリーム１５６を代替的ビデオソース１７４に切り替える（処理ブロック２１４）。

プロセス２００は特定の順序の行為（ａｃｔ）を使用して記述されているが、記述されている行為は、例示した順序とは異なる順序で実行することができ、特定の記述されている行為は、スキップすること又は全く実行しなくても良いことを理解されたい。一般に、プロセス２００のステップの少なくとも一部は、ビデオストリーム管理システム１５０によって少なくとも部分的に実施することができる。具体的には、これらのステップは、少なくとも部分的に、ビデオストリーム制御装置１５２のプロセッサ１６０によって又は監視サブシステムメモリー１８０などの有形の非一時的コンピュータ可読媒体に記憶された命令を実行する監視サブシステム１５４の監視サブシステムプロセッサ１８２によって実施することができる。代替的な又は追加的な実施形態において、プロセス２００の少なくとも一部のステップは、何らかの他の適切な構成要素又は制御ロジックなどによって実施することができる。

従って、一部の実施形態において、ビデオストリーム制御装置１５２は、主ビデオストリーム１６８を生成することができる（処理ブロック２０２）。上述のように、主ビデオストリーム１６８は、相互作用的ビデオストリーム１６６、ライブレンダリングビデオストリーム１６９などの何らかのビデオデータストリーム、及び／又は、予め録画されたビデオビットストリームなどの代替的ビデオソース１７４を含むことができる。主ビデオストリーム１６８は、ユーザー又はオペレータ１１０によって予め決定することができる。使用されるビデオストリーム形式は、乗物１００及び／又は対象にする来園者に基づくことができる。例えば、図１の乗物１００の乗物形式は、道化師テーマを含むことができ、より若い来園者を対象とすることができ、従って、主ビデオストリーム１６８は、道化師が来園者のジェスチャーに反応することを可能にする相互作用的ビデオストリーム１６６を含むことができる。

一部の実施形態において、ビデオストリーム制御装置１５２は、ビデオストリーム１５６を生成するために主ビデオストリーム１６８を有する埋め込み画素パターン１６４として画素パターンを埋め込む（処理ブロック２０４）ことができる。埋め込み画素パターン１６４は、ディスプレイ１０２の画素又は画素のアレイに特定の色を発するか又は色を発しないようにさせることができるデータストリームとすることができる。一部の実施形態において、画素パターンは、ディスプレイ１０２の特定の画素での色が表示画像の各フレームで変わり得るように動的とすることができる。他の実施形態において、画素パターンは、静的とすることができ、フレーム間で不変のままとすることができる。

ビデオストリーム制御装置１５２は、主ビデオストリーム１６８に埋め込み画素パターン１６４を埋め込んだ後、データストリームを１つのビデオストリーム１５６としてディスプレイ１０２に送る（処理ブロック２０６）ことができる。画素パターンは、ビデオストリーム１５６内に（例えば、主ビデオストリーム１６８の１又は２以上の個々のフレーム内に）埋め込まれているので、画素パターンは人間の目には見えない又は検出できないように設計することができる。このように、画素パターンは、ビデオストリーム管理システム１５０によってのみ検出可能であり、来園者が乗物１００上で途切れのない視聴体験を楽しみ続けることを可能にすることができる。

埋め込み画素パターン１６４を有する主ビデオストリーム１６８がディスプレイ１０２に送られると、監視サブシステム１５４は、ディスプレイ１０２上に表示されている画素パターンを判定する（処理ブロック２０８）ことができる。エラー検出のための期待される画素パターン及び表示画像の判定を例示するために、図４～図６は、埋め込み画素パターン１６４とともに表示された画像データのフレーム１０２を示す。さらに、以下の説明の一部では、画素を使用するエラー検出の説明を容易にするために記述することができる、表示画像データとともに示された画素パターンを記述するが、実行及び実施される方法及びシステムは、人間の目では検出できない隠れている画素パターンを利用し得ることに留意されたい。すなわち、埋め込み画素パターン１６４は、来園者ではなく、ビデオストリーム管理システム１５０及びその構成要素による検出を可能にするように設計されている。

図示するように、図４は、ディスプレイ１０２上に動的埋め込み画素パターン２２４（例えば、画素パターン１６４）を有する相互作用的画像データ及び／又はライブレンダリング画像データを表示する画像データの第１のフレーム２２０（フレーム１）及び第２のフレーム２２２（フレーム２）を示す。画素パターン２２４は、ディスプレイ１０２上の画像データのフレーム２２０及び２２２の各々と一緒に表示された少なくとも１つの画素を含むことができる。画像データの第１のフレーム２２０及び第２のフレーム２２２は、ここでは例示的に道化師として示されるライブレンダリング画像を表示することができ、ビデオストリームは、リアルタイムで動いているように来園者が知覚する道化師を提示するようになっている。図示するように、画素パターン２２４は、画像の要素（例えば、道化師）上に又はその周りに画素から発せられた黒色光又は着色光を含むことができる。例えば、ディスプレイ１０２の画素は、黒色光（例えば、光の欠如）を発することが期待でき、黒色光は、ここでは黒色画素２２６として説明することができる。図示の実施形態において、黒色画素２２６は、第１のフレーム２２０においてディスプレイ１０２の下隅部上に期待することができる。

しかしながら、画像データの後続のフレーム（第２のフレーム２２２）において、道化師は、動きを変えている可能性があり、画素パターン２２４も変わった可能性がある。第２のフレーム２２２に示すように、黒色画素２２６は、ディスプレイ１０２の右上隅上に現れることが期待できる。図示の画素（例えば、黒色画素２２６及び／又は白色画素２２７）は、例示的にディスプレイ１０２内で比較的大きく示されていることを理解されたい。しかしながら、各画素は、ディスプレイ解像度に応じてディスプレイ１０２の画素サイズに対応するようにサイズ決定することができる。さらに、画素パターン２２４の図示の画素は、より大きい形状又はパターンを形成する連続画素のグループを含むこともできる。さらに、図示の画素パターン２２４は、黒色画素２２６及び白色画素２２７で形成されているが、他の色の組み合わせも企図されている。さらに、画素パターン２２４は、視聴者には概ね見えないように選択することができる。１つの実施例において、画素パターンは、フレーム２２０、２２２の背景画像に関連する部分の周りに分散配置することができる。実施形態において、画素パターン２２４は、視聴者が画素パターン２２４を識別するが難しいようにするために離散的画素でのみ形成されている。実施形態において、画素パターン２２４の個々の画素は、フレーム２２０、２２２の期待される画像における全ての周囲画素とは異なる色であるように選択される。実施形態において、画素パターンの個々の画素は、画素パターン２２４の他の画素から、少なくとも２、３、５又は１０の他の画素だけ離れている。

ディスプレイ１０２は、想定外の画素パターンを示す（想定外の表示を示す）場合がある。例示すると、図５は、誤った第１のフレーム'２２８（フレーム１'）上の想定外の画素パターン２２５を示す。誤った第１のフレーム'２２８は、第１のフレーム２２０の画像などの正しい期待フレーム画像を表示するが、画素パターン２２４の期待される黒色画素２２６は表示されず、誤った画素２２９として示されている。他の実施形態において、想定外の画素パターン２２５としては、限定されるものではないが、異なる色に見える及び／又はディスプレイ１０２上の位置が変化した１又は２以上の画素を挙げることができる。一部の実行例において、画素の位置又は色のこのような変化は、全体表示画像自体上では目に見えないビデオレンダリングのエラーによって引き起こされる可能性がある。このエラーは、ビデオストリーム１５６内のデジタルメディアエラーによって引き起こされる可能性があり、これは、さもなければ検出されないままになり、ハードウェア／ケーブルを介するディスプレイ１０２へのビデオ出力の限定された検出又はオペレータ１１０又は来園者による物理観察などの、他の監視機構によって決定される誤検出につながる場合がある。従って、埋め込み画素パターン１６４は、内部エラーの検出及び早期発見を可能にすることができ、さもなければ外部データ及び／又はハードウェアに依存することになる。

付加的に又は代替的に、想定外の表示としては、表示画像自体上のエラーを挙げることもできる。例えば、レンダリング画像が変化できないか又は１つの画像フレームから次のフレームまでフリーズした場合、画素位置での期待される発光がディスプレイ１０２上で見えない場合がある。さらに、ダイアログボックス又は別のユーザープロンプトなどのディスプレイ１０２上の追加的な画像によって、画素位置での期待される発光が、ディスプレイ１０２上で見えない場合がある。

例示すると、図６は、誤った第２のフレーム'２３０（フレーム２'）を示し、誤った第２のフレーム'２３０は、第２のフレーム２２２の期待される画像及び期待される画素パターン２２４を表示するが、エラーダイアログボックス２３１は、ユーザー入力を待っている。ダイアログボックス２３１は、ビデオ出力の変化又は一時的喪失などの結果として現れる場合がある。ダイアログボックス２３１のために、期待される画素パターン２２４の期待黒色画素２２６は、期待される位置に現れることができず、従って、ディスプレイ１０２上に表示された画像は、想定外のエラーであることが示唆される。従って、表示された画素パターン２２４の判定では、想定外の表示エラーが検出される場合がある。実施形態において、ディスプレイ１０２の全ての象限内にあるように配置された動的画素パターン及び／又は静的画素パターンを用いて、画素パターン２２４をディスプレイ１０２の様々な位置の周りに分散配置することによって、検出されたエラーを特徴づけることができる。例えば、特定の画素位置でのディスプレイ故障は（ディスプレイの残部は無傷であるが単一の位置に限定される）、ディスプレイ全体に影響を与えるフリーズエラーとは異なる形で現れる場合がある。すなわち、単一の画素不良は、ビデオストリーム１５６のエラーではなく、ディスプレイ１０２でのハードウェアエラーに関連付けることができる。従って、このようなエラーは、代替的ビデオソース１７４への切り替えを引き起こすことができない。別の実施例において、ポップアップエラーウインドウに関連したエラーは、ディスプレイ１０２の予測可能な領域における画素不一致に関連することができる。

図３のプロセス２００に戻ると、監視サブシステム１５４のエラー検出論理回路１７６は、表示画素パターン２２４が期待される動的埋め込み画素パターン１６４の所定の閾値（例えば、画素不一致）内にあるか否かかを判定する（判断ブロック２１０）ことができる。エラー検出論理回路１７６は、上述したアルゴリズム（例えば、エラー閾値及びパターン閾値アルゴリズム）を使用してこの判定を計算することができる。アルゴリズムは、ディスプレイ１０２から受け取ったデータ（例えば、表示画像データ及び画素パターン）を分析して、ユーザー又はオペレータ１１０が設定することができる所定の閾値と比較することができる。従って、画素の位置又は発せられた色のエラー閾値は、エラー閾値が乗物１００上の来園者の途切れのない視聴体験を妨げないように設定することができる。監視サブシステム１５４は、表示データ１８４及び／又はエラー信号１８６をビデオストリーム制御装置１５２に伝えることができる。付加的に又は代替的に、ビデオストリーム制御装置１５２は、そのメモリー１５８に記憶されたアルゴリズムを使用して、伝えられた表示データ１８４が期待される埋め込み画素パターン１６４の所定の閾値内であるか否かを判定することができる。

表示画素パターンが期待される埋め込み画素パターン１６４の閾値内であると判定されると、ビデオストリーム制御装置１５２は、ビデオストリーム１５６をディスプレイ１０２に引き続き送る（処理ブロック２１２）ことができる。従って、ビデオストリーム１５６は、埋め込み画素パターン１６４を有する主ビデオストリーム１６８を引き続き送ることができる。

他方で、表示画素パターンが期待される埋め込み画素パターン１６４の閾値内になく、結果的にビデオストリームエラー（「Ｂロール」状態）判定となった場合、ビデオストリーム制御装置１５２は、スイッチ１７２を使用して、ビデオストリーム１５６から代替的ビデオソース１７４に切り替える（処理ブロック２１４）ことができる。例示すると、図７は、第３のフレーム２３２（フレーム３）を示し、第３のフレーム２３２は、代替的ビデオソース１７４のフレームを表示する。図示するように、代替的ビデオソース１７４の第３のフレーム２３２は、予め録画されたＢロールビデオの画像データなどの非相互作用的画像を含むことができる。予め録画されたビデオロールは、相互作用的又はライブレンダリングとすることができず、従って、エラーを検出するために画素パターン１６４を埋め込むことができず、そうでなければ相互作用的ビデオストリーム又はライブレンダリングビデオストリームを検出するのは難しいであろう。付加的に又は代替的に、代替的ビデオソース１７４は、想定外の表示の検出の前に表示されていた元のビデオストリーム１５６の完全バックアップとすることができる。例えば、完全バックアップは、埋め込み画素パターン１６４を有する主ビデオストリーム１６８を含むビデオストリーム１５６を生成する冗長システムを含むことができる。付加的に又は代替的に、代替的ビデオソース１７４は、埋め込み画素パターン１６４と共に異なる相互作用的ビデオストリーム又はライブレンダリングビデオストリームを含むことができる。代替的ビデオソース１７４の選択肢は、乗物１００上の来園者の途切れのない視聴体験を提供する最も適切なソースに基づいて決定することができる。

代替的ビデオソース１７４は、ストリーム切り替えに関連する遅延が最小であるように迅速なステップ応答時間フレーム内で切り替えることができる。迅速な切り替え機構をもたらすために、代替的ビデオソース１７４及びビデオストリーム１５６の両方は、同時にディスプレイ１０２に送られるストリームとすることができる。しかしながら、ディスプレイ１０２は、エラー検出又は想定外の表示の状態でビデオストリーム制御装置１５２を介して受け取った命令に基づいて画像出力を変更するように指示されることができる。実施形態において、代替的ビデオソースは、ディスプレイ１０２にローカルに記憶することができる。このように、切り替えは、来園者が観察又は容易に気付くことができず、従って、途切れのない視聴体験を提供し続けることができる。

本明細書では、本開示のいくつかの特徴のみを図示し説明したが、当業者には多くの修正及び変更が思い浮かぶであろう。従って、添付の特許請求の範囲は、本開示の実際の趣旨に該当する全てのこのような修正及び変更を含むものであると理解されたい。上述の図面に関して図示又は説明される特徴部のいずれも何らかの適切な方法で組み合わせることができることを理解されたい。

本明細書で提示され請求項に記載された手法は、本発明の技術分野を明らかに改善する実際的な性質の実質的な目的及び具体的な実施例に参照及び適用され、このため、抽象的、無形、又は真に理論的でもない。更に、本明細書の終わりに添付した何れかの請求項が「機能」を「実行」する手段」又は「機能」を「実行」するステップ」として指定された１又は２以上の要素を含む場合、このような要素は、米国特許法第１１２条（ｆ）に従って解釈されるものとする。しかしながら、任意の他の方法で指定された要素を含む何れかの請求項については、このような要素は、米国特許法第１１２条（ｆ）に従って解釈されないものとする。

Claims (11)

1. ビデオをライブレンダリングするように構成されたビデオ制御装置と、
   前記ビデオ制御装置に通信可能に接続され、前記ライブレンダリングされたビデオを含む主ビデオフィードを表示するように構成されたディスプレイと、
   を備えるビデオストリーム管理システムであって、
   前記ビデオ制御装置、前記ディスプレイ、又はこれらの組み合わせは、埋め込み画素パターンを前記主ビデオフィードに埋め込むように構成され、前記ビデオストリーム管理システムは、前記埋め込まれた画素パターンの少なくとも１つの画素の期待される画素位置、画素発光、及び／又は画素色と、前記ディスプレイ上に表示された前記少なくとも１つの画素の対応する表示位置、画素発光、及び／又は画素色とを比較することによって、前記主ビデオフィード内のエラーを特定するように構成され、
   前記主ビデオフィードは、来園者に対する相互作用的ビデオストリームを含み、
   前記ディスプレイは、代替的ビデオフィードのソースに通信可能に接続され、前記ディスプレイは、前記主ビデオフィード内の前記エラーの特定に応答して前記代替的ビデオフィードを表示するように切り替わるように構成され、前記代替的ビデオフィードの前記ソースは、予め録画されたビデオソースを含む、ビデオストリーム管理システム。
2. 前記代替的ビデオフィードは、前記来園者に対する非相互作用的ビデオストリームを含む、請求項１に記載のシステム。
3. 前記エラーは、前記埋め込み画素パターンと前記ディスプレイ上の１又は２以上の表示画像の画像との間で特定された不一致に基づく、請求項１に記載のシステム。
4. 前記埋め込み画素パターンが前記ディスプレイ上に表示された１又は２以上の表示画像内で特定される場合、エラーは、前記ビデオストリーム管理システムによって検出されない、請求項１に記載のシステム。
5. 前記埋め込み画素パターンは、前記ディスプレイ上の１又は２以上の表示画像の画素の総数のサブセットに関連する、請求項１に記載のシステム。
6. 前記エラーは、期待される画素パターン及び前記ディスプレイ上の１又は２以上の表示画像内の画素不一致の所定の閾値に基づく、請求項１に記載のシステム。
7. 前記埋め込み画素パターンは動的であり、前記主ビデオフィードの連続フレームを形成する前記ディスプレイ上の１又は２以上の表示画像の間で変化する、請求項１に記載のシステム。
8. 前記埋め込み画素パターンは、前記主ビデオフィードの連続フレームを形成する前記ディスプレイ上の１又は２以上の表示画像の間で静的である、請求項１に記載のシステム。
9. 来園者存在を検出するように構成された１又は２以上のセンサーと、
   ビデオストリーム制御装置と、
   前記ビデオストリーム制御装置に通信可能に接続されたディスプレイと、
   を備える、ビデオストリーム管理システムであって、
   前記ビデオストリーム制御装置は、
   前記検出された来園者存在に基づいて、ビデオをライブレンダリングして主ビデオストリームを生成し、
   画素パターンを前記主ビデオストリームに埋め込んでビデオストリームを生成する、
   ように構成され、
   前記ディスプレイは、
   前記ビデオストリームを受け取り、
   前記ビデオストリームを表示して表示画像を生成し、
   エラーを前記表示画像及び前記画素パターンの比較に基づいて特定し、
   前記エラーの特定に基づいてエラー信号を生成する、
   ように構成され、前記エラーは、前記埋め込まれた画素パターンの少なくとも１つの画素の期待される画素位置、画素発光、及び／又は画素色と、前記ディスプレイ上に表示された前記少なくとも１つの画素の対応する表示位置、画素発光、及び／又は画素色との間の不一致に基づき、前記主ビデオフィードは、来園者に対する相互作用的ビデオストリームを含み、
   前記ビデオストリーム管理システムは、前記エラー信号に基づいて代替的ビデオの表示をもたらし、前記代替的ビデオは、予め録画されたビデオを含む、
   ビデオストリーム管理システム。
10. 前記エラーは、前記表示画像の欠落若しくは前記画素パターンの１又は２以上の画素との不一致を有すること、前記画素パターンに対して１又は２以上の異なる色画素を有すること、又は画素パターンの１又は２以上の画素の異なる位置を含む、請求項９に記載のシステム。
11. 前記画素パターンは、動的画素パターンを含む、請求項９に記載のシステム。

Images