JP7080400B2 - ビデオコンテンツから光効果のための色を抽出するための方法の選択 - Google Patents

ビデオコンテンツから光効果のための色を抽出するための方法の選択 Download PDF

Info

Publication number
JP7080400B2
JP7080400B2 JP2021523684A JP2021523684A JP7080400B2 JP 7080400 B2 JP7080400 B2 JP 7080400B2 JP 2021523684 A JP2021523684 A JP 2021523684A JP 2021523684 A JP2021523684 A JP 2021523684A JP 7080400 B2 JP7080400 B2 JP 7080400B2
Authority
JP
Japan
Prior art keywords
color
light
color extraction
extraction method
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021523684A
Other languages
English (en)
Other versions
JP2022506359A (ja
Inventor
シモン ライクロフト
トビアス ボッラ
ドラガン セクロフスキ
ディミトリ ヴィクトロヴィッチ アリアクセイエウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of JP2022506359A publication Critical patent/JP2022506359A/ja
Application granted granted Critical
Publication of JP7080400B2 publication Critical patent/JP7080400B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、ビデオコンテンツの分析に基づいて１つ以上の光効果(light effect)を決定するためのシステムに関する。
本発明はさらに、ビデオコンテンツの分析に基づいて１つ以上の光効果を決定する方法に関する。
本発明はまた、コンピュータシステムがそのような方法を実行することを可能にするコンピュータプログラムプロダクトに関する。
Ｐｈｉｌｉｐｓ Ｈｕｅ（登録商標） Ｅｎｔｅｒｔａｉｎｍｅｎｔ等の動的な照明システムは、特に抽出された色がソースコンテンツのルック＆フィールとマッチする場合、オーディオビジュアル素材の体験及び印象に劇的な影響を与えることができる。しかしながら、最良のユーザエクスペリエンスを提供することができる抽出方法は、コンテンツごとに異なり得る。
ＷＯ ２０１７／１８２３６５ Ａ１は、ビデオデータのフレーム画像データから少なくとも１つのカラーパレットを決定する、及び、ビデオコンテンツの出力中にレンダリングされるべき照明効果のシーケンスを表示することにより光を生成することを開示している。この照明効果のシーケンスは、決定されたカラーパレットから得られる少なくとも１つの照明色を伝え、ユーザによって修正されることができる。この方法の不利な点は、かなりの量のユーザ入力を必要とすることである。
Ｐｈｉｌｉｐｓ Ｈｕｅ（登録商標） Ｓｙｎｃは、リアルタイムでビデオコンテンツから色を自動抽出し、この情報を１つ以上のランプに送るソフトウェアである。その現在の形態では、単一の色抽出方法が、現在のビデオフレーム内のゾーンをサンプリングし、ライトに現れる色を決定するために使用される。この方法は、さまざまなコンテンツタイプにうまく機能するために選ばれたが、必ずしもすべてのコンテンツタイプに最適ではない。
本発明の第１の目的は、かなりの量のユーザ入力を必要とすることなく決定される、ビデオコンテンツにフィットする光効果を決定することができる、システムを提供することである。
本発明の第２の目的は、かなりの量のユーザ入力を必要とすることなく決定される、ビデオコンテンツにフィットする光効果を決定することができる、方法を提供することである。
本発明の第１の態様では、ビデオコンテンツの分析に基づいて１つ以上の光効果を決定するためのシステムは、少なくとも１つの入力インターフェースと、少なくとも１つの出力インターフェースと、メディアコンテンツ及び前記メディアコンテンツに関する情報を得るために前記少なくとも１つの入力インターフェースを使用し、前記メディアコンテンツは、ビデオコンテンツを含む、前記得られた情報に基づいて複数の色抽出方法から色抽出方法を選択し、前記複数の色抽出方法は、同じピクセルから異なる色を抽出するという点で互いに異なる、前記選択された色抽出方法を適用することにより前記ビデオコンテンツの１つ以上のフレームから色を抽出する、前記１つ以上のフレームがレンダリングされている際に１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定し、前記１つ以上の光効果は、前記抽出された色に基づいて決定される、及び、前記１つ以上の光効果を指定する光スクリプトを保存する及び／又は前記１つ以上の光効果をレンダリングするように前記１つ以上の光源を制御するために前記少なくとも１つの出力インターフェースを使用するように構成される、少なくとも１つのプロセッサとを含む。
このようにして、使用される色抽出方法が、メディアコンテンツから導出される又はメディアコンテンツに関連する抽出された又は既存の情報に基づいてメディア主導の光効果(media-driven light effect)を作成するために動的且つ自動的に選択される。本発明は、メディア主導型の光効果をより反応性の高いものにし、最適な色抽出方法とコンテンツとのマッチングによりユーザを惹きつける。これは、事前スクリプト化(pre-scripted)自動抽出及びリアルタイム抽出プロセスの両方に同様に適用されることができる。
すべてのタイプのコンテンツにうまく機能する色抽出方法を探そうとする又はすべてのスクリプト作成者若しくは消費者が所与のコンテンツに対して正しい色抽出方法を選択することを期待するのではなく、さまざまな色抽出方法から自動的に選択するメカニズムが提供される。これは、異なる色抽出方法が、異なるコンテンツに対して使用されるだけでなく、同じコンテンツの異なる部分に対して使用されることも可能にする。
当該システムは、例えば、前記１つ以上の光源を含む照明システムの一部であってもよく、又は、前記１つ以上の光源を含む照明システムにおいて用いられてもよい。前記コンテンツに関する前記情報は、例えば、ダイナミシティレベル(level of dynamicity)、コントラスト情報、彩度情報(saturation information)、オーディオレベル、ジャンル、シーンロケーション(scene location)、シーンタイプ、及び／又は曲名を含んでもよい。前記色抽出方法はさらに、光効果を定義するために何フレームから色が抽出されるべきか、例えば、色はスクリーン全体から抽出されるべきか、映画のショット（ｓhot)から抽出されるべきかを定義する１つ以上のパラメータを含んでもよい。
前記少なくとも１つのプロセッサは、複数のセクションについてセクションごとに１つ以上の色を抽出するように構成され、各セクションは、シーン、ショット又は単一のフレームを含み、前記シーン及び前記ショットは、複数のフレームを含み、単一の色が前記セクションのすべてのフレームからセクションごとに抽出される及び／又は色が前記セクションのすべてのフレームにおけるサブエリアからサブエリアごとにセクションごとに抽出されてもよい。
異なる色抽出方法が、例えば、コンテンツのタイプ及びユーザの照明セットアップにおける光源のタイプに依存して、セクションの異なるサブエリア（すなわち、スクリーンの異なるエリア）に対して選択されてもよい。例えば、トリムミーン判定(trimean determination)が、スクリーンの中央エリアにマッピングされる光源のためにスクリーンの中央で使用されてもよく、ドミナント色判定(dominant color determination)が、スクリーンの左及び右エリアにマッピングされる光源のためにスクリーンの左及び右で使用されてもよい。斯くして、複数の異なる色抽出方法が、あるセクションの複数の異なるサブエリアから色を抽出するために当該セクションに対して選択されてもよい。
前記複数の色抽出方法は、異なるタイプの色抽出方法及び／又は単一のタイプの色抽出方法に対する異なるセットのパラメータを含んでもよい。前記異なるタイプの色抽出方法は、例えば、平均色判定(average color determination)（例えば、トリムミーン色判定(trimean color determination)、ミーン色判定(mean color determination)、メジアン色判定(median color determination)、又はモード色判定(mode color determination)）、ドミナント色判定、ドミナント照明色判定(dominant illumination color determination)、可視光源色判定(visible light source color determination)、及び／又は特徴色判定(feature color determination)を含んでもよい。平均色が、フレーム（サブエリア）ごとに決定されてもよく、複数のフレームの平均が、それら自体で平均化（例えば、トリムミーンのトリムミーン）されてもよい。異なる平均化方法が、フレーム（サブエリア）ごとの平均を決定することと、平均の平均を決定することとで用いられてもよい。前記異なるセットのパラメータは、例えば、同じタイプの色抽出方法（例えば、トリムミーン判定又は他の平均色判定）で使用される色空間の異なる領域を識別してもよい。
前記少なくとも１つのプロセッサは、前記得られた情報が前記シーンはスローシーンであることを示すと判断するとシーンから色を抽出するために前記ドミナント色判定を選択する、及び／又は、前記得られた情報が前記シーンはアクションシーンであることを示すと判断するとシーンから色を抽出するために前記特徴色判定を選択するように構成されてもよい。これは、シーンのダイナミシティにフィットする色が抽出されることを可能にする。
前記少なくともつのプロセッサは、トリムミーン判定（又は他の平均色判定）の結果、望ましくない色になる場合、前記１つ以上のフレームにドミナント色がない場合、及び／又は、動いている、鮮明な(sharp)及び／又は高コントラストのオブジェクトが前記１つ以上のフレームに検出される場合、前記特徴色判定を選択するように構成されてもよい。例えば、暗いシーンの結果、非常に暗い色のトリムミーン判定（又は他の平均色判定）になる場合、シーン内の特徴、例えば、建物の色を判断するのが良い。動いている、鮮明な及び／又は高コントラストのオブジェクトがシーンに存在する場合、（特徴はこのオブジェクトである）特徴色判定が、典型的には、このシーンをより良く表す色を判断する。
前記少なくとも１つのプロセッサは、ユーザが、前記光スクリプトを保存する前に前記抽出された色及び／又は前記選択された色抽出方法を確認することを可能にするように構成されてもよい。光スクリプトが生成される場合、ユーザは、光スクリプトがファイナライズされ光源を制御するために使用される前に最終チェックを行いたい可能性がある。
前記少なくともつのプロセッサはさらに、ユーザの照明セットアップに関する情報にさらに基づいて前記色抽出方法を選択し、前記ユーザの照明セットアップは、前記１つ以上の光源を含む、及び、前記１つ以上の光効果をレンダリングするように前記ユーザの照明セットアップの前記１つ以上の光源を制御するために前記少なくとも１つの出力インターフェースを使用するように構成されてもよい。これは、ユーザの照明セットアップが、色抽出がリアルタイムで行われ、１つ以上の光源がリアルタイムで制御される場合に考慮されることを可能にする。ユーザの照明セットアップに関する情報は、例えば、光源の量、光源の空間的位置、光源のタイプ、及び光源の能力(capability)（例えば、これらが白色及び／又は色調整可能(color tunable)、調光可能であるかどうか等）を含んでもよい。例えば、ユーザの照明セットアップが、（例えば、Ｐｈｉｌｉｐｓ ＨｕｅＧｏ等）ディープ調光(deep diming)が可能な光源を含む場合、ユーザの照明セットアップが（例えば、Ｐｈｉｌｉｐｓ Ｈｕｅ（登録商標） ｂｕｌｂ Ｅ２７等）ディープ調光を持つ光源を含まない場合に選択される色抽出方法とは異なる色を暗いシーンから抽出する色抽出方法が選択されてもよい。
前記少なくとも１つのプロセッサは、潜在的な照明セットアップの第１のタイプに対する前記１つ以上の光効果を決定する、前記得られた情報に基づいて前記複数の色抽出方法からさらなる色抽出方法を選択する、前記選択されたさらなる色抽出方法を適用することにより前記ビデオコンテンツの前記１つ以上のフレームからさらなる色を抽出する、潜在的な照明セットアップの第２のタイプに対する１つ以上のさらなる光効果を決定し、前記１つ以上のさらなる光効果は、前記抽出されたさらなる色に基づいて決定される、及び、前記光スクリプトで前記１つ以上のさらなる光効果を指定するために前記少なくとも１つの出力インターフェースを使用し、前記１つ以上の光効果は、前記光スクリプトで前記第１のタイプの照明セットアップと関連付けられ、前記１つ以上のさらなる光効果は、前記光スクリプトで前記第２のタイプの照明セットアップと関連付けられる、ように構成されてもよい。これは、ユーザの照明セットアップが、抽出された色が光スクリプトを作成するために使用される場合に考慮されることを可能にする。その結果、照明セットアップで利用可能な光源と光効果との整合性(alignment)がさらに改善され得る。
プロセッサはまた、ユーザの照明セットアップ自体(as such)に関する情報に基づいて色抽出方法を選択するように構成されてもよい。
前記少なくとも１つのプロセッサは、前記ビデオコンテンツの２つのセクションの各々から色を抽出する、前記２つの色間の色空間における遷移パスを選択する、及び、前記２つのセクション間に位置する１つ以上の中間セクションに適用されるべき色抽出方法を選択することにより前記色抽出方法を選択するように構成され、前記色抽出方法は、前記選択された遷移パスに基づいて選択され、前記１つ以上の中間セクションは、前記１つ以上のフレームを含む、ように構成されてもよい。光効果間の遷移を決定することにより、鮮明な遷移(sharp transition)が回避され得る。得られた情報に基づいて遷移パスを選択することにより、例えば、気持ちを盛り上げるシーン(uplifting scene)の２つのショット間の遷移を反映するために飽和色(saturated color)を用いる、又は、気が重くなるシーン(depressing scene)の２つのショット間の遷移を反映するために非飽和色(desaturated color)を用いる等、適切な遷移パスが選択されてもよい。
前記少なくとも１つのプロセッサは、前記２つのセクション及び前記１つ以上の中間セクションがレンダリングされている際にレンダリングされるべき少なくとも１つの光効果を決定することによって前記１つ以上の光源にレンダリングされるべき前記１つ以上の光効果を決定するように構成され、前記少なくとも１つの光効果は、前記２つのセクションから抽出される前記２つの色及び前記１つ以上の中間セクションから抽出される前記色に基づいて決定されてもよい。典型的には、異なる光効果が、前記２つのセクションの各々と、前記中間セクションの各々とに対して決定される。
本発明の第２の態様では、ビデオコンテンツの分析に基づいて１つ以上の光効果を決定する方法は、メディアコンテンツ及び前記メディアコンテンツに関する情報を得ることであって、前記メディアコンテンツは、ビデオコンテンツを含む、ことと、前記得られた情報に基づいて複数の色抽出方法から色抽出方法を選択することであって、前記複数の色抽出方法は、同じピクセルから異なる色を抽出するという点で互いに異なる、ことと、ユーザの照明セットアップに関する情報にさらに基づいて前記色抽出方法を選択することであって、前記ユーザの照明セットアップは、１つ以上の光源を含む、ことと、前記選択された色抽出方法を適用することにより前記ビデオコンテンツの１つ以上のフレームから色を抽出することと、前記１つ以上のフレームがレンダリングされている際に前記１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定することであって、前記１つ以上の光効果は、前記抽出された色に基づいて決定される、ことと、前記１つ以上の光効果を指定する光スクリプトを保存すること及び／又は前記１つ以上の光効果をレンダリングするように前記１つ以上の光源を制御することと、を含む。前記方法は、プログラマブルデバイスで実行されるソフトウェアによって実行されてもよい。このソフトウェアは、コンピュータプログラムプロダクトとして提供されてもよい。
さらに、本明細書で説明される方法を実践するためのコンピュータプログラム、並びに、そのコンピュータプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供される。コンピュータプログラムは、例えば、既存のデバイスによってダウンロードされるか、又は、既存のデバイスにアップロードされてもよく、あるいは、これらのシステムの製造時に記憶されてもよい。
非一時的コンピュータ可読記憶媒体は、ソフトウェアコード部分を記憶し、ソフトウェアコード部分は、コンピュータによって実行又は処理されると、メディアコンテンツ及び前記メディアコンテンツに関する情報を得ることであって、前記メディアコンテンツは、ビデオコンテンツを含む、ことと、前記得られた情報に基づいて複数の色抽出方法から色抽出方法を選択することであって、前記複数の色抽出方法は、同じピクセルから異なる色を抽出するという点で互いに異なる、ことと、前記選択された色抽出方法を適用することにより前記ビデオコンテンツの１つ以上のフレームから色を抽出することと、前記１つ以上のフレームがレンダリングされている際に１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定することであって、前記１つ以上の光効果は、前記抽出された色に基づいて決定される、ことと、前記１つ以上の光効果を指定する光スクリプトを保存すること及び／又は前記１つ以上の光効果をレンダリングするように前記１つ以上の光源を制御することと、を含む、実行可能オペレーションを実行するように構成される。前記方法は、プログラマブルデバイスで実行されるソフトウェアによって実行されてもよい。
当業者には理解されるように、本発明の諸態様は、デバイス、方法、又はコンピュータプログラム製品として具現化されてもよい。したがって、本発明の諸態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、あるいは、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態を取ってもよく、それらは全て、本明細書では「回路」、「モジュール」、又は「システム」と総称されてもよい。本開示で説明される機能は、コンピュータのプロセッサ／マイクロプロセッサによって実行される、アルゴリズムとして実装されてもよい。更には、本発明の諸態様は、１つ以上のコンピュータ可読媒体として具現化されている、コンピュータプログラム製品の形態を取ってもよく、１つ以上のコンピュータ可読媒体は、その上に具現化されている、例えば記憶されている、コンピュータ可読プログラムコードを有する。
１つ以上のコンピュータ可読媒体の任意の組み合わせが、利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、限定するものではないが、電子、磁気、光学、電磁気、赤外線、又は半導体の、システム、装置、若しくはデバイス、あるいは、上述の任意の好適な組み合わせであってもよい。より具体的なコンピュータ可読記憶媒体の例としては、限定するものではないが、１つ以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（random access memory；ＲＡＭ）、読み出し専用メモリ（read-only memory；ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（erasable programmable read-only memory；ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（portable compact disc read-only memory；ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上述の任意の好適な組み合わせを挙げることができる。本発明の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを含むか、又は記憶することが可能な、任意の有形媒体であってもよい。
コンピュータ可読信号媒体としては、例えばベースバンド内又は搬送波の一部として、その内部に具現化されているコンピュータ可読プログラムコードを有する、伝搬データ信号を挙げることができる。そのような伝搬信号は、限定するものではないが、電磁気、光学、又はこれらの任意の好適な組み合わせを含めた、様々な形態のうちのいずれを取ってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、通信、伝搬、又は伝送することが可能な、任意のコンピュータ可読媒体であってもよい。
コンピュータ可読媒体上に具現化されているプログラムコードは、限定するものではないが、無線、有線、光ファイバ、ケーブル、ＲＦ等、又は上述の任意の好適な組み合わせを含めた、任意の適切な媒体を使用して送信されてもよい。本発明の諸態様に関する動作を実施するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋等のオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語又は同様のプログラミング言語等の従来の手続き型プログラミング言語、及び、Ｓｃａｌａ、Ｈａｓｋｅｌ等の関数型プログラミング言語を含めた、１つ以上のプログラミング言語の任意の組み合わせで書き込まれてもよい。このプログラムコードは、スタンドアロン型ソフトウェアパッケージとして、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で実行されてもよく、部分的にユーザのコンピュータ上かつ部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ若しくはサーバ上で実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（local area network；ＬＡＮ）若しくは広域ネットワーク（wide area network；ＷＡＮ）を含めた任意のタイプのネットワークを通じて、ユーザのコンピュータに接続されてもよく、又は、この接続は、外部コンピュータに対して（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）実施されてもよい。
本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品の、フローチャート図及び／又はブロック図を参照して、本発明の諸態様が以下で説明される。フローチャート図及び／又はブロック図の各ブロック、並びに、フローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実装されることができる点が理解されるであろう。これらのコンピュータプログラム命令は、マシンを作り出すために、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置の、プロセッサ、特にマイクロプロセッサ又は中央処理ユニット（central processing unit；ＣＰＵ）に提供されてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスのプロセッサを介して実行される命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施するための手段を作り出す。
これらのコンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに、特定の方式で機能するように指示することが可能な、コンピュータ可読媒体内に記憶されてもよく、それにより、コンピュータ可読媒体内に記憶されている命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施する命令を含む、製品を作り出す。
コンピュータプログラム命令はまた、コンピュータ実施プロセスを作り出すために、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードされて、それらのコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上で一連の動作ステップを実行させてもよく、それにより、コンピュータ又は他のプログラマブル装置上で実行される命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施するためのプロセスを提供する。
図におけるフローチャート及びブロック図は、本発明の様々な実施形態によるデバイス、方法、及びコンピュータプログラム製品の可能な実装の、アーキテクチャ、機能性、及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定されている論理関数を実施するための１つ以上の実行可能命令を含む、コードのモジュール、セグメント、又は部分を表してもよい。また、一部の代替的実装形態では、ブロック内に記されている機能は、それらの図に記されている順序と異なる順序で行われてもよい点にも留意されたい。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよく、又は、それらのブロックは、関与している機能性に応じて、逆の順序で実行される場合があってもよい。また、ブロック図及び／又はフローチャート図の各ブロック、並びに、それらブロック図及び／又はフローチャート図内のブロックの組み合わせは、指定されている機能若しくは行為を実行する専用ハードウェアベースのシステム、又は、専用ハードウェアとコンピュータ命令との組み合わせによって実施されることができる点にも留意されたい。
本発明のこれらの態様及び他の態様は、以下の図面から明らかであり、例として、それらの図面を参照して更に解明されるであろう。
システムの一実施形態のブロック図である。 オフスクリーン色抽出方法の第１の実施形態のフロー図である。 いくつかは明るい光源を捕捉しているビデオフレームの例を示す。 図３のビデオフレームの各々について明るい光源の位置を反映した光設定の例を示す。 オフスクリーン色抽出方法の第２の実施形態のフロー図である。 オフスクリーン色抽出方法の第３の実施形態のフロー図である。 現在のフレーム及び９つの隣接するフレームで構成されるスーパーフレームの一例を示す。 図７のスーパーフレームにおける分析エリアの例を示す。 オフスクリーン色抽出方法の第４の実施形態のフロー図である。 スーパーフレームにおける異なる分析エリアの例を示す。 色抽出選択方法の第１の実施形態のフロー図である。 色抽出選択方法の第２の実施形態のフロー図である。 色抽出選択方法の第３の実施形態のフロー図である。 色抽出選択方法の第４の実施形態のフロー図である。 色空間における最短距離の色遷移の一例を示す。 色空間における等飽和の色遷移の一例を示す。 色空間における脱飽和の最短距離の色遷移の一例を示す。 重み付け影響光効果作成方法の第１の実施形態のフロー図である。 重み付け影響光効果作成方法の第２の実施形態のフロー図である。 重み付け影響光効果作成方法の第３の実施形態のフロー図である。 オフスクリーン色抽出方法の第５の実施形態、色抽出選択方法の第５の実施形態、及び重み付け影響光効果作成方法の第４の実施形態のフロー図である。 本発明の方法を実行するための例示的なデータ処理システムのブロック図である。 スーパーフレームのピクセルから単一の色を決定するためにこれらのピクセルに重みを割り当てる関数の一例を示す。
図面中の対応する要素は、同じ参照番号によって示される。
図１は、上述したシステムの一実施形態、モバイルデバイス１を示している。モバイルデバイス１は、無線ＬＡＮアクセスポイント２３に接続されている。また、ブリッジ１１が、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）を介して、無線ＬＡＮアクセスポイント２３に接続されている。光源１３～１７は、ブリッジ１１と、例えばＺｉｇｂｅｅ（登録商標）プロトコルを用いて無線通信し、ブリッジ１１を介して、例えばモバイルデバイス１によって制御されることができる。例えば、ブリッジ１１は、Ｐｈｉｌｉｐｓ Ｈｕｅ（登録商標）ブリッジであってもよく、光源１３～１７は、Ｐｈｉｌｉｐｓ Ｈｕｅ（登録商標）ライトであってもよい。代替的な実施形態では、ライトデバイスは、ブリッジなしで制御される。
また、ＴＶ２７が、無線ＬＡＮアクセスポイント２３に接続されている。メディアコンテンツは、例えば、モバイルデバイス１又はＴＶ２７によってレンダリングされてもよい。無線ＬＡＮアクセスポイント２３は、インターネット２４に接続されている。インターネットサーバ２５も、インターネット２４に接続されている。モバイルデバイス１は、例えば、携帯電話又はタブレットであってもよい。モバイルデバイス１は、例えば、Ｐｈｉｌｉｐｓ Ｈｕｅ（登録商標） Ｓｙｎｃアプリを実行してもよい。モバイルデバイス１は、プロセッサ５、レシーバ３、トランスミッタ４、メモリ７、及びディスプレイ９を備える。図１の実施形態では、ディスプレイ９は、タッチスクリーンを備える。モバイルデバイス１、ブリッジ１１、及び光源１３～１７は、照明システム２１の一部である。
図１の実施形態では、プロセッサ５は、オフスクリーン色抽出方法(offscreen color extraction method)を実行するように構成される。それゆえ、プロセッサ５は、ビデオコンテンツを得るためにレシーバ３を使用する、ビデオコンテンツの複数のフレームに対して分析を実行する、分析に基づいて複数のフレームにおけるカメラの動き(camera movement)を決定する、決定されたカメラの動きに基づいて複数のフレームのうちの少なくとも１つからオフスクリーン色情報を抽出する、及び、ビデオコンテンツのさらなるフレームがレンダリングされている際に１つ以上の光源１３～１７にレンダリングされるべき１つ以上の光効果を決定するように構成される。色は、例えば、色度(chromaticity)及び明度(brightness)を含んでもよい。
さらなるフレームは、複数のフレームに隣接し、１つ以上の光効果は、オフスクリーン色情報に基づいて決定される。プロセッサ５はさらに、１つ以上の光効果を指定する光スクリプトを保存する及び／又は１つ以上の光効果をレンダリングするように１つ以上の光源１３～１７を制御するためにトランスミッタ４を使用するように構成される。
図１の実施形態では、プロセッサ５はさらに、色抽出選択方法(color extraction selection method)を実行するように構成される。プロセッサ５はさらに、メディアコンテンツ及びメディアコンテンツに関する情報を得るためにレシーバ３を使用するように構成される。メディアコンテンツは、ビデオコンテンツを含む。プロセッサ５はさらに、得られた情報に基づいて複数の色抽出方法から色抽出方法を選択するように構成される。色抽出方法は、同じピクセルから異なる色を抽出するという点で互いに異なる。
プロセッサ５はさらに、選択された色抽出方法を適用することによりビデオコンテンツの１つ以上のフレームから色を抽出する、及び、１つ以上のフレームがレンダリングされている際に１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定するように構成される。色は、オンスクリーンコンテンツ(onscreen content)及び／又はオフスクリーンコンテンツ(offscreen content)から抽出されてもよい。１つ以上の光効果は、抽出された色に基づいて決定される。プロセッサ５はさらに、１つ以上の光効果を指定する光スクリプトを保存する及び／又は１つ以上の光効果をレンダリングするように１つ以上の光源を制御するためにトランスミッタ４を使用するように構成される。
図１の実施形態では、プロセッサ５はさらに、重み付け影響光効果作成方法(weighted influence light effect creation method)を実行するように構成される。それゆえ、プロセッサ５はさらに、ユーザが１つ以上の光効果の決定に使用されるビデオの重み(video weight)及びオーディオの重み(audio weight)に影響を与えることを可能にするためにタッチスクリーンディスプレイ９を使用するように構成される。ビデオの重みは、１つ以上の光効果の決定におけるビデオコンテンツの重みを表し、オーディオの重みは、該決定におけるオーディオコンテンツの重みを表す。オーディオの重みは、ミュージックの重み、すなわち、ミュージックコンテンツに関連する情報に基づいてどのように光効果が決定されるかを重み付けするためにのみ使用される重みであってもよく、又は、オーディオの重みはまた、他のタイプのオーディオ、例えば、スピーチ及び／若しくはオーディオエフェクトに適用されてもよい。
プロセッサ５はさらに、ビデオコンテンツに関連する情報及び／又はオーディオコンテンツに関連する情報を得るためにレシーバ３を使用する、及び、メディアコンテンツがレンダリングされている際に１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定するように構成される。１つ以上の光効果は、ビデオの重みに依存してビデオコンテンツに関連する情報に基づいて決定される、及び、オーディオの重みに依存してオーディオコンテンツに関連する情報に基づいて決定される。
例えば、色抽出方法は、ビデオの重み及びオーディオの重みに依存して得られた情報に基づいて選択されてもよい。その後、色抽出方法は、オンスクリーンコンテンツ及び／又はオフスクリーンコンテンツから色を抽出するために使用されてもよい。ビデオの重みは、どのようにオフスクリーンコンテンツから抽出される色及びオンスクリーンコンテンツから抽出される色が重み付けされるべきかを示すために使用されてもよい。例えば、ユーザがより高いビデオの重みを示す、又は、ビデオの重みの成分(component)としてより高いオフスクリーン貢献度(offscreen contribution)を示す場合、オフスクリーンコンテンツから抽出される色は、それ以外で与えられるものよりも高い重みを与えられてもよい。
プロセッサ５はさらに、１つ以上の光効果を指定する光スクリプトを保存する及び／又は１つ以上の光効果をレンダリングするように１つ以上の光源を制御するためにトランスミッタ４を使用するように構成される。 図１の実施形態では、プロセッサ５は、３つの方法のすべてを実行するように構成される。代替的な実施形態では、プロセッサ５は、３つの方法のうち１つ又は２つを実行するように構成される。
図１に示されるモバイルデバイス１の実施形態では、モバイルデバイス１は、１つのプロセッサ５を含む。代替的な実施形態では、モバイルデバイス１は、複数のプロセッサを含む。モバイルデバイス１のプロセッサ５は、例えばＱｕａｌｃｏｍｍ（登録商標）からの若しくはＡＲＭベースの、汎用プロセッサ、又は特定用途向けプロセッサであってよい。モバイルデバイス１のプロセッサ５は、例えば、Ａｎｄｒｏｉｄ（登録商標）又はｉＯＳ（登録商標）オペレーティングシステムを実行してもよい。メモリ７は、１つ以上のメモリユニットを含んでもよい。メモリ７は、例えば、固体メモリを含んでもよい。メモリ７は、例えば、オペレーティングシステム、アプリケーション及びアプリケーションデータを記憶するために使用されてもよい。
レシーバ３及びトランスミッタ４は、例えば、無線ＬＡＮアクセスポイント２３と通信するためにＷｉ－Ｆｉ（登録商標）（ＩＥＥＥ ８０２．１１）等の１つ以上の無線通信技術を使用してもよい。代替的な実施形態では、単一のレシーバ及び単一のトランスミッタに代えて、複数のレシーバ及び／又は複数のトランスミッタが使用される。図１に示される実施形態では、別個のレシーバ及び別個のトランスミッタが使用される。代替的な実施形態では、レシーバ３及びトランスミッタ４は、トランシーバに組み合わされる。ディスプレイ９は、例えば、ＬＣＤ又はＯＬＥＤパネルを含んでもよい。モバイルデバイス１は、バッテリ及び電源コネクタ等のモバイルデバイスに典型的な他の構成要素を含んでもよい。本発明は、１つ以上のプロセッサで実行されるコンピュータプログラムを使用して実装されてもよい。
図１の実施形態では、本発明のシステムは、モバイルデバイスである。代替的な実施形態では、本発明のシステムは、異なるデバイス、例えば、ＰＣ又はビデオモジュールである、又は、複数のデバイスを含む。ビデオモジュールは、例えば、ＨＤＭＩ（登録商標）入力を分析することができるようにＴＶ及びＨＤＭＩ（登録商標）入力を提供するデバイスの間に置かれることができる専用のＨＤＭＩ（登録商標）モジュールであってもよい。
オフスクリーン色抽出方法の第１の実施形態が、図２に示されている。ステップ１０１は、ビデオコンテンツを得ることを含む。ステップ１０３は、ビデオコンテンツの複数のフレームに対して分析を実行することを含む。ステップ１０５は、分析に基づいて複数のフレームにおけるカメラの動きを決定することを含む。カメラの動きは、例えば、チルト、ズーム、横方向のカメラの動き(lateral camera movement)、又は旋回するカメラの動き(swiveling camera movement)であってもよい。ステップ１０７は、決定されたカメラの動きに基づいて複数のフレームのうちの少なくとも１つからオフスクリーン色情報を抽出することを含む。
ステップ１０９は、ビデオコンテンツのさらなるフレームがレンダリングされている際に１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定することを含む。さらなるフレームは、複数のフレームに隣接し、１つ以上の光効果は、オフスクリーン色情報に基づいて決定される。複数のフレームは、フレームに先行する１つ以上のフレーム及び／又はフレームに後続する１つ以上のフレームを含む。ステップ１０９の後、ステップ１１１及び／又はステップ１１３が実行される。ステップ１１１は、１つ以上の光効果を指定する光スクリプトを保存することを含む。ステップ１１３は、１つ以上の光効果をレンダリングするように１つ以上の光源を制御することを含む。
例えば、以下のプロセスが、光スクリプトを作成するために使用されてもよい。
１． ビジュアルメディアの事前分析が、ビデオの連続したセグメント（「ショット(shot)」）で発生するカメラの動きに関するカメラの動き情報(camera movement information)を得るために（人手を介す又は介さずに）行われる。追跡プロセス(tracking process)が、共に働くべきより多くのデータセットを得るために順方向及び逆方向の両方に適用されてもよい。
２． ショット内の各フレームが、ステップ１で収集された情報に基づいて、ショット内の他のフレームに関係して仮想的に位置付けられる。
３． 各フレームについて、オフスクリーン色情報の位置に関するデータが保存される。
４． （オプション）手動編集が行われる（例えば、所与のカットに対してオフスクリーンコンテンツを使用するかしないかを選択する）。
５． 最終的なスクリプトが作成され、スクリプトの一部はオフスクリーン色情報を含む。
リアルタイム光効果レンダリングのために、（十分な処理リソースがあれば）リアルタイムで（逆分析を除いた）上記のすべてのステップを実行することが可能であってもよい。しかしながら、通常は、（前述のビデオモジュールで実現されてもよい）バッファを用いてビデオ出力が数フレーム遅延されなければ、スクリーンに入ってくる色情報（すなわち、未来のフレームの一部）を検出することはできない。
図２の実施形態では、ステップ１０７は、サブステップ１２１及び１２３を含む。ステップ１２１は、１つ以上の光源の光源の空間的位置及び決定されたカメラの動きに基づいてフレームを選択することにより複数のフレームから少なくとも１つのフレームを選択することを含む。ステップ１２３は、選択されたフレームにおける光源に対するオフスクリーン色情報を抽出するための分析エリアを決定することを含む。
斯くして、視聴者に対するオフスクリーンコンテンツの仮想的なロケーションが推定され、光源の空間的位置に基づいてマッピングされることができる。例えば、カメラが１８０°の旋回動作を行う場合、ユーザの背後にある光源にレンダリングされる光効果は、（０°の回転を反映する）カメラの動きの開始に対応するフレームからの（色）情報を使用してもよい。この例は水平方向の動きのみを述べているが、この原理は、水平方向の動き及び／又は垂直方向の動きに使用されてもよい。
図３は、カメラがこのような１８０°の旋回動作を行う場合に捕捉された連続したビデオフレーム３１～３８の一例である。ビデオフレーム３１～３８は、単一のショットの部分である。フレーム３１～３４は、明るい光源である太陽を捕捉しており、その色は、これらのフレームにおいてドミナント色である。図４は、図３のビデオフレーム３１～３８の各々に対する瞬時(moment)４１～４８における光設定の例を示し、どのように光源の光設定が太陽の明るい白色を追従しているかを描写している。
カメラの動きは、フレーム３１で始まると判断される。フレーム３１内の太陽の位置の結果、中央及び右前方の光源が、瞬時４１において太陽の明るい白色にマッチした光効果をレンダリングする。フレーム３１～３４において、太陽は依然オンスクリーンで見えている。フレーム３５～３８において、太陽はオンスクリーンでもはや見えないが、光設定では依然表現されている。フレーム３８について、カメラは１８０°旋回されていて、視聴者の背後にある光源に対して、色情報がフレーム３１から抽出されるべきであると判断される。瞬時４８において、左後及び右後の光源は、それゆえ、太陽の明るい白色にマッチした光効果をレンダリングする。
オフスクリーン色抽出方法の第２の実施形態が、図５に示されている。この第２の実施形態は、図２の第１の実施形態の拡張である。この第２の実施形態では、方法は、追加のステップ１６７を含み、ステップ１０７は、２つの追加のサブステップ、ステップ１６１及び１６５を含み、ステップ１２３は、サブステップ１６３を含む。ステップ１６１は、少なくとも１つのフレームが動いているオブジェクトを捕捉しているかどうかを判断することを含み、ステップ１６３は、動いているオブジェクトを捕捉していない少なくとも１つのフレームの１つ以上のエリアからオフスクリーン色情報を抽出することを含む。ステップ１６５は、ビデオコンテンツのさらなるフレームからオンスクリーン色情報(onscreen color information)をさらに抽出することを含み、ステップ１６７は、オンスクリーン色情報に基づいて１つ以上のさらなる光効果を決定することを含む。
オフスクリーン色抽出方法の第３の実施形態が、図６に示されている。図６の実施形態では、ステップ１０７は、図２のサブステップ１２１及び１２３に代えて、サブステップ１３１、１４１及び１３３を含み、ステップ１０９は、サブステップ１３５を含む。ステップ１３１は、さらなるフレーム（すなわち、現在のフレーム）と、少なくとも１つのフレームの一部とを含むスーパーフレームを構成する(compose)ことを含む。スーパーフレームは、決定されたカメラの動きに基づいて構成される。ステップ１４１は、光源の空間的位置及びカメラの動きに関する情報に基づいてスーパーフレームから１つ以上の光源の光源に対するオフスクリーン色情報を抽出するための分析エリアを決定することを含む。ステップ１４１は、１つ以上の光源のサブセット又はすべてに対して実行されてもよい。
カメラの動きに関する情報は、例えば、カメラの動きが横方向のカメラの動きであるか、旋回するカメラの動きであるかを示してもよい。横方向のカメラの動きと旋回するカメラの動きとを区別するために、エッジ検出が使用されてもよく、及び／又は、運動視差(motion parallax)が決定されてもよい。ステップ１３３は、ステップ１４１で決定される（複数の）分析エリアを用いてスーパーフレームからオンスクリーン色情報及びオフスクリーン色情報を決定することを含む。ステップ１３５は、オンスクリーン色情報及びオフスクリーン色情報に基づいて１つ以上の光効果を決定することを含む。
図７は、現在のフレームの境界を延長するためにカメラの動きに起因するフレームをコラージュして、スーパーフレームを作成する一例である。過去のフレーム５０～５４及び未来のフレーム５６～５９の一部が、現在のフレーム５５とともにスーパーフレーム６１に含まれる。図７の例では、まず現在のフレーム５５がスーパーフレーム６１に追加されている。次に、フレーム５５の一部ではないフレーム５４及びフレーム５６の一部が、スーパーフレーム６１に追加されている。次に、まだスーパーフレーム６１の一部ではないフレーム５３及びフレーム５７の一部が、スーパーフレーム６１に追加されている。同様の原理が、フレーム５０～５２及び５８～５９に用いられている。
図８は、スーパーフレーム６１のオフスクリーンコンテンツが、ユーザのスクリーンに対する（例えば、ユーザの照明セットアップ情報で指定される）光源の空間的位置に依存して、光源にオフスクリーンコンテンツの異なる部分をレンダリングするために使用されてもよいことを示している。分析エリア７３及び７４は、より高く、スクリーンから遠くに位置付けられている光源を有する第１のユーザのために使用されてもよく、分析エリア７６及び７７は、より低く、スクリーンの近くに位置付けられている光源を有する第２のユーザのために使用されてもよい。分析エリア７３は、図７のフレーム５１から得られる部分に位置し、分析エリア７４は、図７のフレーム５７から得られる部分に位置し、分析エリア７６は、図７のフレーム５４から得られる部分に位置し、分析エリア７７は、図７のフレーム５６から得られる部分に位置する。
図８の例では、分析エリアは、オフスクリーンコンテンツからしか決定されていないが、分析エリアは、オンスクリーンコンテンツから決定されてもよい。分析エリアがマッピングされる光源は、すべて異なるライトデバイスの部分であってもよく、又は、１つ以上のライトデバイスは、複数の光源を含んでもよく、例えばピクセル化されたライトを使用してもよい。ピクセル化されたライトの場合、そのある部分は、オンスクリーンコンテンツに基づいて作成される光効果をレンダリングしてもよく、その別の部分は、オフスクリーンコンテンツに基づいて作成される光効果をレンダリングしてもよい。斯くして、ピクセル化されたライトスリップは、図８のスーパーフレーム６１全体に基づいて作成される光効果をレンダリングすることができてもよい。
オフスクリーン色抽出方法の第４の実施形態が、図９に示されている。第４の実施形態では、図６の第３の実施形態のステップ１４１が、ステップ１５１に置き換えられている。ステップ１５１は、オンスクリーン色情報及びオフスクリーン色情報の両方を抽出するための単一の分析エリアを決定することを含む。単一の分析エリアの位置及び／又はサイズは、分析エリアの一部がさらなるフレーム（すなわち、現在／オンスクリーンフレーム）と重なり、分析エリアの一部が（オフスクリーン色情報が抽出される）少なくとも１つのフレームの一部と重なるように決定される。
これは、図１０を用いて例示されている。フレーム８１～８３では、分析エリアが、スーパーフレーム内のオンスクリーンコンテンツ及びオフスクリーンコンテンツの両方をカバーするために移動され得ることが示されている。フレーム８１は、カメラの動きの開始を反映しており、分析エリア９１は、通常の位置にある。スーパーフレーム８２及び８３は、複数の過去のフレームの一部を含む。スーパーフレーム８２では、分析エリア９２は、現在のフレームの一部及び１つの過去のフレームの一部の両方をカバーするように右に移動されている。分析エリア９３は、現在のフレーム及び２つの過去のフレームに重なるように移動されている。
フレーム８５～８６では、分析エリアは移動されるだけでなく、伸ばされている。どのくらいエリアが「伸びる(stretch)」かは、スクリプト作成者によって又は自動的に定義されてもよい。分析エリア９２と比較して、分析エリア９５は、２つのフレームのより大きな部分をカバーするように拡大されている。分析エリア９３と比較して、分析エリア９６は、３つのフレームのより大きな部分をカバーするように拡大されている。フレーム８５～８６は、分析エリアが異なることを除いて、フレーム８２～８３と同じである。
オフスクリーン色情報及びオンスクリーン色情報の両方を抽出して、両方に基づいて光効果を作成する場合、例えば、オフスクリーン色情報の影響を減らす又は増やすために、オンスクリーンエリアに対する色値とオフスクリーンエリアに対する色値とで異なる重みが割り当てられてもよい。例えば、オンスクリーンエリア内のピクセルから抽出される色に１の重みを与え、オフスクリーンエリア内のピクセルから抽出される色に低減された重みを与え、ピクセルがオンスクリーンエリアから離れるほど重みが低くなるようなアルゴリズムが使用されてもよい。
このアルゴリズムは、例えば、離散関数又は連続（例えば、線形）関数によって実装されてもよい。後者の一例が、図２３に示されている。図２３は、図７のスーパーフレーム６１の部分６０１を示している。部分６０１は、現在のフレーム５５の一部と、過去のフレーム５１～５４の一部とから成る。部分６０１内のあるピクセルの列から抽出される色に与えられるべき重み（０～１の範囲）は、該ピクセルの列の下のライン６０３の対応する部分から決定されることができる。図２３では、スーパーフレーム６１の一部のみが示されている。同じ原理が、スーパーフレーム６１の他のピクセルに適用されてもよい。ユーザが、どの重み付け(weighting)が適用されるかを指定できてもよい。
色抽出選択方法の第１の実施形態が、図１１に示されている。ステップ２０１は、メディアコンテンツ及びメディアコンテンツに関する情報を得ることを含む。メディアコンテンツは、ビデオコンテンツを含み、オーディオコンテンツをさらに含んでもよい。コンテンツに関する情報は、例えば、ダイナミシティレベル(level of dynamicity)、コントラスト情報、彩度情報(saturation information)、明るさレベル及び／若しくは分布情報(brightness level and/or distribution information)、（例えば、ビデオフレーム又は複数のビデオフレームの異なる領域の）色分布情報(color distribution information)、オーディオレベル、ジャンル、シーンロケーション(scene location)、シーンタイプ、並びに／又は曲名を含んでもよい。
ステップ２０３は、得られた情報に基づいて複数の色抽出方法から色抽出方法を選択することを含む。色抽出方法は、同じピクセルから異なる色を抽出するという点で互いに異なる。複数の色抽出方法は、例えば、異なるタイプの色抽出方法及び／又は単一のタイプの色抽出方法に対する異なるセットのパラメータを含んでもよい。
異なるタイプの色抽出方法は、例えば、平均色判定(average color determination)（例えば、トリムミーン色判定(trimean color determination)、ミーン色判定(mean color determination)、メジアン色判定(median color determination)、又はモード色判定(mode color determination)）、ドミナント色判定、ドミナント照明色判定(dominant illumination color determination)、可視光源色判定(visible light source color determination)、及び／又は特徴色判定(feature color determination)を含んでもよい。平均色が、フレーム（サブエリア）ごとに決定されてもよく、複数のフレームの平均が、それら自体で平均化（例えば、トリムミーンのトリムミーン）されてもよい。異なる平均化方法が、フレーム（サブエリア）ごとの平均を決定することと、平均の平均を決定することとで用いられてもよい。
色抽出を実行する異なる方法は、例えばムードに基づいて、色空間の異なる領域に対して異なる重みを使用してもよい。例えば、ムードが、気が重いもの(depressing)であると判断される場合、非飽和色(desaturated color)により高い重みを与える（すなわち、好む）色抽出方法が使用されてもよい。トリムミーン判定（又は他の平均色決定）を実行する異なる方法はさらに、フレームの異なる分析エリアに対して異なる重みを使用してもよく、例えば、スーパーフレームのオフスクリーンコンテンツにおける分析エリア（例えば、１つ以上のピクセルの列）から決定されるトリムミーンは、スーパーフレームのオンスクリーンコンテンツにおける分析エリアから決定されるトリムミーンとは異なる重みを与えられてもよく、その後、異なる分析エリアのトリムミーンの平均（例えば、トリムミーン）が決定されてもよい。
ステップ２０５は、選択された色抽出方法を適用することによりビデオコンテンツの１つ以上のフレームから色を抽出することを含む。図１１の実施形態では、１つ以上の色が、複数のセクションに対してセクションごとに抽出される。各セクションは、シーン、ショット又は単一のフレームを含む。シーン及びショットは、複数のフレームを含む。単一の色が、セクションのすべてのフレームからセクションごとに抽出されてもよく、及び／又は、色が、セクションのすべてのフレームにおけるサブエリアからサブエリアごとにセクションごとに抽出されてもよい。図１１の実施形態では、光スクリプトが保存されるべき場合、ステップ２０５の後にステップ２０３が、異なるセクションに対して繰り返されてもよい。
異なる色抽出方法が、例えば、コンテンツのタイプ及びユーザの照明セットアップにおける光源のタイプに依存して、セクションの異なるサブエリア（すなわち、スクリーンの異なるエリア）に対して選択されてもよい。例えば、トリムミーン判定(trimean determination)が、スクリーンの中央エリアにマッピングされる光源のためにスクリーンの中央で使用されてもよく、ドミナント色判定(dominant color determination)が、スクリーンの左及び右エリアにマッピングされる光源のためにスクリーンの左及び右で使用されてもよい。斯くして、複数の異なる色抽出方法が、あるセクションの複数の異なるサブエリアから色を抽出するために当該セクションに対して選択されてもよい。
異なるサブエリアから色が抽出される場合、複数の候補色が、（複数の）選択された色抽出方法を用いて１つ以上のサブエリアから抽出されてもよく、異なるサブエリアから抽出される異なる色が、例えば、美しい(aesthetically pleasing)、相補的(complementary)、色相が同一、又は明度が同一であるように、サブエリアごとに候補色から１つの色が選択されてもよい。例えば、プリセット（例えば、美的又は相補的）に依存して、異なる色の組み合わせが、例えば、フランキングランプ(flanking lamp)にレンダリングされてもよい。第１の例として、複数の候補色は、サブエリアにおける３つの最ドミナント色を決定することにより抽出されてもよい。第２の例として、複数の候補色は、平均色判定の異なる方法（例えば、トリムミーン、ミーン、メジアン及びモード）を使用して抽出されてもよい。
ステップ２０７は、１つ以上のフレームがレンダリングされている際に１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定することを含む。１つ以上の光効果は、抽出された色に基づいて決定される。ステップ２０７の後、ステップ２０９及び／又はステップ２１１が実行される。
ステップ２０９は、１つ以上の光効果を指定する光スクリプトを保存することを含む。図１１の実施形態では、ステップ２０８は、サブステップ２０９を含む。ステップ２０８は、ユーザが、光スクリプトを保存する前に抽出された色及び／又は選択された色抽出方法を確認することを可能にすることを含む。この実施形態では、選択された色及び／又は（複数の）選択された色抽出方法がユーザの好みに合わない場合、ユーザは、ステップ２０８において、抽出された色を手動で修正する、又は、異なる色抽出方法を手動で選択することが可能である。ユーザがあるセクション又はすべてのセクションに対して異なる色抽出方法を選択する場合、ステップ２０５が、これらのセクションに対して繰り返される。
ステップ２１１は、１つ以上の光効果をレンダリングするように１つ以上の光源を制御することを含む。図１１の実施形態では、１つ以上の光効果があるセクションについて決定され、レンダリングされた後、ステップ２０１が、コンテンツの次のセクションに対して繰り返される。ステップ２１１で１つ以上の光源が制御されるのと同時に、ステップ２０９で光スクリプトがリアルタイムで作成される場合、光効果は、セクションごとに決定され、光スクリプトに格納され、ステップ２０８は省略される。
例えば、以下のプロセスが、光スクリプトを作成するために使用されてもよい。
１． 情報が、以下の例示的な方法の１つ以上を用いて収集される。
オーディオビジュアルメディアの事前分析（ビジュアルダイナミクス(visual dynamic)、コントラスト、彩度、オーディオレベル等の量）。
メディアコンテンツに関する既存の情報（ジャンル、シーンロケーション及びタイプ、ミュージックタイトル等）についてデータベースを照会する。
２． その後、関連する情報が、コンテンツに使用する最良の色抽出方法を決定するために処理される。理想的な実施形態では、方法は、（例えば、シーン、カメラカット、フレーム、又は組み合わせにより）セクションごとに定義される。
３． その後、抽出方法が、各メディアセクションについて確認され、最終的な光スクリプトに「焼かれる(baked)」。ここで「抽出方法」という用語は、単純に、コンテンツに基づく、色／輝度信号の作成を指す。これは、結果としての信号が実際にソースに含まれていることを意味するものではない。相関関係はあり得るが、結果としての色度座標は、ソースに含まれている必要は定義上ない。
リアルタイム光効果レンダリングのために、例えば、以下の処理が用いられてもよい。
１． 情報が、以下の例示的な方法の１つ以上を用いて収集される。
コンテンツプロバイダにより提供されるメタデータからの抽出、又はメディアコンテンツに関する既存の情報（ジャンル、シーンロケーション及びタイプ、ミュージックタイトル等）についてデータベース（例えば、Ｇｒａｃｅｎｏｔｅ）を照会する。
ストリーミングデータのリアルタイム分析（ダイナミクス、ラウドネス、彩度等の量）。
２． 関連する情報が、メディアコンテンツにおける現在の位置に使用する最良の色抽出方法を決定するためにリアルタイムで処理される。
３． 抽出がリアルタイムで適用され、照明源にレンダリングされる。
オプションとして、バッファが、例えばビデオモジュールにおいて、将来のフレームをいくつかバッファリングするために使用され、これらの将来のフレームがリアルタイム光効果レンダリング中に分析されることを可能にする。
色抽出選択方法の第２の実施形態が、図１２に示されている。図１１の第１の実施形態と比較して、第２の実施形態は、ステップ２０８及び２０９を含んでいない。この実施形態では、ただ光スクリプトが保存される。さらに、図１２の第２の実施形態では、図１１のステップ２０３及び２１１が、それぞれステップ２２１及び２２３を含む。ステップ２２１は、得られた情報に基づいて及びユーザの照明セットアップに関する情報に基づいて複数の色抽出方法から色抽出方法を選択することを含む。ユーザの照明セットアップは、１つ以上の光源を含む。ステップ２２３は、１つ以上の光効果をレンダリングするようにユーザの照明セットアップの１つ以上の光源を制御することを含む。
ユーザの照明セットアップに関する情報は、例えば、光源の量、光源の空間的位置、光源のタイプ、及び光源の能力(capability)を含んでもよい。例えば、ユーザの照明セットアップが、（例えば、Ｐｈｉｌｉｐｓ ＨｕｅＧｏ等）ディープ調光(deep diming)が可能な光源を含む場合、ユーザの照明セットアップが（例えば、Ｐｈｉｌｉｐｓ Ｈｕｅ（登録商標） ｂｕｌｂ Ｅ２７等）ディープ調光を持つ光源を含まない場合に選択される色抽出方法とは異なる色を暗いシーンから抽出する色抽出方法が選択されてもよい。
色抽出選択方法の第３の実施形態が、図１３に示されている。この実施形態のステップ２０７では、１つ以上の光効果が、第１のタイプの潜在的な照明セットアップに対して決定される。方法はさらに、３つの追加のステップを含む。ステップ２３１は、得られた情報に基づいて複数の色抽出方法からさらなる色抽出方法を選択することを含む。ステップ２３３は、選択されたさらなる色抽出方法を適用することによりビデオコンテンツの１つ以上のフレームからさらなる色を抽出することを含む。
ステップ２３５は、第２のタイプの潜在的な照明セットアップに対して１つ以上のさらなる光効果を決定することを含む。１つ以上のさらなる光効果は、抽出されたさらなる色に基づいて決定される。さらに、ステップ２０９は、ステップ２３７を含む。ステップ２３７は、光スクリプトで１つ以上のさらなる光効果を指定することを含む。１つ以上の光効果は、光スクリプトで第１のタイプの照明セットアップと関連付けられ、１つ以上のさらなる光効果は、光スクリプトで第２のタイプの照明セットアップと関連付けられる。光スクリプトが後にレンダリングされる場合、マッチする光効果が、ユーザの実際の照明セットアップに基づいて選択されてもよい。代替的なの実施形態では、同様のアプローチが、３つ以上の潜在的な照明セットアップに対して用いられる。
斯くして、図１２及び図１３の実施形態では、ユーザの照明セットアップも、色抽出方法のタイプを決定又は選択するために使用されることができる。スクリプト化コンテンツ(scripted content)の場合、スクリプトは、異なる方法を用いて作成されたカラーパレットを含み、これらのパレットの１つが、ユーザのセットアップに基づいて再生時に選択されてもよい。リアルタイム光効果レンダリングの場合、ユーザのセットアップは、どの色抽出方法を使用するかを決定するために（例えば、ストリーミングデータ及びコンテンツデータに加えて）重み付けファクタ(weighted factor)になってもよい。ユーザのセットアップに関する情報は、例えば、光源のタイプ、光源の位置、及び／又は光源の数を含んでもよい。
色抽出選択方法の第４の実施形態が、図１４に示されている。この第４の実施形態では、複数の色抽出方法は、単一のタイプの色抽出方法に対する異なるセットのパラメータを含み、これらの異なるセットのパラメータは、同じタイプの色抽出方法（例えば、トリムミーン判定又は他の平均色判定）で使用される色空間の異なる領域を識別する。斯くして、色遷移がどのように起こるかが、得られた情報に基づいて決定されてもよい。例えば、点Ｘから点Ｙまで特定の色空間を直進するのではなく、このパスが、得られた情報によって影響を受けてもよい。この一例は、知覚されるライトネス(lightness)又は彩度を一定に保つ色遷移である。
図１４のステップ２０１では、４つのセクションＳｋ～Ｓｋ＋３、例えば、同じシーン内の４つのショットが得られる。ステップ２０３の第１の反復(iteration)において、セクションＳｋが分析され、この分析に基づいて色抽出方法が選択される。この抽出方法は、色Ｃｋを決定するためにステップ２０５の第１の反復においてセクションＳｋに適用される。ステップ２０３の第２の反復において、セクションＳｋ＋３が分析され、この分析に基づいて色抽出方法が選択される。この抽出方法は、色Ｃｋ＋３を決定するためにステップ２０５の第２の反復においてセクションＳｋ＋３に適用される。
次のステップ２５１は、２つの色Ｃｋ及びＣｋ＋３間の色空間における遷移パスを選択すること、及び、２つのセクションＳｋ及びＳｋ＋３間に位置する中間セクションＳｋ＋１及びＳｋ＋２に適用されるべき色抽出方法を選択することとを含む。色抽出方法は、選択された遷移パスに基づいて選択される。この抽出方法は、色Ｃｋ＋１を決定するためにステップ２０５の第３の反復においてセクションＳｋ＋１に適用され、色Ｃｋ＋２を決定するためにステップ２０５の第４の反復においてセクションＳｋ＋２に適用される。
ステップ２０７では、セクションＳｋ～Ｓｋ＋３に対してレンダリングされるべき光効果が、２つのセクションＳｋ及びＳｋ＋３から抽出される２つの色Ｃｋ及びＣｋ＋３、並びに、中間セクションＳｋ＋１及びＳｋ＋２から抽出される色Ｃｋ＋１及びＣｋ＋２に基づいて決定される。例えば、セクションＳｋに対する光効果は色Ｃｋに基づいて決定され、セクションＳｋ＋１に対する光効果は色Ｃｋ＋１に基づいて決定され、セクションＳｋ＋２に対する光効果は色Ｃｋ＋２に基づいて決定され、セクションＳｋ＋３に対する光効果は色Ｃｋ＋３に基づいて決定される。ステップ２０９は、光効果を指定する光スクリプトを保存することを含む。
図１５～１７は、異なる色遷移パスの例を示している。図１５～１７は、ＣＩＥＬ＊ａ＊ｂ＊ １９７６色空間、及び点Ｘ（座標２７１）から点Ｙ（座標２７２）まで空間を通る様々なパスを表している。例えば、座標２７１は、Ｃｋに対応してもよく、座標２７２は、Ｃｋ＋３に対応してもよい。説明を容易にするために、Ｌ（Ｌｉｇｈｔｎｅｓｓ：ライトネス）はＸ及びＹともに一定であり、ａ＊及びｂ＊（緑赤及び青黄色成分）のみが可変である。抽出された色のライトネスは、同じ又は異なることが予想され、色空間を通るパスはさらに、Ｘ及びＹのライトネス間で直線ではないパスを含むことができる。一例として、Ｘ及びＹ間のライトネスパス(lightness path)は、パス上のいくつかの点がＸ及びＹの両方よりも低いライトネスを有するような放物線であることができる。図１５は、直線進路(direct line of travel)を示し、その結果、このライン、ライン２７５上のすべての点は、点Ｘ及びＹよりも飽和されないことになる。
図１６は、遷移中彩度を最大にする最大彩度アルゴリズム(max saturation algorithm)を示している（ライン２７６上のすべての点は、原点から等距離にある）。最後に、図１７は、遷移中ライン２７７上の色度座標を非飽和する(desaturate)するアルゴリズムを示している。例えば、色Ｃｋ及びＣｋ＋３に基づいて、シーンのムードが気が重いものであると判断される場合、図１７に描写される遷移パスが、中間セクションＳｋ＋１及びＳｋ＋２に対して選択されてもよい。
重み付け影響光効果作成方法の第１の実施形態が、図１８に示されている。重み付け影響光効果作成方法では、１つ以上の光効果が、メディアコンテンツの分析に基づいて決定される。メディアコンテンツは、ビデオコンテンツ及びオーディオコンテンツを含む。ステップ３０１は、ユーザが１つ以上の光効果の決定に使用されるビデオの重み(video weight)及びオーディオの重み(audio weight)に影響を与えることを可能にすることを含む。ビデオの重みは、１つ以上の光効果の決定におけるビデオコンテンツの重みを表し、オーディオの重みは、該決定におけるオーディオコンテンツの重みを表す。ビデオの重みは、異なるタイプのビデオ情報に対する複数の重み成分を含んでもよく、及び／又は、オーディオの重みは、異なるタイプのオーディオ情報に対する複数の重み成分、例えば、ミュージックのリズムに対する特定の重を含んでもよい。
ユーザは、ビデオの重み及びオーディオの重みの両方を指定及び／若しくは適応させる(adapt)ことができてもよく、又は、ユーザは、２つの重みのうち１つを指定及び／若しくは適応させることができてもよい。後者の場合、ユーザが第１の重みを指定又は適応させた後、第２の重みは、第１の重みに基づいて自動的に決定されてもよい。ユーザは、重みについて、単一の値又は複数の値、例えば範囲を指定してもよい。ユーザが複数の値を指定する場合、システム自身が、例えば、オーディオコンテンツのタイプ、どのチャンネルのミュージックが再生されているか、及び／又は、ビデオコンテンツのタイプに依存して、これらの値のうちの１つを選択してもよい。例えば、映画のあるシーンが非常にカラフルで、トリムミーン又はドミナント色(trimean or dominant color)がビデオコンテンツをうまく表さない場合、ユーザが、例えば同様のオーディオ及びビデオの重みの範囲を選択したとしても、システムは、よりオーディオに影響された色を目指すことを決定してもよい。
ステップ３０３は、ビデオコンテンツに関連する情報及び／又はオーディオコンテンツに関連する情報を得ることを含む。ビデオコンテンツに関連する情報は、例えば、色情報を含んでもよい。オーディオコンテンツに関連する情報は、例えば、ハーモニー、バレンス(valence)、エネルギ、ムード、及び／又はダンサビリティ(danceability)情報を含んでもよい。バレンス、エネルギ及びダンサビリティ情報は、例えば、Ｓｐｏｔｉｆｙによって提供される。Ｓｐｏｔｉｆｙのバレンス情報は、トラックによって伝えられる音楽的なポジティブさ(musical positiveness)を記述する０．０から１．０までの尺度である。バレンスが高いトラックは、よりポジティブなサウンド（例えば、ハッピー、陽気、多幸感）であり、バレンスが低いトラックは、よりネガティブなサウンド（例えば、悲しみ、落ち込み、怒り）である。
Ｓｐｏｔｉｆｙのエネルギ情報は、インテンシティ(intensity)及びアクティビティ(activity)の知覚的な尺度を表す０．０から１．０までの尺度である。典型的には、エネルギッシュなトラックは、速くて、うるさくて、騒々しい感じがする。例えば、デスメタルは高いエネルギを持ち、バッハのプレリュードはスケール上で低いスコアである。この属性に寄与する知覚的特徴は、ダイナミックレンジ、知覚されるラウドネス、音色(timbre)、オンセットレート(onset rate)、一般的なエントロピ(general entropy)を含む。Ｓｐｏｔｉｆｙのダンサビリティ情報は、テンポ、リズムの安定性、ビートの強さ、及び全体的な規則性を含む音楽的要素の組み合わせに基づいてトラックがダンスにどの程度適しているかを記述する。０．０の値は最もダンサブルではなく、１．０の値は最もダンサブルである。
ステップ３０５は、メディアコンテンツがレンダリングされている際に１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定することを含む。１つ以上の光効果は、ビデオの重みに依存してビデオコンテンツに関連する情報に基づいて決定される、及び、オーディオの重みに依存してオーディオコンテンツに関連する情報に基づいて決定される。
図１８の実施形態では、１つ以上の光効果は、１つ以上の光効果の各々の色、開始時間及び持続時間を決定することにより、及び、１つ以上の光源のうちの少なくとも１つに１つ以上の光効果の各々を割り当てることにより決定される。色抽出方法、持続時間及び空間的割り当ては、ビデオの重み及びオーディオの重みに基づいて選択されてもよい。第１の例として、色抽出方法は、ミュージックのバレンス若しくはムードに基づいて、又は、シーンが（ビデオコンテンツの観点から）遅いか速いかに基づいて選択されてもよい。第２の例として、光効果の持続時間は、シーンが遅いか速いかに依存してもよく、又は、ミュージックのビート(beat)、バー(bar)、及び／又はリズムと光効果を同期するように決定されてもよい。
第３の例として、ある光源に対する色を決定するために使用されるビデオ分析エリアは、この光源の空間的位置に依存してもよく、又は、ある光源に対する色及び／若しくは持続時間を決定するために使用されるオーディオチャネル（例えば、左又は右）は、この光源の空間的位置に依存してもよい。第４の例として、サラウンドサウンドシステムの場合、後方オーディオチャンネル／スピーカでのみミュージックが再生される場合、（ユーザが持っている場合）背後の光源のみが、ミュージックコンテンツに関連する情報に基づいて光効果をレンダリングしてもよい。ユーザが背後の光源を持っていない場合、光効果は、ミュージックコンテンツに関連する情報に基づかなくてもよい。斯くして、オーディオチャンネルが、どのようにビデオ及びオーディオ主導の光効果作成間のバランスをとるかを決定するために使用されてもよい。
ステップ３０５の後、ステップ３０７及び／又はステップ３０９が実行される。ステップ３０７は、１つ以上の光効果を指定する光スクリプトを保存することを含む。ステップ３０９は、１つ以上の光効果をレンダリングするように１つ以上の光源を制御することを含む。
斯くして、ユーザは、ビジュアルコンテンツ及びミュージカルコンテンツの相対的な影響、並びに、どのように各々が結果としての光効果に影響を与えるかを重み付けすることを選択してもよい。例えば、－１の値は、ミュージックの態様のみへの依存性を意味してもよく、＋１の値は、ビデオコンテンツへの依存性を意味してもよい。その間の値は、両方のコンテンツ及びそれらの光効果への影響の「ブレンディング(blending)」を意味する。値が－１の場合、光効果は、例えば、メディアに含まれるミュージックから得られる情報のみによって決定されてもよい。この場合、光効果は、（存在する場合）メディアのビジュアル部分との直接的な相関関係は持たないことになる。
ミュージックから得られる異なるタイプの情報が、別個に露にされ、各々に異なる重み付けが適用されることを可能にしてもよい。例えば、ユーザは、照明効果に対してミュージックトラックのリズムの態様(rhythmic aspect)が持つ影響量(amount of influence)を選択してもよい。
同様のアプローチは、光スクリプト生成及び光効果のリアルタイム作成の両方に適用されてもよい。例えば、オーディオ／ビデオの重みが異なる複数のプリセット、例えば、オーディオの重みが高い「ミュージックビデオ」、並びに／又は、オーディオ及びビデオの重みが中程度(medium)である「映画」、がユーザに提供されてもよい。
どのミュージックトラックがメディアコンテンツの一部であるかを決定するために、例えば、この情報は、メディアコンテンツのタイトル若しくは他の識別子に基づいてインターネット若しくはコンテンツプロバイダから得られてもよく、又は、この情報は、オーディオコンテンツをローカルに分析することによって決定されてもよい。この情報はさらに、メディアコンテンツにおけるミュージックトラックの位置及びミュージックに関するコンテキスト情報(contextual information)（例えば、ハーモニー、バレンス、ムード、エネルギ等）を含んでもよい。
この情報が得られると、該情報は、事前定義されたルールのセットに従って光効果生成のためのパラメータを設定するために使用されてもよい。例えば、ルールは、ミュージックトラックのエネルギ及び平滑化(smoothing)の間に逆相関を指定してもよく、すなわち、エネルギの低いミュージックを含む映画の部分は、高い平滑化が適用され、その逆もなされてもよい。同様に、これは、映画の中の単一のミュージックトラックの様々なセクションに適用してもよい。
重み付け影響光効果作成方法の第２の実施形態が、図１９に示されている。ステップ３０１(図１８参照)が実行された後、ビデオコンテンツが、ステップ３２１で得られ、ローカルに分析される。ステップ３２３では、オーディオ及びビデオの重みに基づいて次にどのステップを実行するかが決定される。オーディオの重みが０である場合、次にステップ３２５が実行される。オーディオの重みが１である場合、次にステップ３２７が実行される。
ステップ３２５は、デフォルトのパラメータに基づいて又はビデオの重みに基づいて選択されるパラメータに基づいて、ビデオコンテンツを分析する、例えば、ビデオコンテンツから色を抽出することを含む。ステップ３２７は、オーディオコンテンツに関連するメタデータの要求をインターネットサーバに送信することを含む。ステップ３４１は、インターネットサーバが要求を受け、ステップ３４３で要求に応じて要求されたメタデータを送信することを含む。ステップ３２９は、システムがメタデータを受けることを含む。
次に、ステップ３３１は、システムが、受けたメタデータからパラメータを決定することを含む。ステップ３３３は、システムが、ステップ３３１で決定されるパラメータに基づいて、ビデオコンテンツを分析する、例えば、ビデオコンテンツから色を抽出することを含む。ステップ３０５では、１つ以上の光効果が、ビデオコンテンツの分析に基づいて決定される。ステップ３０７は、１つ以上の光効果を指定する光スクリプトを保存することを含む。
重み付け影響光効果作成方法の第３の実施形態が、図２０に示されている。図２０の第３の実施形態では、オーディオコンテンツに関連するメタデータがインターネットサーバから得られず、代わりにローカルオーディオ分析が実行される。このため、図１９のステップ３２１は、ビデオ及びオーディオコンテンツの両方が得られるステップ３５１に置き換えられる。ステップ３２３でオーディオの重みが１であると判断される場合、ステップ３５３が実行される。ステップ３５３は、オーディオコンテンツを分析すること、及び、オーディオコンテンツからパラメータを決定することを含む。その後、これらのパラメータは、ステップ３３３において、ビデオコンテンツを分析する、例えば、ビデオコンテンツから色を抽出するために使用される。
図１９の実施形態及び図２０の実施形態の両方において、ビデオ分析はローカルに実行される。代替的なの実施形態では、ビデオコンテンツに関連するメタデータが、インターネットサーバから得られる。
オフスクリーン色抽出方法の第５の実施形態、色抽出選択方法の第５の実施形態、及び重み付け影響光効果作成方法の第４の実施形態が、図２１に示されている。ステップ４０１は、図１８～図２０のステップ３０１と同様である。ステップ４０１は、ユーザが１つ以上の光効果の決定に使用されるビデオの重み及びオーディオの重みに影響を与えることを可能にすることを含む。ステップ４０３は、図２０のステップ３５１と同様である。ステップ４０３は、ビデオコンテンツ及びオーディオコンテンツを得ることを含む。ステップ４０５は、ビデオコンテンツに関連する情報及び／又はオーディオコンテンツ、例えばミュージックコンテンツに関連する情報を得ることを含む。
ステップ４１１では、オーディオ及びビデオの重みに基づいて次にどのステップを実行するかが決定される。オーディオの重みが０で、ビデオの重みが１である場合、次にステップ４２１が実行される。オーディオの重みが１で、ビデオの重みが０である場合、次にステップ４４１が実行される。オーディオの重みが１で、ビデオの重みが１である場合、次にステップ４３１が実行される。図２１の実施形態では、オーディオの重みは０又は１であり、ビデオの重みは０又は１である。代替的な実施形態では、オーディオの重み及びビデオの重みは、１よりも高くすることができる。この代替的な実施形態では、例えば、ステップ４２１は、オーディオの重みが０であり、ビデオの重みが１以上である場合に実行されてもよく、ステップ４４１は、オーディオの重みが１以上であり、ビデオの重みがゼロである場合に実行されてもよく、ステップ４３１は、オーディオの重みが１以上であり、ビデオの重みが１以上である場合に実行されてもよい。
次にステップ４２１が実行される場合、色抽出方法が、ビデオコンテンツのコンテンツに基づいて（例えば、ビデオコンテンツのローカル分析に基づいて又はインターネットサーバから得られるメタデータに基づいて）複数の色抽出方法から選択される。この実施形態では、複数の色抽出方法は、異なるタイプの色抽出方法を含む。ステップ４２１は、シーンが遅いシーンであるか、速いシーン（アクションシーン）であるか、通常のシーンであるかを判断することを含む。これは、例えば、圧縮ビデオで典型的に使用される動きベクトルに基づいて、１つのフレームから次のフレームへ何個のピクセルが移動するか、及び／又は、１つのフレームから次のフレームへどのくらい速くピクセルが移動するかを検出することを伴ってもよい。この検出に基づいて単一の動き値が決定される場合、遅いシーン、通常のシーン、及び速い（アクション）シーンを区別するために、２つの閾値が使用されてもよい。
ステップ４２２では、ステップ４２１において、得られた情報がシーンは遅いシーンであることを示すと判断するとシーンから色を抽出するために、ドミナント色判定が選択される。シーンのドミナント色は、典型的には、シーン内で最も出現する色である。例えば、色ごとに、この色を持つピクセルの数を示すカラーヒストグラムが作られてもよく、最高のピクセル数を持つ色が選択されてもよい。平均色(average color)は、典型的には、ドミナント色とは異なり、シーン内のピクセルのいずれかが持つ色でさえない可能性がある。
ステップ４２４では、ステップ４２１において、得られた情報がシーンはアクションシーンであることを示すと判断するとシーンから色を抽出するために、（例えば、車又は建物等のドミナント特徴(dominant feature)の色を決定する）特徴色判定が選択される。ステップ４２３では、ステップ４２１において、得られた情報がシーンは通常のシーン、すなわちスローでもアクションシーンでもないことを示すと判断すると各フレームから色を抽出するために、トリムミーン判定が選択される。この実施形態では、トリムミーンのトリムミーンが、フレームごとの色からシーンごとの色を決定するために決定される。ステップ４２５が、ステップ４２３の後に実行される。
ステップ４２５は、決定されたトリムミーンの結果、所望の色になるかどうかを判断することを含む。そうである場合、ステップ４２６が実行される。そうではない場合、すなわち、トリムミーン判定の結果、望ましくない色になる場合、ステップ４２４においてシーンから色を抽出するために特徴色判定が選択される。どのような色が望ましい、又は望ましくないかは、事前構成(pre-configure)されてもよく、又はユーザによって指定されてもよい。例えば、暗い色は、望ましくなくてもよい。ステップ４２６は、ステップ４２２及びステップ４２４の後にも実行される。ステップ４２６では、１つ以上の色が、選択された色抽出方法を用いてシーンから抽出される。色は、例えば、異なる分析エリアを用いて、光源ごとに決定されてもよい。図２１の実施形態では、１つ以上の色は、図２、５、６及び９に関連して述べられたように、オンスクリーンコンテンツから、及びオフスクリーンコンテンツから決定される。
図２１の実施形態では、トリムミーン判定の結果、望ましくない色になる場合、特徴色判定が選択される。代替的な実施形態では、１つ以上のフレームにドミナント色がない場合、並びに／又は、動いている、鮮明な(sharp)及び／若しくは高コントラストのオブジェクトが１つ以上のフレームに検出される場合、特徴色判定が代替的又は追加的に選択される。
ステップ４３１は、ミュージックコンテンツに対して光スクリプトが利用可能であるかどうかを判断すること、及び、ミュージックコンテンツがある量を超えるダイアログを含むかどうかを判断することを含む。光スクリプトが利用可能であり、ミュージックコンテンツがある量を超えるダイアログを含まない場合、ステップ４３９が実行される。ステップ４３９は、光スクリプトから光効果に対するパラメータ、例えば、開始時間、持続時間及び色を抽出することを含む。ステップ４０７は、ステップ４３９の後に実行される。
光スクリプトが利用可能ではない場合、及び／又は、ミュージックコンテンツがある量を超えるダイアログを含む場合、ステップ４３２が実行される。ステップ４３２が実行される場合、色抽出方法が、ミュージックコンテンツに関連する情報（例えば、オーディオコンテンツのローカル分析を用いて決定される情報又はインターネットサーバから得られる情報）に基づいて選択される。ステップ４３２は、ミュージックコンテンツが低エネルギ値を含むか、高エネルギを含むかを判断すること、及び、ミュージックコンテンツが低バレンス値を含むか、高バレンス値を含むかを判断することを含む。
図２１の実施形態では、ある閾値を超えるエネルギ値は高エネルギ値とみなされ、このある閾値以下のエネルギ値は低エネルギ値とみなされ、ある閾値を超えるバレンス値は高バレンス値とみなされ、このある閾値以下のバレンス値は低バレンス値とみなされる。代替的な実施形態では、２つの閾値が、エネルギ及び／又はバレンスに使用されてもよく、２つの閾値間の値が、通常の（エネルギ又はバレンス）値であってもよい。
ステップ４３２で（ミュージックの）エネルギ値が低いと判断され、（ミュージックの）バレンス値が低いと判断される場合、ステップ４３３で第１の色抽出方法が選択される。ステップ４３２でエネルギ値が高いと判断され、バレンス値が低いと判断される場合、ステップ４３４で第２の色抽出方法が選択される。ステップ４３２でエネルギ値が低いと判断され、バレンス値が高いと判断される場合、ステップ４３５で第３の色抽出方法が選択される。ステップ４３２でエネルギ値が高いと判断され、バレンス値が高いと判断される場合、ステップ４３６で第４の色抽出方法が選択される。例えば、ミュージックトラックのバレンスは、トラックによって伝えられる音楽的なポジティブさを表し、この情報は、例えばＳｐｏｔｉｆｙによって提供される。
ステップ４３４及び４３６でそれぞれ選択される第２及び第４の色抽出方法は、ステップ４３３及び４３５でそれぞれ選択される第１及び第３の色抽出方法よりも低い平滑化の程度(degree of smoothing)を伴う。平滑化は、例えば、トリムミーンのトリムミーンを決定する場合に使用される。ステップ４３５及び４３６でそれぞれ選択される第３及び第４の色抽出方法は、ステップ４３３及び４３４でそれぞれ選択される第１及び第２の色抽出方法により決定される色よりも飽和されている色を決定する。
ステップ４３７では、１つ以上の色が、選択された色抽出方法を用いてシーンから抽出される。色は、例えば、異なる分析エリアを用いて、光源ごとに決定されてもよい。図２１の実施形態では、１つ以上の色が、オンスクリーンコンテンツのみから決定される。ステップ４４１は、１つ以上の光効果がミュージックコンテンツのビート、バー、及び／又はリズムと同期されるように１つ以上の光効果の開始時間及び持続時間を決定することを含む。光効果に対する色は、例えば、オーディオコンテンツに基づいて、任意に又は所定の順序で決定されてもよい。ステップ４０７は、ステップ４４１の後に実行される。
ステップ４０７及び４０９は、それぞれ、図１８のステップ３０５及び３０９に対するステップと同様である。ステップ４０７では、１つ以上の光効果が、抽出された色及び／又は決定された他のパラメータに基づいて決定される。ステップ４０９は、１つ以上の光効果をレンダリングするように１つ以上の光源を制御することを含む。
図２２は、図２、５、６、９、１１～１４及び１８～２１を参照して述べられたような方法を実行し得る、例示的なデータ処理システムを示すブロック図を示す。
図２２に示されるように、データ処理システム５００は、システムバス５０６を介してメモリ要素５０４に結合される、少なくとも１つのプロセッサ５０２を含んでもよい。それゆえ、データ処理システムは、メモリ要素５０４内にプログラムコードを記憶してもよい。さらに、プロセッサ５０２は、システムバス５０６を介してメモリ要素５０４からアクセスされるプログラムコードを実行してもよい。一態様では、データ処理システムは、プログラムコードを記憶及び／又は実行するために好適な、コンピュータとして実装されてもよい。しかしながら、データ処理システム５００は、本明細書内で述べられる機能を実行することが可能な、プロセッサ及びメモリを含む任意のシステムの形態で実装されてもよい点を理解されたい。
メモリ要素５０４は、例えば、ローカルメモリ５０８及び１つ以上の大容量記憶デバイス５１０などの、１つ以上の物理メモリデバイスを含んでもよい。ローカルメモリとは、プログラムコードの実際の実行中に一般に使用される、ランダムアクセスメモリ又は他の非永続的メモリデバイスを指してもよい。大容量記憶デバイスは、ハードドライブ又は他の永続的データ記憶デバイスとして実装されてもよい。処理システム５００はまた、実行中に大容量記憶デバイス５１０からプログラムコードが取得されなければならない回数を低減するために、少なくとも一部のプログラムコードの一時記憶を提供する、１つ以上のキャッシュメモリ（図示せず）を含んでもよい。また、処理システム５００は、例えば、処理システム５００がクラウドコンピューティングプラットフォームの一部である場合、別の処理システムのメモリ要素を使用することができてもよい。
入力デバイス５１２及び出力デバイス５１４として示される、入出力（input/output；Ｉ／Ｏ）デバイスが、オプションとして、データ処理システムに結合されることができる。入力デバイスの例としては、限定するものではないが、キーボード、マウス等のポインティングデバイス、（例えば、ボイス及び／又はスピーチ認識のための）マイク等を挙げることができる。出力デバイスの例としては、限定するものではないが、モニタ又はディスプレイ、スピーカ等を挙げることができる。入力デバイス及び／又は出力デバイスは、直接、又は介在Ｉ／Ｏコントローラを介して、データ処理システムに結合されてもよい。
一実施形態では、入力デバイス及び出力デバイスは、複合型入力／出力デバイス（入力デバイス５１２及び出力デバイス５１４を取り囲む破線で図２２に示されるもの）として実装されてもよい。そのような複合型デバイスの一例は、「タッチスクリーンディスプレイ」又は単に「タッチスクリーン」と称される場合もある、タッチ感知ディスプレイである。そのような実施形態では、デバイスへの入力は、タッチスクリーンディスプレイ上、又はタッチスクリーンディスプレイの近くでの、例えばスタイラス又はユーザの指等の、物理的実体の移動によって提供されてもよい。
ネットワークアダプタ５１６もまた、データ処理システムに結合されて、介在する私設ネットワーク又は公衆ネットワークを介して、そのデータ処理システムが、他のシステム、コンピュータシステム、リモートネットワークデバイス、及び／又はリモート記憶デバイスに結合されることを可能にしてもよい。ネットワークアダプタは、上述のシステム、デバイス、及び／又はネットワークによってデータ処理システム５００に送信されるデータを受信するための、データ受信機と、データ処理システム５００から上述のシステム、デバイス、及び／又はネットワークにデータを送信するための、データ送信機とを含んでもよい。モデム、ケーブルモデム、及びＥｔｈｅｒｎｅｔ（登録商標）カードは、データ処理システム５００と共に使用されてもよい、種々のタイプのネットワークアダプタの例である。
図２２に示されるように、メモリ要素５０４は、アプリケーション５１８を記憶してもよい。様々な実施形態では、アプリケーション５１８は、ローカルメモリ５０８、１つ以上の大容量記憶デバイス５１０内に記憶されてもよく、あるいは、それらローカルメモリ及び大容量記憶デバイスとは別個であってもよい。データ処理システム５００は、アプリケーション５１８の実行を容易にすることが可能なオペレーティングシステム（図２２には示さず）を、更に実行してもよい点を理解されたい。アプリケーション５１８は、実行可能プログラムコードの形態で実装されており、データ処理システム５００によって、例えばプロセッサ５０２によって、実行されることができる。アプリケーションの実行に応答して、データ処理システム５００は、本明細書で述べられる１つ以上の動作又は方法ステップを実行するよう構成されてもよい。
本発明の様々な実施形態は、コンピュータシステムと共に使用するためのプログラム製品として実装されてもよく、このプログラム製品のプログラムは、（本明細書で説明される方法を含めた）実施形態の機能を定義する。一実施形態では、このプログラムは、様々な非一時的コンピュータ可読記憶媒体上に含まれることができ、本明細書で使用されるとき、「非一時的コンピュータ可読記憶媒体」という表現は、全てのコンピュータ可読媒体を含むが、唯一の例外は一時的な伝搬信号である。別の実施形態では、このプログラムは、様々な一時的コンピュータ可読記憶媒体上に含まれることができる。例示的なコンピュータ可読記憶媒体としては、限定するものではないが、（ｉ）情報が永続的に記憶される、書き込み不可記憶媒体（例えば、ＣＤ－ＲＯＭドライブによって読み取り可能なＣＤ－ＲＯＭディスク、ＲＯＭチップ、又は任意のタイプの不揮発性固体半導体メモリ等の、コンピュータ内部の読み出し専用メモリデバイス）、及び（ｉｉ）変更可能な情報が記憶される、書き込み可能記憶媒体（例えば、フラッシュメモリ、ディスケットドライブ若しくはハードディスクドライブ内部のフロッピーディスク、又は任意のタイプのランダムアクセス固体半導体メモリ）が挙げられる。コンピュータプログラムは、本明細書で述べられるプロセッサ５０２上で実行されてもよい。
本明細書で使用される用語法は、特定の実施形態を説明することのみを目的とするものであり、本発明を限定することを意図するものではない。本明細書で使用されるとき、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形も含むことが意図される。本明細書で使用されるとき、用語「含む（comprises）」及び／又は「含んでいる（comprising）」は、記述された特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するものであるが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらの群の存在若しくは追加を排除するものではない点が、更に理解されるであろう。
以下の請求項における全てのミーンズプラスファンクション又はステッププラスファンクションの要素の、対応する構造、材料、行為、及び均等物は、具体的に特許請求される他の特許請求要素と組み合わせて機能を実行するための、任意の構造、材料、又は行為を含むことが意図される。本発明の実施形態の説明は、例示を目的として提示されてきたが、網羅的であるか、又は開示された形態の実装形態に限定されることを意図するものではない。実施形態は、本発明の原理及び一部の実際的応用を最良に説明し、想到される特定の用途に適するような様々な修正を有する様々な実施形態に関して、他の当業者が本発明を理解することを可能にするために、選択及び説明されるものとした。

Claims (15)

  1. ビデオコンテンツの分析に基づいて１つ以上の光効果を決定するためのシステムであって、当該システムは、
    少なくとも１つの入力インターフェースと、
    少なくとも１つの出力インターフェースと、
    メディアコンテンツ及び前記メディアコンテンツに関する情報を得るために前記少なくとも１つの入力インターフェースを使用し、前記メディアコンテンツは、ビデオコンテンツを含む、
    前記得られた情報に基づいて複数の色抽出方法から色抽出方法を選択し、前記複数の色抽出方法は、同じピクセルから異なる色を抽出するという点で互いに異なる、
    ユーザの照明セットアップに関する情報にさらに基づいて前記色抽出方法を選択し、前記ユーザの照明セットアップは、１つ以上の光源を含む、
    前記選択された色抽出方法を適用することにより前記ビデオコンテンツの１つ以上のフレームから色を抽出する、
    前記１つ以上のフレームがレンダリングされている際に前記１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定し、前記１つ以上の光効果は、前記抽出された色に基づいて決定される、及び
    前記１つ以上の光効果を指定する光スクリプトを保存する及び／又は前記１つ以上の光効果をレンダリングするように前記１つ以上の光源を制御するために前記少なくとも１つの出力インターフェースを使用する、
    ように構成される、少なくとも１つのプロセッサと、
    を含む、システム。
  2. 前記少なくとも１つのプロセッサは、複数のセクションについてセクションごとに１つ以上の色を抽出するように構成され、各セクションは、シーン、ショット又は単一のフレームを含み、前記シーン及び前記ショットは、複数のフレームを含み、単一の色が前記セクションのすべてのフレームからセクションごとに抽出される及び／又は色が前記セクションのすべてのフレームにおけるサブエリアからサブエリアごとにセクションごとに抽出される、請求項１に記載のシステム。
  3. 前記複数の色抽出方法は、異なるタイプの色抽出方法及び／又は単一のタイプの色抽出方法に対する異なるセットのパラメータを含む、請求項１又は２に記載のシステム。
  4. 前記異なるタイプの色抽出方法は、平均色判定、トリムミーン色判定、ミーン色判定、メジアン色判定、モード色判定、ドミナント色判定、ドミナント照明色判定、可視光源色判定、及び／又は特徴色判定を含む、請求項３に記載のシステム。
  5. 前記少なくとも１つのプロセッサは、前記得られた情報が前記シーンはスローシーンであることを示すと判断するとシーンから色を抽出するために前記ドミナント色判定を選択する、及び／又は、前記得られた情報が前記シーンはアクションシーンであることを示すと判断するとシーンから色を抽出するために前記特徴色判定を選択するように構成される、請求項４に記載のシステム。
  6. 前記少なくとも１つのプロセッサは、トリムミーン判定の結果、望ましくない色になる場合、前記１つ以上のフレームにドミナント色がない場合、及び／又は、動いている、鮮明な及び／又は高コントラストのオブジェクトが前記１つ以上のフレームに検出される場合、前記特徴色判定を選択するように構成される、請求項４又は５に記載のシステム。
  7. 前記異なるセットのパラメータは、同じタイプの色抽出法で使用される色空間の異なる領域を識別する、請求項３に記載のシステム。
  8. 前記少なくとも１つのプロセッサは、ユーザが、前記光スクリプトを保存する前に前記抽出された色及び／又は前記選択された色抽出方法を確認することを可能にするように構成される、請求項１乃至７のいずれか一項に記載のシステム。
  9. 前記ユーザの照明セットアップに関する情報は、前記光源の量、前記光源の空間的位置、前記光源のタイプ、及び前記光源の能力のうちの１つ以上を含む、請求項１乃至８のいずれか一項に記載のシステム。
  10. 前記少なくとも１つのプロセッサは、潜在的な照明セットアップの第１のタイプに対する前記１つ以上の光効果を決定する、前記得られた情報に基づいて前記複数の色抽出方法からさらなる色抽出方法を選択する、前記選択されたさらなる色抽出方法を適用することにより前記ビデオコンテンツの前記１つ以上のフレームからさらなる色を抽出する、潜在的な照明セットアップの第２のタイプに対する１つ以上のさらなる光効果を決定し、前記１つ以上のさらなる光効果は、前記抽出されたさらなる色に基づいて決定される、及び、前記光スクリプトで前記１つ以上のさらなる光効果を指定するために前記少なくとも１つの出力インターフェースを使用するように構成され、前記１つ以上の光効果は、前記光スクリプトで前記第１のタイプの照明セットアップと関連付けられ、前記１つ以上のさらなる光効果は、前記光スクリプトで前記第２のタイプの照明セットアップと関連付けられる、請求項１乃至９のいずれか一項に記載のシステム。
  11. 前記少なくとも１つのプロセッサは、前記ビデオコンテンツの２つのセクションの各々から色を抽出する、前記２つの色間の色空間における遷移パスを選択する、及び、前記２つのセクション間に位置する１つ以上の中間セクションに適用されるべき色抽出方法を選択することにより前記色抽出方法を選択するように構成され、前記色抽出方法は、前記選択された遷移パスに基づいて選択され、前記１つ以上の中間セクションは、前記１つ以上のフレームを含む、請求項１乃至１０のいずれか一項に記載のシステム。
  12. 前記少なくとも１つのプロセッサは、前記２つのセクション及び前記１つ以上の中間セクションがレンダリングされている際にレンダリングされるべき少なくとも１つの光効果を決定することによって前記１つ以上の光源にレンダリングされるべき前記１つ以上の光効果を決定するように構成され、前記少なくとも１つの光効果は、前記２つのセクションから抽出される前記２つの色及び前記１つ以上の中間セクションから抽出される前記色に基づいて決定される、請求項１１に記載のシステム。
  13. 請求項１乃至１２のいずれか一項に記載のシステムと、前記１つ以上の光源とを含む、照明システム。
  14. ビデオコンテンツの分析に基づいて１つ以上の光効果を決定する方法であって、当該方法は、
    メディアコンテンツ及び前記メディアコンテンツに関する情報を得ることであって、前記メディアコンテンツは、ビデオコンテンツを含む、ことと、
    前記得られた情報に基づいて複数の色抽出方法から色抽出方法を選択することであって、前記複数の色抽出方法は、同じピクセルから異なる色を抽出するという点で互いに異なる、ことと、
    ユーザの照明セットアップに関する情報にさらに基づいて前記色抽出方法を選択することであって、前記ユーザの照明セットアップは、１つ以上の光源を含む、ことと、
    前記選択された色抽出方法を適用することにより前記ビデオコンテンツの１つ以上のフレームから色を抽出することと、
    前記１つ以上のフレームがレンダリングされている際に前記１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定することであって、前記１つ以上の光効果は、前記抽出された色に基づいて決定される、ことと、
    前記１つ以上の光効果を指定する光スクリプトを保存すること及び／又は前記１つ以上の光効果をレンダリングするように前記１つ以上の光源を制御することと、
    を含む、方法。
  15. 少なくとも１つのソフトウェアコード部分を含むコンピュータプログラム若しくはコンピュータプログラム一式又は少なくとも１つのソフトウェアコード部分を記憶するコンピュータ可読記憶媒体であって、前記ソフトウェアコード部分は、コンピュータシステムで実行されると、請求項１４に記載の方法が実行されることを可能にするように構成される、コンピュータプログラム若しくはコンピュータプログラム一式又はコンピュータ可読記憶媒体。
JP2021523684A 2018-11-01 2019-10-28 ビデオコンテンツから光効果のための色を抽出するための方法の選択 Active JP7080400B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18203930 2018-11-01
EP18203930.5 2018-11-01
PCT/EP2019/079356 WO2020089150A1 (en) 2018-11-01 2019-10-28 Selecting a method for extracting a color for a light effect from video content

Publications (2)

Publication Number Publication Date
JP2022506359A JP2022506359A (ja) 2022-01-17
JP7080400B2 true JP7080400B2 (ja) 2022-06-03

Family

ID=64267435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021523684A Active JP7080400B2 (ja) 2018-11-01 2019-10-28 ビデオコンテンツから光効果のための色を抽出するための方法の選択

Country Status (5)

Country Link
US (1) US20210410251A1 (ja)
EP (1) EP3874912B1 (ja)
JP (1) JP7080400B2 (ja)
CN (1) CN112913330B (ja)
WO (1) WO2020089150A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021032811A1 (en) * 2019-08-22 2021-02-25 Signify Holding B.V. Selecting an image analysis area based on a comparison of dynamicity levels
US20230360352A1 (en) 2020-05-25 2023-11-09 Signify Holding B.V. Determining an image analysis region for entertainment lighting based on a distance metric
WO2023131498A1 (en) 2022-01-04 2023-07-13 Signify Holding B.V. Extracting a color palette from music video for generating light effects
WO2023139044A1 (en) 2022-01-21 2023-07-27 Signify Holding B.V. Determining light effects based on audio rendering capabilities

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008509453A (ja) 2004-06-30 2008-03-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 非演色色空間を介して変換されたビデオコンテンツからの周囲光のためのドミナントカラーの抽出
JP2009021847A (ja) 2007-07-12 2009-01-29 Sharp Corp 視聴環境制御装置、視聴環境制御システム及び視聴環境制御方法
JP2015537248A (ja) 2012-11-27 2015-12-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． スクリーンに表示されるビデオコンテンツのコピープロテクションのための環境光の使用

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090167192A1 (en) * 2004-06-30 2009-07-02 Koninklijke Philips Electronics, N.V. Active frame system for ambient lighting using a video display as a signal source
JP4870665B2 (ja) * 2004-06-30 2012-02-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ・コンテンツから導出した周辺光を生成するための知覚規則を用いた支配色抽出
CN1977569A (zh) * 2004-06-30 2007-06-06 皇家飞利浦电子股份有限公司 来自视频内容的环境照明和伴随受感知规律和用户偏好影响的发射
JP2008505384A (ja) * 2004-06-30 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ・コンテンツに由来し、知覚ルール及びユーザ嗜好によって影響される放送による周辺光発生
KR20070037584A (ko) * 2004-06-30 2007-04-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 신호 소스로서 비디오 디스플레이를 사용하는 주변 조명을위한 액티브 프레임 시스템
WO2007052395A1 (ja) * 2005-10-31 2007-05-10 Sharp Kabushiki Kaisha 視聴環境制御システム
RU2444153C2 (ru) * 2006-12-07 2012-02-27 Конинклейке Филипс Электроникс Н.В. Система внешней подсветки для устройства отображения
TWI466093B (zh) * 2007-06-26 2014-12-21 Apple Inc 用於視訊播放的管理技術
EP2605622B1 (en) * 2011-12-15 2020-04-22 Comcast Cable Communications, LLC Dynamic ambient lighting
US8928811B2 (en) * 2012-10-17 2015-01-06 Sony Corporation Methods and systems for generating ambient light effects based on video content
CN103561345B (zh) * 2013-11-08 2017-02-15 冠捷显示科技（厦门）有限公司 一种基于智能电视的多节点环境光照明控制方法
KR102157245B1 (ko) * 2014-02-18 2020-09-18 삼성디스플레이 주식회사 광원 구동 방법 및 이를 수행하기 위한 표시 장치
KR20170052364A (ko) * 2015-11-04 2017-05-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
EP3378282B1 (en) * 2015-11-16 2020-02-19 Signify Holding B.V. Controller for controlling a light source and method thereof
US10003485B2 (en) * 2016-01-25 2018-06-19 Lumic Technology Inc. Systems of synchronizing lighting effect control signals and patterns for controlling interactive lighting effect devices
EP3446551B1 (en) 2016-04-22 2019-08-14 Signify Holding B.V. Controlling a lighting system
WO2018153713A1 (en) * 2017-02-22 2018-08-30 Philips Lighting Holding B.V. Optimizing multichannel luminaire control using a color coefficient matrix
US10771835B1 (en) * 2018-04-09 2020-09-08 Amazon Technologies, Inc. Controlling configurable lights using color metadata of a media stream

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008509453A (ja) 2004-06-30 2008-03-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 非演色色空間を介して変換されたビデオコンテンツからの周囲光のためのドミナントカラーの抽出
JP2009021847A (ja) 2007-07-12 2009-01-29 Sharp Corp 視聴環境制御装置、視聴環境制御システム及び視聴環境制御方法
JP2015537248A (ja) 2012-11-27 2015-12-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． スクリーンに表示されるビデオコンテンツのコピープロテクションのための環境光の使用

Also Published As

Publication number Publication date
CN112913330A (zh) 2021-06-04
EP3874912B1 (en) 2022-07-13
CN112913330B (zh) 2024-04-02
US20210410251A1 (en) 2021-12-30
EP3874912A1 (en) 2021-09-08
WO2020089150A1 (en) 2020-05-07
JP2022506359A (ja) 2022-01-17

Similar Documents

Publication Publication Date Title
JP7080400B2 (ja) ビデオコンテンツから光効果のための色を抽出するための方法の選択
KR102575013B1 (ko) 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
JP7080399B2 (ja) ビデオ及びオーディオの重みに依存したビデオ及びオーディオ情報に基づく光効果の決定
JP6854987B1 (ja) １つ以上の光設定に基づく動的光シーンのレンダリング
US9557829B2 (en) Method and apparatus for editing video scenes based on learned user preferences
JP2024504984A (ja) 音声特徴に基づくアニメーションエフェクト付加
JP7194864B2 (ja) ダイナミック性レベルの比較に基づく画像解析領域の選択
JP2022513536A (ja) コンテンツにおける検出された遷移後の平均色に基づく光効果の決定
JP2021516363A (ja) 画素コントラスト制御システム及び方法
JP2023529073A (ja) 距離メトリックに基づくエンターテイメント照明のための画像分析領域の決定
WO2020074303A1 (en) Determining dynamicity for light effects based on movement in video content
JP2022511991A (ja) メディアコンテンツにおけるスピーチの度合に基づく光効果の決定
WO2023213750A1 (en) Selecting entertainment lighting devices based on dynamicity of video content
CN118044337A (zh) 基于第二音频声道内容有条件地调整光效果
WO2023169993A1 (en) Controlling lighting devices as a group when a light scene or mode is activated in another spatial area
JP2022501792A (ja) 光源を順次オンにすることによる合成画像の作成

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210629

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220524

R150 Certificate of patent or registration of utility model

Ref document number: 7080400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150