JP2023529073A - 距離メトリックに基づくエンターテイメント照明のための画像分析領域の決定 - Google Patents
距離メトリックに基づくエンターテイメント照明のための画像分析領域の決定 Download PDFInfo
- Publication number
- JP2023529073A JP2023529073A JP2022572467A JP2022572467A JP2023529073A JP 2023529073 A JP2023529073 A JP 2023529073A JP 2022572467 A JP2022572467 A JP 2022572467A JP 2022572467 A JP2022572467 A JP 2022572467A JP 2023529073 A JP2023529073 A JP 2023529073A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- light source
- size
- image content
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010191 image analysis Methods 0.000 title description 4
- 238000004458 analytical method Methods 0.000 claims abstract description 193
- 230000001795 light effect Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 23
- 238000009877 rendering Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 238000002156 mixing Methods 0.000 description 14
- 238000005286 illumination Methods 0.000 description 11
- 239000003086 colorant Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/66—Transforming electric information into light information
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/20—Controlling the colour of the light
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/155—Coordinated control of two or more light sources
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
ディスプレイが画像コンテンツを表示する一方、画像コンテンツの分析領域(131~141)における画像コンテンツ(101)の分析に基づいて光源を制御するためのシステムが、画像コンテンツを得る、光源と表面との間の距離を得る、距離に基づいて分析領域のサイズ及び/又はロケーションを決定する、分析領域において画像コンテンツを分析することにより画像コンテンツの特性を決定する、特性に基づいて光効果を決定する、及び、光効果をレンダリングするために光源を制御するように構成される。
Description
本発明は、ディスプレイが画像コンテンツを表示する一方、前記画像コンテンツの分析領域における前記画像コンテンツの分析に基づいて光源を制御するためのシステムに関する。
本発明はさらに、ディスプレイが画像コンテンツを表示する一方、前記画像コンテンツの分析領域における前記画像コンテンツの分析に基づいて光源を制御する方法に関する。
本発明はまた、コンピュータシステムがこのような方法を実行することを可能にするコンピュータプログラムプロダクトに関する。
Window PC及びAppleコンピュータのためのPhilips HueSyncアプリケーションは、ゲーム、音楽又は映画の雰囲気をそのままユーザのいる部屋に持ち込む。アプリケーションがアクティブである場合、選択されたライトが、コンテンツに付随する(accompany)光効果を再生することになる。最近、HDMI(登録商標)モジュール、HDMI Sync boxと呼ばれる新しい製品が、Hueエンターテインメントポートフォリオに追加された。この新しいデバイスは、コンピュータを必要とせず、テレビに接続されるストリーミング及びゲーミングデバイスとの使用が意図されている。
ピクセル化光ストリップ(pixelated light strip)が、US 2010/0097408 A1に述べられるテレビによって作り出される体験等、没入体験(immersive experience)を作り出すためにテレビの周りに取り付けられてもよい。テレビの周りのピクセル化ストリップの重要な課題の1つは、テレビが、典型的には、異なる消費者によって表面の前に異なる距離で置かれることである。表面は、壁、又は光が投射される別の表面、例えば、テレビが置かれているキャビネットのバックサイドであってもよい。
例えば、ある消費者は、テレビを壁に直接取り付けるかもしれず、別の消費者は、テレビをテレビキャビネット又はテーブルの上に壁から10~20cmの距離に置くかもしれない。US 2010/0097408 A1は、壁までの距離に基づいてテレビにおけるピクセル化光源の角度位置を変えることを開示しているが、テレビが壁に近い場合のエンターテイメント光効果の質と、テレビが壁から遠く離れている場合のエンターテイメント光効果の質とには依然として大きな差がある。
ドキュメントWO2020/089150A1は、ビデオコンテンツの分析に基づいて1つ以上の光効果を決定するためのシステムを開示している。これにより、選択された色抽出方法が、前記ビデオコンテンツの1つ以上のフレームから色を抽出するために適用される。前記抽出された色に基づく光効果は、その後、光源にレンダリングされる。
本発明の第1の目的は、質が光源と表面との間の距離にさほど依存しないエンターテイメント光効果をレンダリングするように光源を制御することができる、システムを提供することである。
本発明の第2の目的は、質が光源と表面との間の距離にさほど依存しないエンターテイメント光効果をレンダリングするように光源を制御するために使用されることができる、方法を提供することである。
本発明の第1の態様において、ディスプレイが画像コンテンツを表示する一方、前記画像コンテンツの分析領域における前記画像コンテンツの分析に基づいて光源を制御するためのシステムは、少なくとも1つの入力インターフェースと、少なくとも1つの出力インターフェースと、前記少なくとも1つの入力インターフェースを介して前記画像コンテンツを得る、前記光源と表面(surface)との間の距離を得る、前記距離に基づいて前記分析領域のサイズ及び/又はロケーションを決定する、前記分析領域において前記画像コンテンツを分析することにより前記画像コンテンツの特性を決定する、前記特性に基づいて光効果(light effect)を決定する、及び、前記少なくとも1つの出力インターフェースを介して、前記表面に前記光効果をレンダリングするために前記光源を制御するように構成される少なくとも1つのプロセッサとを含む。光効果は、色及び/又は強度を含んでもよい。
前記特性は、例えば、色、例えば、ピクセル値、及び/若しくは、例えば、強度を含んでもよく、又は、例えば、色、例えば、ピクセル値、及び/若しくは、例えば、強度であってもよい。前記特性は、例えば、本願を通じて色であってもよく、前記色は、前記分析領域において前記画像コンテンツを分析することにより、すなわち、例えば、色抽出方法(color extraction methodology)を用いて決定されてもよい。
光源が表面(例えば、壁)から比較的遠くに置かれている場合、ピクセルとも呼ばれる、ピクセル化照明デバイス(pixelated lighting device)の異なる光源からの光のブレンディング(blending)が、光学的混合(optical mixing)によって自動的に起こることになる。光源/ピクセルと表面との間の距離が大きいほど、光源/ピクセルによって発せられる光はより多くブレンドする(blend)ことになる。距離が短い場合、ピクセル間のブレンディングはほとんどない。ブレンディングが生じない場合、ユーザは、エンターテインメント光効果はあまり質が良くないと感じることが、ユーザ知覚テストによって示されている。このため、光源と表面との間の距離に依存する、ピクセルからの色をブレンドするアルゴリズム的方法(algorithmic way)が用いられる。この距離は、例えば、センサから又はユーザデバイスから得られてもよい。後者の場合、距離は、ユーザ入力から決定される。ユーザデバイスは、例えば、ユーザ入力デバイスであってもよい。分析領域のロケーション(location)は、例えば、分析領域の重心、又は、1つ以上のコーナ(corner)のロケーションであってもよい。画像コンテンツは、典型的には、ビデオコンテンツである。したがって、本発明によるシステムは、センサ又はユーザデバイスを含んでもよい。ある態様において、光源は、センサ又はユーザデバイス(ユーザ入力デバイス又はユーザインターフェースデバイス等)を含んでもよい。
前記少なくとも1つのプロセッサは、前記距離が第1の値を有する場合、第1のサイズ及び第1のロケーションを有する第1の分析領域を決定し、前記距離が第2の値を有する場合、第2のサイズ及び第2のロケーションを有する第2の分析領域を決定するように構成され、前記第2のサイズは前記第1のサイズと異なり及び/又前記第2のロケーションは前記第1のロケーションと異なり、前記第1の分析領域は、前記第2の分析領域よりも、隣接する分析領域とのより大きな重なり(overlap)を有し、前記第1の値は、前記第2の値よりも小さくてもよい。斯くして、光源/ピクセルと表面との間の距離が小さくなるにつれて、隣接する分析領域間の重なりが大きくなり、より高い程度で、分析領域から決定される光効果をブレンドする、例えば、分析領域から抽出される色をブレンドする。分析領域間の重なりは、例えば、1つ以上の分析領域のサイズを増加させることによって増加されてもよい。
ある態様において、本発明によるサイズは、予め定義されてもよく、又は一定であってもよく、一方、ロケーションは、前記距離に基づいて決定されてもよい。ある態様において、本発明によるロケーションは、予め定義されてもよく、又は一定であってもよく、一方、サイズは、前記距離に基づいて決定されてもよい。
ある態様において、本願を通じて、しかしながら代替的に表現すると、本発明によるプロセッサは、前記距離に基づいて前記分析領域の画像分析プロパティ(image analysis property)を決定するように構成されてもよく、画像分析プロパティは、前記分析領域のサイズ及び/又はロケーションを含んでもよい。したがって、サイズ及び/又はロケーションは、画像分析プロパティとして定義されてもよい。
前記光源は、照明デバイスに含まれてもよく、前記照明デバイスは、さらなる光源を含んでもよく、前記距離は、前記さらなる光源と前記表面との間の距離も表してもよく、前記少なくとも1つのプロセッサは、前記距離に基づいて前記画像コンテンツのさらなる分析領域のサイズ及び/又はロケーションを決定する、前記さらなる分析領域において前記画像コンテンツを分析することにより前記画像コンテンツのさらなる特性を決定する、前記さらなる特性に基づいてさらなる光効果を決定する、及び、前記さらなる光効果をレンダリングするために前記さらなる光源を制御するように構成されてもよい。したがって、前記距離は、ある例では、照明デバイスと前記表面との間の距離であってもよく、これは、ある例ではデバイス距離とみなされてもよい。さらなる光効果は、色及び/又は強度を含んでもよい。前記さらなる特性は、例えば、色、例えば、ピクセル値、及び/若しくは、例えば、強度を含んでもよく、又は、例えば、色、例えば、ピクセル値、及び/若しくは、例えば、強度であってもよい。
多くの場合、照明デバイスは、各光源と表面との間の距離が照明デバイスのすべての光源について同じであるように置かれ、照明デバイスの複数の、例えば、すべての光源と表面との間の距離が同じであると仮定することは、それゆえ、多くの状況において機能する(work)。光源と表面との間の距離が同じではなく、わずかに異なる場合でも、この仮定は、通常、高い質のエンターテインメント光効果をもたらすであろう。
前記少なくとも1つのプロセッサは、前記照明デバイスと前記表面との間のデバイス距離を得る、前記照明デバイスと前記表面との間のさらなるデバイス距離を得る、及び、前記デバイス距離及び前記さらなるデバイス距離の平均を計算することにより前記距離を決定するように構成されてもよい。これは、複数のデバイス距離、例えば、照明デバイスの2つのエッジ(edge)と表面との間の距離が得られる場合に有益である。
前記光源は、照明デバイスに含まれてもよく、前記照明デバイスは、さらなる光源を含んでもよく、前記少なくとも1つのプロセッサは、前記さらなる光源と前記表面との間のさらなる距離を得る、前記さらなる距離に基づいて前記画像コンテンツのさらなる分析領域のサイズ及び/又はロケーションを決定する、前記さらなる分析領域において前記画像コンテンツを分析することにより前記画像コンテンツのさらなる特性を決定する、前記さらなる特性に基づいてさらなる光効果を決定する、及び、前記さらなる光効果をレンダリングするために前記さらなる光源を制御するように構成されてもよい。さらなる光効果は、色及び/又は強度を含んでもよい。前記さらなる特性は、例えば、色、例えば、ピクセル値、及び/若しくは、例えば、強度を含んでもよく、又は、例えば、色、例えば、ピクセル値、及び/若しくは、例えば、強度であってもよい。同じ照明デバイスの異なる光源について異なる距離を決定することは、これらの光源と表面との間の距離に実質的な違いがある場合に有益である。これは、例えば、垂直に配置された光源を含む照明デバイスが壁に対して傾いて置かれる場合又はライトストリップが曲面ディスプレイ若しくは隅に置かれるディスプレイに水平に取り付けられる場合等であり得る。
前記少なくとも1つのプロセッサは、前記照明デバイスと前記表面との間のデバイス距離を得る、前記照明デバイスと前記表面との間のさらなるデバイス距離を得る、前記デバイス距離、前記さらなるデバイス距離及び前記照明デバイス上の前記光源の位置に基づいて前記光源と前記表面との間の前記距離を決定する、及び、前記デバイス距離、前記さらなるデバイス距離及び前記照明デバイス上の前記さらなる光源の位置に基づいて前記さらなる光源と前記表面との間の前記さらなる距離を決定するよう構成されてもよい。光源と表面との間の距離が各光源について得られない場合でも、得られた(例えば、2つの)デバイス距離に基づいて各光源について表面までの比較的正確な距離を決定することが可能である。
前記少なくとも1つのプロセッサは、前記距離に基づいて前記光源によって前記表面に投射される光と前記さらなる光源によって前記表面に投射される光との間の光重なり量(amount of light overlap)を推定する、前記推定された光重なり量に基づいて前記分析領域と前記さらなる分析領域との間の所望の領域重なり量(amount of desired region overlap)を決定する、及び、前記所望の領域重なり量に基づいて前記分析領域の前記サイズ及び/又はロケーション並びに前記さらなる分析領域の前記サイズ及び/又はロケーションを決定するように構成されてもよい。これは、例えば、ユーザが光源の角度を変えることができる場合に有益であり得る。ユーザが光源の角度を変えることができない場合、距離と所望の領域重なり(desired region overlap)との間又は距離と分析領域のサイズ及び/若しくはロケーションとの間の所定のマッピングを使用することも可能である。
前記少なくとも1つのプロセッサは、前記光源のサイズ、前記ディスプレイのサイズ、及び/又は前記光源を含む照明デバイスのサイズにさらに基づいて前記分析領域の前記サイズ及び/又はロケーションを決定するように構成されてもよい。第1の例として、式C=p+b/(0.1*d+1)が、dがある閾値Tよりも小さい場合に(例えば、LED)ピクセルに対する分析領域のサイズをセンチメートルで計算するために使用されてもよい。ここで、Cは、センチメートルにおける分析領域のサイズであり、bは、ブレンディング係数(blending factor)であり、dは、センチメートルにおける(推定又は測定された)距離数値(numeric distance value)であり、pは、センチメートルにおけるピクセルのサイズである。この例では、dが閾値T以上である場合、最小の分析領域サイズが使用される。
第2の例として、表面までの距離の複数の範囲について重なり率(percentage of overlap)が与えられる、マッピングテーブルが使用されてもよい。例えば、0~5cmの距離は50%の重なり率にマッピングされてもよく、5~10cmの距離は25%の重なり率にマッピングされてもよい、等々であってもよい。この場合、分析領域のサイズは、ピクセルのサイズ及び決定された重なり率に基づいて決定されてもよい。
さらに、ピクセル(光源)サイズとディスプレイサイズとの比がパラメータとして使用されてもよい。例えば、上述した式が、Cがp(ピクセルのサイズ)、d(表面までの距離)及びr(ディスプレイサイズとピクセルサイズとの比)の関数であるように変更されてもよい。第1の実装態様では、ディスプレイのサイズに対するピクセルのサイズが大きいほど、重なり率は小さくなる。例えば、壁までの距離が5cmの場合、55インチディスプレイ(55インチは対角寸法である)のテレビでは、隣接する分析領域間の重なりは、6.25cmピクセルの場合40%、12.5cmピクセルの場合20%であってもよく、75インチディスプレイのテレビでは、隣接する分析領域間の重なりは、6.25cmピクセルの場合50%、12.5cmピクセルの場合25%であってもよい。
前記少なくとも1つのプロセッサは、前記光源と前記ディスプレイとの間の距離にさらに基づいて前記分析領域の前記サイズ及び/又はロケーションを決定するように構成されてもよい。例えば、光源とディスプレイとの間の距離がより大きい場合により大きな分析領域が使用される場合、エンターテイメント光効果はより良好に見え得る。
前記光源は、異なる光効果をレンダリングすることができない複数の光要素(light element)を含んでもよい。言い換えれば、これらの光要素が光効果をレンダリングする場合、これらの光源は、同じ光効果をレンダリングする。ピクセル化照明デバイスは、多くの場合、複数のこのような光源を含む。ピクセル化照明デバイスにおいて、光源は、ピクセル又はセグメントとも呼ばれる。光要素は、例えば、LEDであってもよい。
本発明の第2の態様において、ディスプレイが画像コンテンツを表示する一方、前記画像コンテンツの分析領域における前記画像コンテンツの分析に基づいて光源を制御する方法は、前記画像コンテンツを得ることと、前記光源と表面との間の距離を得ることと、前記距離に基づいて前記分析領域のサイズ及び/又はロケーションを決定することと、前記分析領域において前記画像コンテンツを分析することにより前記画像コンテンツの特性を決定することと、前記特性に基づいて光効果を決定することと、前記表面に前記光効果をレンダリングするために前記光源を制御することとを含む。当該方法は、プログラマブルデバイスで動作するソフトウェアによって実行されてもよい。光効果は、色及び/又は強度を含んでもよい。このソフトウェアは、コンピュータプログラムプロダクトとして提供されてもよい。前記特性は、例えば、色、例えば、ピクセル値、及び/若しくは、例えば、強度を含んでもよく、又は、例えば、色、例えば、ピクセル値、及び/若しくは、例えば、強度であってもよい。
さらに、本明細書で説明される方法を実践するためのコンピュータプログラム、並びに、そのコンピュータプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供される。コンピュータプログラムは、例えば、既存のデバイスによってダウンロードされるか、又は、既存のデバイスにアップロードされてもよく、あるいは、これらのシステムの製造時に記憶されてもよい。
非一時的コンピュータ可読記憶媒体は、少なくとも1つのソフトウェアコード部分を記憶し、ソフトウェアコード部分は、コンピュータによって実行又は処理されると、ディスプレイが画像コンテンツを表示する一方、前記画像コンテンツの分析領域における前記画像コンテンツの分析に基づいて光源を制御するための実行可能動作(executable operation)を実行するように構成される。
実行可能動作は、前記画像コンテンツを得ることと、前記光源と表面との間の距離を得ることと、前記距離に基づいて前記分析領域のサイズ及び/又はロケーションを決定することと、前記分析領域において前記画像コンテンツを分析することにより前記画像コンテンツの特性を決定することと、前記特性に基づいて光効果を決定することと、前記表面に前記光効果をレンダリングするために前記光源を制御することとを含む。光効果は、色及び/又は強度を含んでもよい。前記特性は、例えば、色、例えば、ピクセル値、及び/若しくは、例えば、強度を含んでもよく、又は、例えば、色、例えば、ピクセル値、及び/若しくは、例えば、強度であってもよい。
当業者には理解されるように、本発明の諸態様は、デバイス、方法、又はコンピュータプログラムプロダクトとして具現化されてもよい。したがって、本発明の諸態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)、あるいは、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態を取ってもよく、それらは全て、本明細書では「回路」、「モジュール」、又は「システム」と総称されてもよい。本開示で説明される機能は、コンピュータのプロセッサ/マイクロプロセッサによって実行される、アルゴリズムとして実装されてもよい。さらには、本発明の諸態様は、1つ以上のコンピュータ可読媒体として具現化されている、コンピュータプログラムプロダクトの形態を取ってもよく、1つ以上のコンピュータ可読媒体は、その上に具現化されている、例えば記憶されている、コンピュータ可読プログラムコードを有する。
1つ以上のコンピュータ可読媒体の任意の組み合わせが、利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、限定するものではないが、電子、磁気、光学、電磁気、赤外線、又は半導体の、システム、装置、若しくはデバイス、あるいは、上述の任意の好適な組み合わせであってもよい。より具体的なコンピュータ可読記憶媒体の例としては、限定するものではないが、1つ以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(random access memory;RAM)、読み出し専用メモリ(read-only memory;ROM)、消去可能プログラマブル読み出し専用メモリ(erasable programmable read-only memory;EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(portable compact disc read-only memory;CD-ROM)、光学記憶デバイス、磁気記憶デバイス、又は上述の任意の好適な組み合わせを挙げることができる。本発明の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを含むか、又は記憶することが可能な、任意の有形媒体であってもよい。
コンピュータ可読信号媒体としては、例えばベースバンド内又は搬送波の一部として、その内部に具現化されているコンピュータ可読プログラムコードを有する、伝搬データ信号を挙げることができる。そのような伝搬信号は、限定するものではないが、電磁気、光学、又はこれらの任意の好適な組み合わせを含めた、様々な形態のうちのいずれを取ってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、通信、伝搬、又は伝送することが可能な、任意のコンピュータ可読媒体であってもよい。
コンピュータ可読媒体上に具現化されているプログラムコードは、限定するものではないが、無線、有線、光ファイバ、ケーブル、RF等、又は上述の任意の好適な組み合わせを含めた、任意の適切な媒体を使用して送信されてもよい。本発明の諸態様に関する動作を実施するためのコンピュータプログラムコードは、Java(登録商標)、Smalltalk(登録商標)、C++等のオブジェクト指向プログラミング言語、及び、「C」プログラミング言語又は同様のプログラミング言語等の従来の手続き型プログラミング言語を含めた、1つ以上のプログラミング言語の任意の組み合わせで書き込まれてもよい。このプログラムコードは、スタンドアロン型ソフトウェアパッケージとして、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で実行されてもよく、部分的にユーザのコンピュータ上かつ部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ若しくはサーバ上で実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(local area network;LAN)若しくは広域ネットワーク(wide area network;WAN)を含めた任意のタイプのネットワークを通じて、ユーザのコンピュータに接続されてもよく、又は、この接続は、外部コンピュータに対して(例えば、インターネットサービスプロバイダを使用してインターネットを通じて)実施されてもよい。
本発明の実施形態による方法、装置(システム)、及びコンピュータプログラムプロダクトの、フローチャート図及び/又はブロック図を参照して、本発明の諸態様が以下で説明される。フローチャート図及び/又はブロック図の各ブロック、並びに、フローチャート図及び/又はブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実装されることができる点が理解されるであろう。これらのコンピュータプログラム命令は、マシンを作り出すために、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置の、プロセッサ、特にマイクロプロセッサ又は中央処理ユニット(central processing unit;CPU)に提供されてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスのプロセッサを介して実行される命令が、フローチャート及び/又はブロック図のブロック内で指定されている機能/行為を実施するための手段を作り出す。
これらのコンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに、特定の方式で機能するように指示することが可能な、コンピュータ可読媒体内に記憶されてもよく、それにより、コンピュータ可読媒体内に記憶されている命令が、フローチャート及び/又はブロック図のブロック内で指定されている機能/行為を実施する命令を含む、プロダクトを作り出す。
コンピュータプログラム命令はまた、コンピュータ実施プロセスを作り出すために、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードされて、それらのコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上で一連の動作ステップを実行させてもよく、それにより、コンピュータ又は他のプログラマブル装置上で実行される命令が、フローチャート及び/又はブロック図のブロック内で指定されている機能/行為を実施するためのプロセスを提供する。
図におけるフローチャート及びブロック図は、本発明の様々な実施形態によるデバイス、方法、及びコンピュータプログラムプロダクトの可能な実装の、アーキテクチャ、機能性、及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定されている論理関数を実施するための1つ以上の実行可能命令を含む、コードのモジュール、セグメント、又は部分を表してもよい。また、一部の代替的実装形態では、ブロック内に記されている機能は、それらの図に記されている順序と異なる順序で行われてもよい点にも留意されたい。例えば、連続して示されている2つのブロックは、実際には、実質的に同時に実行されてもよく、又は、それらのブロックは、関与している機能性に応じて、逆の順序で実行される場合があってもよい。また、ブロック図及び/又はフローチャート図の各ブロック、並びに、それらブロック図及び/又はフローチャート図内のブロックの組み合わせは、指定されている機能若しくは行為を実行する専用ハードウェアベースのシステム、又は、専用ハードウェアとコンピュータ命令との組み合わせによって実施されることができる点にも留意されたい。
本発明のこれらの及び他の態様は、以下の図面から明らかであり、例として、それらの図面を参照してさらに解明されるであろう。
システムの第1の実施形態のブロック図である。
システムの第2の実施形態のブロック図である。
壁まで第1の距離である照明デバイスの一例を示す。
壁まで第2の距離である照明デバイスの一例を示す。
壁まで第3の距離である照明デバイスの一例を示す。
図1のシステムが使用され得る住宅のフロアプランの一例を示す。
方法の第1の実施形態のフロー図である。
ビデオフレームの一例を示す。
図8のビデオフレームを分析するために使用される分析領域の例を示す。
図8のビデオフレームを分析するために使用される分析領域の例を示す。
図8のビデオフレームを分析するために使用される分析領域の例を示す。
図8のビデオフレームを分析するために使用される分析領域の例を示す。
図8のビデオフレームを分析するために使用される分析領域の例を示す。
方法の第2の実施形態のフロー図である。
方法の第3の実施形態のフロー図である。
方法の第4の実施形態のフロー図である。
本発明の方法を実行するための例示的なデータ処理システムのブロック図である。
図面中の対応する要素は、同じ参照番号によって示される。
図1は、ディスプレイが画像コンテンツを表示する一方、画像コンテンツの分析領域における画像コンテンツの分析に基づいて光源を制御するためのシステムの第1の実施形態、HDMIモジュール1を示している。HDMIモジュール1は、例えば、Hue Play HDMI Sync Boxであってもよい。図1の例において、画像コンテンツは、ディスプレイ23でレンダリングされる。代替的に、画像コンテンツは、複数のディスプレイ、例えば、ビデオウォール(video wall)でレンダリングされてもよい。
図1の例において、HDMIモジュール1は、ブリッジ19を介して照明デバイス13~15を制御することができる。ブリッジ19は、例えば、Hueブリッジであってもよい。ブリッジ19は、例えば、Zigbee(登録商標)技術を使用して、照明デバイス13~15と通信する。HDMIモジュール1は、例えば、Wi-Fi(登録商標)を介して、無線LANアクセスポイント21に接続される。また、ブリッジ19が、例えば、Wi-Fi又はEthernet(登録商標)を介して、無線LANアクセスポイント21に接続される。
代替的に又は追加的に、HDMIモジュール1は、例えば、Zigbee技術を使用して、ブリッジ19と直接通信することができてもよく、及び/又はインターネット/クラウドを介してブリッジ19と通信することができてもよい。代替的に又は追加的に、HDMIモジュール1は、ブリッジを使用せずに、例えば、直接Wi-Fi、Bluetooth(登録商標)若しくはZigbeeを介して又はインターネット/クラウドを介して、照明デバイス13~15を制御することができてもよい。
無線LANアクセスポイント21は、インターネット25に接続される。メディアサーバ27も、インターネット25に接続される。メディアサーバ27は、例えば、Netflix、Amazon Prime Video、Hulu、Disney+又はApple TV+等のビデオオンデマンドサービスのサーバであってもよい。HDMIモジュール1は、HDMIを介してローカルメディアレシーバ31、32及びディスプレイ23に接続される。ローカルメディアレシーバ31及び32は、1つ以上のストリーミング若しくはコンテンツ生成デバイス、例えば、Apple TV、Microsoft Xbox One及び/若しくはSony PlayStation 4、並びに/又は、1つ以上のケーブル若しくは衛星テレビレシーバを含んでもよい。
図1の例において、照明デバイス13及び14は、例えば、Philips Hue Signe等、垂直に配置された光源のアレイであり、照明デバイス15は、水平に配置された光源のアレイ、例えば、水平に置かれたライトストリップである。照明デバイス13は、4つの光源(ピクセル)41~44及び1つの距離センサ67を含み、照明デバイス14は、4つの光源(ピクセル)46~49を含み、距離センサを含まず、照明デバイス15は、5つの光源(ピクセル)61~65及び2つの距離センサ68及び69を含む。距離センサ67~69は、例えば、1つ以上の赤外線距離センサ及び/又は1つ以上の超音波距離センサを含んでもよい。
照明デバイス13~15は、ピクセル化照明デバイスとも呼ばれる。実際には、ピクセル化照明デバイスは、4つ又は5つ以上のピクセルを含む。図1の例において、各光源(ピクセル)は、2つの光要素、例えば、LEDを含み、これらは、同じではない光効果をレンダリングすることはできない。光源41~44、46~49、及び61~65は、光要素の個別にアドレス指定可能なセグメントとも呼ばれる。
HDMIモジュール1は、レシーバ3、トランスミッタ4、プロセッサ5、及びメモリ7を含む。プロセッサ5は、レシーバ3を介して、例えば、メディアレシーバ31又は32からビデオコンテンツを得る、例えば、センサ67~69の1つ以上から又はユーザデバイス29から、各照明デバイスの光源と表面との間の距離を得る、及び、各光源について、距離に基づいて光源に関連する分析領域のサイズ及び/又はロケーションを決定するように構成される。ユーザデバイス29は、例えば、モバイルフォン又はタブレットであってもよい。
プロセッサ5はさらに、分析領域においてビデオコンテンツを分析することによりビデオコンテンツの特性を決定する、特性に基づいて光効果のための色及び/又は強度を決定する、及び、トランスミッタ4を介して、光効果をレンダリングするために光源41~44、46~49、及び61~65を制御するように構成される。前記特性は、例えば、色、例えば、ピクセル値、及び/若しくは、例えば、強度を含んでもよく、又は、例えば、色、例えば、ピクセル値、及び/若しくは、例えば、強度であってもよい。
図1の例において、照明デバイス13~15の各々について、光源と表面との間の距離が知られ、それゆえ、分析領域が、これらの距離に基づいて決定されることができる。光源と表面との間の距離が知られない光源については、距離に依存しないサイズ及びロケーションを有する分析領域が使用されてもよい。
図1の例において、照明デバイス15から2つのデバイス距離が得られ、照明デバイス13から1つのデバイス距離が得られる。デバイス距離は、照明デバイスと、光が投射される表面、例えば、壁との間の距離である。第2のデバイス距離が、照明デバイス13について、ユーザデバイス29から得られてもよい。代替的に、照明デバイス13から得られる単一のデバイス距離が、照明デバイス13のすべての光源と表面との間の距離を表すと考えられてもよく、又は、照明デバイス13の上部が表面に対して傾くことが意図される場合、第2のデバイス距離は、ゼロであると判断されてもよい。照明デバイス14についての1つ又は複数のデバイス距離は、ユーザデバイス29から得られる。
照明デバイスについて単一のデバイス距離のみが得られる場合、表面と照明デバイスの各光源との間の距離は、この単一のデバイス距離であると仮定される。照明デバイスについて複数のデバイス距離が得られる場合、表面と照明デバイスの各光源との間の距離は、デバイス距離の平均であってもよく、又は、光源と表面との間の距離は、デバイス距離及び照明デバイス上の光源の位置に基づいて決定されてもよい。
前者の例として、距離センサ68が30cmの距離を測定し、距離センサ69が50cmの距離を測定する場合、表面と照明デバイス15の各光源との間の距離は、40cmとみなされてもよい。後者の例として、距離センサ68が30cmの距離を測定し、距離センサ69が50cmの距離を測定する場合、光源61~65と表面との間の距離は、それぞれ、30、35、40、45、及び50cmとみなされてもよい。
照明デバイスの各光源と表面との間の距離が同じであると仮定される場合、(平均)デバイス距離を決定した後に光源ごとの距離を決定する必要はない。プロセッサ5は、(平均)デバイス距離に基づいて分析領域のサイズ及び/又はロケーションを直接決定してもよい。
図1に示されるHDMIモジュール1の実施形態において、HDMIモジュール1は、1つのプロセッサ5を含む。代替的な実施形態では、HDMIモジュール1は、複数のプロセッサを含む。HDMIモジュール1のプロセッサ5は、例えばARMベースの、汎用プロセッサ、又は特定用途向けプロセッサであってもよい。HDMIモジュール1のプロセッサ5は、例えば、Unixベースのオペレーティングシステムを実行してもよい。メモリ7は、1つ以上のメモリユニットを含んでもよい。メモリ7は、例えば、ソリッドステートメモリを含んでもよい。
レシーバ3及びトランスミッタ4は、例えば、ブリッジ19と通信するためにZigbee、並びに、ディスプレイ23及びローカルメディアレシーバ31、32と通信するためにHDMI等、1つ以上の有線又は無線通信技術を使用してもよい。代替的な実施形態では、単一のレシーバ及び単一のトランスミッタの代わりに、複数のレシーバ及び/又は複数のトランスミッタが使用される。図1に示される実施形態では、別個のレシーバ及び別個のトランスミッタが使用されている。代替的な実施形態では、レシーバ3及びトランスミッタ4は、トランシーバにまとめられる。HDMIモジュール1は、電源コネクタ等のネットワークデバイスに典型的な他の構成要素を含んでもよい。本発明は、1つ以上のプロセッサで動作するコンピュータプログラムを使用して実装されてもよい。
図1の実施形態において、本発明のシステムは、HDMIモジュールである。代替的な実施形態では、システムは、別のデバイス、例えば、モバイルデバイス、ラップトップ、パーソナルコンピュータ、ブリッジ、メディアレンダリングデバイス、ストリーミングデバイス、又はインターネットサーバであってもよい。図1の実施形態において、本発明のシステムは、単一のデバイスを含む。代替的な実施形態では、システムは、複数のデバイスを含む。
ビデオコンテンツの分析は、リアルタイムで、すなわち、光源が制御されビデオコンテンツが表示される直前に実行されてもよい。代替的に、ビデオコンテンツの分析は、例えば、自動光スクリプティング(automatic light scripting)を使用することにより、より早く実行されてもよい。自動光スクリプティングは、例えば、上述したインターネットサーバによって実行されてもよい。自動光スクリプティングにおいて、ビデオコンテンツの分析は、典型的にはクラウドにおいて、ユーザがそれを視聴/ストリーミングする前に行われる(例えば、5分のバッファでほぼリアルタイムに行われてもよい)。これは、コンテンツと光効果との間の完全な同期を保証するために使用されてもよい。
クラウドにおいて動作する処理システムは、パーソナライズされたスクリプト(personalized script)を生成するために、表面までの距離等を示す、ユーザプロファイルを使用してもよい。代替的に、システムは、いくつかの一般的な距離(例えば、0~5cm、5~10cm、及び11cm以上等)についてのスクリプトのセットを予め生成してもよく、ユーザが映画のストリーミングを開始する場合、システムは、ユーザのセットアップに最も近いスクリプトを選択してもよい。後者は、人気のある映画がストリーミングされる場合にクラウドにおけるリソースを節約するであろう。
図2は、ディスプレイが画像コンテンツを表示する一方、画像コンテンツの分析領域における画像コンテンツの分析に基づいて光源を制御するためのシステムの第2の実施形態、モバイルデバイス51に関する。モバイルデバイス51は、例えば、スマートフォン又はタブレットであってもよい。照明デバイス13~15は、ブリッジ19を介してモバイルデバイス51によって制御されることができる。モバイルデバイス51は、例えば、Wi-Fiを介して、無線LANアクセスポイント21に接続される。
モバイルデバイス51は、レシーバ53、トランスミッタ54、プロセッサ55、メモリ57、及びディスプレイ59を含む。画像コンテンツは、好ましくは、外部ディスプレイ23に表示されるが、モバイルデバイス51のディスプレイ59に表示されてもよい。プロセッサ55は、レシーバ53を介して、例えば、メディアサーバ27からビデオコンテンツを得る、及び、例えば、センサ67~69(図1参照)の1つ以上から、又はモバイルデバイス51自体の入力インターフェース(例えば、タッチスクリーンディスプレイ又はマイク)から、各照明デバイスの光源と表面との間の距離を得るように構成される。
プロセッサ55はさらに、各光源について、距離に基づいて光源に関連する分析領域のサイズ及び/又はロケーションを決定する、分析領域においてビデオコンテンツを分析することによりビデオコンテンツの特性を決定する、特性に基づいて光効果のための色及び/又は強度を決定する、及び、トランスミッタ54を介して、光効果をレンダリングするために光源41~44、46~49、及び61~65を制御するように構成される。代替的に、前記「光効果のための色及び/又は強度を決定する(determine a color and/or intensity for a light effect)」は、「光効果を決定する(determine a light effect)」と表現されてもよく、前記光効果は、色及び/又は強度を含んでもよい。
図2に示されるモバイルデバイス51の実施形態において、モバイルデバイス51は、1つのプロセッサ55を含む。代替的な実施形態では、モバイルデバイス51は、複数のプロセッサを含む。モバイルデバイス51のプロセッサ55は、例えばARM若しくはQualcommからの汎用プロセッサ、又は特定用途向けプロセッサであってもよい。モバイルデバイス51のプロセッサ55は、例えば、Android又はiOSオペレーティングシステムを実行してもよい。ディスプレイ59は、例えば、タッチスクリーンディスプレイであってもよい。ディスプレイ59は、例えば、LCD又はOLEDディスプレイパネルを備えてもよい。メモリ57は、1つ以上のメモリユニットを含んでもよい。メモリ57は、例えば、ソリッドステートメモリを含んでもよい。
レシーバ53及びトランスミッタ54は、例えば、無線LANアクセスポイント21と通信するためにWi-Fi(IEEE 802.11)等の1つ以上の無線通信技術を使用してもよい。代替的な実施形態では、単一のレシーバ及び単一のトランスミッタの代わりに、複数のレシーバ及び/又は複数のトランスミッタが使用される。図2に示される実施形態では、別個のレシーバ及び別個のトランスミッタが使用されている。代替的な実施形態では、レシーバ53及びトランスミッタ54は、トランシーバにまとめられる。モバイルデバイス51はさらに、カメラ(図示せず)を備えてもよい。このカメラは、例えば、CMOS又はCCDセンサを含んでもよい。モバイルデバイス51は、バッテリ及び電源コネクタ等のモバイルデバイスに典型的な他の構成要素を含んでもよい。本発明は、1つ以上のプロセッサで動作するコンピュータプログラムを使用して実装されてもよい。
図2の実施形態において、照明デバイス13~15は、ブリッジ19を介して制御される。代替的な実施形態では、照明デバイス13~15のうちの1つ以上は、ブリッジを使用せずに、例えば、Bluetooth(登録商標)を介して直接、制御される。図1及び2の実施形態において、本発明のシステムは、ローカルデバイスのみを含む。代替的な実施形態では、本発明のシステムは、1つ以上のインターネット/クラウドサーバを含む。
図3は、壁81まで第1の距離71である図1及び2の照明デバイス15の一例を示している。照明デバイス15は、図1のディスプレイ23の背面に取り付けられている。図4は、壁81まで第2の距離72である照明デバイス15の一例を示している。図5は、壁81まで第3の距離73である照明デバイス15の一例を示している。第1の距離71は、第2の距離72よりも短い。第2の距離72は、第3の距離73よりも短い。
図6は、図1のシステムが使用される空間の一例を示している。住宅のフロア91は、玄関ホール93、キッチン94及びリビングルーム95を含む。照明デバイス13~15は、リビングルーム65に設置されている。垂直に配置された照明デバイス13及び14は、例えば、テレビであってもよい、ディスプレイ23の左側及び右側にそれぞれ置かれている。水平に配置された照明デバイス15は、ディスプレイ23の背面に取り付けられている。
無線LANアクセスポイント21は、玄関ホール93に設置されている。HDMIモジュール1は、リビングルーム65においてディスプレイ23の隣に設置されている。ブリッジ19は、リビングルーム65において、無線LANアクセスポイント21の近傍に設置されている。人99がテレビを視聴している。照明デバイス15は、図4に示されるように、壁まで第2の距離72にある。照明デバイス13は、ディスプレイ23まで距離76にある。照明デバイス14は、ディスプレイ23まで距離77にある。
ディスプレイが画像コンテンツを表示する一方、画像コンテンツの分析領域における画像コンテンツの分析に基づいて光源を制御する方法の第1の実施形態が図7に示されている。ステップ201は、ビデオフレームを得ることを含む。
ステップ202は、照明デバイスに関する照明デバイス情報を得ることを含む。例えば、照明デバイス情報は、照明デバイスごとに、水平に配置された照明デバイスの幅又は垂直に配置された照明デバイスの高さ及び光源/ピクセルのサイズを含んでもよい。
ある照明デバイスに関する照明デバイス情報は、例えば、ユーザがこの照明デバイスを自身の照明システムに追加する場合に得られてもよい。例えば、新しい照明デバイスが追加される場合、HDMIモジュール、モバイルデバイス又はブリッジは、照明デバイスから照明デバイス情報をダウンロードし、記憶してもよい。この情報がブリッジに記憶される場合、HDMIモジュール又はモバイルデバイスは、後でブリッジからこの情報を得ることができてもよい。
よりシンプルな実施形態では、ステップ202は省略されてもよい。より高度な実施形態では、照明デバイス情報は、照明デバイスに関するさらなる情報、例えば、ピクセル密度(例えば、1メートル当たりの光ピクセルの数)、ピクセル間隔(例えば、2つの個々のピクセルの中心間の距離)を含んでもよく、及び/又は、ピクセルの光学特性(例えば、ピクセル化光源のビーム幅及びビーム角)を示してもよい。
ステップ203は、照明デバイスの各光源、すなわち、各ピクセルと表面、例えば、壁との間の距離を得ることを含む。典型的には、1つ以上のデバイス距離が、センサから又はユーザデバイスから得られる。照明デバイスの各光源と表面との間の距離は、同じであってもよい。代替的に、光源ごとに異なる距離が、得られた1つ以上のデバイス距離に基づいて決定されてもよい。
ピクセル化光源と照らされるべきエリア、すなわち、表面との間の距離は、様々なやり方で決定されることができる。シンプルな実施形態では、ユーザが、例えばスマートフォンのUIを介して、距離に関する入力を提供する。これは、例えば、どのようにテレビが設置されるか(壁取付けか、スタンディングか)に関するアイコンを選択することにより、数値又は近似値の入力であることができる。より高度な実施形態では、光源と照らされるべきエリア、すなわち、表面との間の距離は、外部センサを介して、例えば、照明デバイスに組み込まれる又は取り付けられる1つ以上のセンサ(例えば、飛行時間センサ)を使用することにより、又はスマートフォンカメラによって撮影されるテレビセットアップからの(奥行き(depth))画像を分析することにより、自動的に決定される。
ステップ205は、各光源について、距離に基づいて光源に関連する分析領域のサイズ及び/又はロケーションを決定することを含む。距離が第1の値を有する場合、第1のサイズ及び第1のロケーションを有する第1の分析領域が第1の光源についてステップ205で決定され、距離が第2の値を有する場合、第2のサイズ及び第2のロケーションを有する第2の分析領域が、この第1の光源についてステップ205で決定される。
第1の分析領域は、第2の分析領域よりも、隣接する分析領域とのより大きな重なりを有し、第1の値は、第2の値よりも小さい。第2のサイズは、第1のサイズと異なる、及び/又は、第2のロケーションは、第1のロケーションと異なる。隣接する分析領域の少なくとも1つのロケーションを変更するだけで、より大きな重なりを作り出すことは可能であり得るが、より大きな分析領域を(も)使用することにより、これを達成することがより容易であり得る。
図7の実施形態において、式C=p+b/(0.1*d+1)が、dがある閾値Tよりも小さい場合にピクセルに対する分析領域のサイズをセンチメートルで計算するために使用される。ここで、Cは、センチメートルにおける分析領域のサイズであり、bは、ブレンディング係数であり、dは、センチメートルにおける(推定又は測定された)距離数値であり、pは、センチメートルにおけるピクセルのサイズである。dが閾値T以上である場合、最小の分析領域サイズが使用される。
ピクセルは、複数の光要素、例えば、複数のLEDを含んでもよい。6センチメートルのピクセルは、例えば、照明デバイス(例えば、ライトストリップ)の各センチメートルに1つずつ配置される、6個のLEDパッケージを含んでもよい。6個のLEDはすべて、1つの色に制御される。6個のLEDは、例えば、3個のRGB LED及び3個の白色LEDを含んでもよい。
例えば、6のブレンディング係数、6cmのピクセル幅及び壁までの距離が50cmである水平に配置されたピクセルの場合、色分析領域の幅は、以下のように計算されてもよい。
6+6/(0.1*50+1)=7cm
テレビが壁際(0cm)に置かれる場合、色分析領域の幅は12cmになる。これは、両隣接するピクセルの50%を取ることを意味する。壁から10cmに置く場合、色分析領域は9cmの幅になる(両隣接するピクセルの25%を取る)。この例では、閾値Tは50cmよりも大きい。閾値Tが50cmよりも小さく、壁までの距離が50cmである場合、色分析領域の幅は6cmと決定されることになる。
6+6/(0.1*50+1)=7cm
テレビが壁際(0cm)に置かれる場合、色分析領域の幅は12cmになる。これは、両隣接するピクセルの50%を取ることを意味する。壁から10cmに置く場合、色分析領域は9cmの幅になる(両隣接するピクセルの25%を取る)。この例では、閾値Tは50cmよりも大きい。閾値Tが50cmよりも小さく、壁までの距離が50cmである場合、色分析領域の幅は6cmと決定されることになる。
縦に配置されたピクセルの場合、色分析領域の高さは、水平に配置されたピクセルの場合の色分析領域の幅に関して上述したように決定されてもよい。
ピクセルの色分析領域サイズは、水平方向に配置された照明デバイスの幅(センチメートル)で除算されるビデオコンテンツの水平方向のピクセルの量との色分析領域サイズの幅(センチメートル)の乗算により、又は、垂直方向に配置される照明デバイスの高さ(センチメートル)で除算されるビデオコンテンツの垂直方向のピクセルの量との色分析領域サイズの高さ(センチメートル)の乗算により決定されてもよい。
水平に配置されたピクセルの場合、色分析領域の高さは、壁までの距離とは無関係に決定されてもよく、例えば、固定値であってもよく、又は、例えば、色分析領域の幅に基づいて決定されてもよい。垂直に配置されたピクセルの場合、色分析領域の幅は、壁までの距離とは無関係に決定されてもよく、例えば、固定値であってもよく、又は、例えば、色分析領域の高さに基づいて決定されてもよい。
水平及び垂直に配置されたピクセルは、ディスプレイデバイスに取り付けられるライトストリップの一部であってもよく、又は、ディスプレイデバイスから少し離れて位置する照明デバイス、例えば、壁の近くに置かれ、エンターテインメント体験に加わるHue Signe等の床置き照明器具の一部であってもよい。
この実施形態の変形例では、さらに、ピクセル(光源)サイズとディスプレイサイズとの比がパラメータとして用いられる。例えば、上述した式が、Cがp(ピクセルのサイズ)、d(表面までの距離)及びr(ディスプレイサイズとピクセルサイズとの比)の関数であるように変更されてもよい。第1の実装態様では、ディスプレイのサイズに対するピクセルのサイズが大きいほど、重なり率は小さくなる。例えば、壁までの距離が5cmの場合、55インチディスプレイ(55インチは対角寸法である)のテレビでは、隣接する分析領域間の重なりは、6.25cmピクセルの場合40%、12.5cmピクセルの場合20%であってもよく、75インチディスプレイのテレビでは、隣接する分析領域間の重なりは、6.25cmピクセルの場合50%、12.5cmピクセルの場合25%であってもよい。ディスプレイサイズを示す情報は、例えば、ステップ202において、又は、ステップ202の前、後、又は(部分的に)並行して実行される別個のステップにおいて得られてもよい。
よりシンプルな実施形態では、色分析領域サイズの決定は、単純な二値決定であってもよい。(光源が取り付けられた又は組み込まれた)TVがスタンドに取り付けられる場合、色分析領域は、ピクセルに一対一にマッピングされる。ゆえに、ピクセルが6cmの幅である場合、色分析領域は、対応する幅を有する。テレビが壁際に取り付けられる場合、色分析領域は拡大され、両隣接するピクセルの色分析領域の50%を取る。
少しシンプルではない実施形態では、表面までの距離の複数の範囲について重なり率が与えられる、マッピングテーブルが使用されてもよい。例えば、0~5cmの距離は50%の重なり率にマッピングされてもよく、5~10cmの距離は25%の重なり率にマッピングされてもよい、等々であってもよい。この場合、分析領域のサイズは、ピクセルのサイズ及び決定された重なり率に基づいて決定されてもよい。
より高度な実施形態では、より複雑な関数が使用される。さらに、ブレンド係数bは可変であってもよく、例えばコンテンツのタイプに基づいて、ユーザによって又はシステムによって選択されてもよい。
ステップ206は、分析領域がまだ決定されていないビデオコンテンツの分析に基づいて制御されるべきさらなる照明デバイスがあるかどうかをチェックすることを含む。そうである場合、ステップ203及び205が、このさらなる照明デバイスについて繰り返される。そうでない場合、ステップ207が実行される。ステップ201は、例えば、ステップ202~206のうちの1つ以上の少なくとも一部と並行して、ステップ202が実行される前に、又はステップ206と207との間に実行されてもよい。
ステップ207は、光源の1つに関連する分析領域においてビデオコンテンツ、典型的には、ビデオコンテンツのビデオフレームを分析することによりビデオコンテンツの特性を決定することを含む。図7の実施形態では、色が、分析領域におけるビデオコンテンツから抽出される。この領域における平均色又は三原色を取る等、様々な色抽出方法が使用されることができる。また、色抽出方法は、分析領域の全体的及び絶対的なサイズの大きさ(amount)に依存して変更されてもよい。例えば、重なりのないより小さな領域の場合、平均を取ることが最良に機能し得(ステーブルであるが飽和しない方法)、一方、より大きな重なりのある領域の場合、(あまりステーブルでないがより飽和した色をもたらす)トリムミーン(trimean)方法が最良に機能し得る。
所望であれば、ステップ203で決定される色分析領域のサイズ及び/又はロケーションは、ステップ207において、例えば、色及び/若しくは輝度コントラスト並びに/又はコンテンツ内のエッジの数に基づいて調整されてもよい。例えば、ビデオフレームが光ピクセルとアラインされる高コントラスト要素を含む場合、壁までの距離が短い場合であっても、分析領域は縮小されてもよい。同様に、コンテンツが既に非常に滑らかである場合、重なる領域は有益ではなく、光効果の不飽和(desaturation)をもたらすだけであろう。この分析はピクセルごとに行われることができ、これにより、重なりが、あるピクセルでは減らされ、他のピクセルでは増やされることを可能にする。しかしながら、これは、通常、ビデオフレームごとに行われる必要があるため、システムがコンテンツを十分に高速に分析することができる場合にのみ可能であろう。
ステップ209は、特性に基づいてこの光源でレンダリングされるべき光効果を決定することを含む。色がステップ207で抽出される場合、この色が、光源でレンダリングされるべき光効果のための色として使用されてもよい。
ステップ210は、分析領域に関連付けられ、光効果がまだ決定されていないさらなる光源があるかどうかをチェックすることを含む。そうである場合、ステップ207及び209が、このさらなる光源について繰り返される。そうでない場合、ステップ211が実行される。ステップ211は、光効果の1つを指定する光制御コマンドを、対応する光源に、直接又は光源を含む照明デバイスに送信することにより、ステップ209で決定される光効果をレンダリングするために光源を制御することを含む。
ステップ212は、ビデオコンテンツの終わりに到達したかどうかをチェックすることを含む。そうでない場合、ステップ207~211が、ビデオコンテンツの次の部分、例えば、次のフレームについて繰り返される。
図8は、例えば、図1のディスプレイ23でレンダリングされる、ビデオコンテンツのビデオフレーム101の一例を示している。図9は、ビデオフレーム101から特性を抽出するために使用され得る分析領域111~121の例を示している。この例では、スクリーンの複数の領域が異なる照明デバイスにマッピングされ、各分析領域が別個に分析され、例えば、平均色が各分析領域から抽出される。例えば、分析領域111~114は図1の照明デバイス13のピクセル41~44にマッピングされてもよく、分析領域114~118は図1の照明デバイス15のピクセル61~65にマッピングされてもよく、分析領域118~121は図1の照明デバイス14のピクセル46~49にマッピングされてもよい。
図10は、ビデオフレーム101から特性を抽出するために使用され得る分析領域のさらなる例を示している。この例では、分析領域131~134は図1の照明デバイス13のピクセル41~44にマッピングされてもよく、分析領域134~138は図1の照明デバイス15のピクセル61~65にマッピングされてもよく、分析領域138~141は図1の照明デバイス14のピクセル46~49にマッピングされてもよい。
図10の分析領域131~141は、図9の分析領域111~121よりも大きく、その結果、図10では隣接する分析領域間に重なりがあるが、図9では隣接する分析領域間にこのような重なりがない。このような重なりは、ピクセル化照明デバイスのピクセルと表面、例えば、壁との間の距離が比較的小さい場合に有益である。
図9及び10の例では、各分析領域は同じサイズを有する。しかしながら、図11に示されるように、異なるサイズの分析領域を使用することも可能である。ビデオフレームの左側の分析領域151~154のうち、分析領域151が最大であり、分析領域154が最小である。
また、図11は、隣接する分析領域間の重なりを増やすことなく分析領域のサイズを増やすことが可能であることを示している。例えば、ピクセル化照明デバイスが表面から十分に離れていて、隣接する分析領域間の重なりが必要とされない場合、分析領域のサイズは、光源が位置するスクリーンのサイドに近い色だけにフォーカスするのではなく、より雰囲気(ambiance)に向けて光効果をフォーカスするために依然として増加されてもよい。ゆえに、重なりを変えることなく、分析領域のサイズは、隣接する分析領域に影響を与えることなくビデオフレームのより大きな部分を占めるように変えられる。
図11の例では、照明デバイスのピクセル/光源は、表面に対して異なる距離を有する。例えば、ピクセル化ライトデバイスは、壁に対して傾いていてもよく、すなわち、壁に対してある角度を有してもよく、湾曲したディスプレイの背面に取り付けられてもよく、又は2つの壁の隅においてディスプレイの背後に置かれてもよい。図11の例では、分析領域151に関連する光源は、表面から最も遠く、分析領域154に関連する光源は、表面に最も近い。光源が壁から遠いほど、光源は(壁に対して)大きな効果を生む。ゆえに、場合によっては、壁までの距離が大きくても、壁に対する大きな効果が、サイドのビデオフレームの小さな部分のみを反映するのではなく、ビデオフレームのより大きな部分を反映するように、ビデオフレームのより大きな部分を分析することが有益であり得る。
図10の例では、隣接する分析領域の各ペアは、同じ重なりを有する。しかしながら、図12に示されるように、隣接する分析領域の異なるペアについて異なる重なりを使用することも可能である。ビデオフレームの左側の分析領域161~164のうち、隣接する分析領域163及び164が最も大きな重なりを有し、隣接する分析領域161及び162が最も小さな重なりを有する。これは、例えば、照明デバイスのピクセル/光源が表面に対して異なる距離を有する場合、有益であり得る。
各光源について表面までの距離を個別に決定することにより、隣接する分析領域の異なるペアに対して異なる重なりを使用することが可能になる。図12の例では、分析領域161に関連する光源は、表面から最も遠く、分析領域164に関連する光源は、表面に最も近い。図12の例では、すべての分析領域は同じサイズであるが、互いに異なるように上下に積み重なり、壁から遠い隣接ピクセル間の重なり面積は相対的に小さく、壁に近い隣接ピクセル間の重なり面積は相対的に大きい。斯くして、分析領域のサイズではなく、位置だけが、表面までの距離に依存する。
また、図12は、すべての分析領域間の総重なり(total overlap)を変えることなく2つの隣接する分析エリア間の重なりを変えることが可能であることを示している。壁に対するピクセル化照明デバイスの角度が増加され、それゆえ、分析領域164に関連する光源間の距離が増加される場合、隣接する分析エリア163及び164間の重なりは減少されてもよく、隣接する分析エリア161及び162間の重なりは増加されてもよく、これにより総重なりを同一に保ってもよい。
図12の例では、隣接する分析エリア161及び162間にまだ小さな重なりがある。しかしながら、表面から最も遠い光源に関連する、分析エリア161について、隣接する分析エリア162とまったく重ならないことも可能である。さらに、隣接するエリア163及び164間の重なりは、図12に示されるよりもさらに大きくてもよい。
図9乃至12の例では、すべての分析領域は、矩形の形状を有する。また、分析領域171~174に関して図13に示されるように、1つの異なる形状又は複数の異なる形状を使用することも可能である。
ディスプレイが画像コンテンツを表示する一方、画像コンテンツの分析領域における画像コンテンツの分析に基づいて光源を制御する方法の第2の実施形態の一部が図14に示されている。この第2の実施形態では、図7のステップ203は、サブステップ231~237によって実施される。ステップ203の後、図7に示されるように、ステップ205~212が実行される。
ステップ231は、照明デバイスと表面との間の1つ以上のデバイス距離を得ることを含む。典型的には、これら1つ以上のデバイス距離は、センサから又はユーザデバイス、例えば、ユーザ入力デバイスから得られる。垂直に配置された照明デバイスの一端が壁に対して傾く必要があり、デバイス距離が他端について得られる場合、ゼロの第2のデバイス距離が自動的に得られてもよい。
次に、ステップ232は、ステップ231で1つのデバイス距離が得られたかどうか、又は、ステップ231で複数のデバイス距離が得られたかどうかをチェックすることを含む。ステップ232において、ステップ231で単一のデバイス距離が得られたと判断される場合、次にステップ233が実行される。ステップ233は、ステップ232で決定される単一のデバイス距離に基づいてさらなる光源と表面との間の距離を決定することを含む。典型的には、さらなる光源と表面との間の距離は、単一のデバイス距離と等しい。ステップ205が、ステップ233の後に実行される。
ステップ232において、ステップ231で複数のデバイス距離が得られたと判断される場合、次にステップ235が実行される。ステップ235は、ステップ231で決定される複数のデバイス距離の平均を計算することを含む。2つのデバイス距離、例えば、照明デバイスの両端のデバイス距離がステップ231で決定された場合、単一つの平均がステップ235で計算される。3つ以上のデバイス距離がステップ231で決定された場合、複数の平均がステップ235で計算されてもよい。次に、ステップ237は、ステップ235で計算される(複数の)平均に基づいてさらなる光源と表面との間の距離を決定することを含む。単一の平均がステップ235で計算された場合、さらなる光源と表面との間の距離は、典型的には、この単一の平均に等しい。ステップ205が、ステップ237の後に実行される。
ディスプレイが画像コンテンツを表示する一方、画像コンテンツの分析領域における画像コンテンツの分析に基づいて光源を制御する方法の第3の実施形態の一部が図15に示されている。図14の第2の実施形態と比較して、ステップ235及び237がステップ251及び253に置き換えられ、ステップ255及び257がステップ205の前に追加され、ステップ205がステップ259によって実施される。
ステップ251は、照明デバイス上の光源の位置を決定することを含む。ステップ253は、ステップ251で決定される光源の位置及びステップ231で決定されるデバイス距離の少なくとも2つに基づいて各光源と表面との間の距離を決定することを含む。デバイス距離は、照明デバイス上の基準点、例えば、照明デバイスのエッジを基準として示される。光源の位置が2つの基準点の間にある場合、この光源と表面との間の距離は、これらの基準点に対応する2つのデバイス距離及び光源の位置とこれらの基準点との間の距離に基づいて決定される。
ステップ255は、ステップ203で決定される距離に基づいて隣接する光源によって表面に投射される光間の光重なり量を推定することを含む。得られた照明デバイス情報(図7のステップ202参照)が、重なり量(amount of overlap)を推定するために使用されてもよい。例えば、ビーム幅、ビーム角、及び壁までの距離が、壁に投射される異なるピクセルのイルミネーション領域間の光重なり量をより正確に計算するために使用されてもよい。ビーム幅及びビーム角は、通常、光学的混合に影響を及ぼす。例えば、より広いビームを使用する場合及び/又はビーム角がより鋭い場合(表面までのより長い距離に起因して)、より多くの光学的混合が生じる。
ステップ257は、推定された光重なり量に基づいて隣接する光源の隣接する分析領域間の所望の領域重なり量を決定することを含む。より多くの光学的混合が生じる場合、所望の領域重なり量はより低くてもよい。ステップ259は、所望の領域重なり量に基づいて分析領域のサイズ及び/又はロケーションを決定することを含む。ステップ206が、ステップ259の後に実行される。
ディスプレイが画像コンテンツを表示する一方、画像コンテンツの分析領域における画像コンテンツの分析に基づいて光源を制御する方法の第4の実施形態が図16に示されている。この第4の実施形態では、追加のステップ271、273及び/又は275がステップ205の前に任意選択的に実行され、ステップ205はステップ277によって実施される。
ステップ271は、照明デバイスの(複数の)光源のサイズを決定することを含む。ステップ273は、照明デバイスのサイズを決定することを含む。ステップ275は、(複数の)光源とディスプレイとの間の距離を決定することを含む。ステップ277は、ステップ203で決定される距離に基づいて、並びに、ステップ271で決定される照明デバイスの(複数の)光源のサイズ、ステップ273で決定される照明デバイスのサイズ、及び/又は(複数の)光源とディスプレイとの間の距離に任意選択的に基づいて分析領域のサイズ及び/又はロケーションを決定することを含む。ステップ206が、ステップ277の後に実行される。
図7及び図14~16の実施形態は、複数の態様において互いに異っている、すなわち、複数のステップが追加又は置換されている。これらの実施形態に対する変形例では、これらのステップのサブセットのみが追加又は置換される、及び/又は、1つ以上のステップが省略される。例えば、ステップ271、273及び275のうちの1つ以上が図14及び/又は図15の実施形態に追加されてもよく、図15のステップ255、257、259が図14の実施形態に追加されてもよく、及び/又は図15の実施形態から省略されてもよい。
図17は、図7及び図14~16を参照して述べられたような方法を実行し得る、例示的なデータ処理システムを示すブロック図を示している。
図17に示されるように、データ処理システム300は、システムバス306を介してメモリ要素304に結合される、少なくとも1つのプロセッサ302を含んでもよい。それゆえ、データ処理システムは、メモリ要素304内にプログラムコードを記憶してもよい。さらに、プロセッサ302は、システムバス306を介してメモリ要素304からアクセスされるプログラムコードを実行してもよい。一態様では、データ処理システムは、プログラムコードを記憶及び/又は実行するために好適なコンピュータとして実装されてもよい。しかしながら、データ処理システム300は、本明細書内で述べられる機能を実行することが可能な、プロセッサ及びメモリを含む任意のシステムの形態で実装されてもよい点を理解されたい。
メモリ要素304は、例えば、ローカルメモリ308及び1つ以上の大容量記憶デバイス310等の、1つ以上の物理メモリデバイスを含んでもよい。ローカルメモリとは、プログラムコードの実際の実行中に一般に使用される、ランダムアクセスメモリ又は他の非永続的メモリデバイスを指してもよい。大容量記憶デバイスは、ハードドライブ又は他の永続的データ記憶デバイスとして実装されてもよい。処理システム300はまた、実行中に大容量記憶デバイス310からプログラムコードが取得されなければならない回数を低減するために、少なくとも一部のプログラムコードの一時記憶を提供する、1つ以上のキャッシュメモリ(図示せず)を含んでもよい。また、処理システム300は、例えば、処理システム300がクラウドコンピューティングプラットフォームの一部である場合、別の処理システムのメモリ要素を使用することができてもよい。
入力デバイス312及び出力デバイス314として示される、入出力(I/O:input/output)デバイスが、オプションとして、データ処理システムに結合されることができる。入力デバイスの例としては、限定するものではないが、キーボード、マウス等のポインティングデバイス、(例えば、ボイス及び/又はスピーチ認識のための)マイク等を挙げることができる。出力デバイスの例としては、限定するものではないが、モニタ又はディスプレイ、スピーカ等を挙げることができる。入力デバイス及び/又は出力デバイスは、直接、又は介在I/Oコントローラを介して、データ処理システムに結合されてもよい。
一実施形態では、入力デバイス及び出力デバイスは、複合型入力/出力デバイス(入力デバイス312及び出力デバイス314を取り囲む破線で図17に示されるもの)として実装されてもよい。そのような複合型デバイスの一例は、「タッチスクリーンディスプレイ」又は単に「タッチスクリーン」と称される場合もある、タッチセンシティブディスプレイである。そのような実施形態では、デバイスへの入力は、タッチスクリーンディスプレイ上、又はタッチスクリーンディスプレイの近くでの、例えばスタイラス又はユーザの指等の、物理的実体の移動によって提供されてもよい。
ネットワークアダプタ316もまた、データ処理システムに結合されて、介在する私設ネットワーク又は公衆ネットワークを介して、そのデータ処理システムが、他のシステム、コンピュータシステム、リモートネットワークデバイス、及び/又はリモート記憶デバイスに結合されることを可能にしてもよい。ネットワークアダプタは、上述のシステム、デバイス、及び/又はネットワークによってデータ処理システム300に送信されるデータを受信するための、データレシーバと、データ処理システム300から上述のシステム、デバイス、及び/又はネットワークにデータを送信するための、データトランスミッタとを含んでもよい。モデム、ケーブルモデム、及びEthernet(登録商標)カードは、データ処理システム300と共に使用されてもよい、種々のタイプのネットワークアダプタの例である。
図17に示されるように、メモリ要素304は、アプリケーション318を記憶してもよい。様々な実施形態では、アプリケーション318は、ローカルメモリ308、1つ以上の大容量記憶デバイス310内に記憶されてもよく、あるいは、それらローカルメモリ及び大容量記憶デバイスとは別個であってもよい。データ処理システム300はさらに、アプリケーション318の実行を容易にすることが可能なオペレーティングシステム(図17には示さず)を実行してもよい点を理解されたい。アプリケーション318は、実行可能プログラムコードの形態で実装されており、データ処理システム300によって、例えばプロセッサ302によって、実行されることができる。アプリケーションの実行に応答して、データ処理システム300は、本明細書で述べられる1つ以上の動作又は方法ステップを実行するように構成されてもよい。
本発明の様々な実施形態は、コンピュータシステムと共に使用するためのプログラムプロダクトとして実装されてもよく、このプログラムプロダクトのプログラムは、(本明細書で説明される方法を含めた)実施形態の機能を定義する。一実施形態では、このプログラムは、様々な非一時的コンピュータ可読記憶媒体上に含まれることができ、本明細書で使用されるとき、「非一時的コンピュータ可読記憶媒体」という表現は、全てのコンピュータ可読媒体を含むが、唯一の例外は一時的な伝搬信号である。別の実施形態では、このプログラムは、様々な一時的コンピュータ可読記憶媒体上に含まれることができる。例示的なコンピュータ可読記憶媒体としては、限定するものではないが、(i)情報が永続的に記憶される、書き込み不可記憶媒体(例えば、CD-ROMドライブによって読み取り可能なCD-ROMディスク、ROMチップ、又は任意のタイプの不揮発性固体半導体メモリ等の、コンピュータ内部の読み出し専用メモリデバイス)、及び(ii)変更可能な情報が記憶される、書き込み可能記憶媒体(例えば、フラッシュメモリ、ディスケットドライブ若しくはハードディスクドライブ内部のフロッピーディスク、又は任意のタイプのランダムアクセス固体半導体メモリ)が挙げられる。コンピュータプログラムは、本明細書で述べられるプロセッサ302上で実行されてもよい。
本明細書で使用される用語法は、特定の実施形態を説明することのみを目的とするものであり、本発明を限定することを意図するものではない。本明細書で使用されるとき、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形も含むことが意図される。本明細書で使用されるとき、用語「含む」及び/又は「含んでいる」は、記述された特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するものであるが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらの群の存在若しくは追加を排除するものではない点が、さらに理解されるであろう。
以下の請求項における全てのミーンズプラスファンクション又はステッププラスファンクションの要素の、対応する構造、材料、行為、及び均等物は、具体的に特許請求される他の特許請求要素と組み合わせて機能を実行するための、任意の構造、材料、又は行為を含むことが意図される。本発明の実施形態の説明は、例示を目的として提示されてきたが、網羅的であるか、又は開示された形態の実装形態に限定されることを意図するものではない。本発明の範囲及び趣旨から逸脱することなく、多くの修正形態及び変形形態が当業者には明らかとなるであろう。実施形態は、本発明の原理及び一部の実際的応用を最良に説明し、想到される特定の用途に適するような様々な修正を有する様々な実施形態に関して、他の当業者が本発明を理解することを可能にするために、選択及び説明されるものとした。
Claims (15)
- ディスプレイが画像コンテンツを表示する一方、前記画像コンテンツの分析領域における前記画像コンテンツの分析に基づいて光源を制御するためのシステムであって、当該システムは、
少なくとも1つの入力インターフェースと、
少なくとも1つの出力インターフェースと、
前記少なくとも1つの入力インターフェースを介して前記画像コンテンツを得る、
前記光源と表面との間の距離を得る、
前記距離に基づいて前記分析領域のサイズ及び/又はロケーションを決定する、
前記分析領域において前記画像コンテンツを分析することにより前記画像コンテンツの特性を決定する、
前記特性に基づいて光効果を決定する、及び
前記少なくとも1つの出力インターフェースを介して、前記表面に前記光効果をレンダリングするために前記光源を制御する、
ように構成される少なくとも1つのプロセッサと、
を含む、システム。 - 前記少なくとも1つのプロセッサは、前記距離が第1の値を有する場合、第1のサイズ及び第1のロケーションを有する第1の分析領域を決定し、前記距離が第2の値を有する場合、第2のサイズ及び第2のロケーションを有する第2の分析領域を決定するように構成され、前記第2のサイズは前記第1のサイズと異なり及び/又前記第2のロケーションは前記第1のロケーションと異なり、前記第1の分析領域は、前記第2の分析領域よりも、隣接する分析領域とのより大きな重なりを有し、前記第1の値は、前記第2の値よりも小さい、請求項1に記載のシステム。
- 前記第1のサイズは、前記第2のサイズよりも大きい、請求項2に記載のシステム。
- 前記距離は、センサから又はユーザデバイスから得られる、請求項1乃至3のいずれか一項に記載のシステム。
- 前記光源は、照明デバイスに含まれ、前記照明デバイスは、さらなる光源を含み、前記距離は、前記さらなる光源と前記表面との間の距離も表し、前記少なくとも1つのプロセッサは、
前記距離に基づいて前記画像コンテンツのさらなる分析領域のさらなるサイズ及び/又はさらなるロケーションを決定する、
前記さらなる分析領域において前記画像コンテンツを分析することにより前記画像コンテンツのさらなる特性を決定する、
前記さらなる特性に基づいてさらなる光効果を決定する、及び
前記表面に前記さらなる光効果をレンダリングするために前記さらなる光源を制御する、
ように構成される、請求項1乃至4のいずれか一項に記載のシステム。 - 前記少なくとも1つのプロセッサは、
前記照明デバイスと前記表面との間のデバイス距離を得る、
前記照明デバイスと前記表面との間のさらなるデバイス距離を得る、及び
前記デバイス距離及び前記さらなるデバイス距離の平均を計算することにより前記距離を決定する、
ように構成される、請求項5に記載のシステム。 - 前記光源は、照明デバイスに含まれ、前記照明デバイスは、さらなる光源を含み、前記少なくとも1つのプロセッサは、
前記さらなる光源と前記表面との間のさらなる距離を得る、
前記さらなる距離に基づいて前記画像コンテンツのさらなる分析領域のさらなるサイズ及び/又はさらなるロケーションを決定する、
前記さらなる分析領域において前記画像コンテンツを分析することにより前記画像コンテンツのさらなる特性を決定する、
前記さらなる特性に基づいてさらなる光効果を決定する、及び
前記表面に前記さらなる光効果をレンダリングするために前記さらなる光源を制御する、
ように構成される、請求項1乃至4のいずれか一項に記載のシステム。 - 前記決定された光効果は、色及び/若しくは強度を含み、並びに/又は、決定されたさらなる光効果は、色及び/若しくは強度を含む、請求項1乃至7のいずれか一項に記載のシステム。
- 前記少なくとも1つのプロセッサは、
前記距離に基づいて前記光源によって前記表面に投射される光と前記さらなる光源によって前記表面に投射される光との間の光重なり量を推定する、
前記推定された光重なり量に基づいて前記分析領域と前記さらなる分析領域との間の所望の領域重なり量を決定する、及び
前記所望の領域重なり量に基づいて前記分析領域の前記サイズ及び/又はロケーション並びに前記さらなる分析領域の前記サイズ及び/又はロケーションを決定する、
ように構成される、請求項5乃至8のいずれか一項に記載のシステム。 - 前記少なくとも1つのプロセッサは、前記光源のサイズ、前記ディスプレイのサイズ、及び/又は前記光源を含む照明デバイスのサイズにさらに基づいて前記分析領域の前記サイズ及び/又はロケーションを決定するように構成される、請求項1乃至9のいずれか一項に記載のシステム。
- 前記少なくとも1つのプロセッサは、前記光源と前記ディスプレイとの間の距離にさらに基づいて前記分析領域の前記サイズ及び/又はロケーションを決定するように構成される、請求項1乃至10のいずれか一項に記載のシステム。
- 前記光源は、複数の光要素を含み、前記複数の光要素は、異なる光効果をレンダリングすることができない、請求項1乃至11のいずれか一項に記載のシステム。
- 前記センサは、飛行時間センサである、請求項4に記載のシステム。
- ディスプレイが画像コンテンツを表示する一方、前記画像コンテンツの分析領域における前記画像コンテンツの分析に基づいて光源を制御する方法であって、当該方法は、
前記画像コンテンツを得ることと、
前記光源と表面との間の距離を得ることと、
前記距離に基づいて前記分析領域のサイズ及び/又はロケーションを決定することと、
前記分析領域において前記画像コンテンツを分析することにより前記画像コンテンツの特性を決定することと、
前記特性に基づいて光効果を決定することと、
前記表面に前記光効果をレンダリングするために前記光源を制御することと、
を含む、方法。 - 少なくとも1つのソフトウェアコード部分を含むコンピュータプログラム若しくはコンピュータプログラム一式又は前記コンピュータプログラム若しくはコンピュータプログラム一式を記憶したコンピュータ可読記憶媒体であって、前記ソフトウェアコード部分は、少なくとも1つのプロセッサを含むシステム上で実行されると、請求項14に記載の方法を実行するように構成される、コンピュータプログラム若しくはコンピュータプログラム一式又はコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20176239 | 2020-05-25 | ||
EP20176239.0 | 2020-05-25 | ||
PCT/EP2021/063419 WO2021239560A1 (en) | 2020-05-25 | 2021-05-20 | Determining an image analysis region for entertainment lighting based on a distance metric |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023529073A true JP2023529073A (ja) | 2023-07-07 |
JPWO2021239560A5 JPWO2021239560A5 (ja) | 2024-05-23 |
Family
ID=70804570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022572467A Pending JP2023529073A (ja) | 2020-05-25 | 2021-05-20 | 距離メトリックに基づくエンターテイメント照明のための画像分析領域の決定 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230360352A1 (ja) |
EP (1) | EP4159006A1 (ja) |
JP (1) | JP2023529073A (ja) |
CN (1) | CN115553066A (ja) |
WO (1) | WO2021239560A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024088953A1 (en) | 2022-10-24 | 2024-05-02 | Signify Holding B.V. | Detecting black bars in video content |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2444153C2 (ru) | 2006-12-07 | 2012-02-27 | Конинклейке Филипс Электроникс Н.В. | Система внешней подсветки для устройства отображения |
JP2010512677A (ja) * | 2006-12-11 | 2010-04-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 変化する照明を備えたビジュアルディスプレイシステム |
JP2012510701A (ja) * | 2008-11-28 | 2012-05-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | アンビエント照明に3次元感覚を付与するための表示システム、制御ユニット、方法及びコンピュータプログラム |
US10154561B2 (en) * | 2015-11-11 | 2018-12-11 | Philips Lighting Holding B.V. | Image based lighting control |
CN112913330B (zh) | 2018-11-01 | 2024-04-02 | 昕诺飞控股有限公司 | 选择一种从视频内容中提取颜色以产生光效果的方法 |
-
2021
- 2021-05-20 WO PCT/EP2021/063419 patent/WO2021239560A1/en unknown
- 2021-05-20 EP EP21726132.0A patent/EP4159006A1/en active Pending
- 2021-05-20 CN CN202180037989.1A patent/CN115553066A/zh active Pending
- 2021-05-20 JP JP2022572467A patent/JP2023529073A/ja active Pending
- 2021-05-20 US US17/924,368 patent/US20230360352A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230360352A1 (en) | 2023-11-09 |
WO2021239560A1 (en) | 2021-12-02 |
EP4159006A1 (en) | 2023-04-05 |
CN115553066A (zh) | 2022-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10645506B2 (en) | Electronic device and music visualization method thereof | |
JP6909554B2 (ja) | 視覚効果を有するオブジェクトを表示する装置及び方法 | |
US10818081B2 (en) | Dynamic lighting for objects in images | |
US12062220B2 (en) | Selecting a method for extracting a color for a light effect from video content | |
JP7312928B2 (ja) | 相対距離情報に基づくエンターテイメント照明をレンダリングするための照明デバイスの選択 | |
CN107743637B (zh) | 用于处理外围图像的方法和设备 | |
US11510300B2 (en) | Determinning light effects based on video and audio information in dependence on video and audio weights | |
JP2023529073A (ja) | 距離メトリックに基づくエンターテイメント照明のための画像分析領域の決定 | |
JP7194864B2 (ja) | ダイナミック性レベルの比較に基づく画像解析領域の選択 | |
US20190124317A1 (en) | Volumetric video color assignment | |
US11487413B2 (en) | Mobile device and control method for mobile device | |
EP4274387A1 (en) | Selecting entertainment lighting devices based on dynamicity of video content | |
WO2024022846A1 (en) | Selecting lighting devices based on an indicated light effect and distances between available lighting devices | |
WO2024153528A1 (en) | Selecting, generating and/or altering an image based on light positions and settings | |
WO2024088953A1 (en) | Detecting black bars in video content | |
BR102013033971B1 (pt) | Sistema de projeção de mídia multi-canal tridimensional com projeção mapeada | |
CN118044337A (zh) | 基于第二音频声道内容有条件地调整光效果 | |
KR20240132979A (ko) | 외부 전자 장치에 표시되는 비디오에 대응하는 다른 비디오를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체 | |
WO2022157067A1 (en) | Determining a lighting device white point based on a display white point | |
KR20150114140A (ko) | 스마트폰을 이용한 빔 프로젝터 디스플레이 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240515 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240515 |