JP6421279B1 - 照明シーンの生成 - Google Patents

Abstract

照明シーンを作成する方法であって、当該方法は、静止画又は動画入力画像を受けるステップと、入力画像内の１つ以上の画像セグメントを識別するステップであって、１つ以上の画像セグメントの各々の形状を決定するステップを含む、ステップと、１つ以上の識別された画像セグメントの各々の色及び／又は輝度レベルを決定するステップと、環境内に存在する１つ以上の照明器具の各々に関連する形状を決定するステップと、１つ以上の識別された画像セグメントの各々の形状と、照明器具のそれぞれ又は照明器具のグループのそれぞれに関連する形状とのマッチングを行うステップと、１つ以上の識別された画像セグメントの各々について、当該画像セグメントの色に基づいて選択された色及び／又は当該画像セグメントの輝度レベルに基づいて選択された輝度レベルを持つ光を発するように、対応する照明器具又は照明器具のグループを制御するステップと、を含む方法。

Description

本開示は、ユーザによって選択された写真などの画像に基づいて照明シーンを生成するためのプロセスに関する。

「コネクテッドライティング(Connected lighting)」は、従来の有線、電気的オンオフ又は調光回路によって制御されるものではなく（又は制御されるだけでなく）、デジタル通信プロトコルを使用する有線ネットワーク又はより多くは無線ネットワークを介して制御される照明器具のシステムを指す。典型的には、複数の照明器具の各々、ましては照明器具内の個々のランプが、各々、ZigBee、Wi-Fi又はBluetooth等の無線ネットワークプロトコルに従って照明制御装置から照明制御コマンドを受信するため（また場合によっては、無線ネットワークプロトコルを使用して照明制御装置にステータスレポートを送信するため）の無線受信機又は送受信機を備えてもよい。例えば、照明制御装置は、ユーザ端末、例えば、スマートフォン、タブレット、ラップトップ若しくはスマートウォッチのような携帯型ユーザ端末の形態、又はデスクトップコンピュータ若しくはワイヤレスウォールパネルなどの静的ユーザ端末の形態を取ってもよい。そのような場合、照明制御コマンドは、ユーザ端末のユーザインタフェース（例えば、タッチスクリーン又はポイント・アンド・クリック・インタフェース）を介してユーザによってアプリケーションに提供されるユーザ入力に基づいて、ユーザ端末上で動作する照明制御アプリケーション("app")から生じてもよい。ユーザデバイスは、照明制御コマンドを照明器具に直接送信してもよいし、無線ルータ、アクセスポイント、又は照明ブリッジなどの中間デバイスを介して送信してもよい。

ユーザによって選択された画像に基づいて照明シーンを生成するためにコネクテッドライティングシステムを使用することが知られている。画像は、静止画又は動画であってもよい。画像は、キャプチャされた画像（写真又は撮影されたビデオ）であってもよく、ユーザが作成した画像（例えば、描画(drawing)又はアニメーション）であってもよい。そのような場合、照明制御アプリケーションは、画像内の1つ以上の点又は領域から色及び/又は輝度値をサンプリング（「ピック("pick")」）し、照明シーンを提供する照明器具によって放射される照明の色及び/又は輝度レベルを設定するためこれらを使用する。例えば、ユーザは、森や夕焼けの画像のような彼又は彼女にインスパイアされたシーンを選択してもよく、アプリケーションは、画像の色を再現する、したがって、画像に示されるシーンの雰囲気を再現するようにこれに基づいて照明を設定する。

ある実施において、照明制御アプリケーションは、画像から支配的な色を自動的に抽出し、それらを個々の照明デバイスにランダムに割り当てることにより、画像に示されるシーンのフィーリング(feel)を与える照明シーンを再現する。別の実施において、照明制御アプリケーションは、当該環境（例えば、部屋）内の照明器具の位置又は少なくとも相対位置を知り、各々を画像の対応する点にマッピングする。この場合、照明制御アプリケーションは、環境内の画像の近似値を再現するために各照明器具を「照明ピクセル」として扱う。

近年、コネクテッドライティングシステムは、所与の環境（例えば所与の部屋）に典型的に存在する個々に制御可能なカラー光ノードの数に関して大きな成長を遂げることが予想される。例えば、LEDのストリップはすでに、各ノードが個々の色をレンダリングすることを可能にする、ピクセル化された制御をサポートしている。大きな課題は、この多数のカラー照明ピクセルに適切な「照明コンテンツ("lighting content")」を提供すると同時に、これをエンドユーザーにとって単純なままにしておくことである。

ユーザが選択した写真のような入力画像に基づいてシーンが作成される、画像ベースの照明は、数十億の画像及びビデオのオンライン利用、パーソナルデジタルカメラのまん延、又は静止画若しくは動画デジタル画像の任意の他の供給源を活用することにより、豊富な照明シーンの容易な作成を可能にすることができる。前述のように、現在のソリューションは、画像から支配的な色を自動的に抽出し、それらを個々の照明デバイスにランダムに割り当てる。このアプローチは、画像内の色の印象を与えるが、パターンの印象を与えない。他の解決策は、各照明器具をピクセルとして扱い、ユーザが選択した画像内の対応する点を表現するために、該照明器具の位置に応じて各々に色と明るさを割り当てる。しかしながら、これらの解決策は、画像内のパターン又は構造の何らかを再現するが、それらは依然として限定されることが認識されている。特に、照明デバイスの形状や照明効果は考慮されていない。

したがって、本開示は、画像セグメントを対応する照明デバイスの形状にマッピングする方法を提供する。

本明細書に開示される第１の態様によれば、環境を照らす照明シーンを作成する方法であって、当該方法は、静止画又は動画入力画像を受けるステップと、入力画像内の１つ以上の画像セグメントを識別するステップであって、１つ以上の画像セグメントの各々の形状を決定するステップを含む、ステップと、１つ以上の識別された画像セグメントの各々の色及び／又は輝度レベルを決定するステップと、環境内に存在する１つ以上の照明器具の各々に関連する形状、又は環境内に存在する照明器具の１つ以上のグループの各々に関連する形状を決定するステップと、１つ以上の識別された画像セグメントの各々の形状と、照明器具のそれぞれ又は照明器具のグループのそれぞれに関連する形状とのマッチングを行う(matching)ステップと、１つ以上の識別された画像セグメントの各々について、当該画像セグメントの色に基づいて選択された色及び／又は当該画像セグメントの輝度レベルに基づいて選択された輝度レベルを持つ光を発するように、対応する照明器具又は照明器具のグループを制御するステップと、を含む方法が提供される。

一実施形態において、画像セグメントの少なくとも１つ又は各々の識別は、入力画像内の対応するオブジェクト又は領域を認識する画像認識アルゴリズムを用いて行われてもよい。

例えば、認識は、１つ以上の照明器具の各々に関連する決定された形状に基づき、画像認識アルゴリズムは、画像セグメントの形状とのマッチングに適するように対応するオブジェクト又は領域について入力画像を検索してもよい。

一実施形態において、画像セグメントの少なくとも１つ又は各々の識別は、入力画像内のユーザ選択領域(user-selected region)の手動ユーザ選択(manual user selection)を受けることによって行われてもよい。

例えば、ユーザ選択領域は、ユーザによって入力画像上でフリーフォームで描かれる、ユーザが変えられるサイズ及び／又は寸法を有する所定の形を用いて描かれる、又はユーザが入力画像上で所定の形状をドラッグ・アンド・ドロップすることによって選択される、うちのいずれかである。

一実施形態において、マッチングは、識別された画像セグメントの少なくとも１つ又は各々の形状と、１つ以上の照明器具の個々の照明器具に関連する形状とのマッチングを行うことを含み、個々の照明器具の少なくとも１つ又は各々に関連する形状は、当該個々の照明器具の形状、当該個々の照明器具の発光部分若しくは拡散部分の形状、又は当該個々の照明器具の発光部分若しくは拡散部分のグループの形状であってもよい。

一実施形態において、マッチングは、識別された画像セグメントの少なくとも１つ又は各々の形状と、１つ以上の照明器具の個々の照明器具に関連する形状とのマッチングを行うことを含んでもよく、個々の照明器具の少なくとも１つ又は各々に関連する形状は、当該照明器具により投じられる照明効果の形状であってもよい。

一実施形態において、１つ以上の照明器具は複数の照明器具であり、マッチングは、識別された画像セグメントの少なくとも１つ又は各々の形状と、照明器具のグループに関連する形状とのマッチングを行うことを含み、関連する形状は、当該グループの組合せ形状(combined shape)であってもよい。

一実施形態において、１つ以上の照明器具は複数の照明器具であり、１つ以上の識別された画像セグメントは入力画像内の複数の異なる画像セグメントであり、マッチングは、１つ以上の識別された画像セグメントの各々の形状と、照明器具の異なる照明器具に関連する形状又は照明器具の異なるグループに関連する形状とのマッチングを行うことを含んでもよい。

一実施形態において、当該方法は、互いに同じ部屋にあるか、ユーザと同じ部屋にあるか、ユーザの所定の近接範囲内にあるか、ユーザによる手動選択、及び／又は１つ以上の所定の基準に従ってシーンを作成するのに最も適しているかどうか、に基づいて、複数の照明器具から１つ以上の照明器具を選択するステップを含んでもよい。

一実施形態において、１つ以上の画像セグメントの各々の形状の決定は、第１の個別形状カテゴリ(discrete category of shape)又は第２の個別形状カテゴリのいずれかとして形状を分類することを含み、第１のカテゴリはより線形、矩形及び／又は正方形の形状を規定し、第２のカテゴリはより丸みを帯びた形状を規定し、照明器具又は照明器具のグループの各々に関連する形状の決定は、第１の形状カテゴリ又は第２の形状カテゴリのいずれかとして形状を分類することを含み、マッチングは、線形の画像セグメントの少なくとも１つ又は各々と、線形の照明器具又は照明器具のグループとの、両方が線形であることに基づいてマッチングを行うこと、及び／又は丸みを帯びた画像セグメントの少なくとも１つ又は各々と、丸みを帯びた照明器具又は照明器具のグループとの、両方が丸みを帯びていることに基づいてマッチングを行うことを含んでもよい。

一実施形態において、１つ以上の照明器具又は照明器具のグループの各々に関連する形状の決定は、ＩＤを形状にマッピングするデータストア内の関連する形状をルックアップするため照明器具又は照明器具のグループのＩＤを用いること、照明器具のモデルを決定することであって、所定の形状が該モデルに関連付けられていると仮定されていること、関連する形状を検出するためカメラ及び／若しくは１つ以上の他のセンサを用いること、並びに／又は関連する形状を示すユーザ入力、に基づいてもよい。

一実施形態において、入力画像は、ユーザによって選択されてもよい。

本明細書に開示される他の態様によれば、コンピュータ可読記憶媒体上に具現化され、１つ以上のプロセッサ上で実行される場合、本明細書に開示される任意の方法に従って動作を実行するよう構成されるコードを含むコンピュータプログラムが提供される。

本明細書に開示される他の態様によれば、本明細書に開示される任意の動作に従って動作を実行するよう構成される照明制御デバイスが提供される。

本願の理解を助け、実施形態がどのように実施されるかを示すために、例として添付の図面を参照する。
照明システムを備えた環境の概略図である。 画像セグメントと照明器具とのマッチングを行うためのプロセスのフローチャートである。 画像に基づいて識別される形状の例を示す。 画像内で識別される形状の他の例を示す。

以下、画像ベースの照明シーンを作成するための方法を述べる。この方法に従って、以下のステップが実行される。
a）利用可能な照明デバイス及び／又は該照明デバイスの照明効果から形状に関連する入力を得るステップ、
b）画像内の顕著な(prominent)光又は色セグメント（該セグメントについての対応する顕著な色値及び形状を含む）を検出するため画像コンテンツを処理するステップ、
c）形状の類似性に基づいて、顕著な画像セグメントと照明デバイスを照合するステップ、及び
d）照明デバイスが画像セグメントに対応する色パターンをレンダリングするように、各照明デバイスのための照明制御値を生成するステップ。

任意選択的に、照明デバイスのグループの形状が、単一の形状に組み合わされ得る。

また、ステップ（a）の代替例として、ユーザは、形状を作成したり、画像上に予め定義された形状をドラッグしたりすることができ、その後、画像処理が、形状によって画定される画像セグメントから光又は色情報を抽出するために適用される。

ステップ（b）で識別されるセグメントの形状は、最も顕著なセグメントを自動的に検出すること、又はステップ（a）で識別される照明デバイス及び／又は照明効果の形状とのマッチングに最も適した顕著な画像セグメントを自動的に検出することに基づいてもよい。すなわち、画像処理は、関与又は利用可能なターゲット照明器具４に関連する形状に関連する形状に向けて最適化されてもよい。例えば、照明制御アプリケーションは、ｎ個の線形デバイスとｍ個の円形デバイスがあることを知っている場合、画像内のｎ個の顕著な線形セグメント及びｍ個の顕著な円形セグメントを検索するであろう。

図１は、環境２、例えば、部屋のような屋内空間、又はガーデン又は公園のような屋外空間、又はガゼボのような部分的に覆われた空間、又は車両の内部などの１人又は複数の人々によって占有され得る他の任意の空間に設置される又は配置される照明システムを示す。照明システムは、各々が１つ以上のランプ（照明発光エレメント）及び任意の関連するハウジング、ソケット及び／又は支持部を備える複数の照明器具４を含む。照明器具４は、ユーザによって占有可能な環境２を照らすのに適したスケールで照明を発する照明器具である。例えば、照明器具４の各々は、天井に取り付けられた照明器具、壁に取り付けられた照明器具、ウォールウォッシャー、又は自立式(free standing)照明器具の形態をとってもよい（各々必ずしも同じタイプである必要はない）。

さらに、本開示によれば、環境２の照明器具４は、実質的に異なる形状を有する照明器具を含む。本明細書で考慮される形状は、個々の照明器具４のハウジングの全体形状、個々の発光部（ランプ）の形状、個々の照明器具４の個々の光拡散部の形状、又は所与の照明器具４の発光部若しくは光拡散部のグループの形状であってもよい。代替的に、形状は、環境２内の照明器具４によって投じられる照明の形状を指してもよい。

例えば、非限定的な例において、１つ以上の照明器具４は各々、長く薄いストリップの形態（例えば、天井に取り付けられた蛍光管のLEDベースの置換）をとり、一方、１つ以上の他の照明器具は、丸形又は少なくともより丸みを帯びた形態（例えば、円形の天井に取り付けられた照明器具又は「ブロブ("blob")」形状のディフューザ又はライトシェードを備える自立式ランプ）をとる。以下の実施形態は、ストリップ照明及び円形又はブロブ形状の照明器具４に関して述べられるかもしれないが、これは、限定的なものではなく、代替的又は追加的に、当該照明器具４は、１つ以上の実質的に三角形の照明器具４、六角形の照明器具４、星型の照明器具４等を含んでもよいことに留意されたい。

照明システムはさらに、照明制御アプリケーション（又は「アプリ」）がインストールされたユーザ端末の形態の照明制御デバイス８を備える。例えば、ユーザ端末８は、スマートフォン、タブレット、ラップトップ若しくはスマートウォッチのようなモバイルユーザ端末、又はデスクトップコンピュータ若しくはウォールパネルなどの静的なユーザ端末の形態を取ってもよい。ユーザ端末８は、ユーザ１０（例えば、環境２に存在するユーザ）が照明制御アプリケーションにユーザ入力を供することを可能にするように構成されるタッチスクリーン又はポイントアンドクリックインタフェースなどのユーザインタフェースを備える。ユーザ端末８は、DMX若しくはイーサネットなどの有線ネットワークプロトコル、又はZigBee、Wi-Fi若しくはBluetoothなどの無線ネットワークプロトコルを介して照明器具に接続し、これにより、照明制御アプリケーションが、以下の技術に従って、ユーザ入力に基づいて照明器具４により発せられる照明の色及び/又は輝度を制御することを可能にするよう構成される。これを行うために、ユーザ端末８は、照明器具４に直接接続してもよく、又は無線ルータ、アクセスポイント、又は照明ブリッジなどの中間デバイス６を介して照明器具４に接続してもよい。例えば、ユーザ端末８は、Wi-Fiのような第１の無線アクセス技術を介してブリッジ６に接続してもよく、ブリッジ６は、ZigBeeなどの第２の無線アクセス技術を介して照明器具に接続してもよい。この場合、ユーザ端末８は、ブリッジ６を介して照明器具４に関連する照明制御コマンドを送信し、ブリッジ６は、照明制御コマンドを第１のプロトコルから第２のプロトコルに変換する。

代替的に、本明細書で述べられる機能のいくつかは、ブリッジ６などの別のデバイス、又は専用の集中型照明コントローラ若しくはサーバ（１つ以上の地理的サイトで１つ以上のサーバユニットを含む）などの別のデバイスで実施されてもよい。例えば、アプリケーションの一部がサーバ上でホストされる場合、ユーザ端末６は、無線ルータ又はアクセスポイントを介して、及び場合によってはインターネットなどのさらなるネットワークを介して、サーバに入力を送ってもよい。その後、入力は、関連する照明制御コマンドを生成するため、サーバ上でホストされているアプリケーションの一部において処理されてもよく、サーバは、無線ルータ又はアクセスポイント、及びある実施形態ではさらなるネットワークを介して、照明器具４に該照明制御コマンドを転送してもよい。代替的に、サーバは、ユーザ端末８が照明器具４に送る照明制御コマンドを生成するために、受けた入力に基づく情報をユーザ端末８に返してもよい。

一例として、以下は、ユーザ端末８上で動作する照明制御アプリケーションによる制御に関して述べられるかもしれないが、機能の一部が他の場所で実施される実装も可能であることに留意されたい。

本明細書に開示される技術によれば、ユーザ端末８上の照明制御アプリケーションは、ユーザ１０によって選択される静止画（例えば、写真）又は動画（例えば、キャプチャされたビデオ）（これは、ユーザ１０が照明シーンを生成するために使用することを望む画像である）を選択するユーザ入力を受けるように構成される。例えば、これは、ユーザがインターネットからユーザデバイス８にダウンロードした画像、又はユーザ１０がユーザ端末８に埋め込まれた、又はユーザ端末８に接続されたカメラを介してキャプチャした画像であり得る。その後、照明制御アプリケーションは、画像内の１つ以上のオブジェクト及び／又は領域の形状を検出する画像認識アルゴリズムを用いることにより、又は（例えば、画像上の予め規定された形状テンプレートをドラッグ・アンド・ドロップすることにより、又はフリーフォームで形状を描くことにより）画像内の領域の形状を選択するユーザからの別のユーザ入力を受けることにより、画像内の１つ以上の形状を識別する。

さらに、照明制御アプリケーションは、当該環境２（例えば所与の部屋）に既に設置されているか、さもなければ存在する照明器具４のいくつか又は全てに関連する既存の形状を識別するよう構成される。例えば、アプリケーションによって識別される形状の各々は、照明器具４の所与の１つに含まれるハウジング、ディフューザ、ランプ又はランプのクラスタの形状であってもよく、ましては照明器具４のクラスタの形状であってもよい。照明器具４又は照明器具４のクラスタの形状の識別は、多くのやり方で達成されることができる。例えば、照明制御アプリケーションは、照明器具４の既知のIDを使用して、IDを形状の指示(indication)にマッピングするルックアップテーブル又はデータベース内のそれぞれの形状をルックアップしてもよい（ルックアップテーブル又はデータベースは、ユーザ端末８上にローカルに、又はユーザ端末８が上述したような任意の適切な有線手段又は無線手段を介して接続するサーバなどの他の場所に格納されてもよい）。他の例として、照明制御アプリケーションは、（それらのIDに基づいて）照明器具４の各々のモデルタイプを知っている若しくはルックアップしてもよく、各モデルの形状の所定の知識を持つように事前設定されてもよい。さらに他の例として、システムは、ユーザ端末８が環境２内の所与の照明器具４又は照明器具４のクラスタの形状を検出するために使用することができる１つ以上のカメラ及び／又は他のセンサを備えてもよい。

その後、照明制御アプリケーションは、画像内の識別された形状の１つ、いくつか又は全ての各々と、照明器具４の異なるそれぞれ１つ又は照明器具４の異なるそれぞれのクラスタの形状とのマッチングを行う(match)。好ましくは、これは、環境２内に存在する複数の照明器具４又は照明器具のグループの各々に関連する形状を決定することを含み、マッチングは、複数の形状のうちの、画像セグメントと最もマッチする形状を選択することを含んでもよい。しかしながら、代替的に、プロセスは、環境２内の１つの照明器具４にのみ関連する形状を決定することを含み、マッチングが、該形状が画像セグメント又は複数の画像セグメントの１つとマッチするかどうか（すなわち、形状がマッチするという条件で照明器具が画像セグメントとマッチされるかどうか）を判断することを含むことも可能である。又は、複数の画像セグメントのうちの１つが、どの画像セグメントが照明器具の形状と最もマッチするかに依存して、単一の照明器具とマッチされることもできる。

また、本明細書におけるマッチという用語は、必ずしも形状が同一でなければならないことを意味するのではなく、むしろ、形状が互いの近似であることも意味し得ることに留意されたい。

照明シーンを作成するために、その後、照明制御アプリケーションは、識別された形状に対応する画像内のセグメントの各々から色及び／又は輝度レベルをサンプリングし、サンプリングされた値とマッチするようにそれぞれの照明器具４からの照明を制御する。ここでもまた、マッチングは、必ずしも正確なサンプリングされた値を用いることを意味するのではなく、近似も指し得る。例えば、照明制御アプリケーションは、画像内の識別されたセグメント内の代表点の色及び／又は輝度をサンプリングし、代表色及び／又は輝度値を、対応するマッチした照明器具４から照明を発するためのものとして用いてもよい。又は、照明制御アプリケーションは、画像内の識別されたセグメントの複数の点の色及び／又は輝度値を組合せ（例えば、平均し）、組合された色及び／又は輝度値を、対応するマッチした照明器具４から照明を発するためのものとして用いてもよい。さらに別の例では、当該照明器具４は、ピクセルのように、照明器具４内の異なる空間位置に複数の個別に制御可能な発光エレメントを含んでもよい。この場合、画像セグメントの輝度及び／又は色が該画像セグメントにわたって空間的に変化する場合、照明器具４の異なるエレメントは、相応にこの変化を表す。これの特に限定的ではない例は、先に述べたように、ピクセル化されたストリップ照明である。

図２は、本明細書に開示される実施形態による例示的なプロセスフローを述べる。

ステップＳ２０において、照明制御アプリケーションは、どの照明器具４が関与すべきかを決定する。本方法のスターティングポイントは、どの照明器具４が現在の照明シーン作成プロセスで用いるために利用可能である、適している(relevant)又は要求されるかどうかを決定することである。例えば、システムは、各部屋グループがそれぞれの部屋の照明器具のセットを参照する「部屋グループ」に関して動作してもよく、ユーザ１０が部屋グループを選択する又はシステムがユーザ１０（若しくはユーザ制御デバイス８）が該部屋に存在することを検出する場合、照明器具４のこのセットは自動的に選択される。代替的に、（任意の適切な位置特定技術に基づいて）ユーザの近くの照明器具４のセットを、又は画像ベースの光シーンの作成に最も適した照明器具４のセットを（例えば、どの照明器具４が色をレンダリングすることができるか、画像ベースの照明シーンに既に又は頻繁に関与していることが知られているか、及び／又は、既に決定されている場合、検出された顕著な画像セグメントとの良好な形状マッチを持つかに依存して）自動的に選択することも可能である。別の代替として、照明制御アプリケーションは、ユーザが光シーン作成プロセスに関与させたい照明器具４を手動で選択できるようにしてもよい。２つ以上の斯様なファクタの任意の組み合わせが用いられることもできる。

ステップＳ２１において、照明制御アプリケーションは、照明器具４の各々に関連する形状を示す、関与する照明器具４からの形状関連入力(shape-related input)を取得する。上述したように、これは、照明器具又はそのディフューザの全体的な形状、その照明効果の形状、又は照明器具内の個々のランプの形状とすることができる。以下の例は、照明器具４の形状等に関して述べられるかもしれないが、照明器具４に関連する他の斯様な形状も、本願の範囲に包含されることが意図されることを理解されたい。

ステップＳ２１は、様々なやり方で実施されることができる。例えば、形状関連入力が関与する照明器具４から得られるやり方は、基本的なものからより洗練されたものまで及ぶことができ、以下の４つの例示的な実施形態によって例示される。

第１の実施形態は、線形照明器具４と非線形照明器具４とを単に区別することである。この実施形態では、照明制御アプリケーションは、実質的に線形の照明器具（例えば、LEDライン又はLEDストリップを含む）と、実質的に非線形の照明デバイス（例えば、LEDバルブ又はランプシェードを含む）とをただ区別する。この場合、画像分析は、実質的に線形状である画像色パターン及び／又は実質的にブロブ形状（丸型又は少なくともより丸みを帯びている）である画像色パターンを検出することができる。その後、照明制御アプリケーションは、線形状の画像セグメントから導出された色値に基づいて線形照明器具を制御し、ブロブ形状の画像セグメントから導出された色値を用いて非線形照明器具を制御する。同様の技術は、他の個別形状カテゴリ間で区別するため、例えば、より丸みを帯びた形状と、より正方形又は矩形（箱状）の形状カテゴリとを区別するために使用されてもよい。形状の真円度、線形性又は矩形性に関するメトリックを設けるのに適切な形状認識アルゴリズムは、それ自体が画像処理の当業者に知られており、斯かるメトリックの１つ以上に閾値を設けることにより、所与の形状を一方の個別カテゴリ又は他方の個別カテゴリのいずれかに分類するために用いられることができる。

第２の実施形態は、照明器具４のタイプ及び／又は取り付け(mounting)から形状関連入力を取得することである。この実施形態では、照明制御アプリケーションは、照明器具の形状又は照明器具４によって生成される効果に関する詳細な入力を取得する。この形状に関連する情報は、照明器具のタイプ（例えば、LEDストリップ、LEDスポット、又は自立式照明器具の特定のタイプ）などの様々な情報源から得られてもよく、コンフィギュレーションプロシージャにおいてユーザにより示されてもよく（例えば、水平LEDストリップ、下方に照明）、又は照明器具４に組込まれるセンサ（例えば、向きセンサ、LEDストリップに組込まれる形状検知センサ）から得られてもよい。

第３の実施形態は、照明器具４の効果を検出し分析することによって形状関連入力を取得することである。この実施形態では、全ての関与する照明器具４の上記情報を取得する次に、視覚センサ（カメラ）が、個々の照明器具４の各々の効果形状に関する特性をキャプチャするために用いられる。これは、接続されたカメラ又はスマートデバイスが、関与する照明器具４の各々が（人間の目に見えるか又は見えない）１つ以上の光効果を短時間生成するコンフィギュレーションプロシージャ中に適用されることにより達成されることができる。代替的に、より洗練された照明デバイスは、そのような形状関連の効果特性を検出することができる統合視覚センサを搭載してもよい。別の代替として、効果の形状は、例えば、照明器具ID又はモデルタイプにマッピングされた様々な照明器具４の照明プロファイル（光分布）を用いたデータベースから取得されてもよい。

第４の実施形態は、照明器具形状のグルーピングに基づく。個々の照明器具４の形状が新しい形状に組み合わされ、パターンマッチングが、組合された形状を画像セグメントにマッピングするために用いられることも選択肢である。この場合、組合された形状は、照明器具４の個々の形状、及び形状の配列(arrangement of shapes)における互いに対するそれらの位置又はそれらの絶対位置からアセンブルされる。組合された形状は、照明器具のグループで調整的な役割(coordinating role)を有する単一の照明器具により送られることも可能である。

ステップＳ２２は、画像コンテンツ選択ステップである。ここでは、ユーザは、様々なやり方で画像コンテンツ選択のための入力を行うことができる。例えば、ユーザは、適切な静止画像又はビデオ画像を選択又は検索することができる。あるいは、ユーザは、音声キーワード又はタイピングキーワード（例えば、リラックス、海、日の出）を入力し、これに基づいてシステムに画像コンテンツを検索し選択させるようにしてもよい。これのさらなる拡張において、照明制御アプリケーションは、ユーザ選択又はキーワードに基づいて２つ以上の画像を受け、分析する。例えば、システムは、（高い色類似性を有する）複数の「日の出」画像を分析し、複数の日の出画像から特徴又はセグメントを選択してもよく、利用可能な照明器具４の形状又はその効果に最もよくマッチするセグメントを複数の画像から選択してもよい。このマルチ画像アプローチでは、あまりマッチしない色の組み合わせを避けるために、色のマッチングについての知識が用いられてもよい。

ステップＳ２３において、照明制御アプリケーションは、顕著なセグメントについて選択された画像を分析する。上述したように、画像分析は、利用可能な照明器具４のリスト及び関連する形状又は効果形状を考慮に入れることが可能である。これに続いて、照明制御アプリケーションは、照明器具４のさらなるレンダリング特性及び能力(capability)を考慮に入れてもよい。例えば、ピクセル化されたLEDストリップの場合、画像アナライザは、色の変化を伴う実質的に線形の画像セグメントを検出することを試みてもよく、単一色のLEDストリップの場合、画像アナライザは、セグメントに沿った限定的な色の変化を持つ線形の画像セグメントを見つけることを試みてもよい。別の入力は、可能であればユーザ又はユーザ制御デバイスに対する、室内の照明デバイスの（相対的又は近似的な）位置であり得る。例えば、LEDストリップが床近くに設置されている場合、画像アナライザは、画像の下部における線形の画像セグメントを見つけることを試みてもよい。別の可能性として、セグメントは、フリーフォームで形状を描くことによって、所定の形状タイプ（例えば、可変サイズ及び／又は寸法の矩形又は楕円）を用いることによって、又は所定の形状をドラッグ・アンド・ドロップすることによって、等々、ユーザにより手動で選択されることもできる。２つ以上の斯様な技術の任意の組み合わせが用いられることもできる。

ステップＳ２４において、照明制御アプリケーションは、識別された画像セグメントから色値を抽出する。色の値は、それ自体は当技術分野で知られている多くの可能なやり方のうちの任意のやり方で画像から抽出されることができる。例えば、これは、カラーヒストグラムを作成し、画像セグメント内の最も頻繁に発生する色を決定することによって実行されてもよい。別の選択肢は、ベクトル量子化、K平均などのアルゴリズムを使用してセグメントからパレットを作成し、パレットから優勢的な色(dominant color)を選択することである。他の選択肢は、RGB、YUVなどの色空間内の各チャネル上で、セグメントにわたり、値を平均化することである。

また、ステップＳ２２〜Ｓ２４は、ステップＳ２０〜Ｓ２１の前又は後に行われてもよいことに留意されたい。

ステップＳ２５において、照明制御アプリケーションは、画像セグメントを照明器具４にマッピングする。顕著なセグメントについて画像が分析されると、その結果の色値及び色パターンが、形状のマッチングに基づいて最も関連性の高い照明器具４にマッピングされる。ステップＳ２６において、照明制御アプリケーションは、照明器具４をそれに応じて制御する。

いくつかの例が、図３及び図４に示される。図３は、入力画像としての日没の写真３０を示し、図４は、ユーザ１０が、ヤシの木を有するビーチの写真４０を入力画像として選択した例を示す。どちらが選択されても、照明制御アプリケーションは、環境２の照明器具４の形状にほぼ対応する画像３０、４０のセグメント３２、３４、４２、４４を識別する。例えば、顧客が２つのLEDストリップ及び１つのより丸みのある又は点状のLED照明器具を部屋に設置しているとする。この場合、選択は、図３に示すようなものとすることができる。これらストリップは、（ピクセル間で色の微妙な差がある）水平線に実質的に平行な色勾配を持つセグメント３２にマッピングされ、他方の照明器具は、（球状の形状を持つ）太陽に対応するセグメント３４にマッピングされる。さらなる例として、ユーザが単一のLEDストリップを有する場合、マッピングは、図４のように行われることができる。心地良い色分布（例えば、ストリップに沿って一定の色又は滑らかな変化であり、選択されたラインが下方に置かれる場合には、ヤシの木を横切るであろう）を持つ画像内の線形セグメント４２が選択され、画像内のより丸みを帯びたオブジェクト４４（例えば、写真にキャプチャされた屋外照明器具）は、各々、環境２内の丸みを帯びた照明器具４のそれぞれ１つにマッピングされる。

形状関連情報に次いで、個々の照明器具４のさらなるレンダリング特性及び能力をここで考慮に入れる。例えば、画像セグメントが明るく輝くスポット（例えば、図３の太陽）を示す場合、画像セグメントに関連する高輝度を含むこの色値を、適切な光の強さ及び大きさでこの明るいスポットをレンダリングすることができる照明器具４に割り当てることが合理的である。

上記の実施形態は例としてのみ述べられていることが理解されよう。開示された実施形態に対する他の変更は、図面、開示、及び添付の特許請求の範囲の研究から、クレームされた発明を実施する際に当業者によって理解され、達成され得る。特許請求の範囲において、「含む（comprising）」という単語は他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は複数を除外しない。単一のプロセッサ又は他のユニットが、請求項に列挙されたいくつかの項目の機能を果たすことができる。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。コンピュータプログラムは、他のハードウェアと一緒に又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体等の適切な媒体上に記憶／分配され得るが、インターネット又は他の有線又は無線の電気通信システム等の他の形態で分配されてもよい。特許請求の範囲内のいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

Claims (15)

1. 環境を照らす照明シーンを作成する方法であって、当該方法は、
   静止画又は動画入力画像を受けるステップと、
   前記入力画像内の１つ以上の画像セグメントを識別するステップであって、前記１つ以上の画像セグメントの各々の形状を決定するステップを含む、ステップと、
   前記１つ以上の識別された画像セグメントの各々の色及び／又は輝度レベルを決定するステップと、
   前記環境内に存在する１つ以上の照明器具の各々に関連する形状、又は前記環境内に存在する前記照明器具の１つ以上のグループの各々に関連する形状を決定するステップと、
   前記１つ以上の識別された画像セグメントの各々の形状と、前記照明器具のそれぞれ又は前記照明器具の前記グループのそれぞれに関連する形状とのマッチングを行うステップと、
   前記１つ以上の識別された画像セグメントの各々について、当該画像セグメントの色に基づいて選択された色及び／又は当該画像セグメントの輝度レベルに基づいて選択された輝度レベルを持つ光を発するように、対応する前記照明器具又は前記照明器具のグループを制御するステップと、
   を含む方法。
2. 前記画像セグメントの少なくとも１つ又は各々の識別は、前記入力画像内の対応するオブジェクト又は領域を認識する画像認識アルゴリズムを用いて行われる、請求項１に記載の方法。
3. 前記認識は、前記１つ以上の照明器具の各々に関連する前記決定された形状に基づき、前記画像認識アルゴリズムは、前記画像セグメントの前記形状とのマッチングに適するように前記対応するオブジェクト又は領域について前記入力画像を検索する、請求項２に記載の方法。
4. 前記画像セグメントの少なくとも１つ又は各々の識別は、前記入力画像内のユーザ選択領域の手動ユーザ選択を受けることによって行われる、請求項１、２又は３に記載の方法。
5. 前記ユーザ選択領域は、
   ユーザによって前記入力画像上でフリーフォームで描かれる、
   ユーザが変えられるサイズ及び／又は寸法を有する所定の形を用いて描かれる、又は
   ユーザが前記入力画像上で所定の形状をドラッグ・アンド・ドロップすることによって選択される、
   うちのいずれかである請求項４に記載の方法。
6. 前記マッチングは、前記識別された画像セグメントの少なくとも１つ又は各々の形状と、前記１つ以上の照明器具の個々の照明器具に関連する形状とのマッチングを行うことを含み、前記個々の照明器具の少なくとも１つ又は各々に関連する形状は、当該個々の照明器具の形状、当該個々の照明器具の発光部分若しくは拡散部分の形状、又は当該個々の照明器具の発光部分若しくは拡散部分のグループの形状である、請求項１乃至５の何れか一項に記載の方法。
7. 前記マッチングは、前記識別された画像セグメントの少なくとも１つ又は各々の形状と、前記１つ以上の照明器具の個々の照明器具に関連する形状とのマッチングを行うことを含み、前記個々の照明器具の少なくとも１つ又は各々に関連する形状は、当該照明器具により投じられる照明効果の形状である、請求項１乃至６の何れか一項に記載の方法。
8. 前記１つ以上の照明器具は複数の照明器具であり、前記マッチングは、前記識別された画像セグメントの少なくとも１つ又は各々の形状と、前記照明器具のグループに関連する形状とのマッチングを行うことを含み、前記関連する形状は、当該グループの組合せ形状である、請求項１乃至７の何れか一項に記載の方法。
9. 前記１つ以上の照明器具は複数の照明器具であり、前記１つ以上の識別された画像セグメントは前記入力画像内の複数の異なる画像セグメントであり、前記マッチングは、前記１つ以上の識別された画像セグメントの各々の形状と、前記照明器具の異なる照明器具に関連する形状又は前記照明器具の異なるグループに関連する形状とのマッチングを行うことを含む、請求項１乃至８の何れか一項に記載の方法。
10. 互いに同じ部屋にあるか、
    ユーザと同じ部屋にあるか、
    ユーザの所定の近接範囲内にあるか、
    ユーザによる手動選択、及び／又は
    １つ以上の所定の基準に従ってシーンを作成するのに最も適しているかどうか、
    に基づいて、複数の照明器具から前記１つ以上の照明器具を選択するステップを含む、
    請求項１乃至９の何れか一項に記載の方法。
11. 前記１つ以上の画像セグメントの各々の形状の決定は、第１の個別形状カテゴリ又は第２の個別形状カテゴリのいずれかとして形状を分類することを含み、第１のカテゴリはより線形、矩形及び／又は正方形の形状を規定し、第２のカテゴリはより丸みを帯びた形状を規定し、
    前記照明器具又は前記照明器具のグループの各々に関連する形状の決定は、第１の形状カテゴリ又は第２の形状カテゴリのいずれかとして形状を分類することを含み、
    前記マッチングは、線形の前記画像セグメントの少なくとも１つ又は各々と、線形の前記照明器具又は前記照明器具のグループとの、両方が線形であることに基づいてマッチングを行うこと、及び／又は丸みを帯びた前記画像セグメントの少なくとも１つ又は各々と、丸みを帯びた前記照明器具又は前記照明器具のグループとの、両方が丸みを帯びていることに基づいてマッチングを行うことを含む、
    請求項１乃至１０の何れか一項に記載の方法。
12. 前記１つ以上の照明器具又は照明器具のグループの各々に関連する形状の決定は、
    ＩＤを形状にマッピングするデータストア内の関連する形状をルックアップするため照明器具又は照明器具のグループのＩＤを用いること、
    照明器具のモデルを決定することであって、所定の形状が該モデルに関連付けられていると仮定されていること、
    関連する形状を検出するためカメラ及び／若しくは１つ以上の他のセンサを用いること、並びに／又は
    関連する形状を示すユーザ入力、
    に基づく、請求項１乃至１１の何れか一項に記載の方法。
13. 前記入力画像は、ユーザによって選択される、請求項１乃至１２の何れか一項に記載の方法。
14. コンピュータ可読記憶媒体上に具現化され、１つ以上のプロセッサ上で実行される場合、
    静止画又は動画入力画像を受けるステップと、
    前記入力画像内の１つ以上の画像セグメントを識別するステップであって、前記１つ以上の画像セグメントの各々の形状を決定するステップを含む、ステップと、
    前記１つ以上の識別された画像セグメントの各々の色及び／又は輝度レベルを決定するステップと、
    前記環境内に存在する１つ以上の照明器具の各々に関連する形状、又は前記環境内に存在する前記照明器具の１つ以上のグループの各々に関連する形状を決定するステップと、
    前記１つ以上の識別された画像セグメントの各々の形状と、前記照明器具のそれぞれ又は前記照明器具の前記グループのそれぞれに関連する形状とのマッチングを行うステップと、
    前記１つ以上の識別された画像セグメントの各々について、当該画像セグメントの色に基づいて選択された色及び／又は当該画像セグメントの輝度レベルに基づいて選択された輝度レベルを持つ光を発するように、対応する前記照明器具又は前記照明器具のグループを制御するステップと、
    を実行するよう構成されるコードを含むコンピュータプログラム。
15. 静止画又は動画入力画像を受けるステップと、
    前記入力画像内の１つ以上の画像セグメントを識別するステップであって、前記１つ以上の画像セグメントの各々の形状を決定するステップを含む、ステップと、
    前記１つ以上の識別された画像セグメントの各々の色及び／又は輝度レベルを決定するステップと、
    前記環境内に存在する１つ以上の照明器具の各々に関連する形状、又は前記環境内に存在する前記照明器具の１つ以上のグループの各々に関連する形状を決定するステップと、
    前記１つ以上の識別された画像セグメントの各々の形状と、前記照明器具のそれぞれ又は前記照明器具の前記グループのそれぞれに関連する形状とのマッチングを行うステップと、
    前記１つ以上の識別された画像セグメントの各々について、当該画像セグメントの色に基づいて選択された色及び／又は当該画像セグメントの輝度レベルに基づいて選択された輝度レベルを持つ光を発するように、対応する前記照明器具又は前記照明器具のグループを制御するステップと、
    を実行するよう構成される照明制御デバイスを含む装置。

Images