JP6305941B2 - オブジェクト向上のためのライティング・システムおよび方法 - Google Patents

Description

関連出願への相互参照
本願は2012年3月13日に出願された米国特許仮出願第61,610,293号への優先権を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。

発明の分野
本発明は、概括的にはライティング（lighting）・システムに、より詳細には制御された画像捕捉および照明（illumination）機能をもつライティング・システム関する。

現実のオブジェクトの見え方を向上させるまたは変更するための多くの異なる型のライティング・システムがある。最も単純な形のそのようなシステムのうちには、たとえば絵画、写真、彫刻などといった陳列棚の静物美術作品に対して美術館において普通に使われるものがある。これらのシステムは典型的には、一つまたは複数の固定位置から対象を連続的に照明する一つまたは複数のランプを含む。

伝統的な固定位置のライティング・システムはある程度は可視性および見え方を向上させることができるものの、その能力は、その固有の単純さによって実質的に制限される。たとえば、そのようなシステムは典型的には対象全体を一様に、単一の特定のライティング条件（たとえば、強度、色など）で照明する。そのため対象の全体的な見え方を向上させるために最適なライティング条件を達成する可能性は低い。これは、単一の対象は典型的には大きく変わる多くの異なるテクスチャーおよび／または色をもち、ある特定のテクスチャーおよび／または色についての最適なライティング条件は必ずしも他のテクスチャーおよび／または色については最適な条件ではないからである。もう一つの制限として、対象の個別的な詳細（たとえばある種の色、テクスチャー、パターンなど）の見え方を選択的に孤立させて向上させることは難しく、特に関心のない隣接する詳細をも照明することになってしまう。

したがって、複数の異なるライティング条件を同時に用いることができるライティング・システムが必要とされている。また、対象の孤立させられた詳細の見え方を選択的に向上させることのできるライティング・システムが必要とされている。また、通常のライティング条件の下では見えない対象の特徴を可視にすることのできるライティング・システムが必要とされている。

本発明は、照明される対象の個別的な詳細の可視性および／または見え方を精確に向上させるライティング・システムを提供することによって、従来技術に付随する問題を克服する。

本ライティング・システムは、対象の画像を画像データとして捕捉するよう動作する画像捕捉装置と、画像捕捉装置から画像データを受領するよう結合されている画像処理器とを含む。画像処理器は、少なくとも部分的に画像データに基づいて照明パターンを生成するよう動作する。画像プロジェクターが、画像処理器から照明パターンを受領するよう結合されており、照明パターンを対象に対して投射するよう動作する。

ある例示的な実施形態では、画像捕捉装置は、（人間にとっての）可視スペクトルの外側である電磁放射によって形成される画像を示す画像データを捕捉するよう適応されている。画像処理器は、可視スペクトルの外側の電磁放射によって形成される画像に関連付けられた画像データを、可視スペクトル内の電磁放射によって形成される別の画像を示す他の画像データと相関させる（correlate）。可視画像データを非可視画像データと相関させることによって、対象に投射されたときに不可視の特徴を可視にする投射パターンが生成されることができる。

もう一つの例示的な実施形態では、画像捕捉装置はモバイル・ホスト装置（たとえば携帯電話、コンピュータ・タブレットなど）のカメラ・システムである。任意的に、画像プロジェクターは、モバイル・ホスト装置と協働するよう適応された取り外し可能なアクセサリーである。もう一つの例示的な実施形態では、画像捕捉装置、画像プロジェクターおよび画像処理器は、モバイル・ホスト装置の一体的なパーツである。

ある実施形態では、画像捕捉装置および画像プロジェクターは光学的に整列されている。たとえば、画像プロジェクターおよび画像捕捉装置は、ビームスプリッターを使って光学的に整列されている。この例示的な実施形態では、プロジェクターおよびイメージャは、光路中の一つまたは複数のレンズを共有する。あるいはまた、投影光学系とイメージング光学系は別個であることができる。

ある例示的な実施形態では、本ライティング・システムは、画像捕捉装置が対象の画像を捕捉する間、対象を照明するよう動作する対象照明システムを含んでいる。ある実施形態では、本ライティング・システムは自己完結式の装置であり、前記照明源は該装置の一体的な一部である。もう一つの例示的な実施形態では、本ライティング・システムはさらに補助ライティング・システム・インターフェースを含み、前記照明源は前記補助ライティング・インターフェースに結合された補助ライティング・システムである。照明源は、可視スペクトルの内側または外側またはその両方の光をもって対象を照明することができる。

任意的に、照明パターンは、対象の複数の別個の捕捉された画像に基づいて生成されることができる。その場合、画像データは、少なくとも、対象の第一の画像および対象の第二の画像を示す。例として、対象は、第一の画像の捕捉の間、第一の強度で前記照明源によって照明されることができる。次いで、対象は第二の画像の捕捉の間、（第一の強度とは異なる）第二の強度で前記照明源によって照明されることができる。あるいはまた、対象が一様な強度で照明されている間に、ただし多様な異なる角度から、複数の画像が捕捉されることができる。複数の捕捉された画像を使って、画像処理システムは対象の高ダイナミックレンジ画像である投射パターンを生成することができる。

対象を照明する方法も記述される。本方法は、対象の第一の画像を画像データに変換し、該画像データを処理して照明パターンを生成し、該照明パターンを対象に対して投射する段階を含む。ある個別的な方法では、対象の第一の画像は可視スペクトルの外側の電磁放射によって形成される。より個別的な方法では、画像データを処理して照明パターンを生成する前記段階は、第一の画像の画像データ（非可視スペクトル）を可視スペクトル内の画像を示す画像データに変換することを含む。

ある例示的な方法では、第一の画像を捕捉する段階は、第一の画像が捕捉される間に対象を照明することを含む。さらに個別的な実施形態では、対象の第一の画像を捕捉する段階はさらに、第一の画像が捕捉される間に第一の強度レベルで対象を照明し、第二の異なる強度レベルで対象が照明される間に対象の第二の画像を捕捉することを含む。任意的に、本方法はさらに対象の複数の画像を使って対象の高ダイナミックレンジ画像である投射パターンを生成することを含む。

本発明の応用は、製造、探鉱、マイニング、博物館および美術館、消費者製品、研究、衛星写真解析、教育、会議室および劇場を含むがこれに限られない。

本発明は、以下の図面を参照して記述される。ここで、同様の参照符号は実質的に類似の要素を表わす。
対象の見え方および／または可視性を向上させるライティング・システムを示している。 対象の見え方および／または可視性を向上させるマイクロプロセッサ・ベースのライティング・システムのブロック図である。 図１のシステムまたは図２のシステムによって照明される対象の正面図である。 図１のシステムまたは図２のシステムによって照明される、図３の対象の別の正面図である。 図１のシステムまたは図２のシステムによって照明される、別の対象の正面図である。 図１のシステムまたは図２のシステムによって照明される、別の対象の正面図である。 別のライティング・システムの側面図である。 図７のライティング・システムの上面図である。 さらにもう一つのライティング・システムの背面図である。 図９のライティング・システムの側面図である。 オブジェクトを照明する一つの方法をまとめるフローチャートである。

本発明は、対象の画像を捕捉し、捕捉された画像に基づいて照明パターンを生成し、その照明パターンをもとの対象上に投射するライティング・システムを提供することによって、従来技術に関わる問題を克服する。投射される照明パターンは対象の見え方および／または可視性を向上させる。以下の記述において、本発明の十全な理解を提供するために数多くの個別的詳細（たとえば特定の対象）が記載される。しかしながら、当業者は本発明がこれらの個別的詳細から離れて実施されてもよいことを認識するであろう。他の例では、よく知られたデジタル画像処理の実施（たとえば、オブジェクト増加（object augmentation）、パターン認識など）およびコンポーネントの詳細は、本発明を無用に埋没させることのないよう、割愛した。

図１は、対象の画像を捕捉し、照明パターン（たとえば対象の高コントラスト画像）を生成し、その照明パターンをもとの対象上に投射することによって対象の見え方を向上させるライティング・システム１００を示している。この特定の実施形態では、ライティング・システム１００が対象１０２を照明しているところが示されている。対象は例として絵画として描かれている。対象１０２は、たとえば小さなイーゼル１０６によって対象プラットフォーム１０４（たとえばテーブルトップ）上に位置されている。対象１０２は実質的に二次元オブジェクト（すなわち絵画）であるが、システム１００は、彫刻、人々、工芸品、製造された部品／組立体、舞台小道具、建築構造および自然の構造を含むがこれに限られない三次元の対象の見え方を向上させるために使うこともできる。加えて、本発明の照明システムは、絵画１０２のような実質的に二次元のオブジェクトにおける比較的小さな三次元的特徴（たとえば筆跡、テクスチャーなど）の見え方を向上させるために使うことができる。

ライティング・システム１００は、対象照明システム１０８、システム光学系１１０、ビームスプリッター１１２、画像捕捉装置（ICD: image capture device）１１４、画像処理システム（IPS: image processing system）１１６、画像プロジェクター（IP: image projector）１１８、補助照明システム・インターフェース（AISI: auxiliary illumination system interface）１２０、補助照明システム１２２およびユーザー・インターフェース１２４を含む。照明システム１０８は、対象１０２を十分に照明するよう配置された一つまたは複数の光源を含む。システム光学系１１０はビームスプリッター１１２を通じて、ICD １１４上に対象１０２の像を合焦させる。ICD １１４はその光学像をデータに変換し、その画像データを画像処理システム１１６に通信する。画像処理システム１１６は画像データを処理して投射パターンを生成し、その投射パターンを画像向上プロジェクター１１８に通信し、該画像向上プロジェクターがパターンをビームスプリッター１１２およびシステム光学系１１０を通じて対象１０２上に投射する。対象１０２上に投射されたパターンは、対象１０２のある種の特徴の可視性を高めるよう特に設計される。

この実施形態では、対象照明システム１０８は、ICD １１４が対象１０２の一つまたは複数の画像を捕捉する間に対象１０２を照明するよう動作する諸ライトのリングである。例示的な実施形態では、照明システム１０８は、照明システム１０８の対象照明動作をICD １１４の画像捕捉動作と同期させるよう、IPS １１６に結合され、IPS １１６によって制御される複数の光源を含む。さらに、暴露照明条件（すなわち、強度、色、源位置、方向など）が変えられるよう、各光源はIPS １１６によって選択的に制御される。

システム光学系１１０は、ビームスプリッター１１２を通じてICD １１４上に被験体１０２の像を合焦させるよう動作するレンズ・システムである。加えて、IP １１８によってビームスプリッター１１２を通じて投射される照明パターンも光学系１１０を介して対象１０２上に合焦される。ビームスプリッター１１２はICD １１４が、プロジェクター１１８が照明パターンを対象１０２上に投射するのと同じ視点方向から対象１０２の画像を捕捉できるようにする。あるいはまた、ICD １１４は、プロジェクター１１８とは別個の光軸上で直接対象１０２のほうに面することもでき、それによりビームスプリッター１１２の必要がなくなる。

ICD １１４は対象１０２の画像を捕捉するよう動作する電子画像捕捉装置（たとえば、CMOSセンサー・システム、CCDセンサーなど）である。適切な画像捕捉装置の選択はシステムの意図される使用に依存する。たとえば、システムが光のある種の波長についてよく反射するオブジェクトの可視性を高めるよう意図される場合、画像捕捉装置は、その波長が可視スペクトル内にあるか否かによらず、光のその特定の波長に対して敏感であるべきである。もう一つの例として、画像捕捉装置は、一つまたは複数の特定のスペクトル範囲に感度を限定するようフィルタを含むことができる。ICD １１４は、特定の応用に基づいて、高解像度画像または何らかの所定の周期的間隔でのより低い解像度の画像のストリームを撮影するよう構成されることができる。

IPS １１６はICD １１４から画像データを受け取り、画像データに基づいて照明パターンを生成するよう結合されている。照明パターンが対象１０２に加える特定の画像向上効果は所望される向上に依存し、よって所望される結果を得るために画像データを処理するために選択される特定のデジタル画像処理技法に依存する。たとえば、対象１０２のコントラストを向上させるために、投射される照明パターンは、既知のコントラスト向上デジタル画像処理技法を使って画像データを処理することによって生成される、もともと捕捉された画像の高コントラスト・バージョンであることができる。照明パターンが、任意の現在既知のまたはこれから開発されるデジタル画像処理技法を使って画像データを処理することによって生成されることができることは理解されるであろう。

画像プロジェクター１１８は、IPS １１６から照明パターンを受領し、それをビームスプリッター１１２を通じて対象１０２上に投射するよう結合されている。プロジェクターの特定の型は意図された使用に依存して変わる。たとえば、画像プロジェクター１１８は、任意の型の単色または多色プロジェクター・システムであることができる。さらに、任意の既知の投影技術が本発明において実装されることができる。そのような技術は、レーザー・スキャニング、デジタル光処理（DLP: digital light processing）および液晶オン・シリコン（LCOS: liquid crystal on silicon）を含むがそれに限られない。

補助照明システム・インターフェース１２０はIPS １１６と補助照明システム１２２との間の通信を容易にする。インターフェース１２０はたとえば、システム１２２との有線接続を確立するための電気ポートであることができる。あるいはまた、インターフェース１２０は補助照明システム１２２と無線で通信するための無線トランシーバであることができる。さらにもう一つの例として、インターフェース１２０はコンピュータ・バス接続であることができる。

システム１２２は、画像捕捉のために対象１０２を照明する外部光源（たとえば舞台ライティング・システム、対象ディスプレイ・ライティング、外部画像捕捉フラッシュ・システムなど）を含む。あるいはまた、システム１２２は、閲覧者観察のために対象１０２の照明を向上させる光源をも含むことができる。

ユーザーI/Oインターフェース１２４は、画像処理システム１１６とのユーザー対話を容易にするユーザー入出力装置（単数または複数）（たとえば、コンピュータ・マウス、キーパッド、ディスプレイ画面、タッチスクリーン・ディスプレイなど）を含む。

以下は、例としての、開ループ単一画像捕捉モードでのライティング・システム１００の動作の記述である。第一に、IPS １１６は、対象１０２の画像を画像データに変換するよう照明システム１０８、補助照明システム１２２およびICD １１４に命令する。応答して、照明システム１０８および補助照明システム１２２は、あらかじめ決定された照明設定に従って対象１０２を照明する。次いで、ICD １１４は光学系１１０およびビームスプリッター１１２によってICD １１４上に合焦された対象１０２の像を捕捉する。IPS １１６はICD １１４から画像データを受け取り、あらかじめ選択されたデジタル画像処理技法を使って照明パターン（たとえば、もとの捕捉された画像の処理されたバージョン）を生成する。次に、処理された画像はプロジェクター１１８に通信され、プロジェクター１１８はビームスプリッター１１２および光学系１１０を通じて照明パターンを対象１０２上に投射する。光学系１１０は投射された画像を対象１０２上に適正に合焦する。処理された画像は、ユーザーがユーザーI/O １２４を介してライティング・システム１００にそうでないようにさせる入力を与えるまで、対象１０２上に投影されたまま残る。

以下は、例としての、開ループ単一画像捕捉モードでのライティング・システム１００の動作の記述である。第一に、IPS １１６は、対象１０２の画像を画像データに変換するよう照明システム１０８、補助照明システム１２２およびICD １１４に命令する。応答して、照明システム１０８および補助照明システム１２２は、あらかじめ決定された照明設定に従って対象１０２を照明する。次いで、ICD １１４は光学系１１０およびビームスプリッター１１２によってICD １１４上に合焦された対象１０２の像を捕捉する。IPS １１６はICD １１４から画像データを受け取り、あらかじめ選択されたデジタル画像処理技法を使って照明パターン（たとえば、もとの捕捉された画像の処理されたバージョン）を生成する。次に、処理された画像はプロジェクター１１８に通信され、プロジェクター１１８はビームスプリッター１１２および光学系１１０を通じて照明パターンを対象１０２上に投射する。光学系１１０は投射された画像を対象１０２上に適正に合焦する。ここまでは、ライティング・システム１００の動作は閉ループ・モードと実質的に同じである。しかしながら、閉ループ・モードでは、プロセスは、リアルタイムで対象１０２を照明するのに十分なリフレッシュ・レートで閉ループ式に繰り返される。対象１０２の修正された画像をもとの対象１０２にリアルタイムで投射することによって、対象１０２に加えられる画像向上効果は、ライティング・システム１００と対象１０２との間の相対的な動きに対する敏感さが著しく軽減されることになることは理解されるはずである。

以下は、例としての、閉ループ複数画像捕捉モードでのライティング・システム１００の動作の記述である。第一に、IPS １１６は、対象１０２の複数の画像を画像データに変換するようシステム１０８、システム１２２およびICD １１４に命令する。応答して、対象照明システム１０８および補助照明１２２は、あらかじめ決定された照明設定に従って対象１０２を照明する。次いで、ICD １１４は対象１０２の第一の像を画像データに変換する。次に、対象照明システム１０８および補助照明システム１２２が第二の異なるあらかじめ決定された照明設定に従って対象１０２を照明する。次いで、ICD １１４は対象１０２の第二の画像を捕捉する。次に、IPS １１６はICD １１４から画像データ（対象１０２の第一および第二の画像）を受け取り、選択された、あらかじめ定義されたデジタル画像処理技法を使って、少なくとも部分的には第一の画像データの一部および第二の画像データの少なくとも一部に基づいて、投射画像データ（たとえば、対象１０２の単一の高ダイナミックレンジ画像）を生成する。次に、投射画像データはプロジェクター１１８に通信され、プロジェクター１１８は投射画像を光学系１１０を介して対象１０２上に投射する。次いで、第一の段階が、リアルタイムで対象１０２の適正な照明を維持するのに十分なリフレッシュ・レートで閉ループ式に繰り返される。ライティング・システム１００は、単に画像捕捉および画像処理の段階を繰り返さないことによって、開ループ複数画像捕捉モードで動作されることもできることは理解されるはずである。

図１の例示的な実施形態は、単一のコンポーネントに統合されているが、本発明の代替的な諸実施形態が離散的なコンポーネントを用いて実装されることができることは理解しておくべきである。たとえば、ある代替的な実施形態では、画像向上プロジェクター１１８および光学系１１０は通常のプロジェクターに具現されており、画像捕捉装置１１４は（自身の別個の光学系をもつ）デジタル・カメラまたはカムコーダーであり、画像処理システム１１６はパーソナル・コンピュータ上にホストされる。

図２は、本発明のもう一つの実施形態に基づくマイクロプロセッサ・ベースのライティング・システム２００のブロック図である。システム２００は、一つまたは複数の処理ユニット２０２、不揮発性データ記憶部２０４、一つまたは複数のユーザー入力／出力装置２０６、ICD ２０８、対象照明システム２１０、画像プロジェクター２１２、補助照明システム・インターフェース２１４および作業メモリ２１６を含んでいる。これらはみなシステム・バス２１８を介して相互接続されている。

処理ユニット（単数または複数）２０２は、作業メモリ２１６中に記憶されているデータおよびコードを実行して、システム２００にそのさまざまな機能を実行させる。不揮発性メモリ２０４（たとえば読み出し専用メモリ、ハードドライブなど）は、たとえライティング・システム１００の電源が落とされたときでも保持されるデータおよびコード（たとえばブート・コードおよびプログラム）のための記憶を提供する。I/O装置２０６はユーザーとシステム２００の間の対話を容易にする。ICD ２０８は、対象の画像を捕捉する手段を提供する。照明システム２１０は、ICD ２０８が対象の画像を捕捉する間、対象を照明する手段を提供する。画像プロジェクター２１２は、照明パターンを対象に投射する手段を提供する。補助照明システム・インターフェース２１４は、システム２００と補助ライティング／照明システムとの間の通信の手段（たとえば無線接続、直接電気接続など）を提供する。最後に、システム・バス２１８はシステム２００のさまざまなコンポーネント間の相互接続を容易にする。

作業メモリ２１６（たとえば、ランダム・アクセス・メモリ）は、スタートアップおよび動作の際に作業メモリ２１６にロードされるデータおよび実行可能コードのための一時的な記憶を提供する。作業メモリ２１６は、調整／制御モジュール２２０、対象情報データベース２２２、画像捕捉ルーチン２２４、捕捉された画像データ２２６、画像処理ルーチン２２８、処理された画像データ２３０、画像投射ルーチン２３２、対象照明ルーチン２３４および補助ルーチン２３６を含む。

作業メモリ２１６の内容は、以下の機能を提供する。調整／制御モジュール２２０は、さまざまな実行中のプログラムの全体的な協調調性および制御を提供する。対象情報データベース２２２は、対象に関連した設定（たとえば、コントラスト設定、ハイライトすべき色／パターン、画像処理動作モード、対象固有の情報など）を記憶する。画像捕捉ルーチン２２４は、ICD ２０８の動作を照明システム２１０と同期させるための、画像捕捉装置２０８を制御する機能と、対象の光学像を画像データに変換するのに必要な他の任意の動作とを提供する。捕捉された画像データは、照明パターンを生成するために使われるICD ２０８からの未処理の画像データを含む。画像処理ルーチン２２８は、捕捉された画像データ２２６に基づいて処理された画像データ（たとえば照明パターン／画像）を生成する。処理された画像データ２３０は、画像処理ルーチン２２８によって生成される照明パターン／画像を含む。画像投射ルーチン２３２は、処理された画像データ・モジュール２３０に記憶されている画像の投射を達成するために画像プロジェクター２１２を制御するための機能を提供する。対象照明ルーチン２３４は、たとえば照明システム２１０の動作をICD ２０８と同期させることによって、画像捕捉の間、対象を適正に照明するよう、対象照明システム２１０を制御する。補助ルーチン２３６は、補助照明システム・インターフェース２１４に接続された補助ライティング・システムの協調調整および制御を容易にする。

図３は、複数のデジタル画像処理技法を介して画像データを処理することによって生成される照明パターンに従ってライティング・システム１００によって照明される対象１０２の正面図を示している。例解の目的のため、対象１０２の一部（円３０２で囲まれた部分）のみが照明されているように示されている。しかしながら、投射される画像が対象１０２の全体を照明するであろうことは理解されるはずである。

この個別的な照明方式は、対象１０２の見え方を向上させるためにいくつかの照明効果が利用されている例を示す。たとえば、ヤシの木の幹３０４と隣接する背景との間のコントラストが、もともと捕捉された画像中の木の幹３０４の色および陰影を、背景に対してより高い度合いのコントラストをもつ色および陰影の範囲に調整するデジタル画像処理アルゴリズムによって著しく向上されている。もとの画像からの色および陰影が調整される先の色および陰影の範囲は、特定のユーザー入力によって決定されるまたはIPS １１６によって自動的に調整されることができる。

デジタル画像処理技法によって加えられるもう一つの効果は、通常のライティング条件では通常は見えない物理的な表面詳細を示す。図のように、木の幹の上に水平方向の筆跡３０６があり、これらは対象１０２の照明された領域３００においてのみ可視となっている。この効果を達成するために、照明パターンは、対象１０２が種々の照明源位置から照明される間に捕捉された対象１０２の複数の画像に基づいて生成された単一の画像である。この技法は、さまざまな角度での正反射を拡散反射から分離し、それにより小さな物理的特徴（たとえば表面テクスチャー）の位置が同定できる。そのような特徴が同定されると、それらの特徴を最もよくハイライトする照明パターンが生成され、対象１０２に投影される。既知のデジタル画像処理技法と同様に、望まれない特徴（たとえば絵画または他の対象の損傷した部分）の可視性が低下させられたり、なくされたりすることもできる。

図４は、増加されたオブジェクトを含めるよう画像データを処理することによって生成される別の照明パターンに従ってライティング・システム１００によって照明された対象１０２の正面図を示している。この特定の照明パターンでは、固定したオブジェクト４００およびアクティブなオブジェクト４０２が対象１０２のシーン中に挿入される。図のように、固定したオブジェクト４００およびアクティブなオブジェクト４０２は、もとのシーンの一部であるように見えるカニとして描かれている。固定したオブジェクト４００は、画像処理器システム１１６が画像データを解析し、所定の条件が満たされていることを判別するのに応答して対象上にオブジェクトを投影する例を示している。たとえば、画像処理システム１１６は、画像データが何らかの投影されたポインタ（たとえば十字線）が特定のオブジェクトと整列したことを示すときに、シーン中にオブジェクトを投影することができる。アクティブなオブジェクト４０２は、対象１０２のシーンのあたりを動いているように見える動画型のオブジェクトを示している。アクティブなオブジェクト４０２は対象１０２のシーンのあたりを動くだけでなく、よりリアルな幻影を作り出すために、さまざまな特徴と相互作用もする。たとえば、オブジェクト４０２は、ヤシの木の背後を歩いているところを示されており、部分的にしか可視ではない。それでも、開けたところまで動けば完全に可視になる。これは、対象の捕捉された画像に基づいて投影される画像を生成することによって達成される。さらに、オブジェクト４０２は、対象１０２のより下の領域に近づくにつれて大きくなるように見え、そのため近づいてくるように見える。本発明のもう一つの貴重な側面は、対象に投影される照明パターンはユーザー・アクションに応答するようできるということである。たとえば、画像処理器システム１１６がユーザーの指がオブジェクト４０２の近くにあることを識別する場合に、該システム１１６はオブジェクト４０２が、ヤシの木の背後に逃げることによってユーザーの指から逃れるように見えさせることによって応答することができる。ここでもまた、これは、ユーザーの指も含めた対象の捕捉された画像に基づいて、投影された画像を生成することによって、達成される。

図５は、別の型の照明パターンをもつライティング・システム１００によって照明される代替的な対象５００の正面図を示している。対象５００は、より可視であるよう向上させられる、可視性の低いテキストのピクチャーである。図のように、領域３００内のテキストは、照明パターン中に増加される、可視性の高い境界５０２をもって輪郭付けされる。境界５０２は、二つの薄い色または陰影が出会うインターフェースにおいて可視性の高い色または陰影を加えるデジタル画像処理技法を用いて前記画像データを処理することの効果である。任意的に、可視性を高めるために、パターン（たとえばテキスト）を認識するデジタル画像処理技法が使用されることもできる。なじみのある文字を認識したら、その文字は、可視性の高い境界を適用する、コントラストを高める、ある色を別の色に変えるなどを含むがそれに限られない多様な異なる方法で、より可視にされることができる。そのような向上は、異なる状態の間で連続的にトグルされることもできる（たとえばブリンク）。

図６は、本発明のもう一つの側面を示すために、ライティング・システム１００によって照明される別の対象６００を示している。本発明のこの側面によれば、ライティング・システム１００は、通常のライティング条件の下では人間の目に可視ではない対象の特徴を可視にすることができる。対象６００は、領域３００の外側で可視でない複数の鉱物層６０２を有する洞窟壁面として描かれている。ある個別的な実施形態では、ICD １１４は、人間の目に可視な範囲を超えた電磁放射に対してスペクトル的に敏感である。鉱物を可視にするために、画像処理技法は、画像中の鉱物に関連付けられたピクセル値を人間の目に可視なスペクトル範囲内で表現できる値に調整することによって、画像を操作する。対象６００の処理された画像はもとの対象６００に投射され、それにより鉱物がリアルタイムで示される。任意的に、照明システム１０８は、鉱物上に投影されたときに、ICD １１４にまたは人間の目に可視である特定のスペクトル範囲内の光を投影する。

図７および図８は、本発明のもう一つの実施形態に基づくライティング・システム７００のそれぞれ側面図および上面図を示している。ライティング・システム７００は、互いに取り付けられ、電気的に結合されたモバイル装置７０２および画像プロジェクター７０４を含んでいる。モバイル装置７０２はたとえば、レンズ７０８を有するカメラ７０６を含む携帯電話である。このレンズを通じて対象の像が合焦され、画像データに変換される。プロジェクター７０４は、画像処理器７１０、投射レンズ７１２および鏡７１４を含む。画像処理器システム７１０は、モバイル装置７０２から画像データを受領し、その画像データに基づいて照明パターンを生成するよう適応されている。プロジェクター・レンズ７１２は、その照明パターンをもとの対象上に合焦するよう動作する。鏡７１４は、モバイル装置７０４のカメラ・レンズ７０８中に対象の像を偏向させるよう機能する。

図９および図１０は、モバイル装置９０２に組み込まれるライティング・システム９００のそれぞれ背面図および側面図を示している。この特定の実施形態では、ライティング・システム９００は、照明システム９０４、カメラ９０６、画像処理器システム９０８、プロジェクター９１０および鏡９１２を含んでいる。照明システム９０４は、カメラ９０６が対象の画像を捕捉する間、対象を照明するための複数の光源９１４を含んでいる。画像処理器システム９０８は、カメラ９０６から画像データを受領し、その画像データに基づいて照明パターンを生成するよう結合されている。プロジェクター９１０はその照明パターンを受領し、それを鏡９１２に投射するよう結合されており、該鏡において照明パターンは対象上に反射される。

図１１は、対象を照明する例示的な方法１１００をまとめるフローチャートである。第一の段階１１０２では、対象はn番目のライティング条件（すなわち、第一のまたはその後のライティング条件）に暴露される。次いで、第二の段階１１０４では、第一のまたはその後の画像が捕捉される。次に、第三の段階１１０６では、捕捉された画像がそのプロセスについての最後の画像であるかどうかが判定される。もしそうであれば、方法１１００は第四の段階１１０８に進む。そうでなければ、方法１１００は第一の段階１１０２に戻る。第四の段階１１０８では、捕捉された画像が処理されて、対象照明パターンを生成する。次に、第五の段階１１１０では、対象照明パターンが対象に対して投射される。次いで、第六の段階１１１２では、照明パターンが更新されるべきかどうかが判定される。もしそうであれば、方法１１００は第一の段階１１０２に戻る。そうでなければ、方法は第七の段階１１１４に進み、プロセスが続けられるべきかが判定される。もしそうであれば、方法１１００は第五の段階を続ける。そうでなければ、方法１１００は終了する。

本発明の個別的な実施形態の記述はこれで完了である。記載される特徴の多くは、本発明の範囲から外れることなく、置換され、変更され、あるいは省略されうる。たとえば、代替的なデジタル画像処理技法（たとえば、鮮鋭さ調節、色補正など）が先述したデジタル画像処理技法の代わりに用いられてもよい。もう一つの例として、代替的な環境（たとえば、組み立てラインまたは他の動いているプラットフォーム）が対象プラットフォームのはたらきをすることができる。その際、照明システムは、特定の光学的属性をもつ素材の領域を選択的に照明し、それにより欠陥もしくは不純物をハイライトするまたは是正策を要求する整列不良のパーツを同定するために使われることができる。さらにもう一つの例として、画像処理ルーチンは、対象についての以前に記憶された情報を使うことができる（たとえば、既知の色ターゲットおよび領域をもつ絵画のプリントの色補正、現在の画像の境界の外側でシーンがどのように見えていたことがありうるかを投影するためのパターン・マッチング技法の使用など）。さらにもう一つの例として、本システムは、さまざまな手書きの画像上に情報のスクリーンを投影することによって、入力装置として使われることができ、および／または自動的にスケッチに彩色したり完成させたりすることができる。さらにもう一つの例として、システムは、投影されたスクリーン上に描くために通常のレーザー・ポインターの使用を許容することができ、あるいは異なる相互作用について選択するために異なる色のレーザーを使う（たとえば緑で描画、赤でオブジェクトを動かすなど）ことができ、それにより、レーザー・ポインターのほかには追加的なハードウェアを必要することなく、複数のユーザーが同時に同じスクリーンと対話することを許容することができる。さらに、対話式コンテンツを呈示する能力が劇場において使用されることができる。図示した特定の実施形態からのこれらおよび他の逸脱は、特に以上の開示に鑑み、当業者には明白であろう。
いくつかの態様を記載しておく。
〔態様１〕
対象の画像を画像データとして捕捉するよう動作する画像捕捉装置と；
前記画像捕捉装置から前記画像データを受領するよう結合されている画像処理器であって、少なくとも部分的に前記画像データに基づいて照明パターンを生成するよう動作する、画像処理器と；
前記照明パターンを受領するよう結合されており、前記照明パターンを前記対象に対して投射するよう動作する画像プロジェクターとを有する、
ライティング・システム。
〔態様２〕
前記画像捕捉装置が、可視スペクトルの外側である電磁放射によって形成される画像を示す画像データを捕捉するよう適応されている、態様１記載のライティング・システム。
〔態様３〕
画像処理器が、可視スペクトルの外側の電磁放射によって形成される画像を示す前記画像データを、可視スペクトル内の電磁放射によって形成される別の画像を示す他の画像データと相関させるよう動作する、態様２記載のライティング・システム。
〔態様４〕
前記画像捕捉装置がモバイル・ホスト装置のカメラ・システムである、態様１記載のライティング・システム。
〔態様５〕
前記画像プロジェクターが、前記モバイル・ホスト装置と協働するよう適応された取り外し可能なアクセサリーである、態様４記載のライティング・システム。
〔態様６〕
前記画像捕捉装置、前記画像プロジェクターおよび前記画像処理器が前記モバイル・ホスト装置の一体的なパーツである、態様４記載のライティング・システム。
〔態様７〕
前記モバイル・ホスト装置が携帯電話である、態様４記載のライティング・システム。
〔態様８〕
前記画像捕捉装置および前記画像プロジェクターが光学的に整列されている、態様１記載のライティング・システム。
〔態様９〕
前記対象の像を前記画像捕捉装置に向け、前記対象上に前記照明パターンを向けるよう配置されたビームスプリッターをさらに含む、態様８記載のライティング・システム。
〔態様１０〕
前記画像捕捉装置が前記対象の一つまたは複数の画像を捕捉する間、前記対象を照明するよう動作する対象照明システムをさらに有する、態様１記載のライティング・システム。
〔態様１１〕
前記画像データが、少なくとも、前記対象の第一の画像および前記対象の第二の画像を示し、前記対象は、前記第一の画像の捕捉の間、第一の強度で前記照明源によって照明され、前記対象は、前記第二の画像の捕捉の間、第二の強度で前記照明源によって照明され、前記第一の強度は前記第二の強度とは異なる、態様１０記載のライティング・システム。
〔態様１２〕
前記投射パターンが前記対象の高ダイナミックレンジ画像である、態様１１記載のライティング・システム。
〔態様１３〕
当該ライティング・システムが自己完結した装置内に具現されており、前記照明源が前記装置の一体的なパーツである、態様１０記載のライティング・システム。
〔態様１４〕
補助ライティング・システム・インターフェースをさらに有する、態様１０記載のライティング・システム。
〔態様１５〕
対象の第一の画像を画像データに変換する段階と；
前記画像データを処理して照明パターンを生成する段階と；
前記照明パターンを前記対象に対して投射する段階とを含む、
対象を照明する方法。
〔態様１６〕
前記対象の前記第一の画像は可視スペクトルの外側の電磁放射によって形成される、態様１５記載の方法。
〔態様１７〕
画像データを処理して照明パターンを生成する前記段階は、可視スペクトルの外側の画像を示す前記画像データを可視スペクトル内の画像を示す変換された画像データに変換することを含む、態様１６記載の方法。
〔態様１８〕
第一の画像を捕捉する前記段階は、前記第一の画像が捕捉される間に前記対象を制御可能に照明することを含む、態様１５記載の方法。
〔態様１９〕
対象の第一の画像を捕捉する前記段階はさらに：
前記第一の画像が捕捉される間に第一の強度で前記対象を照明し、
前記第一の強度とは異なる第二の強度レベルで前記対象が照明される間に前記対象の第二の画像を捕捉することを含む、
態様１８記載の方法。
〔態様２０〕
前記投射パターンが前記対象の高ダイナミックレンジ画像である、態様１９記載の方法。

Claims (14)

1. 対象の画像を画像データとして捕捉するよう動作する画像捕捉装置と；
   前記画像捕捉装置から前記画像データを受領するよう結合されている画像処理器であって、少なくとも部分的に前記画像データに基づいて照明パターンを生成するよう動作する、画像処理器と；
   前記照明パターンを受領するよう結合されており、前記照明パターンを前記対象に対して投射するよう動作する画像プロジェクターとを有し、
   前記画像捕捉装置が、可視スペクトルの外側である電磁放射によって形成される画像を示す画像データを捕捉するよう適応されており、
   前記画像データが、少なくとも、前記対象の第一の画像および前記対象の第二の画像を示し、前記対象は、前記第一の画像の捕捉の間、第一の特性で照明源によって照明され、前記対象は、前記第二の画像の捕捉の間、前記第一の特性とは異なる第二の特性で前記照明源によって照明される、
   ライティング・システム。
2. 前記画像捕捉装置がモバイル・ホスト装置のカメラ・システムである、請求項１記載のライティング・システム。
3. 前記画像プロジェクターが、前記モバイル・ホスト装置と協働するよう適応された取り外し可能なアクセサリーである、請求項２記載のライティング・システム。
4. 前記画像捕捉装置、前記画像プロジェクターおよび前記画像処理器が前記モバイル・ホスト装置の一体的なパーツである、請求項２記載のライティング・システム。
5. 前記モバイル・ホスト装置が携帯電話である、請求項２記載のライティング・システム。
6. 前記画像捕捉装置および前記画像プロジェクターが光学的に整列されている、請求項１記載のライティング・システム。
7. 前記対象の画像を前記画像捕捉装置に向け、前記対象上に前記照明パターンを向けるよう配置されたビームスプリッターをさらに含む、請求項６記載のライティング・システム。
8. 前記照明パターンが前記対象の高ダイナミックレンジ画像である、請求項１記載のライティング・システム。
9. 当該ライティング・システムが自己完結した装置内に具現されており、前記照明源が前記装置の一体的なパーツである、請求項１記載のライティング・システム。
10. 前記照明源が結合されることのできる補助ライティング・システム・インターフェースをさらに有する、請求項１記載のライティング・システム。
11. 対象が第一の特性で照明される間に前記対象の第一の画像を捕捉する段階と；
    前記第一の特性とは異なる第二の特性で前記対象が照明される間に前記対象の第二の画像を捕捉する段階と；
    前記対象の前記第一の画像および前記対象の前記第二の画像を画像データに変換する段階と；
    前記画像データを処理して照明パターンを生成する段階と；
    前記照明パターンを前記対象に対して投射する段階とを含み、
    前記対象の前記第一の画像は可視スペクトルの外側の電磁放射によって形成される、
    対象を照明する方法。
12. 画像データを処理して照明パターンを生成する前記段階は、可視スペクトルの外側の画像を示す前記画像データを可視スペクトル内の画像を示す変換された画像データに変換することを含む、請求項１１記載の方法。
13. 前記第一の画像が捕捉される間に前記対象が制御可能に照明される、請求項１１記載の方法。
14. 前記照明パターンが前記対象の高ダイナミックレンジ画像である、請求項１１記載の方法。

Images