JP5694332B2 - オブジェクトの外観を強調するための照明システム及び方法 - Google Patents

Description

本発明は、オブジェクトの記録された画像データを生成するための光記録装置と、照明装置と、前記記録された画像データから強調照明データを生成するためのプロセッサと、を有する照明システムであって、前記強調照明データは、強調照明によって前記オブジェクトを照明して前記オブジェクトの外観を強調するために、前記照明装置に供給される照明システムに関する。

照明システムは、ますます高度なものになっている。照明の明るさ及び／又は色が適応可能となるという照明システムにおける発展がみられている。

最初の段落において記載されたようなシステムは、Toshiyuki Amano及びHirokazu Katoによる「Real World Dynamic Appearance enhancement with Procam Feedback」（Procams 2008、Marina del Rey、California、2008年8月10日）より知られている。該既知のシステムは、照明された場面からのフィードバックを可能とするためのカメラを有する。斯かるフィードバックは、屋内における特定のオブジェクト又は場面を強調するのみならず、絵画のような芸術オブジェクトの画像強調を実行するためにも利用され得る。該システムは現実感を強調し、より明確で鮮明な画像を提供する。本発明の概念内で、オブジェクトとは照明されるいずれものオブジェクトである。斯かるオブジェクトの例は、ディスプレイ、画像、絵画、人物、木であり、それらが単独であるか群を成しているか、また人物や木等の全体であるか一部であるかを問わない。

現実感強調照明システムの主な課題は、安定した結果を得ることである。光記録装置と照明装置との間のフィードバックループは、不安定なシステムに導く。限定としてではなく理解の容易のため、以下時々、光記録装置はカメラ、照明装置は投射器とも呼ばれる。オブジェクトに投射器により投射された画像は、カメラにより観測されると該オブジェクトの外観を変化させ、このことはオブジェクトに次に投射された画像における更なる強調に導き、更にカメラを通して観測されるオブジェクトの外観の更なる変化に導く等する。このことは、該強調が増大し続ける暴走効果に導き得る。

Amanoらは、「部分的フィードバック」と呼ぶ方法を提案している。フィードバックの利得はかなり低減される。該フィードバック利得の低減は、暴走効果を抑制する。このことは静的な場面については比較的安定したシステムに導くが、強調システムの著しい待ち時間をもたらし、該システムを動的な場面（手術室、車のヘッドライト等）には適さないものとしてしまう。また、該既知のシステムは、環境における動くオブジェクトによる周囲照明における変化に敏感に反応してしまい、画像におけるオブジェクトのエッジに問題を持つ。

本発明の目的は、以上の問題の１つ以上が軽減される照明システム及び照明方法を提供することにある。

この目的のため、本照明システムは、該照明システムが、基準照明と前記強調照明との混合によってオブジェクトを照明するため前記基準照明を生成するための生成器を有し、前記システムは、前記光記録装置に入射する光から、前記オブジェクトにより反射された基準画像データをフィルタリングするためのフィルタを有し、前記オブジェクトにより反射された基準画像データは、前記強調照明データを生成するための前記プロセッサへの入力であることを特徴とする。

本発明者は、照明強調された場面、即ちオブジェクトが強調照明により照明された場合の場面から、元の場面、即ちフィードバックループのない基準照明の下でのオブジェクトを、照明システムが識別することが可能であることが重要であることを認識した。本発明においては、基準照明の下でのオブジェクトの情報が、強調照明を提供するために利用される。先行技術のシステムは当該機能を持たない。

反射光からの基準照明による反射をフィルタリングを組み合わせて基準照明と強調照明との混合によりオブジェクトを照明すること、及び、更に強調照明を生成するための基準照明データを使用することは、フィードバックループの暴走効果を除去する。強調照明は、オブジェクトの基準照明のためのデータに基づく。

好適には、前記フィルタは、前記光記録装置により記録されたデータをフィルタリングするためのデータフィルタである。

代替としては、フィルタリングは、例えば光記録装置の前方における時間制御されたシャッタにより、光学ドメインで実行されても良い。記録されたデータフィルタリングのフィルタリングが好適である。

本発明の一実施例においては、前記照明システムは、前記基準照明を生成するための基準照明装置と、前記強調照明を生成するための強調照明装置と、を有し、前記強調照明データは前記強調照明装置に供給される。

基準照明と強調照明とで別個の２つの照明装置を使用することは、基準及び／又は強調照明又は照明装置に課されるいずれの物理的要件もが、他の照明又は照明装置に制約を課さないという利点を持つ。

欠点は、２つの別個の照明装置が利用されるべきであるため、整合問題に導き得る点である。

好適な実施例においては、前記基準照明装置と前記強調照明装置とが共通の光学ユニットを共有する。

このことは、２つの光源間の整合問題を軽減する。

上述した実施例においては、２つの別個の照明装置が利用され、基準照明と強調照明との混合が、例えば２つ光源からオブジェクトを照らすことにより、光学ドメインにおいて為される。

該混合はまた、好適な実施例においては、共通の照明装置を利用することにより為されても良く、このことは照明装置の数を低減させる。基準照明及び強調照明を生成するために共通の照明源を利用することは、システムの複雑さを低減させる。

斯かる実施例においては、該照明システムは好適には、該システムが基準照明データを供給するための基準信号手段と、前記基準照明データと前記強調照明データとを混合するための混合器と、を有し、前記基準照明データと前記強調照明データとの混合が共通の照明装置に供給されることを特徴とする。好適には、前記システムは、前記記録された画像データから、前記オブジェクトにより反射された基準画像データをフィルタリングするためのフィルタを有し、前記オブジェクトにより反射された基準画像データは、前記強調照明データを生成するための前記プロセッサへの入力である。

基準照明と強調照明とを照明装置に送信する前に混合し、基準照明と画像強調照明との混合を発するために共通の照明装置を利用することにより、該システムは、共通の照明装置が利用されるにもかかわらず、照明強調された状況から基準照明の状況を識別することが可能となる。１つよりも多い照明装置が利用される実施例においては、基準照明からの結果は、強調照明のための入力として利用される。好適には、記録側において、記録されたデータから基準照明のためのデータを取り除くためにフィルタが備えられる。

全ての実施例において、フィードバックループの暴走効果は回避され得るか又は少なくとも抑制される一方で、動的な場面において特に重要である照明強調を提供することが依然として可能である。本発明の範囲内では、混合とは、光学ドメインにおいてか、即ち１つよりも多い照明装置を使うか、又は電気ドメインにおいてか、即ち共通の照明装置に送信する前に電気信号を混合することによってか、にかかわらず、信号を混合するためのあらゆる態様を含む。斯かる混合方法は、時間及び空間変調、交番する信号及び時間多重化信号の追加を含む。斯かる方法は、記録側において基準照明と強調照明との混合から基準照明をフィルタリングするためにフィルタを適用することを可能とし、該フィルタが時間に基づくものか、時間周波数に基づくものか、空間周波数に基づくものかを問わず、また、光学ドメインにおけるものか、電気又は電子ドメインにおけるものかを問わない。

一実施例においては、前記システムは、前記強調照明と前記基準照明とを時間多重化するための多重化器を有し、前記フィルタは、前記記録された画像データを時間多重分離するための多重分離器を有する。

多重分離は、記録された画像データに時間フィルタを適用することと等価である。特定の時間スロットについて、記録されたデータはオブジェクトの基準照明に対応し、他の時間スロットについては、強調照明に対応する。

代替としては、前記システムは、前記基準照明によって前記強調照明を変調するための変調器を有し、前記フィルタは、前記記録された画像データを時間復調して前記オブジェクトにより反射された基準画像データを提供するための時間復調器を有する。このことは、例えば変調が奇数フレーム又は偶数フレームに対して基準データを加算及び減算することにより実行される場合には、オブジェクトの基準照明が、それぞれ奇数及び偶数雰囲気の差分から決定されることを可能とする。時間変調はフィルタリングの一形態である。

別の実装においては、該混合器は、前記基準照明によって前記強調照明を空間変調するための変調器を有し、前記フィルタは、該強調された場面の画面を空間復調して前記オブジェクトにより反射された基準画像データを提供するための空間復調器を有する。空間復調はフィルタリングの一形態である。

基準照明は、好適には均一な照明である。

画像の投射は、完全な画像が同時に投射される態様で実行されても良いし、又は画素が走査される若しくは画像のラインが走査される走査式の態様で実行されても良い。

実施例の組み合わせも可能である。

好適な実施例においては、該照明システムは、オブジェクト依存の照明をオブジェクトと整合させることを可能とするように構成される。

処理において基準照明を用いることはフィードバックループにおける暴走効果による変動の問題を除去するが、完全に均一な基準照明は、当該状況において、投射された画像の画素と記録された画像の画素との間の対応を見出すことを不可能にもする。換言すれば、照明画素と記録された画像の画素とを整合することが困難となる。整合を可能とするように該照明システムを構成することにより、当該欠点は取り除かれる。

実施例においては、照明装置と記録装置とで共通の光学系が使用される。共通の光学系を使用することは、不整合のリスクを低減する。

好適な実施例においては、基準照明に空間マーカが備えられ、１つ以上の画像が記録され、該画像が該空間マーカを見出すために解析される。基準照明に空間マーカを含ませることにより、照明の画素と記録された画像の画素との間の対応が解析されることができ、投射をオブジェクトと整合させるために利用されることができる。

強調照明を記録する光の整合を登録するための整合マーカを提供するため、空間変調されたパターンが利用されても良い。

代替としては、照明装置の画素が、識別信号を提供されても良い。

代替としては、照明装置の画素が、人間の目には不可視であるが光記録装置には検出可能な光を発するようにされても良い。

画素の幾つかが、赤外光を発するようにされても良い。該赤外光は人間の目には不可視であるが、カメラが赤外検出機能を持つ場合には該カメラには可視となる。このことは、オブジェクトに対する照明の整合を可能とする。

整合マーカの密度が大きいほど、より適切な整合が実行され得る。

実施例においては、該システムは、単一の記録装置及び複数の照明装置を有し、これら照明装置の基準照明は識別可能である。

斯かる実施例においては、１つよりも多いオブジェクトの照明、又は単一のオブジェクトからの種々の側面の照明を監視するために、単一の記録装置が利用され得る。

好適な実施例においては、基準照明と強調照明との混合は、照明全体の平均が、強調照明の平均と略等しくなるように為される。斯かる実施例においては、基準照明の平均が略ゼロである。平均は、時間的な平均であっても良いし、又は画像に亘る平均であっても良い。このことは、人間の目に対する基準照明の可視性を低減する。

本発明による方法は、オブジェクトを照明する方法であって、前記オブジェクトの画像が記録され、前記オブジェクトの記録された画像データを生成し、照明データを用いて、前記オブジェクトの画像が前記オブジェクトに投射される方法において、前記オブジェクトは、基準照明と強調照明との混合により照明され、前記記録された画像がフィルタリングされ前記オブジェクトにより反射された基準画像データを供給し、前記オブジェクトにより反射された基準画像データは、前記強調照明を生成するために用いられる方法である。

本発明のこれらの及び他の態様は、添付図面を参照しながら、例として以下に詳細に説明されるであろう。

図面は定縮尺で描かれたものではない。一般的に、図面において、同一の構成要素は同じ参照番号で示されている。

照明システムを示す。 既知の照明システムを示す。 本発明による照明システムの実施例を示す。 本発明による照明システムの実施例を示す。 本発明による照明システムの実施例を示す。 時間変調を用いる実施例を示す。 時間変調を用いる奇数フレーム及び偶数フレームにおける信号を模式的に示す。 ２次元空間パターンを用いる利点を示す。 走査により画像が生成される実施例を模式的に示す。 記録装置と照明装置とが共通の光学系を共有する実施例を示す。 更なる好適な実施例を示す。 システムが１つよりも多い照明装置を有する実施例を示す。 システムが１つよりも多い照明装置を有する実施例を示す。 空間変調が用いられる実施例を示す。 空間変調が用いられる実施例を示す。 別個の基準照明装置及び強調照明装置を用いる実施例を示す。 光記録装置が幾つかの光センサを有する実施例を示す。

図１は、照明システムを示す。該照明システムは、オブジェクトの反射された画像を捕捉するための光記録装置（本例においてはカメラ１）を有する。本例においては、該オブジェクトは山の写真である。記録された信号２は、プロセッサ３に送信される。プロセッサ３は、強調照明装置５を制御するための信号４を生成する。該照明装置は、該オブジェクトの画像を投射することが可能である。該照明装置は、該写真に写真の画像を投射する。このようにして、該写真の画像が強調され得る。元の写真に投射された写真を重畳することは、画像のコントラスト及びレンジを強調する。明るいスポットは見掛け上、より明るくされ得る。

図２は、Amanoらにより知られたシステムを示す。ガンマ曲線補正が鎖に導入されている。図示されていないものは、フィードバック利得Ｇもが本システムに導入されている点である。フィードバック利得は、フィードバックループの収束速度を改善し、出力のオーバフローを回避するように選択される。本図の右側の線は、光が発せられる及び光が投射される面を非常に模式的に示したものである。以下の図面には図示されていないが、本発明の実施例の１つ以上又はいずれかにおいても、ガンマ曲線補正の使用が適用されても良い。

該既知のシステムは、静的な場面については比較的安定したシステムに導くと考えられる。しかしながら、該システムは強調システムの著しい待ち時間をもたらし、該システムを動的な場面（手術室、車のヘッドライト等）には適さないものとしてしまう。示唆される応答時間は０．４４秒である。また本システムは、本発明者が認識したところによると、環境における動くオブジェクトによる周囲照明における変化に敏感に反応してしまい、画像におけるオブジェクトのエッジに問題を持つ。小さな変動さえもが、オブジェクトのエッジの周囲の画像の不安定さに導く。

図３は、本発明の実施例によるシステムを示す。

強調照明データを有する強調信号４に対して、基準照明データを有する基準信号７が混合される。本システムは、当該基準信号７を生成するための基準信号生成器６を有する。混合器８は、当該基準信号を強調信号４と混合する。該混合された信号は投射器５に送られ、画像が投射される。カメラ１により受像された画像は斯くして、２つの信号、即ち強調信号４と基準生成器６により生成された基準信号７との混合の結果であり、即ち、オブジェクトの照明は基準照明と強調照明との混合である。該システムは、基準照明のオブジェクトによる反射のために基準信号７により引き起こされる画像データ１０を取り除くためのフィルタ９を有する。画像データ１０を有する当該信号は、プロセッサ３に送られる。

本発明者は、カメラにより観測されるオブジェクトの外観を投射器が変化させ、オブジェクトに対する次に投射される画像における別の強調に導く等するために、カメラと投射器との間のフィードバックループが不安定なシステムに導くことを認識した。フィードバックループにおける強調は、不安定な状況に導く照明における変動を得る。

本発明の図３の実施例においては、例えば均一な白色光照明のような基準照明を生成するために、投射器が利用される。基準照明を生成するための信号は、基準生成器６により生成され、プロセッサ３からの強調照明を生成するための信号と混合される。カメラにより受信された信号から基準照明に対する応答をフィルタリングすることにより、安定な状況が得られる。基準反射画像信号１０は、強調信号４を生成するために利用される。基準反射画像信号１０は既知であるため、安定した信号変動は不在であり、又は少なくとも大きく低減される。

混合の一実施例が、図４及び５に示される。本実施例においては、混合器７の後の信号が時間的に多重化される。基準照明には比較的短い時間が割り当てられ、残りの時間、強調信号４が投射器５に送信される。該混合器は多重化器ＭＵＸを有し、該システムの受信側におけるフィルタは対応する多重分離器ＤＥＭＵＸを有する。

該カメラにおいて、画像はまた時間スロットで収集されるが、ここで基準照明に対応する画像スロットが存在する。カメラにより受信される画像信号４'は強調信号４に対応し、信号７'は基準信号７に対応する。プロセッサ３において利用されるのは、時間スロットの信号７である。本図において、このことは階段状の線により模式的に示されている。強調信号４に対応する信号の部分はゼロにより乗算され、基準信号７に対応する部分は１のファクタにより乗算される。このことは、カメラ側における記録された画像信号を時間多重分離することに等しい。該カメラは強調信号に起因する画像をも受像し、より複雑な時間多重分離を用いることにより、当該信号が分離され得ることは留意されたい。実施例において、当該強調信号はまた、例えば画像強調効果を微調整又はチェックする目的のために、プロセッサ３に送信されプロセッサ３によって解析されても良い。本実施例においては、時間多重化の１つの時間スロットが基準信号のために利用され、残りは強調信号のために利用される。

図６は、本発明の別の実施例を示す。本実施例においては、基準信号を奇数／偶数画像に対して加算／減算することにより、時間ドメインにおいて強調が変調される。このとき偶数画像は強調信号４と基準信号７との合計により形成された信号により引き起こされる画像を示し、奇数画像は強調信号４から基準信号７を減算することにより形成された信号により引き起こされる画像を示す。

このことは図６に模式的に示される。混合器８は、偶数照明を表す基準信号７に対して、それぞれ奇数及び偶数フレームにおける強調信号４を加算及び減算する。フィルタ９は、本実施例においては、時間遅延１１及び減算器１２を有する。減算器１２において、後続するフレームの２つの信号が減算される。画像信号の一方は強調信号４と基準信号７との合計により形成され、他方の画像信号は該強調信号から基準信号７を減算したものにより、又は強調信号のみにより形成される。

奇数及び偶数フレームの２つの信号の減算は、強調信号４を欠落させ、基準信号７のみ、より正確には基準信号７の２倍のみを残す。差分信号は実際には２つの値、即ち、偶数フレームから奇数フレームを減算したか奇数フレームから偶数フレームを減算したかに依存して、基準信号の２倍の正負の値を提供することに留意されたい。差分信号の絶対値が、プロセッサ３に供給されても良い。減算器は、記録された画像データを時間復調して、オブジェクトに関連する基準画像データを提供する機能を持つ。図６の方式を一般化すると、本方式は時間変調器を有し、該時間変調器において強調信号が基準信号により時間変調される。記録側において、記録された信号の時間復調のために時間復調器が適用され、基準画像信号、即ち既知の基準照明による画像を提供する。当該基準信号１０は次いで、プロセッサ３において利用される。

より高度な実施例においては、奇数フレームと偶数フレームとの間の画像の部分の時間的な動きを補償するために動き補償が適用されても良い。

強調信号４のみによって引き起こされた画像は、奇数フレームと偶数フレームとを加算することにより見出され得ることに留意されたい。当該オブジェクトに関連する強調信号もまた、更なる解析のためにプロセッサ３に送信されても良い。

図４及び５の両方の実施例において、基準画像信号１０が生成され、強調信号４を提供するために該信号がプロセッサ３に送信される。

基準信号が交互に加算され減算される図６の実施例の利点は、平均の強度及び色が殆ど又は全く変化させられない点である。好適には、基準照明は強調照明の僅かな一部である。強調信号に対して基準信号が交互に加算され減算される実施例においては、強調信号は基準値に等しい最小値を持つこととなる。変形例は、奇数フレームにおいて基準信号を加算せず、偶数フレームにおいて基準信号を加算することである。このことは、強調信号における最小値に関する制約を除去する。しかしながら、このことは平均の強度及び色に影響を与え得る。

更に僅かに複雑なシステムは、フレームのための強調信号に、正及び負の符号、後続うるフレームについては負及び正の符号を持つ、空間的に交番する領域のパターンを重畳する手段を有する。斯かるパターンの一例は、チェッカー盤パターンである。このことは、強調信号に対する基準信号の加算の可視性を低減させる。該可視性は、パターンの位置を時間的にシフトさせることにより、又は種々のパターンを連続的に用いることにより、更に低減され得る。ハニカム構造におけるパターン又はその他のいずれかの反復的パターンが利用されても良い。単純な実施例においては、照明装置の隣接する画素がチェッカー盤パターンを形成する。

後続する画像信号を減算することにより、強調信号は再び欠落し、基準信号のみが残る。

例えばチェッカー盤パターンのようなパターンを用いることは、記録された画像において、投射された画像の画素の影響を辿ることができるという更なる利点を持つ。基準照明が投射器全体に亘って単純で均一な照明であるようなシステムを用いることは、投射された画像における画素と記録装置により観測される画像における画素との間の対応を辿ることを可能としない。この場合、投射された画像と記録された画像との間の整合問題が追跡され得ず、回復され得ない。例えばチェッカー盤パターンのようなパターンを用いることは、画像に対して投射された画像を整合させることを可能とする。

この目的のためにはいずれのタイプの整合マーカが利用されても良いが、このことを実現するためには投射された基準信号における空間的パターンが有用であり単純な手段である。なぜなら、パターンは既知の相対位置において幾つかのマーカを提供するからである。

基準信号においてマーカを提供するための他の選択肢は、幾つかの画素に、例えば赤外線又は紫外線のような、人間の目には不可視であるがカメラには検出可能である光を発せさせることである。

図７は、チェッカー盤パターンに強調信号４を加算したものである奇数フレームと、奇数フレームの基準信号の負値に強調信号４を加算したものである偶数フレームと、における信号を模式的に示す。図５に模式的に示されるように２つの信号を減算することが、基準信号をもたらす。当該信号は次いでプロセッサ３に送信されても良い。図７において、チェッカー盤パターンを用いて強度が変調されることが模式的に示されている。該２つの信号の差の絶対値が、基準信号をもたらす。

好適な実施例においては、奇数／偶数フレームの基準パターンにおいて、何らかの色（例えば緑色）を減少／増大させつつ他の色（例えば青色及び赤色）を増大／減少させることも可能である。該増大は、輝度がフレームに亘って全く変化せず、色変化が幾つかのフレームに亘って平均化するように選択されても良い。

人間の観測者は、輝度の変化よりも色の変化に対して感度が低い。ここでもまた本実施例は、基準信号についてパターンが利用されてない場合であってもいずれの空間パターンにおいても利用されても良く、また時間多重化の実施例において利用されても良い。可視性の更なる低減は、空間的パターンをシフトさせることにより達成され得る。例えば、示唆されたパターンを持つ奇数及び偶数フレームを用い、次いで次の奇数フレームと偶数フレームとの対について半ブロックだけ該パターンをシフトさせても良い。このことはパターンのいずれの可視性をも低減させ得る。しかしながら、このことはまた、基準信号のとり得る測定をも低減させ得る。なぜなら、奇数フレームと偶数フレームとの対の全てが斯かる測定のために用いられるわけではないためである。

図８は、空間的な２次元パターンを用いる利点を示す。パターン化された変調を用いる利点は、該パターンがカメラからの画像及び投射された画像を登録するために利用され得る点である。（カメラによって）観測された投射パターンは一般的に、投射面における奥行変化、及びカメラと投射器との生じ得る異なる観測角度のため、チェッカー盤パターンのようには見えなくなる。動き推定手法を用いると、局所的な変位を確立し、投射器からの投射を画像が投射されるオブジェクトに最適に合致させるようにカメラ画像を歪ませることが可能となる。画像中のマーカ（本例においては、空間的パターンの領域間の境界により形成される）が、斯かる合致を可能とする。以上に説明されたように、差分信号は、基準信号の２倍の振幅を持つチェッカー盤パターンを提供し、このことは境界間の識別を可能とし、それにより整合を可能とする。例えば４つのパターンのようなより複雑なパターンであって、該パターンの合計が等しい照明となるようなパターンを提供することにより、より高度な整合が可能となる。このことは幾分長いパターンのシーケンスを必要とし得るが、より高度な整合を可能とする。

以上の実施例は、信号の時間多重化又は加算を示している。

本発明は、これらの例に限定されるものではない。

上述した２つの実施例の組み合わせは例えば以下の方式となり、時間多重化が僅かに異なる方式で利用されるが、本発明内のものである。
−第１の時間スロットにおいて又は幾つかの時間スロットにおいて、強調信号のみが発せられる。
−第２の時間スロットにおいて又は幾つかの時間スロットにおいて、強調信号に基準信号を加算したものが発せられる。

該２つの時間スロットは長さが同じであり強調信号の統合された強度は等しいか、及び／又は、強調信号の統合された強度が等しくなるように記録された信号が乗算される。記録側において、これら信号は多重分離され、互いから減算されて基準信号のみが残る。これら２つの時間スロットが同一でない場合、例えば第１の時間スロットについては時間ｔ_１、第２の時間スロットについては時間ｔ_２である場合には、基準信号は、第１の信号から第２の信号のｔ_１／ｔ_２倍を減算することにより得られる。

図４の実施例に比べた本実施例の利点は、より強い基準信号が提供され得る点である。図６におけるような後続するフレームを減算することに比べた利点は、時間遅延が必要とされず、フレームの間の時間における画像内のオブジェクトの動きに関する問題がないか又は少ない点である。減算される２つの信号は同一のフレームに起因し、従って考慮すべき又は動き補償すべき時間差がない。

時間多重化の更に他の実施例は、以下のとおりである。
−長さｔ_１を持つ第１の時間スロットにおいて、基準データから導出される基準照明信号が発せられる。
−長さｔ_２を持つ第２の時間スロットにおいて、強調照明から基準照明信号のｔ_１／ｔ_２倍を減算したものが発せられる。このことは、当該時間スロットの間に、照明データから基準データのｔ_１／ｔ_２倍を減算したものに等しい照明装置データを提供することにより達成される。

このとき、オブジェクトの照明全体は、以下のようになる：
ｔ_１＊（基準照明）＋ｔ_２＊（強調照明−ｔ_１／ｔ_２＊（基準照明））＝ｔ_２＊（強調照明）

基準照明は、平均するとオブジェクトの照明に対する影響を及ぼさない。高速な変動に追従できない人間の目は、基準照明を観測しない。

本発明は、種々の技術分野で利用され得る。

適用分野は、これに限定されるものではないが、屋内照明、店内照明、手術室照明、及び車のヘッドライトのような用途を含む。

例えば写真、ポスター又はリビングルーム、博物館若しくはギャラリーにおける彫像のために、ハイライト、コントラスト及び色が強調されても良い。一般に、屋内におけるあらゆるオブジェクトは本発明により強調されることができ、意図せずに場面部分に光エネルギーが浪費されないため、環境に優しいものと考えられる。実施例においては、本システムは、オブジェクトの位置において最も吸収されない色を発するよう構成され、それにより照明効果の効率を増大させる。この場合、視覚的な強調と共に、低エネルギー照明が目標となる。

店内環境においては、強調照明は、特定の商品の魅力又は注目度を増大させるために利用され得る。正方形の領域のみならず、任意の形状のハイライトスポットが利用され得ることに留意されたい。店内環境における一実施例におけるシステムは、人物がディスプレイに沿って歩くにつれて該人物を追跡し、それに応じて投射される画像を調節しても良い。

手術室においては、強調照明は、外科医の視覚を改善するために利用され得る。

車のヘッドライトにおいては、実施例においては、悪天候条件における運転者の視覚を改善するため、カメラフィードバックを伴う画素化された光源が利用される。斯かる状況においては、安定した強調照明が極めて重要である。この場合、ヘッドライトは例えば道路脇の木又は交通標識を強調する。

更に他の用途は、映画館における用途及び音楽パフォーマンスのための用途である。強調されるべきオブジェクトはこの場合、例えばステージ上で動いている歌手又は役者である。斯かる用途においては、強調信号４、即ち強調照明が実行されるアルゴリズムは、固定される必要はなく、例えば時間、ステージ上での位置、又は演奏されている音楽に依存するものとされても良い。また、役者（一般的にはあらゆる注目すべきオブジェクト）を区別し、重要な場面部分にのみ光を発する（調節可能なスポットライト、又は追跡スポット）ための処理が利用されても良い。

照明装置は、画像の投射が可能であり、画像の一部の照明を調節することが可能である限り、種々のタイプのものであり得る。投射はオブジェクトと同じ詳細度のものである必要はない。幾分粗い投射画像でも適切に動作する。照明装置が観測者の解像度に比べて非常に低い解像度しか持たない場合には、例えば光学的に、強調信号をぼかすことが有利となり得る。照明装置は、例えばＬＣＤ投射器のような、画像を全体として投射するタイプのものであっても良いし、又は画素を走査することにより若しくは画像線を走査することにより画像を投射するタイプのものであっても良い。

実施例における照明装置は、光源からの光を空間的に変調する光弁（ＬＣＤ、ＤＭＤ）装置を有する。

実施例における照明装置は、オブジェクトに発せられた光を空間的に変調する、走査変調光ビーム生成器（ＬＥＤ又はＬＥＤレーザ）を有する。

実施例における照明装置は、オブジェクトに発せられた光を空間的に変調する、変調光ビーム生成器の走査直線アレイ（複数のＬＥＤ又はＬＥＤレーザ）を有する。

記録装置は多くのタイプのものであり得る。実施例においては、記録装置は、ＣＣＤやＣＭＯＳのような画像センサ装置を有する。別の実施例においては、記録装置は、走査された場面から或る時点における反射された光の量を検出する光ダイオード、又は走査された場面から或る時点における反射された光の量を検出する光センサの直線アレイを有する。

特に有利な実施例は、画素化されたランプを有する投射器により形成される。照明システムは強度の点において、更に最近では、発光ダイオード（ＬＥＤ）ランプの導入に伴い色の点においても適応可能なものとなってきている。ＬＥＤは、（低解像度の）画像／雰囲気投射を可能とする画素化ランプを用いて、明るさ及び色の点で非常に高速に制御されることができ、画素化されたランプにおいて、ランプは複数のＬＥＤのような小型ランプから構成され、該ランプが画像を投射する。

図９は、斯かる画像を示す。該画像は、図９において左から右へ走る線により模式的に示される、連続的に走査される画素の幾つかの線から構成される。例えば可動ミラーを備えたレーザ装置が、線毎に走査することにより画像を構成するために利用されても良い。本目的のためには、ＬＥＤを用いる画素化されたランプも利用され得る。代替としては、該画像は線毎に示され、該線は画像の上端から下向きに走査されても良い。

投射された画像の個々の画素が走査される場合、該個々の画素は記録された画像において識別可能であり、このことは整合の目的のために有利である。欠点は、殆どの画素が任意の時点でオフである点である。

強調照明を提供するための強調信号で画像の画素又は線を走査し、次いで、基準照明を提供するための基準信号で同じ画素又は線を走査し、更に別個の時間スロットにおける画像を記録して該信号を多重分離し、該記録された画像信号から基準信号即ちオブジェクトにおける基準照明の反射を抽出することにより、時間多重化が実行されても良い。

図６に模式的に示されたような基準信号により強調信号の時間変調を用い、種々のフレームから記録された信号を減算することにより記録された信号から基準信号を抽出することも可能である。

以上の図面においては、照明装置５及び記録装置１は別個のユニットとして示された。好適な実施例においては、照明装置５と記録装置１とが、共通の光学系を共有する。図１０において、斯かる実施例が模式的に示されている。投射される光は、ミラーＭ１及び部分的に反射性で部分的に透過性のミラーＭ２を介して、共通のレンズ系Ｌを通って伝達される。同一のレンズ系Ｌ及び部分的透過性ミラーＭ２を通して、画像が記録される。共通の光学系を用いることは、より小型のデザインという利点を持ち、投射される画像と記録される画像との整合に関する問題が少ない。

図１１は、更に好適な実施例を示す。本実施例においては、以下の３つの信号が識別可能である。
−基準信号（７ａ、７ａ'）
−強調信号（４、４'）
−照明装置によるものではなく、例えば日光による信号（７ｂ、７ｂ'）

基準信号によりフレーム毎に照明信号が変調される実施例においては、例えば入射する日光のような他の光によるいずれの信号も、信号１０に影響を与えないか、又は非常に限られた量しか影響を与えない。なぜなら、入射する日光は、幾分か同程度に全てのフレームに影響を与え、従って減算の間入射する日光の影響が失われるからである。しかしながら、時間多重化の実施例においては、照明装置から来るものではない付加的な光は、基準画像の一部として知覚され得る。従って、写真に当たる窓における日光の反射による写真上の明るい点が、写真の一部として観測され強調される。車のヘッドライトに関しては、街灯又は日光による照明が同様の問題を引き起こす。図１１は、当該問題を克服するか又は少なくとも軽減する実施例を示す。時間多重化の間、少なくとも３つの時間スロットがあり、即ち強調信号４用のもの、基準信号７ａ用のスロット７ａ、及び信号用のものではない、即ち照明装置からの光用のものではないスロット７ｂである。このとき、基準画像信号は、時間スロット７ａ及び７ｂに対応する信号を減算することにより見出される。

多重化方式において付加的な時間スロットを必要としない代替の方法は、例えば奇数フレームにおいて基準信号の０．８倍、偶数フレームにおいて基準信号の１．２倍のように、時間スロット７における基準信号を変調し、次いで偶数画像から奇数画像を減算する又はその逆を行うことである。このとき、日光による信号は相殺され、基準信号による照明の０．４倍のみが残る。

図１２は、単一の記録装置１が利用されるが、１つ以上の（本例においては２つの）照明装置５及び５'が利用される実施例を示す。本実施例においては、２つの基準信号が多重化され、例えば２つの照明装置についての基準照明のための時間スロットは異なり、好適には重複しない。

このとき、多重分離器ｄｅｍｕｘは、記録されたデータを切断し、両方の照明装置の基準照明を分割する。好適には、複雑さを回避するため、照明装置５の強調信号はゼロと設定され、２つの基準照明間のクロストークを回避する。

図１３は、以下のような構成を模式的に示す。

照明装置５に対して、第１の時間スロットの間はゼロである信号が送信され、更なる時間スロットの間は強調信号４が送信され、最後の時間スロットの間は基準信号７が送信される。

照明装置５'に対しては、第１の時間スロットの間は基準データ７''を有する信号が送信され、更なる時間スロットの間は強調信号４が送信され、最後の時間スロットの間はゼロである信号が送信される。

このとき、多重分離器ｄｅｍｕｘは、両方の照明装置からの基準照明信号を識別することができる。照明装置５及び５'は、当該実施例が適切に動作するために同期して動作する必要がある。

２つ以上の照明装置を用いつつ単一の記録装置を用いることは、少なくとも２つの利点を持つ。即ち、より効率的である点と、２つの記録装置を用いることに比べて、２つの記録装置の同期に関する問題が回避される点である。

勿論、照明装置の数は２つに限定されるものではなく、２つよりも多い照明装置が利用されても良い。基準照明がパターン化されている場合は、２つの照明装置についてのパターンは好適には異なり、これら２つの装置間の更なる識別を可能とする。

本発明の更に他の実施例は、図１４に模式的に示される。

図１４の上部のグラフにおいて、強調照明が示されている。垂直軸は強度Ｉを表す。水平軸は、画素の或る行又は列についての位置ｘを表す。反射された画像は同様の空間的パターンを示す。

図１４の下部のグラフは、強調照明と基準照明との合計を示す。本発明の本例においては、強調照明が基準照明によって空間的に変調される。斯かる空間的変調の例は、固定された値を、隣接する画素における強調強度に対して加算及び減算することである。強調照明が画素毎に比較的低速に変化すると仮定すると、記録された画像データに空間フィルタを適用することにより、記録された画像データからの基準照明による反射を空間的にフィルタリングすることが可能となる。

このことは、強調照明が基準照明により空間的に変調される実施例の一例である。

図１５は、基準照明により強調照明を空間的に変調する、より複雑な更なる例を示す。

本例においては、基準照明自体が、更なる空間的パターンを有する。本例においては、基準照明の値が、高さにおいて２つの異なる段階を示す。該高さの差が２つの方向に適用される場合、図７に示されたものと等価なチェッカー盤パターンが現れる。

以上に示された例においては、基準照明と強調照明とを提供するために共通の照明源が利用された。基準照明と強調照明との混合は、データ信号の混合を共通の照明装置に送信する前に、データ信号を混合することにより実行された。単一の照明源からの組み合わせられた照明は、少なくとも２つの識別可能な構成要素、即ち基準照明及び強調照明を有する。本システムの記録側において、発光側において為されたものとは逆の処理が実行され、２つの構成照明を分解するか、又は少なくとも構成照明の一方即ち基準照明を抽出する。

本概念は、以下のように一般化される。

発せられる光は、以下のように数式で記述され得る：
Ｉ（ｘ，ｙ，ｔ）＝Ｆ｛Ｉ_{reference illumination}（ｘ，ｙ，ｔ）；Ｉ_{enhancement illumination}（ｘ，ｙ，ｔ）｝

ここで、Ｉは、空間的位置（ｘ，ｙ）及び時間ｔの関数としての、発せられる光である。該発せられる光は、空間（ｘ，ｙ）及び／又は時間ｔの関数である基準照明の強度、及び同様に空間及び／又は時間の関数である強調照明に依存する。

オブジェクトから反射される光は、基準照明のオブジェクトによる反射及び強調照明のオブジェクトによる反射の関数となる。
Ｒ（ｘ，ｙ，ｔ）＝Ｆ'｛Ｒ_{reference illumination}（ｘ，ｙ，ｔ）；Ｒ_{enhancement illumination}（ｘ，ｙ，ｔ）｝

反射された画像はフィルタリングされ、基準照明による反射された画像を得る。
Ｆｉｌｔｅｒ｛Ｒ（ｘ，ｙ，ｔ）｝・Ｒ_{reference illumination}

基準照明による反射された画像上のデータは、強調照明のための情報を提供するために利用される。

本発明を実行する幾つかの方法がある。

２つの照明を混合する処理は、共通の照明源を利用する代わりに、２つの別個の照明源を利用することにより実行され得る。換言すれば、電気ドメインでデータ信号を混合し、次いで混合信号を共通の照明源に送信する代わりに、オブジェクトに対する別個の光源からの２つの発光を組み合わせることにより、光学ドメインで信号の混合を実行しても良い。

図１６は、斯かる実施例の一例を示す。

本例においては、本システムは２つの別個の照明源を有する。本システムは、基準照明を生成するための白色光生成器Ｗを有し、更に本システムは、強調照明装置５を有する。強調照明装置５に対し、強調照明データ４が供給される。該強調データは、時間ａの間に強調照明装置５が光を発し、時間ｂの間に強調照明装置５が光を発しないように変調される。このことは、強調照明装置５の発光の時間変調の一形態である。光源Ｗは、常に発光している。２つの装置５及びＷは、共通の光学ユニットＣを共有し、本例においては該ユニットは部分的に透明で部分的に透過性のミラー、更にことによると該ミラーの前方におけるレンズ系により形成される。強調照明装置５及び白色光源Ｗからの発光の混合により照明されたオブジェクトは、時間ｂの間は光源Ｗからの光、即ち基準照明のみを反射する。記録側において、時間ｂの間にのみデータが集められるように入力されるデータをフィルタリングすることにより、基準照明が測定される。斯かるフィルタリングは、記録された信号の時間変調の一種である。

時間ｂにおいて光を発しない代わりに、例えば強調照明装置５の前方のホイールを回転させることによって、同様のことが光学ドメインにおいて達成できることに留意されたい。他の例は、図１６における部分的に透明で部分的に透過性のミラーの位置において、透明から反射性に切り換わる切り換え可能ミラーの使用であり得る。

斯くして、発光側における基準照明及び強調照明の混合が、信号を混合して共通の照明装置を用いることによって電気ドメインで、及び２つの異なる光源を用いてオブジェクトに入射する前に２つの光ビームを混合することにより光学ドメインで、実行されることができる。

受信側でのフィルタリングのため、同様の方式の二重性が存在する。上述した信号において、画像信号が記録される。当該画像信号は次いで、基準照明による反射を取り除くためデータフィルタに送られる。

しかしながら、記録側において、記録された画像データに適用されるデータフィルタを必要としない光記録装置に入射する光をフィルタリングする幾つかの方法がある。

多重化方式における特定の時間スロットが基準照明のために確保される実施例については、とり得る選択肢の一つは、当該特定の時間スロット内でのみ動作可能な記録装置を持つことである。このことは、以下のような幾つかの方法で適用され得る。

例えば基準照明に割り当てられた多重化方式内で特定の時間の間にのみデータを記録するように時間設定されたＣＣＤ装置を用いる。このとき、ＣＣＤによって受信されたデータのみが、基準照明によるデータとなる。後続するデータフィルタリングは必要とされない。時間フィルタがＣＣＤ装置に直接に適用される。

光学シャッタを用いて、特定の時間の間以外の全ての時間で、光記録装置の前方で光を遮断する。このことは、光記録装置に入射する光をフィルタリングするためのフィルタのハードウェア的な実施例である。該シャッタは、多重化方式と同期される。記録データに対しても記録データ内においてもデータフィルタリングは必要とされない。フィルタリングは、光学ドメインにおいて記録の前に実行される。この場合、時間制御されたシャッタがフィルタとして機能する。

フィルタリング動作は斯くして、記録に先立って、即ち記録装置の前方において何らかの光学フィルタによって光をフィルタリングすることによって実行されることができる。特に、異なる時間プロファイルを持つために基準照明と強調照明とが識別可能である場合には、記録装置の前方における時間制御されたシャッタが利用されることができる。しかしながら好適には、フィルタリングは記録されたデータに対して実行される。なぜなら、このことは強調照明の反射に対するデータを解析することを容易化するからである。

画像記録装置はカメラであっても良く、多くの好適な実施例においてはカメラであるが、幾つかの実施例においては、該記録装置は限られた数の画素しか持たないものであっても良く、限界値においては画像全体をカバーする単一の画素しか持たないものであっても良い。

斯かる実施例の一例は、図１７に示される。

図１７は、ヘッドライトを備えた車両を示す。ヘッドライト５１、５１'は、前方の道路を照明するための強調照明及び基準照明を提供するように構成される。該車両の前方には、ｎ×ｍの光センサのマトリクスを有する光記録装置５２、５２'が備えられ、本例においては、ヘッドライトの各々について１つの光記録装置が備えられ、ｎ及びｍは１と例えば８との間の数である。最も極端な場合には、該記録装置は単一の光センサである。時間多重化が、対応するヘッドライトの対応する部分の効果を各光センサが測定することを可能とする。とり得る方式については、例えば図１３を参照されたい。最も基本的な形態においては、単一の光センサがマトリクスとして利用され、換言すればｎ及びｍが１である。

該光センサは、基準照明を発するときのヘッドライトの効果を測定し、ここで該ヘッドライトは、光センサのマトリクスに対応する領域に分割されている。

該光記録装置は斯くして、反射された画像を記録するための装置であり、画素の数はいずれの数であっても良い。好適な実施例においては、記録のための装置はカメラである。なぜなら、カメラはより大きな解像度を可能とするからである。

要約すると、本発明は以下のように記述され得る。

オブジェクトの外観を強調するためのシステムは、強調照明を提供するための照明装置と、該オブジェクトにおける照明の該オブジェクトによる反射を記録するための光記録装置と、を有する。基準照明が、該強調照明と混合される。反射された光における情報はフィルタリングされ、該基準照明による反射データがフィルタリングされる。これらデータは、プロセッサにおいて、該強調照明を算出するために利用される。

請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定することを意図したものではない。

「有する（comprising）」なる語は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。本発明は、以上に説明された種々の好適な実施例の特徴のいずれかの組み合わせにより実装されても良い。

Claims (14)

1. オブジェクトの記録された画像データを生成するための光記録装置と、
   照明装置と、
   前記記録された画像データから強調照明データを生成するためのプロセッサと、
   を有する照明システムであって、前記強調照明データは、強調照明によって前記オブジェクトを照明して前記オブジェクトの外観を強調するために、前記照明装置に供給される照明システムにおいて、
   前記照明システムは、基準照明と前記強調照明との混合によってオブジェクトを照明するため前記基準照明を生成するための生成器を有し、前記システムは、前記光記録装置に入射する光から、前記オブジェクトにより反射された基準画像データを抽出するためのフィルタを有し、前記オブジェクトにより反射された基準画像データは、前記強調照明データを生成するための前記プロセッサへの入力であり、前記システムは、基準照明データを供給するための基準信号手段と、前記基準照明データと前記強調照明データとを混合するための混合器とを有し、前記基準照明データと前記強調照明データとの混合が共通の照明装置に供給される、照明システム。
2. 前記フィルタは、前記光記録装置により記録されたデータをフィルタリングするためのデータフィルタである、請求項１に記載の照明システム。
3. 前記システムは、前記強調照明と前記基準照明とを時間多重化するための多重化器を有し、前記フィルタは、前記記録された画像データを多重分離して前記オブジェクトにより反射された基準画像データを提供するための多重分離器を有する、請求項１又は２のいずれか一項に記載の照明システム。
4. 前記多重化器は、前記基準照明を前記強調照明と多重化し、前記照明装置からの照明とは多重化しないように構成された、請求項３に記載の照明システム。
5. 前記システムは、前記基準照明によって前記強調照明を時間変調するための変調器を有し、前記フィルタは、前記記録された画像データを時間復調して前記オブジェクトにより反射された基準画像データを提供するための時間復調器を有する、請求項１又は２のいずれか一項に記載の照明システム。
6. 前記システムは、前記基準照明によって前記強調照明を空間変調するための変調器を有し、前記フィルタは、前記記録された画像データを空間復調して前記オブジェクトにより反射された基準画像データを提供するための空間復調器を有する、請求項１又は２のいずれか一項に記載の照明システム。
7. 前記基準照明は空間マーカを備える、請求項１乃至６のいずれか一項に記載の照明システム。
8. 前記空間マーカは空間的パターンにより形成された、請求項７に記載の照明システム。
9. 前記空間的パターンはチェッカー盤パターンである、請求項８に記載の照明システム。
10. 前記混合器は、基準照明の時間的な平均及び／又は画像に亘る平均が略ゼロであるように混合する、請求項５又は６に記載の照明システム
11. 前記照明装置は前記画像を走査するように構成された、請求項１乃至１０のいずれか一項に記載の照明システム。
12. 前記照明装置と前記記録装置とが共通の光学系を共有する、請求項１乃至１１のいずれか一項に記載の照明システム。
13. 前記システムは１つよりも多い照明装置を有する、請求項１乃至１２のいずれか一項に記載の照明システム。
14. オブジェクトを照明する方法であって、
    前記オブジェクトの画像が記録され、前記オブジェクトの記録された画像データを生成し、
    照明データを用いて、前記オブジェクトの画像が前記オブジェクトに投射される
    方法において、
    前記オブジェクトは、基準照明と強調照明との混合により照明され、前記記録された画像は、前記オブジェクトにより反射された基準画像データを抽出するようにフィルタリングされ、前記オブジェクトにより反射された基準画像データは、前記強調照明を生成するために用いられ、前記基準照明データと前記強調照明データとが混合され、前記基準照明データと前記強調照明データとの混合が共通の照明装置に供給される、
    方法。

Images