JP2024030668A - 照明システムおよび撮影システム - Google Patents

Abstract

【課題】容易かつ適切に被写体を照射させることができる照明システムを提供する。【解決手段】照明システムは、背景画像を表示する表示部の前に位置する被写体に光を照射する照射装置と、前記被写体を特定するための被写体情報を取得する情報取得装置と、前記表示部に表示される前記背景画像に関する背景画像情報を記憶する記憶部と、前記照射装置による照射を制御する制御部と、を備え、前記制御部は、前記情報取得装置によって取得された前記被写体情報と、前記記憶部に記憶された前記背景画像情報との差分に基づき、前記被写体の形状情報を生成し、前記形状情報に基づき前記照射装置によって光が照射される照射範囲を設定する。【選択図】図３

Description

本発明は、照明システムおよび撮影システムに関する。

特許文献１では、被照射物体（被写体）を照射する照射装置が提案されている。特許文献１に開示された照射装置では、ユーザが操作スティックを操作して、被写体における照明光投影範囲（照射範囲）を設定し、照射装置によって、設定された照射範囲を照射する。この構成により特許文献１では、被写体に照明光を照射することができる。

特開２０１１－２２６８１０号公報

しかしながら、上述した特許文献１では、ユーザによって照射範囲を設定する必要があるため、被写体に光を照射させる照射処理が煩雑となる。

本開示の目的は、被写体に対して容易に光を照射することができる照明システムを提案する。

本開示の一態様に係る照明システムは、背景画像を表示する表示部の前に位置する被写体に光を照射する照射装置と、前記被写体を特定するための被写体情報を取得する情報取得装置と、前記表示部に表示される前記背景画像に関する背景画像情報を記憶する記憶部と、前記照射装置による照射を制御する制御部と、を備え、前記制御部は、前記情報取得装置によって取得された前記被写体情報と、前記記憶部に記憶された前記背景画像情報との差分に基づき、前記被写体の形状情報を生成し、前記形状情報に基づき前記照射装置によって光が照射される照射範囲を設定する。

本開示の一態様に係る撮影システムは、背景画像を表示する表示部の前に位置する被写体に光を照射する照射装置と、前記被写体を特定するための被写体情報を取得する情報取得装置と、前記表示部に表示される前記背景画像に関する背景画像情報を記憶する記憶部と、前記照射装置による照射を制御する制御部と、を備え、前記制御部は、前記情報取得装置によって取得された前記被写体情報と、前記記憶部に記憶された前記背景画像情報との差分に基づき、前記被写体の形状情報を生成し、前記形状情報に基づき前記照射装置によって光が照射される照射範囲を設定する照明システムと、前記表示部を有する表示装置と、前記前記被写体と前記表示部に表示された前記背景画像とを一緒に撮影する撮影装置と、を備える。

本開示によれば、照明システムは、容易かつ適切に被写体を照射させることができるという効果を奏する。

本開示の第１実施形態に係る撮影システムの要部構成を模式的に示す図である。 本開示の第１実施形態に係る表示装置の表示部に表示された背景画像の陰影の方向と被写体の陰影の方向とが一致しないときの画像の一例を模式的に示す図である。 本開示の第１実施形態に係る照明システムの要部構成の一例を示すブロック図である。 本開示の第１実施形態に係る照明システムにおける撮影照明処理の一例を示すフローチャートである。 本開示の第１実施形態に係る照明システムが備える情報取得装置により測定される被写体までの距離と表示部までの距離との相違を模式的に示す図である。 図４に示す撮影照明処理における照射範囲の設定処理の一例を示すフローチャートである。 本開示の第１実施形態の第１変形例に係る照明システムによって実施される照射範囲の設定処理の一例を示すフローチャートである。 本開示の第１実施形態に係る情報取得装置によって取得された被写体情報によって生成された照射範囲情報により規定可能な範囲と、照射装置により照射される範囲とが異なる場合についての一例を模式的に示す図である。 本開示の第１実施形態の第２変形例に係る照明システムによって実施される照射範囲の設定処理の一例を示すフローチャートである。 本開示の第２実施形態に係る照明システムの要部構成を示すブロック図である。 本開示の第２実施形態に係る照明システムにおける撮影照明処理の一例を示すフローチャートである。 本開示の第２実施形態に係る照明システムにおいて取得される第１画像および第２画像と、第１画像および第２画像の差分により得られる画像とを模式的に示す図である。 図１１に示す撮影照明処理における照射範囲の設定処理の一例を示すフローチャートである。 本開示の第２実施形態の第１変形例に係る照明システムにおいて取得される第１画像および第２画像と、第１画像および第２画像の差分により得られる画像とを模式的に示す図である。 本開示の第２実施形態の第１変形例に係る照明システムの要部構成を示すブロック図である。 図１１に示す撮影照明処理における、照射範囲の設定処理の一例を示すフローチャートである。 本開示の第３実施形態に係る照明システムの要部構成を示すブロック図である。 本開示の第３実施形態に係る照明システムにおける撮影照明処理の一例を示すフローチャートである。 本開示の第４実施形態に係る照明システムの要部構成を示すブロック図である。 本開示の第４実施形態に係る照明システムにおける撮影照明処理の一例を示すフローチャートである。

以下、本開示の実施形態及び変形例を、図面を参照しながら説明する。なお、以下ではすべての図を通じて同一または相当する部材には同一の参照符号を付して、その重複する説明を省略する。また、以下に説明する実施形態及び変形例は、本開示の一例に過ぎず、本開示は、実施形態及び変形例に限定されない。この実施形態及び変形例以外であっても、本開示の技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。

［第１実施形態］
（撮影システム）
図１を参照して本開示の第１実施形態に係る撮影システム１００の構成について説明する。図１は本開示の実施形態に係る撮影システム１００の要部構成を模式的に示す図である。

図１に示すように、撮影システム１００は、表示装置１、撮影装置２、および照明システム３０を備えてなる構成である。

表示装置１は、外部から入力されたデータに基づき背景画像などの情報を出力する出力装置であって、例えば、液晶ディスプレイ、ＬＥＤディスプレイ、ＯＬＥＤディスプレイ、およびプラズマディスプレイなどが例示できる。表示装置１は、背景画像などの情報を表示する表示部１０を有する。

撮影装置２は、表示部１０に表示されている背景画像とともに表示部１０の前に位置する被写体２０を撮影する。

照明システム３０は、被写体２０の位置および形状を特定し、被写体２０に対して光を照射させる。照明システム３０の詳細については後述する。

撮影システム１００は、表示部１０の前に被写体２０が位置しており、表示部１０に表示させた背景画像とともに被写体２０を撮影する、いわゆるバーチャルプロダクションを実施するシステムである。表示部１０において表示させる背景画像を様々に変更することで、様々な画像をバックにして被写体２０を撮影することができる。なお、表示装置１において表示部１０で背景画像が表示される側を前側、反対側を後側と規定する。また、表示装置１を前側から後側に向かってみたときを基準にして左右方向を規定するものとする。

ところで、表示部１０に表示された背景画像とともに被写体２０を撮影して画像を製作する際、背景画像において陰影が生じる方向と被写体２０において陰影が生じる方向とが一致しない場合、例えば、図２に示すように違和感のある画像となる。図２は、本開示の第１実施形態に係る表示装置１の表示部１０に表示された背景画像の陰影の方向と被写体２０の陰影の方向とが一致しないときの画像の一例を模式的に示す図である。図２に示す画像では、背景画像は左下方向に陰影が生じているのに対して、被写体２０は右側方向に陰影が生じている。この様な陰影が生じる方向の違いは、撮影装置２によって撮影された画像に対する違和感につながる。そこで、背景画像と被写体２０とにおいて陰影が生じる方向を一致させることが求められる。

また、陰影が生じる方向を一致させるために、背景画像および被写体２０に向かって光を照射させると背景画像を表示させている表示部１０で光が反射したり、被写体２０の影が背景画像に映り込んだりする場合がある。

そこで、本開示の第１実施形態に係る照明システム３０は、被写体２０の位置および形状を特定し、被写体２０のみに背景画像と同じ方向に陰影が生じるように光を照射させるように構成されている。

（照明システム）
本開示の第１実施形態に係る照明システム３０について説明する。図１に示されるように照明システム３０は、照射装置３、情報取得装置４、および設定処理装置５を含む。

照射装置３は、被写体２０に光を照射する装置であり、光源からの配向制御および光色調整機能を有する。照射装置３は、例えば、プロジェクタまたはレーザ照射装置を例示することができる。照射装置３がプロジェクタである場合、照射範囲として設定された範囲を白色とし、それ以外の範囲を黒色とすることで、設定された照射範囲だけを照らすことができる。

情報取得装置４は被写体情報７１を取得するための装置であり、被写体情報７１を取得すると、設定処理装置５に送信する。

被写体情報７１とは、被写体２０の位置を特定するために用いる情報であって、被写体２０を、表示部１０に表示された背景画像から区別可能とする情報である。情報取得装置４からの距離の違いにより被写体２０と背景画像（表示部１０）とを区別する場合は、被写体情報７１には、少なくとも被写体２０までの距離の情報を含む。このように被写体情報７１が被写体２０までの距離の情報を含む場合、情報取得装置４は測距センサ（測距装置）により実現できる。

測距センサは、超音波、赤外線、レーザ光などの信号を出射し、測定対象物で反射して戻ってきた信号を受信し、その受信した結果に基づき測定対象物までの距離を測定するセンサであり、例えば、ＬｉＤＡＲ（light detection and ranging）などを例示することができる。

設定処理装置５は、照射装置３によって光を出射するために各種条件を設定する。具体的には、設定処理装置５は、照射装置３によって光を照射させる照射範囲を設定する。また、設定処理装置５は、照射範囲に向かって出射する光の強度、方向など出射条件を設定する。設定処理装置５は、図３に示すように、制御部６と記憶部７とを備える。図３は、本開示の第１実施形態に係る照明システム３０の要部構成の一例を示すブロック図である。

記憶部７は、読み書き可能な記憶媒体であり、例えば、ハードディスク、あるいはフラッシュメモリなどの半導体メモリによって実現できる。記憶部７には、情報取得装置４によって取得された被写体情報７１および表示装置１において表示させる背景画像に関する背景画像情報７２が記憶される。背景画像情報７２としては、例えば、表示部１０に表示される背景画像の画像データまたは、背景画像が表示される表示部１０までの距離情報などが挙げられる。また、表示部１０までの距離情報は、表示部１０までの実際の距離であってもよいし、測定された距離から測定対象が表示部１０であるのか否か弁別可能とする閾値であってもよい。

なお、背景画像情報７２は予め記憶部７に記憶されていてもよい。また背景画像情報７２が背景画像の画像データの場合、例えば、不図示の通信部を介して表示装置１から取得する構成であってもよい。また、背景画像情報７２が、背景画像を表示する表示部までの距離情報である場合は、情報取得装置４によって取得する構成であってもよい。

制御部６は、設定処理装置５が含む各部の各種制御を実行する演算処理装置であり、例えば、ＣＰＵなどによって実現できる。制御部６は、後述の照射範囲の設定処理を実行するための機能ブロックとして、形状情報生成部６１、照明範囲設定部６２、および出射条件設定部６３を含む。これら各機能ブロックは、制御部６がＣＰＵである場合、ＣＰＵが記憶部７に記憶された不図示のプログラムを読み出し、実行することで実現できる。

形状情報生成部６１は、情報取得装置４によって取得した被写体情報７１に基づき被写体２０の形状情報を生成する。

照明範囲設定部６２は、形状情報生成部６１によって生成された形状情報と背景画像情報７２との差分に基づき照射装置３によって光を照射する照射範囲を設定する。

出射条件設定部６３は、記憶部７に記憶された背景画像情報７２に含まれる画像データ基づき、背景画像の陰影方向と被写体２０の陰影方向とが一致するように、照射装置３から、設定された照射範囲に向かって出射させる光の強度および出射方向などの出射条件を設定する。

照射装置３は、照明範囲設定部６２によって設定された照射範囲に対して、出射条件設定部６３によって設定された出射条件に基づき光を出射させる。

（撮影照明処理）
図４を参照して、本開示の第１実施形態に係る照明システム３０における撮影照明処理について説明する。図４は、本開示の第１実施形態に係る照明システム３０における撮影照明処理の一例を示すフローチャートである。なお、前提として背景画像が表示された表示部１０の前に被写体２０が存在しているものとする。

まず、照明システム３０では、情報取得装置４が被写体情報７１を取得し（ステップＳ１１）、設定処理装置５に送信する。設定処理装置５では、被写体情報７１に基づき照射範囲の設定処理を実施する（ステップＳ１２）。

ステップＳ１２における照射範囲の設定処理によって設定された照射範囲および出射条件などに基づき、照射装置３は設定された照明範囲に向かって光を出射する（ステップＳ１３）。

このように、照射装置３が被写体２０に向かって光を出射させた後、撮影装置２は被写体２０を含む画像を撮影する（ステップＳ１４）。そして、次に設定処理装置５は、撮影装置２が撮影を継続しているか否か判定する（ステップＳ１５）。ここで、撮影装置２が撮影を継続している間、すなわちステップＳ１５において「Ｙｅｓ」と判定している間、設定処理装置５では、移動判定部６４が被写体２０の移動の有無を判定する（ステップＳ１６）。なお、被写体２０の移動の有無の判定は、例えば、以下のように実施することができる。すなわち、情報取得装置４が所定の間隔で逐次、被写体情報７１を取得する。移動判定部６４は、情報取得装置４により取得された被写体情報７１の時系列変化を調べる。そして、移動判定部６４は、情報取得装置４により取得された被写体情報７１が変化した場合、被写体２０が移動したと判定する。一方、被写体情報７１に変化がない場合、移動判定部６４は、被写体２０の移動はないと判定する。

移動判定部６４が、被写体２０が移動したと判定した場合（ステップＳ１６において「Ｙｅｓ」）、ステップＳ１１に戻って処理を繰り返し、照射範囲情報を更新する。このように、移動判定部６４が、被写体２０が移動したと判定した場合、照射範囲情報を更新することができるため、被写体２０の移動に追従して照射範囲を設定することができる。

一方、移動判定部６４が、被写体２０が移動していないと判定した場合（ステップＳ１６において「Ｎｏ」）、ステップＳ１４に進み撮影装置２による撮影を実行する。そして、設定処理装置５では、撮影が終了したと判定されると（ステップＳ１５において「Ｎｏ」）、撮影照明処理を終了する。なお、設定処理装置５は、不図示の操作ボタンなど操作指示部を備えており、操作指示部を介して撮影照明処理の終了を指示する信号を受け付けることによって撮影終了と判定することができる。

ここで、図５および図６を参照してステップＳ１２における照射範囲の設定処理について具体的に説明する。図５は、本開示の第１実施形態に係る照明システム３０が備える情報取得装置４により測定される被写体２０までの距離と表示部１０までの距離との相違を模式的に示す図である。また、図６は図４に示す撮影照明処理における照射範囲の設定処理の一例を示すフローチャートである。

まず、照明システム３０は、情報取得装置４として測距センサを備えており、情報取得装置４により取得される被写体情報７１には、少なくとも被写体２０までの距離の情報を含むものとする。また、記憶部７には、背景画像情報７２として、情報取得装置４により測定された距離の情報から、測定対象が、背景画像が表示される表示部１０であるのか否か弁別可能な閾値情報を含む。

図５に示されるように、情報取得装置４から被写体２０までの距離と、情報取得装置４から表示装置１の表示部１０までの距離とは異なっており、前者の方が後者よりも短い距離となっている。ここで、情報取得装置４から表示部１０までの距離を例えば、１０ｍとした場合、情報取得装置４による測定誤差等を考慮して９ｍを閾値として設定し、この閾値を設定処理装置５が背景画像情報７２として記憶部７に記憶しておく。このとき、情報取得装置４により測定された距離がこの閾値以上か、あるいは閾値未満であるかに応じて情報取得装置４の測定対象となる地点が被写体２０の範囲であるのか、背景画像が表示された表示部１０の範囲であるのか区別することができる。

なお、閾値を用いて、距離の測定結果から測定対象となる地点が被写体２０の範囲であるのか、表示部１０の範囲であるのか区別する構成の場合、情報取得装置４は、表示部１０と正対する位置に設けられることが好適である。また、照射装置３から被写体２０までの距離を、情報取得装置４から被写体２０までの距離とみなすことができるように、照射装置３と情報取得装置４とは近接して設けられる。

具体的には、照射範囲の設定処理において、情報取得装置４は、表示装置１および被写体２０に向かって信号を出射する。情報取得装置４は、表示部１０全体をカバーするように上下、左右方向それぞれ出射方向を変更させて複数回、信号を出射させて、距離を測定する。そして、情報取得装置４は、測定により得た距離情報を設定処理装置５に送信する。なお、設定処理装置５に送信される距離情報は、情報取得装置４から被写体２０および表示部１０を見たとき、任意の位置を特定可能とする仮想的な座標平面が設定されており、座標平面上の座標を示す情報と対応付けられている。なお、情報取得装置４により取得される距離情報は、情報取得装置４が信号を出射する出射方向と、この信号の出射により測定された距離の測定結果とを含んでいる。そして、出射方向毎に得られた距離の測定結果を二次元的に配列することでこの仮想的な座標平面を得ることができる。

表示部１０の前に被写体２０が存在しない場合、情報取得装置４により取得された距離情報は、どの座標位置であってもほぼ同じ距離となる。しかしながら、被写体２０が存在する場合は、被写体２０が存在する座標位置では出射された信号が被写体２０で反射して情報取得装置４に戻るため、距離が短くなる。

設定処理装置５では、制御部６における形状情報生成部６１が、情報取得装置４により取得された測定結果に基づき、この測定結果を閾値以上か閾値未満かで２値化する。そして、閾値未満に属する測定結果の集合の範囲（座標位置）を示す情報を被写体２０の形状情報として生成する（ステップＳ２１）。

次に、照明範囲設定部６２が被写体２０の形状情報に基づき、照射装置３によって光を照射させる範囲を示す照射範囲情報を生成する（ステップＳ２２）。そして、出射条件設定部６３がこの照射範囲情報を照射装置３の照射動作を規定する設定値に変換し（ステップＳ２３）、照射装置３に出力する。

［第１実施形態の第１変形例］
上記したように、第１実施形態に係る照明システム３０は、照射範囲の設定処理において、設定処理装置５は閾値を用いて、距離を測定した地点が被写体２０の範囲内であるのか、表示部１０の範囲内であるのか区別し、被写体２０の形状情報を生成する構成であった。これに対して、第１実施形態の第１変形例に係る照明システム３０は、図７に示されるように、閾値を予め設定することなく、以下のように設定処理装置５が被写体２０の形状情報を生成する。図７は、本開示の第１実施形態の第１変形例に係る照明システム３０によって実施される照射範囲の設定処理の一例を示すフローチャートである。なお、第１実施形態の第１変形例に係る照明システム３０では、撮影照明処理に含まれる、ステップＳ１２の照射範囲の設定処理だけが第１実施形態に係る照明システム３０とは異なっており、それ以外の各処理は同様となる。このため、同様な処理については説明を省略する。

まず、第１実施形態の第１変形例に係る照明システム３０では、設定処理装置５は、予め背景画像情報７２として、被写体２０が無い状態で表示部１０までの距離を測定して、第１距離情報を取得し、記憶部７に記憶する。そして、設定処理装置５では、被写体情報７１として情報取得装置４は、被写体２０が表示部１０の前に位置するときの表示部１０までの距離を測定し、第２距離情報を取得する。

そして、ステップＳ１２に示す照射範囲の設定処理を実行する。照射範囲の設定処理では、まず、設定処理装置５は、被写体２０がない状態で測定した第１距離情報を記憶部７から得る。さらに、設定処理装置５は、被写体２０がある状態で測定した第２距離情報を情報取得装置４から得る（ステップＳ３１）。

設定処理装置５では、形状情報生成部６１は、第１距離情報と第２距離情報との差分をとり、この差分から形状情報を生成する（ステップＳ３２）。つまり、形状情報生成部６１は、第１距離情報と第２距離情報とを比較して異なる距離となる座標位置の集合の範囲（座標位置）を示す情報を被写体２０の形状情報として生成する。

次に、照明範囲設定部６２が被写体２０の形状情報に基づき、照射装置３によって光を照射させる範囲を示す照射範囲情報を生成する（ステップＳ３３）。そして、出射条件設定部６３がこの照射範囲情報を照射装置３の照射動作を規定する設定値に変換し（ステップＳ３４）、照射装置３に出力する。

［第１実施形態の第２変形例］
ところで、上記した本開示の第１実施形態に係る照明システム３０および第１実施形態の第１変形例に係る照明システム３０では、情報取得装置４と照射装置３とが近接する位置に設けられる構成であった。

しかしながら、照明システム３０では、必ずしも情報取得装置４と照射装置３とが近接する位置となるように設けることができるとは限らない。そこで、本開示の第１実施形態の第２変形例に係る照明システム３０では、情報取得装置４と照射装置３とが近接した位置に配置されていない構成となっている。

このように、情報取得装置４と照射装置３とが近接した位置に配置されていない構成の場合、例えば、図８に示すように、情報取得装置４によって取得された被写体情報７１に基づき生成された照射範囲情報によって規定された範囲以外を、照射装置３により照射する可能性がある。図８は、本開示の第１実施形態に係る情報取得装置４によって取得された被写体情報７１によって生成された照射範囲情報により規定可能な範囲と、照射装置３により照射される範囲とが異なる場合についての一例を模式的に示す図である。

このように照射範囲情報により規定可能な範囲以外を照射装置３により照射する場合、照射装置３は、適切な範囲を照射することができない。そこで、第１実施形態の第２変形例に係る照明システム３０では、設定処理装置５が被写体２０の３次元形状を求め、この３次元形状に基づき照射範囲情報を生成するように構成する。そして、第１実施形態の第２変形例に係る照明システム３０では、情報取得装置４では直接的に距離を測定できない被写体２０の面（例えば、被写体２０の側面Ａ）に対しても照射装置３が適切に光を照射することができるように構成されている。

また、第１実施形態の第２変形例に係る照明システム３０では、照射装置３の光源から被写体２０に向かってみたときの照射範囲を規定するために、記憶部７において予め光源位置を特定する情報を記憶している。なお、光源位置を特定する情報は、例えば、光源と情報取得装置４との相対的な位置関係を示す情報とすることができる。なお、この光源位置を特定する情報は、予め、照射装置３の光源と情報取得装置４との位置関係を手動により計測することで得ることができる。あるいは、例えば、天井などに測距センサを備え、この測距センサによって照射装置３の光源と情報取得装置４との位置関係を計測することで得ることができる。照射装置３の光源と情報取得装置４との位置関係を計測する際、照射装置３の光源および情報取得装置４それぞれにマーカーを付し、付与されたマーカー間の距離を測定することで光源位置を特定する情報を求めてもよい。

具体的には、設定処理装置５は、図９に示すようにして照射範囲の設定処理を実施する。図９は、本開示の第１実施形態の第２変形例に係る照明システム３０によって実施される照射範囲の設定処理の一例を示すフローチャートである。なお、第１実施形態の第２変形例に係る照明システム３０は、第１実施形態の第１変形例に係る照明システム３０と比較して撮影照明処理に含まれる照射範囲の設定処理が異なっておりそれ以外の処理は同様となるため同様な処理については説明を省略する。すなわち、第１実施形態の第２変形例に係る照明システム３０では、図７に示すステップＳ３１と同様にして第１距離情報および第２距離情報を得る（ステップＳ４１）。次に、照明システム３０では、形状情報生成部６１が、第１距離情報と第２距離情報との差分をとり、この差分から形状情報を生成する。つまり、形状情報生成部６１は、第１距離情報と第２距離情報とを比較して異なる距離となる座標位置の集合の範囲（座標位置）を示す情報を被写体２０の形状情報として生成する。さらにこの生成した形状情報に基づき、被写体２０を示す３次元の形状情報を生成する（ステップＳ４２）。

３次元の形状情報は、例えば、被写体２０が人であると予め分かっている場合、人の代表的な３次元形状を示す情報を記憶部７に予め記憶しておく。そして、形状情報生成部６１は、生成した形状情報と記憶部７に記憶された３次元形状を示す情報とに基づき被写体２０を示す３次元の形状情報を生成する。

あるいは、表示部１０に対して正対する位置、表示部１０に向かって左右のそれぞれの位置に情報取得装置４として３台の測距センサを設け、３台の測距センサの計測結果に基づき被写体２０の３次元の形状情報を生成する構成としてもよい。

次に、照明範囲設定部６２が被写体２０の３次元の形状情報に基づき、照射装置３によって光を照射させる範囲を示す照射範囲情報を生成する（ステップＳ４３）。照射範囲情報は、照射装置３の光源から被写体２０を見たときの範囲を示す情報となる。照明範囲設定部６２は、被写体２０の３次元の形状情報と、記憶部７に予め記憶している照射装置３の光源位置を特定する情報とに基づき照明範囲情報を生成する。

例えば、記憶部７に予め記憶している光源位置を特定する情報から照射装置３と情報取得装置４との位置関係を求める。そして、照射装置３と情報取得装置４との位置関係と、被写体なしのときの第１距離情報とを用いて照射装置３の光源から見た第１の距離マップを予め生成しておく。また、照射装置３と情報取得装置４との位置関係と、被写体ありのときの第２距離情報とを用いて、照射装置３の光源からみた第２の距離マップを生成する。そして、第１の距離マップと第２距離マップとの差分から、照明範囲情報を生成する。

そして、出射条件設定部６３は、この照射範囲情報を照射装置３の照射動作を規定する設定値に変換し（ステップＳ４４）、照射装置３に出力する。

以上のように第１実施形態、ならびに第１実施形態の変形例１、２に係る照明システム３０は、設定処理装置５が被写体２０の範囲を特定し、照明範囲を設定することができるため、被写体２０に対して容易に光を照射することができる。また、表示部１０に表示させた背景画像とともに被写体を撮影する場合、照明システム３０は被写体２０が存在する範囲にのみ光を照射させることができるため、被写体２０の陰影を背景画像の陰影と一致させるように調整することができる。また、被写体２０に向かって照射させた光が表示部１０で反射したり、被写体２０の影が背景画像に映り込んだりすることを防ぐことができる。

なお、第１実施形態、ならびに第１実施形態の変形例１、２に係る照明システム３０では、照射装置３は被写体２０が存在する範囲（照射範囲情報に基づく範囲）にのみ光を照射させる構成であった。しかしながら、この構成に限定されるものではない。例えば、照射装置３は、被写体２０が存在する範囲（照射範囲情報に基づく範囲）に対して、それ以外の背景画像が表示される範囲よりも明るくなるように光を照射する構成であってもよい。

［第２実施形態］
図１０を参照して、第２実施形態に係る照明システム３１について説明する。図１０は、本開示の第２実施形態に係る照明システム３１の要部構成を示すブロック図である。

第１実施形態に係る照明システム３０では、情報取得装置４が測距センサであった。これに対して第２実施形態に係る照明システム３１では、情報取得装置４０が被写体２０を撮像する撮像装置となる点で相違する。なお、撮像装置は、固体撮像素子を有する例えば、ビデオカメラまたはデジタルカメラ等とすることができる。そして、情報取得装置４０によって取得される被写体情報７１は、被写体２０の画像を含む画像データ（後述の第２画像の画像データ）を少なくとも含む点で相違する。

なお、第２実施形態に係る照明システム３１では、撮像装置である情報取得装置４０が、撮影装置２とは別に設けられた構成である。しかしながら、撮影装置２が情報取得装置４０を兼ねていてもよい。

また、第１実施形態に係る照明システム３０では設定処理装置５が被写体２０までの距離と、表示部１０までの距離との相違に基づき、背景画像と被写体２０とを区別し、照射範囲を設定する構成であった。これに対して、第２実施形態に係る照明システム３１では、背景画像と、背景画像とともに被写体２０を撮影した画像との差分から被写体２０を区別し、照射範囲を設定する構成となっている点で相違する。

上記した相違点以外については、第２実施形態に係る照明システム３１は、第１実施形態に係る照明システム３０と同様となるため、同様な部材には同じ符号を付しその説明は省略する。

図１１を参照して第２実施形態に係る照明システム３１による撮影照明処理について説明する。図１１は、本開示の第２実施形態に係る照明システム３１における撮影照明処理の一例を示すフローチャートである。

図１１に示されるように、第２実施形態に係る照明システム３１では、情報取得装置４０が、被写体２０が存在しない状態で表示部１０を撮像して、第１画像を取得する（ステップＳ５１）。そして、情報取得装置４が取得した第１画像の画像データを設定処理装置５に送信する。そして、設定処理装置５では情報取得装置４から送信された第１画像の画像データを背景画像情報７２として記憶部７に記憶する。なお、設定処理装置５が、予め、背景画像情報７２として第１画像の画像データを保持している場合はステップＳ５１を省略することができる。

次に、情報取得装置４０は、被写体情報７１として、被写体２０が存在する状態で表示部１０を撮像して、第２画像を取得する（ステップＳ５２）。そして、取得した第２画像の画像データを設定処理装置５に送信する。

なお、情報取得装置４０によって取得された画像において任意の位置を特定可能とするように仮想的な座標平面が設定されており、設定処理装置５に送信される第１画像および第２画像それぞれの画像データを構成する各画素は、座標平面上の各座標位置を示す情報と対応付けられている。

設定処理装置５は、被写体情報７１として、情報取得装置４０によって取得した第１画像の画像データおよび第２画像の画像データに基づき、照射範囲の設定処理を実施する（ステップＳ５３）。これ以降のステップＳ５４からステップＳ５７は、図４に示すステップＳ１３からステップＳ１６までの各処理と同様となるため説明は省略する。

ここで、図１２および図１３を参照してステップＳ５３における照射範囲の設定処理について具体的に説明する。図１２は、本開示の第２実施形態に係る照明システム３０において取得される第１画像および第２画像と、第１画像および第２画像の差分により得られる画像とを模式的に示す図である。図１３は図１１に示す撮影照明処理における照射範囲の設定処理の一例を示すフローチャートである。

図１３に示されるように、設定処理装置５では、制御部６における形状情報生成部６１が、情報取得装置４０により取得された第１画像および第２画像それぞれの画像データを得る（ステップＳ６１）。

そして、形状情報生成部６１は、第１画像の画像データと第２画像の画像データとを比較して両者の差分をとり形状情報を生成する（ステップＳ６２）。すなわち、図１２に示されるように、形状情報生成部６１は、第１画像の画像データと第２画像の画像データとを取得し、第２画像から第１画像を取り除いて差分を抽出する。なお、ここでは第１画像を背景画像としたが所定の色で表示される画像であってもよい。第１画像が所定の色で表示される画像の場合、第２画像から所定の色部分を取り除くことで容易に差分を抽出することができる。このように形状情報生成部６１は第１画像と第２画像との差分から被写体２０の形状を抽出し、被写体２０の形状情報を生成する。

次に、照明範囲設定部６２が被写体２０の形状情報に基づき、照射装置３によって光を照射させる範囲を示す照射範囲情報を生成する（ステップＳ６３）。そして、出射条件設定部６３が、この照射範囲情報を照射装置３の照射動作を規定する設定値に変換し（ステップＳ６４）、照射装置３に出力する。

［第２実施形態の第１変形例］
ところで、情報取得装置４０が表示部１０に正対した位置に配置されていない場合、情報取得装置４０によって取得される画像は、正対する位置から取得された画像と比較して変形した形状となる。

このため、情報取得装置４０が表示部１０に対して正対した位置に配置されていない構成において、照明システム３１が保持している背景画像情報７２（第１画像の画像データ）が表示部１０に対して正対した位置から見たときの画像の画像データである場合、第１画像と第２画像との差分をそのままとることができない。

そこで、第２実施形態の第１変形例に係る照明システム３１は、図１４から図１６に示されるように、以下のようにして照射範囲の設定処理を行う。図１４は、本開示の第２実施形態の第１変形例に係る照明システム３１において取得される第１画像および第２画像と、第１画像および第２画像の差分により得られる画像とを模式的に示す図である。図１５は、本開示の第２実施形態の第１変形例に係る照明システム３１の要部構成を示すブロック図である。図１６は図１１に示す撮影照明処理における、照射範囲の設定処理の一例を示すフローチャートである。

なお、第２実施形態の第１変形例に係る照明システム３１は、第２実施形態に係る照明システム３１と比較して照射範囲の設定処理の処理フローが異なる。また、記憶部７が予め、照射装置３の光源位置と表示装置１の表示部１０との位置関係を示す位置情報７３を含んでいる点でも装置する。それ以外の点では同様となるため同様な構成および処理フローの説明は省略する。

図１６に示されるように、第２実施形態の第１変形例に係る照明システム３１では、図１３に示すステップＳ６１と同様にして、形状情報生成部６１が第１画像の画像データおよび第２画像の画像データを得る（ステップＳ７１）。図１４に示されるように、このとき得られた第１画像と第２画像とは異なる角度から撮像された画像である。そこで、形状情報生成部６１は、情報取得装置４０と表示部１０との位置関係に応じて第１画像の画像データを修正する（ステップＳ７２）。すなわち、形状情報生成部６１は、記憶部７に記憶されている位置情報７３に基づき、第１画像が第２画像と同じ角度から撮像した画像となるように第１画像の画像データを修正する。そして、形状情報生成部６１は、修正後の第１画像の画像データと第２画像の画像データとを比較して両者の差分をとり形状情報を生成する（ステップＳ７３）。すなわち、図１４に示されるように、形状情報生成部６１は、第２画像から修正後の第１画像取り除いて差分を抽出する。なお、これ以降実施されるステップＳ７４およびステップＳ７５は、図１３に示すステップＳ６３およびステップＳ６４と同様な処理となるため説明は省略する。

以上のように第２実施形態および第２実施形態の第１変形例に係る照明システム３１は、設定処理装置５が被写体２０の範囲を特定し、照明範囲を設定することができるため、被写体２０に対して容易に光を照射することができる。また、表示部１０に表示させた背景画像とともに被写体を撮影する場合、照明システム３１は被写体２０が存在する範囲にのみ光を照射させることができるため、被写体２０の陰影を背景画像の陰影と一致させるように調整することができる。また、被写体２０に向かって照射させた光が表示部１０で反射したり、被写体２０の影が背景画像に映り込んだりすることを防ぐことができる。

［第３実施形態］
次に第３実施形態に係る照明システム３２について図１７および図１８を参照して説明する。図１７は、本開示の第３実施形態に係る照明システム３２の要部構成を示すブロック図である。また、図１８は、本開示の第３実施形態に係る照明システム３２における撮影照明処理の一例を示すフローチャートである。

ところで、表示装置１が有する表示部１０において表示する背景画像が動画であるとき、背景画像内で明るさ（輝度）が変化する場合がある。例えば、背景画像において太陽が雲に遮られることで明るさが変化する場合などが挙げられる。

そこで、第３実施形態に係る照明システム３２では、背景画像における明るさの変化を考慮して被写体２０に光を照射させることで、背景画像と被写体２０との一体感を高めた画像が撮影できるように構成されている。

具体的には、図１７に示されるように、第３実施形態に係る照明システム３２は、第２実施形態に係る照明システム３１の構成において、さらに制御部６が色温度・明るさ調整部６５をさらに含む点で相違する。また、記憶部７は、背景画像情報７２において、背景画像の明るさと、色温度に関する情報がさらに含まれている。それ以外の構成については、第３実施形態に係る照明システム３２は、第２実施形態に係る照明システム３１と同様な構成となるため同様な部材には同じ符号を付し、その説明は省略する。

色温度・明るさ調整部６５は、例えば、記憶部７に記憶されている背景画像情報７２から、背景画像の明るさと色温度に関する情報を取得する。そして、色温度・明るさ調整部６５は、照射範囲に出射させ光が、背景画像の明るさ及び色温度の情報に応じたものとなるように、照射装置３の光源から出射される光によって被写体２０が照らされる明るさ、および光色を調整する調整情報を生成する。

次に、図１８を参照して第３実施形態に係る照明システム３２による撮影照明処理について説明する。なお、図１８に示されるステップＳ８１からステップＳ８２、ならびにステップＳ８５からステップＳ８８までの処理は、図３に示すステップＳ１１～ステップＳ１６までの処理と同様となるため説明は省略する。

設定処理装置５では、ステップＳ８２において照射範囲の設定処理が実施された後、色温度・明るさ調整部６５が記憶部７から背景画像情報７２を読み出し、背景画像情報７２から明るさ及び色温度に関する情報を取得する（ステップＳ８３）。なお、第３実施形態に係る照明システム３２では、背景画像の明るさおよび色温度に関する情報を、記憶部７に記憶された背景画像情報７２に含む構成である。しかしながら、この構成に限定されるものではない。例えば、第３実施形態に係る照明システム３２が、さらに不図示の色温度計および照度計を備え、色温度計から背景画像の色温度の情報を、照度計から背景画像の明るさの情報を取得する構成であってもよい。

色温度・明るさ調整部６５は、取得した背景画像の明るさおよび色温度に関する情報に基づき、照射装置３によって照射範囲に出射される光の明るさ、および光色を調整するための調整情報を生成する（ステップＳ８４）。そして続くステップＳ８５では、色温度・明るさ調整部６５によって生成された調整情報に基づき、照射装置３はステップＳ８２における照射範囲の設定処理によって設定された照射範囲に向かって光を出射する。

また、ステップＳ８８において、移動判定部６４が被写体２０の移動が無いと判定した場合（ステップＳ８８において「Ｎｏ」）は、色温度・明るさ調整部６５が明るさ及び色温度に関する情報を取得し、背景画像の明るさ・色温度が変化したか否か判定する（ステップ８９）。背景画像の明るさ・色温度の変化の有無は、例えば、色温度・明るさ調整部６５は以下のように判定することができる。すなわち、記憶部７に記憶された背景画像情報７２に含まれる背景画像の明るさおよび色温度に関する情報には、背景画像の明るさ・色温度の時間的な変化に関する情報を含んでおり、背景画像の表示開始からの経過時間に基づき、色温度・明るさ調整部６５は、背景画像の明るさ・色温度が変化したか否か判定することができる。あるいは、色温度・明るさ調整部６５は不図示の色温度計から取得した背景画像の色温度の情報、あるいは不図示の照度計から取得した背景画像の明るさの情報に基づき、背景画像の明るさ・色温度が変化したか否か判定する構成であってもよい。なお、ステップＳ８９において「Ｙｅｓ」と判定された場合、ステップＳ８４に進む。一方、ステップＳ８９において「Ｎｏ」と判定された場合、ステップＳ８６に進む。

以上のように、設定処理装置５では、色温度・明るさ調整部６５が調整情報を生成することができるため、背景画像の明るさおよび色温度に応じた光を照射装置３は被写体２０に照射させることができる。また、被写体２０の移動に応じて第３実施形態に係る撮影照明処理を繰り返すことができるため、移動後の被写体２０に適切な明るさおよび色温度となる光を照射装置３が照射させることができる。なお、第３実施形態に係る照明システム３２は、撮像装置である情報取得装置４０を備える構成であったが、この情報取得装置４０の代わりに第１実施形態の照明システム３０と同様に測距センサである情報取得装置４を備える構成であってもよい。

［第４実施形態］
次に図１９および図２０を参照して本開示の第４実施形態に係る照明システム３３について説明する。図１９は、本開示の第４実施形態に係る照明システム３３の要部構成を示すブロック図である。図２０は、本開示の第４実施形態に係る照明システム３３における撮影照明処理の一例を示すフローチャートである。

表示装置１の表示部１０に表示される背景画像が動画の場合、背景画像において光の出射方向が変化し、背景の陰影方向が変わる場合がある。このように背景の陰影方向が変わる場合、背景画像の陰影方向の変化に合わせて被写体２０の陰影方向が変わるように被写体２０に光を照射させる必要がある。

本開示の第４実施形態に係る照明システム３３では、背景画像の陰影方向の変化に合わせて被写体２０の陰影方向を変えるように、被写体２０を照射させることができるように構成されている。

具体的には図１９に示されるように、第４実施形態に係る照明システム３３は、第２実施形態に係る照明システム３１の構成において、さらに制御部６が明暗調整部６６を含む点で相違する。それ以外の構成については、第４実施形態に係る照明システム３３は、第２実施形態に係る照明システム３１と同様な構成となるため同様な部材には同じ符号を付し、その説明は省略する。

明暗調整部６６は、背景画像を照らす光源位置が変化したか否か判定し、光源位置が変化したと判定した場合は、この光源位置を示す光源位置情報を取得する。そして、この取得した光源位置情報に基づき、照射範囲の明暗の分布を調整する明暗調整情報を生成する。

次に、図２０を参照して第４実施形態に係る照明システム３３による撮影照明処理について説明する。なお、図２０に示されるステップＳ９１からステップＳ９２、ならびにステップＳ９６からステップＳ９９までの処理は、図３に示すステップＳ１１からステップＳ１６までの処理と同様となるため説明は省略する。

設定処理装置５では、ステップＳ９２において照射範囲の設定処理が実施された後、明暗調整部６６が情報取得装置４０によって取得された第１画像データまたは第２画像データに基づき、背景画像の光源位置が変更されたか否か判定する（ステップＳ９３）。明暗調整部６６による光源位置の変更の有無についての判定は、前回取得した第１画像データまたは第２画像データと、今回取得した第１画像データまたは第２画像データとの陰影の位置が一致するか否かにより行うことができる。つまり、明暗調整部６６は、前回取得した第１画像データまたは第２画像データと、今回取得した第１画像データまたは第２画像データとの陰影の位置が一致する場合は、背景画像の光源位置が変更されていないと判定する（ステップＳ９３において「Ｎｏ」）。一方、明暗調整部６６は、上記した陰影の位置が異なる場合は、背景画像の光源位置が変更されていると判定する（ステップＳ９３において「Ｙｅｓ」）。ステップＳ９３において「Ｙｅｓ」と判定された場合、明暗調整部６６は、記憶部７から背景画像情報７２を読み出し、背景画像情報７２から背景画像の撮影時における光源位置を示す光源位置情報を取得する（ステップＳ９４）。

なお、光源位置情報は、背景画像情報７２に含まれる情報であって、背景画像の表示の時系列変化と対応付けられた情報である。つまり、背景画像の撮影時に光源位置を示す光源位置情報が取得されており、撮影した背景画像の時系列変化と光源位置情報とが対応付けられている。

あるいは光源位置情報は、以下のように取得することもできる。すなわち、予め背景画像を画像解析して、背景画像の明暗の分布から光源位置を推定し、この推定して得た情報を光源位置情報として取得してもよい。また、背景画像が３次元コンピュータグラフィックス（３ＤＣＧ）などＣＧにより描かれる場合は、３ＤＣＧ作成時の設定情報から光源位置情報を取得してもよい。

次のステップＳ９５では、明暗調整部６６は、記憶部７から取得した光源位置情報に基づき、ステップＳ９２で設定された照射範囲における明暗の分布を調整した明暗調整情報を生成する（ステップＳ９５）。

そして、出射条件設定部６３が、照射範囲情報および明暗調整情報を照射装置３の照射動作を規定する設定値に変換し、照射装置３に出力する。照射装置３は、出射条件設定部６３から出力された設定値に基づき、被写体２０に向かって光を出射する（ステップＳ９６）。

以上のように第４実施形態に係る照明システム３３では、明暗調整部６６が明暗調整情報を生成することができる。このため、背景画像において光源位置が動的に変化する場合、この光源位置の変化に応じて照射範囲（被写体２０）における明暗を変化させることができる。それゆえ、照明システム３３は、被写体２０への照射を、背景画像における光源位置の変更を反映させたものとすることができる。

なお、第４実施形態に係る照明システム３３では、明暗調整部６６が情報取得装置４０によって取得された第１画像データまたは第２画像データに基づき、背景画像の光源位置が変更されたか否か判定する構成であった。しかしながら、第４実施形態に係る照明システム３３は、撮像装置である情報取得装置４０の代わりに、第１実施形態に係る照明システム３０と同様に、測距センサである情報取得装置４を備えた構成としてもよい。そして、第４実施形態に係る照明システム３３では、背景画像の光源位置の変更を判定するための画像データを取得する撮像装置を別途、設けた構成としてもよい。

１ 表示装置
２ 撮影装置
３ 照射装置
４ 情報取得装置
５ 設定処理装置
６ 制御部
７ 記憶部
１０ 表示部
２０ 被写体
３０ 照明システム
３１ 照明システム
３２ 照明システム
３３ 照明システム
４０ 情報取得装置
６１ 形状情報生成部
６２ 照明範囲設定部
６３ 出射条件設定部
６４ 移動判定部
６５ 色温度・明るさ調整部
６６ 明暗調整部
７１ 被写体情報
７２ 背景画像情報
７３ 位置情報
１００ 撮影システム

特開２０１０－７８８５４号公報

Claims (10)

1. 背景画像を表示する表示部の前に位置する被写体に光を照射する照射装置と、
   前記被写体を特定するための被写体情報を取得する情報取得装置と、
   前記表示部に表示される前記背景画像に関する背景画像情報を記憶する記憶部と、
   前記照射装置による照射を制御する制御部と、を備え、
   前記制御部は、
   前記情報取得装置によって取得された前記被写体情報と、前記記憶部に記憶された前記背景画像情報との差分に基づき、前記被写体の形状情報を生成し、
   前記形状情報に基づき前記照射装置によって光が照射される照射範囲を設定する、照明システム。
2. 前記情報取得装置は、前記被写体情報として、少なくとも前記被写体までの距離を示す距離情報を取得する測距装置を含み、
   前記記憶部は、前記背景画像情報として、前記背景画像が表示される前記表示部までの距離を示す情報を記憶しており、
   前記制御部は、前記測距装置によって測定された前記距離情報と前記背景画像情報との差分に基づき、前記被写体の前記形状情報を生成する請求項１に記載の照明システム。
3. 前記情報取得装置は、前記被写体情報として、少なくとも前記被写体を含む撮像画像を取得する撮像装置を含み、
   前記記憶部は、前記背景画像情報として、前記背景画像を前記表示部に表示するための画像データを記憶しており、
   前記制御部は、前記撮像装置によって取得された前記撮像画像と、前記背景画像情報との差分に基づき前記被写体の前記形状情報を生成する請求項１に記載の照明システム。
4. 前記制御部は、前記被写体の移動に有無を判定し、前記被写体が移動したと判定した場合、前記照射範囲の設定を更新する請求項１から３のいずれか１項に記載の照明システム。
5. 前記照射装置は、プロジェクタである請求項１から３のいずれか１項に記載の照明システム。
6. 前記照射装置は、設定された前記照射範囲のみに光を照射する請求項１から３のいずれか１項に記載の照明システム。
7. 前記照射装置は、設定された前記照射範囲に対して、それ以外の範囲よりも明るくなるように光を照射する請求項１から３のいずれか１項に記載の照明システム。
8. 前記制御部は、前記背景画像の明るさ及び色温度に関する情報を取得して、前記照射装置により前記被写体を照射する光の明るさ及び光色を調整するための調整情報を生成し、前記調整情報に基づき、前記照射装置による前記照射範囲に対する照射を制御する請求項１から３のいずれか１項に記載の照明システム。
9. 前記制御部は、前記背景画像を照らす光源位置が変化したか否か判定し、前記光源位置が変化したと判定した場合、変化後の前記光源位置を示す光源位置情報を取得して、前記光源位置情報に基づき、前記照射範囲の明暗の分布を調整するための明暗調整情報を生成し、前記明暗調整情報に基づき、前記照射装置による前記照射範囲に対する照射を制御する請求項１から３のいずれか１項に記載の照明システム。
10. 請求項１に記載の照明システムと、
    前記表示部を有する表示装置と、
    前記前記被写体と前記表示部に表示された前記背景画像とを一緒に撮影する撮影装置と、を備える撮影システム。

Images