WO2019054415A1 - 情報処理装置、情報処理方法、プログラム及びライティングシステム - Google Patents

情報処理装置、情報処理方法、プログラム及びライティングシステム Download PDF

Info

Publication number
WO2019054415A1
WO2019054415A1 PCT/JP2018/033837 JP2018033837W WO2019054415A1 WO 2019054415 A1 WO2019054415 A1 WO 2019054415A1 JP 2018033837 W JP2018033837 W JP 2018033837W WO 2019054415 A1 WO2019054415 A1 WO 2019054415A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
image
information processing
light source
light emission
Prior art date
Application number
PCT/JP2018/033837
Other languages
English (en)
French (fr)
Inventor
禎 山口
靖二郎 稲葉
大輔 中尾
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/644,858 priority Critical patent/US11272117B2/en
Priority to JP2019542268A priority patent/JPWO2019054415A1/ja
Priority to CN201880057514.7A priority patent/CN111095097B/zh
Priority to DE112018005061.0T priority patent/DE112018005061T5/de
Publication of WO2019054415A1 publication Critical patent/WO2019054415A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • G03B7/17Selection of modes in flash units by exposure control arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

複数の光源からの光を被写体に照射して撮影する際に、ライティング条件を試行錯誤することなく、所望のライティング効果を得るための発光部(光源)の設定を簡単に行うことができる情報処理装置、情報処理方法、プログラム及びライティングシステムを提供する。情報処理装置と、発光部とを有し、情報処理装置は、所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、発光部の設定を決定する制御部と、発光部に対して設定を出力する出力部とを有し、発光部は、情報処理装置から出力された設定に基づく発光を制御する発光制御部を有するライティングシステムである。

Description

情報処理装置、情報処理方法、プログラム及びライティングシステム
 本開示は、情報処理装置、情報処理方法、プログラム及びライティングシステムに関する。
 複数の光源からの光を被写体に照射した(ライティングした)状態で撮影を行う撮影技法が知られている。ライティングは、被写体の立体感を出せる等、被写体を印象的に表現できる手法として、写真や映像(例えば、映画)の制作現場において広く用いられている。しかしながら、所望のライティング効果を得るためには、複数の光源に対する調整及び調整後のテスト撮影を繰り返す必要があり、一般的なライティングシステムは、多くの人員、時間をかける必要があるという問題を抱えていた。そうした現状に鑑み、コンピュータ上でライティング条件を設定し、設定されたライティング条件で得られる画像をコンピュータ上で確認することができる撮影シミュレーション装置が提案されている(例えば、下記特許文献1を参照のこと)。
特開2005-301785号公報
 しかしながら、特許文献1に記載の技術のように、コンピュータ上でライティングの結果をシミュレーションできたとしても、所望のライティング効果を得るために、ライティング条件を試行錯誤しなければならないという問題があった。
 本開示は、所望のライティング効果を得るための発光部(光源)の設定を簡単に行うことができる情報処理装置、情報処理方法、プログラム及びライティングシステムを提供することを目的の一つとする。
 本開示は、例えば、
 所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、発光部の設定を決定する制御部を有する
 情報処理装置である。
 本開示は、例えば、
 所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、発光部の設定を決定する
 情報処理方法である。
 本開示は、例えば、
 所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、発光部の設定を決定する処理を
 コンピュータに実行させるプログラムである。
 本開示は、例えば、
 情報処理装置と、発光部とを有し、
 情報処理装置は、
 所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、発光部の設定を決定する制御部と、
 発光部に対して設定を出力する出力部と
を有し、
 発光部は、
 情報処理装置から出力された設定に基づく発光を制御する発光制御部を有する
 ライティングシステムである。
 本開示の少なくとも実施形態によれば、所望のライティング効果を得るための発光部の設定を簡単に行うことができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
図1は、第1の実施形態に係るライティングシステムの構成例を示す図である。 図2は、第1の実施形態に係る撮像装置の構成例を示すブロック図である。 図3は、第1の実施形態に係るタブレットコンピュータの構成例を示すブロック図である。 図4A~図4Cは、第1の実施形態に係る光源の構成例を示すブロック図である。 図5は、第1の実施形態に係るキャリブレーション処理を説明するための図である。 図6は、第1の実施形態に係る調光テーブルの一例を説明するための図である。 図7は、第1の実施形態に係るキャリブレーション処理の、処理の流れの一例を示すフローチャートである。 図8は、第1の実施形態に係る参照画像の一例等を説明するための図である。 図9は、第1の実施形態に係る構想データ生成処理の、処理の流れの一例を示すフローチャートである。 図10は、第1の実施形態に係るライティングの設定及び撮影処理の、処理の流れの一例を示すフローチャートである。 図11は、第2の実施形態に係るライティングシステムの構成例を示す図である。 図12A~図12Cは、第2の実施形態に係る光源の構成例を示すブロック図である。 図13は、第2の実施形態に係るキャリブレーション処理の、処理の流れの一例を示すフローチャートである。 図14は、第2の実施形態に係る調光テーブルの一例を説明するための図である。 図15は、第2の実施形態に係る参照画像の一例等を説明するための図である。 図16は、第2の実施形態に係るライティングの設定及び撮影処理の、処理の流れの一例を示すフローチャートである。 図17は、変形例を説明するための図である。
 以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.第1の実施形態>
<2.第2の実施形態>
<3.変形例>
 以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
<1.第1の実施形態>
 始めに、本開示の第1の実施形態について説明する。第1の実施形態は、静止画を撮影する際に、ユーザが所望するライティング効果を得るためのライティングの設定を自動で行う実施形態である。ライティングの設定とは、光源(ライト)に対する設定を意味し、実施形態では、光源の発光強度に関する設定を例にして説明する。但し、光源に対する設定は、光源の発光強度に限定されることはない。例えば、上述した発光強度、光源から発光する光の色温度、当該光の硬軟、当該光の照射範囲及び当該光の照射方向の少なくとも1つに関する設定であっても良い。設定は、具体的な値(例えば、色温度であれば、単位をケルビン(K)とする具体的な値)であっても良いし、発光強度のレベル(例えば、発光強度が強、中、弱)や光の照射方向(例えば、基準方向に対してやや右寄り、左寄り等)に対応する値(フラグ)であっても良い。
[ライティングシステムの構成例]
 図1は、本開示の第1の実施形態に係るライティングシステム(ライティングシステム10)の構成例を示している。ライティングシステム10は、撮像装置1と、情報処理装置の一例であるタブレット型のコンピュータ(以下、タブレットコンピュータ2と称する)と、複数の光源(発光部)とを有している。本実施形態におけるライティングシステム10は、所謂、3灯照明と称される照明技法に対応して、3個の光源(光源3A、3B及び3C)を有している。例えば、光源3Aはフィルライトを呼ばれ、光源3Bはキーライトと呼ばれ、光源3Cはバックライトと呼ばれる。光源3A~3Cが発光した状態で、撮像装置1を使用した被写体4の撮影が行われる。本実施形態では、光源3A及び光源3Bが撮影に同期して瞬間的に発光する(フラッシュ発光)。また、光源3Cは、撮影時には発光するものの、撮影と同期して瞬間的に発光するものではなく、定常的に発光する定常光である。被写体4は、図1では人物が模式的に示されているが、被写体4は1人の人物に限定されることはなく、複数の人物でも良いし、ペット等の他の生物でも良いし、美術品等の物であっても良い。
 撮像装置1とタブレットコンピュータ2との間及びタブレットコンピュータ2と光源3A~3Cとの間で、通信が可能とされている。例えば、WiFi(登録商標)に基づく無線通信が各装置間で行われる。WiFi(登録商標)以外の通信規格に基づく無線通信が行われても良いし、赤外線を用いた通信が行われても良いし、有線による通信が行われるようにしても良い。例えば、これらの装置が相互に他の装置を認識し通信可能な状態とする公知のペアリング処理が行われた上で、装置間の通信が行われる。
[撮像装置]
(撮像装置の構成例)
 次に、ライティングシステム10を構成する各装置の構成例について説明する。始めに、撮像装置1の構成例について説明する。図2は、撮像装置1の構成例を示している。撮像装置1は、例えば、光学撮像系101と、専用位相差AF(Auto Focus)センサ102と、撮像素子103と、前処理回路104と、カメラ処理回路105と、画像メモリ106と、カメラ制御部107と、グラフィックI/F(Interface)108と、ディスプレイ109と、入力部110と、R/W(リーダ/ライタ)111と、記憶部112と、カメラ通信部113とを有している。
 光学撮像系101は、被写体からの光を撮像素子103に集光するための撮影レンズ101A(フォーカスレンズ、ズームレンズなどを含む)、フォーカスレンズを移動させてフォーカス調整を行うレンズ駆動機構101B、シャッタ機構、アイリス機構などから構成されている。これらはカメラ制御部107からの制御信号に基づいて駆動される。レンズ駆動機構101Bは、撮影レンズ101Aをカメラ制御部107から供給された制御信号に応じて光軸方向に沿って移動させることにより、AF動作を実現する。光学撮像系101を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子103上に結像される。
 専用位相差AFセンサ102は、例えば、位相差検出方式のオートフォーカス専用センサである。撮影レンズ101Aにより集光された被写体光は、半透過ミラー等により反射されることによって専用位相差AFセンサ102に入射する。専用位相差AFセンサ102により検出された焦点検出信号はカメラ制御部107に供給される。
 撮像素子103は、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などである。撮像素子103は、撮影レンズ101Aを介して入射する被写体光を光電変換して電荷量に変換し、画像を生成する。撮像素子103は、通常の撮像画素と位相差検出用画素とを有するものである。像面位相差AFセンサ103Aは、複数の位相差検出用画素からなるオートフォーカス用センサである。像面位相差AFセンサ103Aにより検出された焦点検出信号はカメラ制御部107に供給される。
 前処理回路104は、撮像素子103から出力された撮像信号に対して、CDS(Correlated Double Sampling)処理によりS/N(Signal/Noise)比を良好に保つようにサンプルホールドなどを行う。さらに、AGC(Auto Gain Control)処理により利得を制御し、A/D(Analog/Digital)変換を行ってデジタル画像信号を出力する。
 カメラ処理回路105は、前処理回路104からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Y/C変換処理、AE(Auto Exposure)処理などの信号処理を施す。
 画像メモリ106は、揮発性メモリ、例えば、DRAM(Dynamic Random Access Memory)で構成されるバッファメモリであり、前処理回路104およびカメラ処理回路105によって所定の処理が施された画像データを一時的に蓄えておくものである。
 カメラ制御部107は、例えばCPU(Central Processing Unit)から構成されており、ROM(Read Only Memory)107A及びRAM(Random Access Memory)107Bを有している。ROM107Aには、CPUにより読み込まれ実行されるプログラムなどが記憶されている。RAM107Bは、CPUのワークメモリとして用いられる。CPUは、ROM107Aに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置1全体の制御を行う。例えば、上述したAFに関する制御等を行う。詳細は後述するが、カメラ制御部107は、複数の光源3A~3Cのそれぞれが対応する設定に基づいて発光した状態で撮影が行われるように、撮像装置1の各部を制御する。
 グラフィックI/F108は、カメラ制御部107から供給された画像信号から、ディスプレイ109に表示させるための画像信号を生成して、この信号をディスプレイ109に供給することにより画像を表示させる。ディスプレイ109には、撮像中のスルー画、記憶部112に記録された画像などが表示される。
 ディスプレイ109は、液晶ディスプレイ(Liquid Crystal Display(LCD))、有機EL(Electroluminescence:電界発光効果) ディスプレイなどから構成されるものである。
 入力部110は、例えば、電源オン/オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、ディスプレイ109と一体に構成されたタッチスクリーンなどからなる。入力部110に対して入力がなされると、当該入力に応じた制御信号が生成されてカメラ制御部107に出力される。そして、カメラ制御部107は当該制御信号に対応した演算処理や制御を行う。
 R/W111には、撮像により生成された画像データなどを記録する記憶部112が接続されるインターフェースである。R/W111は、カメラ制御部107から供給されたデータを記憶部112に書き込み、また、記憶部112から読み出したデータをカメラ制御部107に出力する。記憶部112は、例えば、ハードディスク、メモリースティック(ソニー株式会社の登録商標)、SDメモリーカード、USB(Universal Serial Bus)メモリなどである。画像は例えばJPEG(Joint Photographic Experts Group)などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むEXIF(Exchangeable Image File Format)データもその画像に対応付けられて保存される。記憶部112は、撮像装置1に内蔵されたものでも良いし、撮像装置1に着脱自在とされるものでも良いし、その両方であっても良い。
 カメラ通信部113は、撮像装置1が他の装置(例えば、タブレットコンピュータ2)と通信を行うための構成であり、アンテナ、変調/復調機能等、通信を行うために必要な機能を有するものである。例えば、撮像装置1により撮影された画像の画像データがカメラ通信部113により撮像装置1からタブレットコンピュータ2に送信される。
(撮像装置の基本的な動作例)
 ここで、上述した撮像装置1における基本的な動作について説明する。画像の撮像前には、撮像素子103によって受光されて光電変換された信号が、順次、前処理回路104に供給される。前処理回路104では、入力信号に対してCDS処理、AGC処理などが施され、さらに画像信号に変換される。
 カメラ処理回路105は、前処理回路104から供給された画像信号を画質補正処理し、スルー画像の信号として、カメラ制御部107を介してグラフィックI/F108に供給する。これにより、スルー画像がディスプレイ109に表示される。ユーザはディスプレイ109に表示されるスルー画像を見て画角合わせを行うことができる。
 この状態で、入力部110のシャッタボタンが押下されると、カメラ制御部107は、光学撮像系101に制御信号を出力して、光学撮像系101を構成するシャッタを動作させる。これにより撮像素子103からは、1フレーム分の画像信号が出力される。
 カメラ処理回路105は、撮像素子103から前処理回路104を介して供給された1フレーム分の画像信号に画質補正処理を施し、処理後の画像信号をカメラ制御部107に供給する。カメラ制御部107は、入力された画像信号を圧縮符号化し、生成した符号化データを、R/W111に供給する。これにより、撮像された静止画像のデータファイルがR/W111を介して記憶部112に記憶される。なお、動画の撮影は、動画撮影の指示に応じて上述した処理がリアルタイムに行われる。動画撮影時にシャッタボタンを押すことにより、動画撮影時に静止画を撮影することも可能である。
 一方、記憶部112に記憶された画像ファイルを再生する場合には、カメラ制御部107は、入力部110からの操作入力に応じて、選択された静止画像ファイルを記憶部112からR/W111を介して読み込む。読み込まれた画像ファイルに対して伸張復号化処理が施される。そして、復号化された画像信号がカメラ制御部107を介してグラフィックI/F108に供給される。これにより、記憶部112に記憶された静止画像や動画像がディスプレイ109に表示される。
[タブレットコンピュータの構成例]
 図3は、タブレットコンピュータ2の構成例を示している。タブレットコンピュータ2は可搬可能な程度の大きさであり、その構成として、例えば、制御部201と、タブレットコンピュータが有する通信部(以下、タブレット通信部と称する)202と、表示部203と、入力部204と、R/W205と、記憶部206とを有している。
 制御部201は、CPU等から構成されており、図示しないROM及びRAMを有している。ROMには、CPUにより読み込まれ実行されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。また、制御部201は、機能として調光テーブル生成部201Aと調光情報生成部201Bとを有している。制御部201は、ユーザが所望する画像の特徴を表す構想データと、光源3A~3Cの発光結果とに応じて、光源3A~3Cの設定を決定する。
 出力部の一例であるタブレット通信部202は、タブレットコンピュータ2が他の装置(撮像装置1や光源3A~3C)と通信を行うための構成であり、アンテナ、変調/復調機能等、通信を行うために必要な機能を有するものである。例えば、撮像装置1から送信された画像の画像データがタブレット通信部202により受信され、受信された画像データが制御部201に供給される。また、光源3A~3C毎の設定が、タブレット通信部202から対応する光源に対して送信される。なお、本実施形態に係るタブレット通信部202は、インターネット等のネットワークに接続する機能も有するものである。
 表示部203は、液晶ディスプレイ、有機ELディスプレイなどから構成されるものである。表示部203には、インターネットを介して取得された画像や映像、テレビジョン放送、ゲーム画面、メニュー画面等が表示される。また、表示部203には、ユーザが後述する構想データを生成するための入力を受け付ける際に参照される参照画像が表示される。なお、本実施形態に係る表示部203は、タッチスクリーンとして構成されており、各種の入力を受付可能に構成されている。即ち、表示部203は、入力部204としても機能する。
 入力部204は、例えば、押下可能なボタン、スライドボタン等の物理的なボタンやタッチスクリーン等であり、ユーザの操作入力を受け付ける構成を総称したものである。入力部204に対して入力がなされると、当該入力に応じた制御信号が生成されて制御部201に出力される。そして、制御部201は、当該制御信号に対応した演算処理や制御を行う。入力部204は、後述する構想データを生成するための入力を受け付けるためのものでもある。
 R/W205は、記憶部206に対するデータの書き込み及び記憶部206からのデータの読み出しを行うものである。記憶部206は、例えば、ハードディスク、メモリースティック(ソニー株式会社の登録商標)、SDメモリーカード、USBメモリなどである。記憶部206は、タブレットコンピュータ2に内蔵されたものでも良いし、タブレットコンピュータ2に着脱自在とされるものでも良いし、その両方であっても良い。
 なお、タブレットコンピュータ2が上述した構成以外の構成を有していても良い。例えば、タブレットコンピュータ2がスピーカ装置等を有していても良い。タブレットコンピュータ2の動作例については後述する。
[光源の構成例]
 図4は、光源の構成例を示しており、図4Aは光源3Aの構成例、図4Bは光源3Bの構成例、図4Cは光源3Cの構成例をそれぞれ示している。
 図4Aに示すように、光源3Aは、例えば、発光部(発光体)301Aと、調光制御部302Aと、光源通信部303Aとを有している。発光部301Aは、例えば、ストロボ等のフラッシュ光源であり、撮像装置1の撮影に同期して発光する。調光制御部302Aは、光源通信部303Aにより受信された調光情報に基づいて、発光部301Aの発光強度や発光タイミング等を制御する。光源通信部303Aは、光源3Aが他の装置(例えば、撮像装置1やタブレットコンピュータ2)と通信を行うものである。
 図4Bに示すように、光源3Bは、例えば、発光部(発光体)301Bと、調光制御部302Bと、光源通信部303Bとを有している。発光部301Bは、例えば、ストロボ等のフラッシュ光源であり、撮像装置1の撮影に同期して発光する。調光制御部302Bは、光源通信部303Bにより受信された調光情報に基づいて、発光部301Bの発光強度や発光タイミング等を制御する。光源通信部303Bは、光源3Bが他の装置(例えば、撮像装置1やタブレットコンピュータ2)と通信を行うものである。
 図4Cに示すように、光源3Cは、例えば、発光部(発光体)301Cと、調光制御部302Cと、光源通信部303Cとを有している。発光部301Cは、例えば、蛍光灯やLED(Light Emitting Diode)である。調光制御部302Cは、光源通信部303Cにより受信された調光情報に基づいて、発光部301Cの発光強度を制御する。光源通信部303Cは、光源3Cが他の装置(例えば、撮像装置1やタブレットコンピュータ2)と通信を行うものである。なお、光源3A~光源3Cの構成に差異があっても良いことは言うまでもない。
 一例として、光源3A~3Cは、それぞれ3段階の発光強度(弱、中、強)で発光可能なように構成されている。勿論、2段階の発光強度でも良いし、4段階以上の多段階の発光強度でも良い。また、光源3Aの例えば発光強度「弱」と光源3Bの発光強度「弱」とが同一の発光強度であっても良いし、異なる発光強度であっても良い。
[第1の実施形態において行われる処理]
 次に、第1の実施形態において行われる処理について、各装置の動作を含めて説明する。本実施形態では、第1の実施形態において行われる処理を説明の便宜上、「キャリブレーション処理」、「構想データ生成処理」、「ライティングの設定及び撮影処理」の3つの処理に分けた上で、各処理を順に説明する。なお、3つの処理は、以下の説明の順に従って行われる必要は無く、技術的な矛盾が生じない範囲で各処理の順序が入れ替わっても良いし、各処理が並列的(パラレル)に行われても良いし、各処理が連続的に行われても良い。例えば、構想データ生成処理の後にキャリブレーション処理が行われても良いし、キャリブレーション処理と構想データ生成処理とが並列的に行われても良い。
(キャリブレーション処理)
 キャリブレーション処理は、各光源の発光結果、具体的には、各光源が1灯ずつ且つ異なるパターンで発光した場合に、発光による光が被写体の画像に与える影響を事前に測定し、測定結果であるテーブル(以下、調光テーブルと適宜称する。)を得る処理である。
 図5を参照して、キャリブレーション処理を概略的に説明する。始めに、光源3Aが異なる発光パターンで発光する。本例では、光源3Aが異なる発光強度で発光する例であるが、異なる発光パターンは異なる色温度等であっても良い。他の光源についても同様である。なお、光源3B、光源3Cは発光せずに消灯したままである。
 光源3Aが、撮影に同期して発光強度「弱」で発光し、撮影がなされる。次に、光源3Aが、撮影に同期して発光強度「中」で発光し、撮影がなされる。次に、光源3Aが、撮影に同期して発光強度「強」で発光し、撮影がなされる。各撮影で得られる画像が撮像装置1の例えば画像メモリ106に一時的に記憶される。
 次に、光源3Bが異なる発光強度で発光する。なお、光源3A、光源3Cは発光せずに消灯したままである。光源3Bが、撮影に同期して発光強度「弱」で発光し、撮影がなされる。次に、光源3Bが、撮影に同期して発光強度「中」で発光し、撮影がなされる。次に、光源3Bが、撮影に同期して発光強度「強」で発光し、撮影がなされる。各撮影で得られる画像が撮像装置1の例えば画像メモリ106に一時的に記憶される。
 次に、光源3Cが異なる発光強度で発光する。なお、光源3A、光源3Bは発光せずに消灯したままである。光源3Cが、発光強度「弱」で発光した状態で撮影がなされる。次に、光源3Cが、発光強度「中」で発光した状態で撮影がなされる。光源3Cが、発光強度「強」で発光した状態で撮影がなされる。各撮影で得られる画像が撮像装置1の例えば画像メモリ106に一時的に記憶される。
 各撮影で得られた9枚の画像の画像データが撮像装置1からタブレットコンピュータ2に送信される。すなわち、カメラ通信部113から画像データが送信され、当該画像データがタブレット通信部202により受信される。受信された画像データがタブレット通信部202から制御部201に供給される。制御部201の調光テーブル生成部201Aは、9枚の画像の画像毎の画像情報を解析して取得する。
 画像情報は、各光源の発光パターンに対応する空間的なセンサ情報であり、本実施形態では、画像を構成する画素毎の輝度レベルを用いている。なお、情報量を削減するために、画素毎ではなく任意の大ききのブロック単位における輝度レベルでも良いし、その他の適宜な方法で圧縮されたものが画像情報とされても良い。また、画像情報を解析して取得する処理が撮像装置1で行われても良く、撮像装置1からタブレットコンピュータ2に対して画像情報のみが送信されるようにしても良い。
 画像情報を取得した調光テーブル生成部201Aは、各光源の発光結果に対応する調光テーブルを生成する。図6は、第1の実施形態に係る調光テーブル(調光テーブルTA1)の一例を示している。調光テーブルTA1は、例えば、光源の種類(光源を識別できる識別子等の情報)、発光強度及び画像情報(本実施形態では、当該発光強度で撮影された画像の各画素の輝度レベル)が対応付けられたものである。
 なお、調光テーブル生成部201Aが生成した調光テーブルTA1がR/W205を介して記憶部206に書き込まれて記憶されても良い。これにより、例えば、同じスタジオで同じ若しくは類似の被写体を撮影する際に、記憶部206に記憶された調光テーブルTA1を用いることでキャリブレーション処理を省略することができる。調光テーブルTA1は、記憶部206ではないメモリ(例えば、クラウド上のメモリ)に記憶されても良いし、他の装置に通信により送信し配布されても良い。
 また、例えば、発光強度の変化に対する画像情報の変化が既知の場合には、キャリブレーション処理を簡略化するために、所定の発光強度に対応する画像情報を使用して、当該所定の発光強度とは異なる発光強度に対応する画像情報を生成するようにしても良い。例えば、光源3Aに関して、発光強度「弱」で発光した場合の画像情報に基づいて、発光強度「中」及び発光強度「強」に対応する画像情報を調光テーブル生成部201Aが予測して生成するようにしても良い。これにより、撮影回数を減らすことができ、キャリブレーション処理を簡略化することができる。
 なお、キャリブレーション処理における被写体(撮影対象)は、「ライティングの設定及び撮影処理」における被写体と同一であることが好ましいが、異なっていても良い。例えば、キャリブレーション処理における被写体は、「ライティングの設定及び撮影処理」における被写体と類似する被写体(被写体が人物である場合には、顔の大きさや肌の色が似ている人物等)であっても良い。
 図7は、キャリブレーション処理の、処理の流れの一例を示すフローチャートである。ステップST11では、所定の光源(例えば、光源3A)に対して、発光強度「弱」で発光する指示がなされる。この指示は、例えば、タブレットコンピュータ2の入力部204を用いてなされる。なお、光源3Aは、撮影に同期して発光するため、発光及び撮影を同期させるタイミング等の同期情報が、タブレットコンピュータ2から光源3A及び撮像装置1に送信される。そして、処理がステップST12、ST13に進む。
 ステップST12、ST13では、同期情報で示されるタイミングで撮影が行われると共に、撮影に同期して光源3Aが発光強度「弱」で発光する。具体的には、撮像装置1のカメラ制御部107が同期情報で示されるタイミングで撮影が行われるように撮像装置1の各部を制御する。また、光源3Aの調光制御部302Aが、同期情報で示されるタイミングで発光部301Aが発光強度「弱」で発光するように制御する。そして、処理がステップST14に進む。
 ステップST14では、ステップST13における撮影で得られた画像が、撮像装置1からタブレットコンピュータ2に対して送信される。そして、タブレットコンピュータ2の調光テーブル生成部201Aが、光源3Aが発光強度「弱」で発光した場合の画像の画像情報を解析することで、調光テーブルTA1の一要素を生成する。そして、処理がステップST15に進む。
 ステップST15では、光源3Aに対して、発光強度「中」で発光する指示がなされる。この指示も、例えば、タブレットコンピュータ2の入力部204を用いてなされる。なお、上述したように、光源3Aは、撮影に同期して発光するため、発光及び撮影を同期させるタイミング等の同期情報が、タブレットコンピュータ2から光源3A及び撮像装置1に送信される。そして、処理がステップST16、ST17に進む。
 ステップST16、ST17では、同期情報で示されるタイミングで撮影が行われると共に、撮影に同期して光源3Aが発光強度「中」で発光する。具体的には、撮像装置1のカメラ制御部107が同期情報で示されるタイミングで撮影が行われるように撮像装置1の各部を制御する。また、光源3Aの調光制御部302Aが、同期情報で示されるタイミングで発光部301Aが発光強度「中」で発光するように制御する。そして、処理がステップST18に進む。
 ステップST18では、ステップST16における撮影で得られた画像が、撮像装置1からタブレットコンピュータ2に対して送信される。そして、タブレットコンピュータ2の調光テーブル生成部201Aが、光源3Aが発光強度「中」で発光した場合の画像の画像情報を解析することで、調光テーブルTA1の一要素を生成する。そして、処理がステップST19に進む。
 ステップST19では、光源3Aに対して、発光強度「強」で発光する指示がなされる。この指示も、例えば、タブレットコンピュータ2の入力部204を用いてなされる。なお、上述したように、光源3Aは、撮影に同期して発光するため、発光及び撮影を同期させるタイミング等の同期情報が、タブレットコンピュータ2から光源3A及び撮像装置1に送信される。そして、処理がステップST20、ST21に進む。
 ステップST20、ST21では、同期情報で示されるタイミングで撮影が行われると共に、撮影に同期して光源3Aが発光強度「強」で発光する。具体的には、撮像装置1のカメラ制御部107が同期情報で示されるタイミングで撮影が行われるように撮像装置1の各部を制御する。また、光源3Aの調光制御部302Aが、同期情報で示されるタイミングで発光部301Aが発光強度「強」で発光するように制御する。そして、処理がステップST22に進む。
 ステップST22では、ステップST21における撮影で得られた画像が、撮像装置1からタブレットコンピュータ2に対して送信される。そして、タブレットコンピュータ2の調光テーブル生成部201Aが、光源3Aが発光強度「強」で発光した場合の画像の画像情報を解析することで、調光テーブルTA1の一要素を生成する。そして、処理がステップST23に進む。
 ステップST23では、各光源を使用した処理が全て終了したか否かが判断される。本例では、光源3B及び光源3Cを使用した処理が終了していないので処理がステップST11に戻る。そして、上述した処理と同様に、光源3Bを異なる発光強度で発光させ、そのときに得られる画像の画像情報に基づいて調光テーブルTA1の一要素が生成される。光源3Cについても同様の処理が行われる。なお、光源3Cは、フラッシュ発光ではないので、光源3Cを所定の発光強度で発光させた状態で撮像装置1の入力部110が操作されることにより撮影が行われても良い。すなわち、同期情報が撮像装置1及び光源3Cに対して必ずしも送信される必要はない。
 ステップST23において、各光源を使用した処理が全て終了した場合には、ステップST14、ST18、ST22のそれぞれの処理で得られる調光テーブルの要素に基づいて、図6に例示した調光テーブルTA1が得られる。そして、処理が終了する。
(構想データ生成処理)
 次に、構想データ生成処理について説明する。構想データは、(ユーザが)所望する画像の特徴を表すデータであり、より具体的な例としては、被写体の領域毎の明るさを示すデータである。
 構想データは、例えば、タブレットコンピュータ2の入力部204を使用して指定される。表示部203には、入力部204に対する入力を受け付ける際に参照される参照画像が表示される。例えば図8に示すように、表示部203には、参照画像IM1が表示される。ユーザは、参照画像IM1を参照しながら自身の構想に基づく操作を入力部204に行う。
 参照画像IM1は、例えば、上述したキャリブレーション処理により得られる9枚の画像のうちの1枚を使用することができる。これにより、参照画像IM1そのものを撮影する必要がなくなる。また、参照画像IM1は「ライティングの設定及び撮影処理」で撮影される被写体を撮影した画像でも良い。このときの撮影は、光源3A~光源3Cが発光していない状態で、環境光(撮影とは関係のない室内の室内灯)のみが発光した状態で行われても良い。更に、参照画像IM1は、「ライティングの設定及び撮影処理」で撮影される被写体に対して公知の人物認識や顔認識等の所定の結果に応じて選択されたテンプレート画像でも良い。この場合、所定の処理は例えば制御部201によって行われる。また、テンプレート画像は、記憶部206に記憶された画像がR/W205によって読み出された画像でも良いし、インターネット等から取得された画像であっても良い。
 図9は、構想データ生成処理の、処理の流れの一例を示すフローチャートである。図8及び図9を参照して、構想データ生成処理の具体例を説明する。構想データ生成処理は、例えば、入力部204の所定のボタンが押下若しくはタッチされることを契機として開始される。ステップST31では、表示部203に参照画像IM1が表示される。そして、処理がステップST32に進む。
 ステップST32では、ユーザが参照画像IM1を参照しながら、構想に基づく入力を行う。例えば、図8に示すように、被写体に対して2つの領域AR1、AR2を設定する。例えば、領域AR1の明るさが適正露光となるように、且つ、領域AR2の明るさが適正露光の2/3(66%程度)となるように指定する。領域の設定や明るさの指定は、入力部204を使用してなされる。本実施形態では、入力部204の入力がなされる毎に、入力に対応する構成(例えば、明るさ)が参照画像IM1に反映される。例えば、図8に示すように、領域AR2の明るさがやや暗くなる。なお、図示はしていないが、背景の明るさ等の設定が行われるようにしても良い。ユーザは、明るさの指定等が終了すると完了ボタン等を押下若しくはタッチ等して、構想に基づく入力を終了する。そして、処理がステップST33に進む。
 ステップST33では、ステップST32でなされた入力に基づいて、構想データが生成される。構想データが例えば制御部201によって生成される。上述したように、構想データは、例えば、顔の右半分が適正露光となり、顔の左半分が適正露光の2/3となることを示すデータである。そして、処理が終了する。
 なお、構想データは、記憶部206に記憶されても良い。そして、顔の大きさや肌の色等が類似する被写体を撮影する際に、以前の構想データが記憶部206から読み出されて利用されるようにしても良い。また、構想データがタブレット通信部202を介して通信等により配信されるようにしても良い。例えば著名な写真家の構想データは、それ自体、財産的価値を有する。そこで、構想データの配信の際に課金等がなされることで、構想データをキーとする新たなビジネスモデルを提供することが可能となる。
(ライティングの設定及び撮影処理)
 次に、ライティングの設定及び撮影処理について説明する。図10は、ライティングの設定及び撮影処理の、処理の流れの一例を示すフローチャートである。処理が開始された後、ステップST41では、調光情報生成部201Bが、構想データと調光テーブルTA1とに応じて各光源の発光強度を演算し決定する。調光テーブルTA1によって、各光源がある発光強度で発光した場合の光が被写体の画像に与える影響が既にわかっている。更に、例えば所定の箇所に光源3Aからの光と光源3Bからの光があたる場合には、当該箇所の明るさは明るさの和となる。このため、調光情報生成部201Bは、調光テーブルTA1を参照することにより、構想データで指定された領域毎の明るさを実現するために、各光源をどの程度の発光強度で発光させればいいかを判別することができる。
 図8に例示した構想データの場合には、例えば、光源3Aの発光強度が「弱」となるように光源3Aの調光情報が生成され、光源3Bの発光強度が「強」となるように光源3Bの調光情報が生成され、光源3Cの発光強度が「中」となるように光源3Cの調光情報が生成される。なお、構想データに基づく構図と完全に一致する構図を実現できない場合には、構想データに基づく構図にできるだけ近い構図が実現されるように、調光情報が生成される。構想データに対する最適なライティングの設定(調光情報)を求める最適化方法として、準ニュートン法、滑降シンプレックス法、双対シンプレックス法、逐次線形二次計画法等を適用することができる。そして、処理がステップST42に進む。
 ステップST42では、タブレットコンピュータ2が、各光源の発光強度を示す調光情報を、対応する光源に出力する。例えば、タブレットコンピュータ2は、タブレット通信部202を使用して調光情報を、対応する光源に送信する。そして、処理がステップST43に進む。
 ステップST43では、各光源が調光情報に基づいて発光した状態で被写体4が撮影される。例えば、光源3Aに対応する調光情報が光源通信部303Aにより受信される。調光制御部302Aは、受信された調光情報に基づいて、発光部301Aが発光強度「弱」で発光するように制御する。また、光源3Bに対応する調光情報が光源通信部303Bにより受信される。調光制御部302Bは、受信された調光情報に基づいて、発光部301Bが発光強度「強」で発光するように制御する。また、光源3Cに対応する調光情報が光源通信部303Cにより受信される。調光制御部302Cは、受信された調光情報に基づいて、発光部301Cが発光強度「中」で発光するように制御する。そして、各光源が発光した状態で撮像装置1による撮影がなされる。撮影により得られた画像は、撮像装置1のディスプレイ109に表示される。撮影により得られた画像が撮像装置1からタブレットコンピュータ2に送信されて表示部203に表示されても良い。そして、処理がステップST44に進む。
 ステップST44では、必要に応じてユーザによる調整(微調整)が行われる。調整としては、各光源の一部又は全部の発光強度をユーザ自身が直接調整しても良い。また、構想データそのものを微調整しても良い。そして微調整後の構想データに基づいて再度、調光情報が生成され、当該調光情報に対応する発光強度で各光源が発光した状態で、再度、撮影が行われても良い。更に、各光源の発光強度を変化させた撮影が複数回、行われても良い。
 なお、上述した処理において、光源3A及び光源3Bはフラッシュ発光であることから撮影と発光とを同期させる必要がある。同期させるための同期情報は、調光情報に含ませても良いし、光源3Cが発光し続けている状態で撮像装置1のレリーズボタンが押下されたときに、光源3A及び光源3Bに対する発光指示がなされるようにしても良い。また、上述した処理では光源毎の調光情報を生成したが、調光情報は、全ての光源の発光強度が記述されたものであっても良く、各光源が当該調光情報の中から自身の発光強度を選択するようにしても良い。
[第1の実施形態で得られる効果の例]
 以上説明した第1の実施形態によれば、ユーザが所望するライティング効果を得るための光源の設定を自動で行うことが可能である。また、光源の調整を行う人物が不要となるので、ライティングのシステムが大型化したとしても少人数(最低の場合は1人)での撮影が可能となる。
 人為的にせよ、コンピュータを使用したシミュレーションにせよ、所望のライティング効果を得るための光源に対する設定は手間がかかってしまう。一般的なライティングシステムでは複数の光源が使用されるため、一層、手間がかかってしまう。しかしながら、本実施形態によれば、ユーザは、ライティング撮影の結果、換言すれば、所望する画像の構成(例えば、被写体の領域毎の明るさ)に対応する構想データを設定するだけで光源の設定がなされるため、光源の調整にかかる手間を省略することができ、効率的な撮影を行うことが可能となる。また、光源の調整をして発光させる一連の試行の回数を減らすことができるので、光源にかかる負荷を減らすことができ光源の耐久年数を向上させることができる。
 また、構想に対して最適化されたライティング下で実際に撮影が行われるので、画像編集ソフトでは実現できないような高品質な画像(本実施形態では静止画)を得ることができる。
<2.第2の実施形態>
 次に、本開示の第2の実施形態について説明する。なお、第1実施形態で説明した事項は、特に断らない限り第2実施形態にも適用することができ、同様、同質の構成については同一の符号を付し重複した説明を適宜、省略する。
[ライティング下で動画撮影を行う際に考慮すべき問題について]
 第2の実施形態は、動画を撮影する際に、ユーザが所望するライティング効果を得るためのライティングの設定を自動で行う実施形態である。基本的な処理は、第1の実施形態と同様であり、ユーザにより設定された構想データに基づいて、各光源に対する設定が自動で行われる。
 ところで、ライティング下で動画撮影を行う場合には、動画特有の観点を考慮する必要がある。図11は、ライティング下で動画撮影を行う第2の実施形態に係るライティングシステム(ライティングシステム10A)を示している。ライティングシステム10Aは、第1の実施形態で説明した撮像装置1及びタブレットコンピュータ2を有している。更に、ライティングシステム10Aは、光源として例えば、光源5A(フィルライト)と、光源5B(キーライト)と、光源5C(バックライト)とを有している。なお、本実施形態では動画撮影が行われるので、光源5A~5Cは、フラッシュ発光(瞬間光)ではなく定常光である。
 動画撮影では、人物等の動く被写体(動被写体)と背景等の動きがない被写体とが存在することが一般的である。図11に例示するライティングシステム10Aでは、動被写体の例として人物6が示され、背景として壁7が示されている。光源5A及び光源5Bからの光は主に人物6に照射され、光源5Cからの光は主に壁7に照射される。
 本実施形態では、人物6が例えば撮像装置1に対して奥行方向、より具体的には、後方(奥側)から前方(手前側)に向かって移動する様子を撮影する場合を想定する。ユーザは、人物6の移動に伴って人物6の明るさ(反射光の明るさ)が変わらない構図を所望するとする。このような場合、一般には、光源をディヒューザで覆い隠しながら光量を一定に調整するワイプ法と称される方法が用いられるが、ワイプ法を行うためには熟練した高度な技術を要する。従って、ワイプ法を行うことができる人員を各光源に配置した場合には、その前提としてワイプ法を行うことができる人員を確保しなければならない。また、人員に対する報酬等により動画撮影におけるコストが増加する。このように、ライティング下で動画撮影を行う場合には、人員の増加及びこれに伴うコスト増の問題がライティング下での静止画撮影に比べてより顕著になる。このような観点を踏まえつつ、第2の実施形態の詳細について説明する。
[各装置の構成]
 撮像装置1及びタブレットコンピュータ2の構成については、図2及び図3のそれぞれを参照して説明してあるので、重複した説明を省略する。なお、詳細は後述するが、制御部201は、動画を撮影する際に被写体が変化した場合に構造データを維持するように、決定した光源5A~5Cに関する設定を制御する。
 図12A~図12Cは、光源5A~5Cの構成例を示している。光源5Aは、光源3Aと同様に発光部501Aと、調光制御部502Aと、光源通信部503Aとを有している。光源5Bは、光源3Bと同様に発光部501Bと、調光制御部502Bと、光源通信部503Bとを有している。光源5Cは、光源3Cと同様に発光部501Cと、調光制御部502Cと、光源通信部503Cとを有している。なお、各部の機能は、光源3Aにおける各部の機能と同じであるので重複した説明は省略する。光源5A~5Cは、例えば、発光強度「弱」「中」「強」の3段階の発光強度で発光可能に構成されている。
[第2の実施形態において行われる処理]
 次に、第2の実施形態において行われる処理について、各装置の動作を含めて説明する。第2の実施形態においても説明の便宜上、「キャリブレーション処理」、「構想データ生成処理」、「ライティングの設定及び撮影処理」の3つの処理に分けた上で、各処理を順に説明するが、これらの処理は、以下の説明の順に従って行われる必要は無く、技術的な矛盾が生じない範囲で各処理の順序が入れ替わっても良いし、各処理が並列的(パラレル)に行われても良いし、各処理が連続的に行われても良い。
(キャリブレーション処理)
 始めに、第2の実施形態に係るキャリブレーション処理について説明する。図13は、第2の実施形態に係るキャリブレーション処理の、処理の流れの一例を示すフローチャートである。なお、図7のフローチャートで説明した処理と同様の処理については同じ参照符号を付し、重複した説明を適宜、省略する。
 処理が開始された後、ステップST51では、動被写体である人物6が場所AAに移動する。場所AAは、例えば、人物6が移動を開始する位置である。そして、ステップST11~ステップST22では、例えば光源5Aが発光強度「弱」「中」「強」で順次発光し、それぞれの発光状態における撮影が行われる。この撮影は、静止画でも動画であっても良い。各撮影において、それぞれの発光強度に対応する画像情報が解析され、調光テーブル生成部201Aによって調光テーブルの一要素が生成される。撮影が終了すると、処理がステップST23に進む。
 ステップST23では、所定の場所(本例では場所AA)での各光源を使用した処理(撮影)が全て終了したか否かが判断される。本例では、光源5B、5Cによる処理が終了していないので、処理がステップST11に戻る。そして、ステップST11~ステップST22では、例えば光源5Bが発光強度「弱」「中」「強」で順次発光し、それぞれの発光状態における撮影が行われる。また、例えば光源5Cが発光強度「弱」「中」「強」で順次発光し、それぞれの発光状態における撮影が行われる。各撮影において、それぞれの発光強度に対応する画像情報が解析され、調光テーブル生成部201Aによって調光テーブルの一要素が生成される。撮影が終了すると、処理がステップST23に進む。
 人物6が場所AAにいる状態での光源5A、5B及び5Cを使用した撮影が終了したことから、ステップST23の処理が肯定判断となり、処理がステップST52に進む。ステップST52では、全ての場所での撮影が終了したか否かが判断される。本例では、ステップST52での処理が否定判断となり、処理がステップST53に進む。
 ステップST53では、動被写体である人物6が場所BBに移動する。場所BBは、例えば、人物6が移動を終了した位置すなわち最終的な停止位置である。そして、処理がステップST11に戻る。そして、ステップST11~ステップST22では、例えば光源5Aが発光強度「弱」「中」「強」で順次発光し、それぞれの発光状態における撮影が行われる。各撮影において、それぞれの発光強度に対応する画像情報が解析され、調光テーブル生成部201Aによって調光テーブルの一要素が生成される。他の光源5B、5Cについても同様の処理が行われる。そして、処理がステップST23に進む。
 ステップST23では、所定の場所(本例では場所BB)での各光源を使用した処理(撮影)が全て終了したか否かが判断される。光源5A、5B及び5Cを使用した撮影が終了した場合には、処理がステップST52に進む。上述したように、ステップST52では、全ての場所での撮影が終了したか否かが判断される。本例では、撮影場所を人物6の移動開始位置である場所AA及び移動停止位置である場所BBの2箇所としている。そこで、ステップST52の判断が肯定判断となり、処理が終了する。
 図14は、第2の実施形態に係るキャリブレーション処理により得られる調光テーブル(調光テーブルTA2)の一例を示している。調光テーブルTA2は、光源の種類と、発光強度と、人物6の位置情報と、そのときに撮影された画像の各画素の輝度レベルとが対応付けられたものである。なお、人物6の位置情報は、種々の情報により表すことができる。例えば、撮影における画像に基づいて公知の人物抽出処理を行うことにより、場所AAにおける人物6が占める(存在する)領域を求め、当該領域が位置情報とされても良い。また、測距センサ若しくは画像処理で得られるデプスマップに基づいて、各場所における人物6の距離情報が位置情報とされても良い。また、人物6がビーコンを持ちながら移動し、各場所において当該ビーコンから発信される情報が位置情報とされても良い。また、これらを組み合わせた情報が位置情報とされても良い。
 なお、調光テーブルTA2は、第1の実施形態で説明した調光テーブルTA1に比して情報量が多くなる。単純に言えば、撮影場所の数だけ情報が多くなり、上述した例では、場所AA、場所BBで撮影が行われることから、調光テーブルTA2の情報量は調光テーブルTA1の情報量の約2倍となる。従って、例えば、調光テーブルTA2の各画素の輝度レベルを公知の圧縮技術を使用して圧縮しても良い。また、後述する構想データで設定された領域内に存在する画素の輝度レベルのみを調光テーブルTA2に記述するようにしても良い。
(構想データ生成処理)
 次に、第2の実施形態に係る構想データ生成処理について説明する。第2の実施形態に係る構想データ生成処理の、処理の流れは基本的には第1の実施形態に係る構想データ生成処理と同じである。すなわち、タブレットコンピュータ2の表示部203に参照画像を表示させた状態で、入力部204を使用した構想データの設定がユーザによってなされる。
 図15は、第2の実施形態に係る構想データの一例を説明するための図である。表示部203には、参照画像IM2が表示される。参照画像IM2は、例えば、ユーザが場所AAに位置する際の画像(静止画像)である。この画像は、キャリブレーション処理で得られた画像を使用しても良いし、別途、撮影された画像であっても良い。
 ユーザは、入力部204を使用して構想データを入力する。例えば、人物6が含まれる領域AR3と、背景の領域AR4とを指定する。そして、例えば、人物6及び背景の明るさ(被写体からの反射光の強さ)を維持する、という構想データがユーザにより設定される。ここで、撮影開始位置(動被写体が場所AAにいる状態であって、以下の説明において、初期状態と適宜称する)における人物6及び背景の明るさも構想データとして併せて設定される。
 なお、構想データの設定は一例であってこれに限定されるものではない。例えば、上述した例では、矩形の領域が示されているが、人物抽出を行い人物そのものに対する設定(例えば、人物の明るさを維持する等)がなされても良い。また、上述した例のように、動被写体及び背景の明るさを維持する場合には、領域の設定は行わずに単純に「全ての被写体(背景を含む)の明るさを維持する」旨の構想データが設定されても良い。構想データの設定対象となる被写体は、ユーザによって設定されたものだけでなく、人物抽出や顔認識等により自動で認識されたものであっても良い。
(ライティングの設定及び撮影処理)
 次に、第2の実施形態に係るライティングの設定及び撮影処理について説明する。図16は、ライティングの設定及び撮影処理の、処理の流れの一例を示すフローチャートである。処理が開始された後、ステップST61では、調光情報生成部201Bは、構想データと調光テーブルTA2とに基づいて、各光源の発光強度を示す調光情報を生成する。すなわち、人物6及び背景の明るさが構想データで示された初期状態における明るさと一致若しくは近づくように、調光テーブルTA2を参照しつつ、各光源に対する調光情報を生成する。第1の実施形態でも説明したが、構想データに対する最適なライティングの設定(調光情報)を求める最適化の方法として、準ニュートン法、滑降シンプレックス法、双対シンプレックス法、逐次線形二次計画法等を適用することができる。そして、処理がステップST62に進む。
 ステップST62では、タブレットコンピュータ2が、各光源の発光強度を示す調光情報を、対応する光源に出力する。例えば、タブレットコンピュータ2は、タブレット通信部202を使用して調光情報を、対応する光源に送信する。光源5Aに対応する調光情報が光源通信部503Aにより受信される。調光制御部502Aは、受信された調光情報に基づいて発光部501Aの発光強度を制御する。光源5Bに対応する調光情報が光源通信部503Bにより受信される。調光制御部502Bは、受信された調光情報に基づいて発光部501Bの発光強度を制御する。光源5Cに対応する調光情報が光源通信部503Cにより受信される。調光制御部502Cは、受信された調光情報に基づいて発光部501Cの発光強度を制御する。そして、処理がステップST63に進む。
 ステップST63では、各光源が調光情報に基づいて発光した状態で、撮像装置1による動画撮影が開始され、撮影の結果、1フレーム分の画像が得られる。得られた画像は、撮像装置1からタブレットコンピュータ2に送信される。送信された画像が、タブレット通信部202により受信された後、制御部201に供給される。そして、処理がステップST64に進む。
 ステップST64では、ステップST64で得られた1フレームの画像と構想データとの差分が制御部201によって算出される。差分の算出方法の一例について説明する。制御部201は、1フレームの画像の中から人物6を含む領域AR3に対応する箇所を抽出する。そして、制御部201は、領域AR3内の各画素の明るさ(輝度)の平均値と、初期状態における領域AR3の各画素の明るさの平均値とを比較し、その差分を演算する。領域AR4についても同様の演算が行われる。そして、処理がステップST65に進む。
 ステップST65では、ステップST64で演算された領域AR3及びAR4の少なくとも一方に関する差分が所定のしきい値以上であるか否かが判断される。所定のしきい値は、例えば、明るさの変化が視覚的に認識できる程度の値に適切に設定される。差分が所定のしきい値以上でない場合には、処理がステップST66に進む。
 ステップST66では、動画撮影が終了したか否かが判断される。動画撮影が終了した場合には、ステップST67に処理が進み、必要に応じて、撮影された動画に対する調整(微調整)が行われる。本例では、1フレームの撮影しか終了していないので、ステップST66の判断が否定判断となり、処理がステップST63に戻る。そして、次に撮影される1フレームに対してステップST63及びステップST64の処理が行われる。
 本実施形態では、上述したように、人物6が奥から手前に向かって動く場合を想定している。人物6が手前側に向かって来るに連れ、光源5A及び光源5Bと人物6との距離が小さくなる、換言すれば、人物6が明るくなる。従って、あるタイミングでステップST65の処理が肯定判断となる。この場合は、処理がステップST61に戻る。
 ステップST61では、調光情報生成部201Bが調光情報を再計算する。すなわち、現在の人物6の位置で、人物6及び背景の明るさが構想データで示される明るさとなるように、調光テーブルTA2を参照しつつ、調光情報を再計算する。概念的には、光源5A及び光源5Bの発光強度が小さくされる。しかしながら、このままでは背景の明るさが低下し、構想データを実現することができない。従って、光源5Cの発光強度が大きくされる。これにより、人物6が移動することによって変化が生じた場合に、構想データを維持するように、各光源に関する設定を制御することができる。より具体的には、構想データに即して、人物6と背景の明るさを維持することができる。そして、処理がステップST62に進み、タブレットコンピュータ2から各光源に対して、各光源の発光強度を示す調光情報が、対応する光源に出力(送信)される。そして、各光源が再計算された調光情報に基づいて発光した状態で動画撮影が行われる。以上、説明した処理が動画撮影の間、繰り返される。
 なお、図14により例示した調光テーブルTA2には、人物6が場所AA及び場所BBの2箇所にいるときの画像情報しか記述されていない。従って、場所AAと場所BBとの間の場所(以下、場所CCと適宜称する。なお、場所CCは、任意の位置とすることができる。)において、ある光源のある発光強度での発光が被写体に与える影響は、場所AA及び場所BBの情報を使用して補間される。例えば、光源5Aが発光強度「弱」で発光した場合、場所CCで人物6が占める範囲の画素の輝度レベルが、人物6が場所AAにいる状態で光源5Aが発光強度「弱」で発光した場合の画素の輝度レベルと、人物6が場所BBにいる状態で光源5Aが発光強度「弱」で発光した場合の画素の輝度レベルとを使用して予測されても良い。また、人物6の空間的な位置の変化(奥行き情報の変化)が使用され、場所CCに人物6がいる状態で、ある光源がある発光強度で発光した場合の画素の輝度レベルが予測されても良い。
 なお、複数の場所CCを設定し、場所CCにおいて、ある光源がある発光強度で発光した場合の各画素の輝度レベルが上述したキャリブレーション処理により事前に取得されていても良い。これにより、調光情報を再計算する処理の負荷を低減することができる。場所AAから場所BBまで間における複数の場所CCの設定は、ユーザにより設定されても良いし、自動で適切に設定されても良い。例えば、光源3Aが発光強度「弱」で発光した場合に、人物6の明るさに、しきい以上の変化が検出された場合に、その位置の位置情報、光源、光源の発光強度及び各画素の輝度レベルが対応付けられて調光テーブルTA2に記述されるようにしても良い。
 なお、1フレーム間での動きに伴う明るさの変化の程度は僅かである。従って、1フレーム単位でなく、任意の単位(例えば、10フレーム単位)でステップST63~ST65の処理が行われても良い。
[第2の実施形態で得られる効果の例]
 以上、説明した処理を行うことにより、被写体の中に動被写体が存在し、動被写体の動きに応じて得られる画像と構想データとの間に差異が生じた場合でも、構想データを維持するように光源の設定が自動で行われる。従って、第2の実施形態によれば、動画を撮影する場合でも、ユーザが所望するライティング効果を得るための光源の設定を自動で行うことが可能となる。また、人物6の動く速さに関係なく、構想データにマッチングする動画を得ることができる。更に、上述した第1の実施形態で例示した効果と同様の効果を得ることができる。
<3.変形例>
 以上、本開示の複数の実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。なお、以下に説明する変形例は、特に断らない限り、若しくは、技術的な矛盾が生じない範囲において、第1及び第2の実施形態に対して適用することができる。
 上述した実施形態において、構想データが複数設定され、それぞれの構想データに対応する複数の調光情報が生成されても良い。そして、複数の調光情報のそれぞれに基づいて各光源が発光した状態で撮影が複数回行われるようにしても良い。
 光源の性能限界等に起因して、構想データに基づく画像と、実際の撮影により得られた画像とが所定以上、相違する場合があり得る。このような場合に、警告やエラーが報知されるようにしても良い。一例として、構想データに基づく画像を構成する画素の画素値と、実際の撮影により得られた画像を構成する画素の画素値同士を比較し、差分が閾値以上となる画素の数が一定以上あった場合に、所定以上相違すると判断される。警告やエラーの報知は、音、表示、振動等により行われる。
 上述した実施形態において、撮像装置1のシャッタースピード、感度、絞り等の設定が変更されても良い。このような撮像装置1に対する設定は、例えば背景をぼかしたいために絞りを広げたりするようなユーザの好みによって行われても良いし、光源の性能限界を補うために行われても良い。
 上述した実施形態において、光源は、撮像装置1に内蔵又は撮像装置1に着脱自在とされるものであっても良いし、例えばユーザが手でもてる程度の大きさのライトでも良い。また、撮影は屋内、屋外のいずれで行われてもよく、光源の一部が太陽光等の環境光(自然光)であっても良い。また、光源の形状、大きさ、配置位置はあくまで模式的に示したものであり、上述した実施形態で図示された例に限定されるものではない。また、光源の数は3個に限られるものではない。大規模な制作現場では数十台の光源が使用される場合もあるが、このような大規模なライティングシステムに対しても本技術を適用することができる。また、光源の一部が環境光であり、他の1個又は複数の光源がライトであっても良い。
 上述した実施形態において、調光情報を求める処理が、タブレットコンピュータ2ではなく他の装置(例えば、クラウドコンピュータ)により行われても良い。また、調光情報を求める処理が、撮像装置1により行われても良い。また、タブレットコンピュータ2の機能の一部又は全てを撮像装置1若しくはその他の装置が有する構成としても良い。また、タブレットコンピュータ2が撮像機能を有する場合には、撮像装置1に代えてタブレットコンピュータ2による撮影がなされても良い。この場合、撮像装置1のカメラ制御部107が有する機能をタブレットコンピュータ2の制御部201が有していても良い。このように、上述した実施形態における機能を実現する構成をどの装置が有するかについては適宜、変更することができる。
 通信を行う構成(例えば、タブレット通信部202)は、タブレットコンピュータ2に着脱自在とされる通信アダプタ等であっても良い。
 タブレットコンピュータ2を使用した入力が行われる場所と、撮影が行われる場所とが同一空間でなく、異なった場所であっても良い。例えば、構想を決定する責任者が自宅等でタブレットコンピュータ2を使用して構想データの入力を行い、構想データを撮影が行われるスタジオに送信する。スタジオ内に設置された装置が、調光テーブルと構想データとに基づいて、各光源に対する調光情報を生成し、光源の発光強度等を制御した上で撮影が行われるようにしても良い。これにより、構想を決定する責任者が、撮影が行われる場所に出向く必要をなくすことができる。
 上述した第2の実施形態では、構想データの一例として、人物や背景の明るさを維持する例について説明したが、これに限定されるものではない。例えば、明るさの変化が指定された構想データであっても良い。具体的には、人物が動きに伴って当該人物が明るくなる若しくは暗くなると指定されたものが構想データであっても良い。そして、上述した第2の実施形態で説明したように、人物の動きに伴って生じる構想データとの差異を打ち消すように各光源の設定が適宜、変更され、構想データが実現される。更に、構想データは、例えば、人物が所定の時間後にどの程度明るくなるといった時間情報が含まれたものであっても良い。
 第2の実施形態で、撮像装置1の記録レートが60fps(frame per second)であり、撮像のレートが120fpsや240fpsのような高速撮像の場合には、記録に用いられない画像を使用して、キャリブレーション処理や調光情報を再計算する処理が行われても良い。
 上述した第2の実施形態では、人物6の動きを、前後方向を例にして説明したが、左右方向、斜め方向、これらが組み合わさった方向等でも構わない。
 本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施形態で説明した機能を行うプログラムをダウンロード可能とし、実施形態で説明した制御機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。
 上述した実施形態において、キャリブレーション処理における各光源の発光パターンを1種類とし、各光源の発光パターンにおける発光強度を撮像装置のTTL(Through the Lens)自動調光機能によって求められた発光強度を利用しても良い。その際、全ての光源が発光していない環境光のみの状態での撮影も合わせて行うことが好ましい。
 上述した実施形態において、キャリブレーション処理において撮影で得られる画像に輝度値の上限または下限を超えて白飛びや黒潰れとなってしまった領域がある場合にはユーザへ通知するようにしても良い。通知の際に撮影で得られた画像を表示し、白飛びや黒潰れとなっている領域を強調表示するようにしても良い。
 上述した実施形態において、キャリブレーション処理における各光源の色温度が異なる場合に、色温度の差による影響を抑制するように各灯の色温度に係数を掛けて利用するようにしても良い。また、同じ光源でも発光量によって色温度が異なる場合に、発光量に応じて色温度に係数を掛けて利用しても良い。
 上述した実施形態では、キャリブレーション処理において撮影で得られる画像から調光テーブルを作成する例について説明したが、これに限定されるものではない。例えば撮影で得られる画像情報を調光テーブルへと変換せずにそのまま使用しても良い。その際用いる画像情報はガンマの影響を回避するため、シミュレーション画像のビット数による表現色数や階調担保のためにRAW画像であることが好ましい。
 上述した実施形態では、ライティングの設定及び撮影処理において最適な調光情報を求めるために上述したような最適化方法を用いる例について説明したが、撮影で得られる画像情報をそのままライティングの設定及び撮影処理へ適用する場合には、異なる方法によってライティングの設定及び撮影処理を行っても良い。具体的には撮影によって得られる各画像の比較明合成によってライティング撮影の結果のシミュレーション画像を生成し、生成した画像をユーザが確認する。確認の結果、所望のシミュレーション画像である場合はユーザ操作に応じて、生成したシミュレーション画像と同様の撮影結果となるような調光情報を各光源に送信する。一方、確認の結果、所望のシミュレーション画像でない場合はユーザ操作に応じて比較明合成に用いる各画像の輝度値に対する係数をユーザが変更することによりユーザの所望するシミュレーション画像になるように調整を行う。ユーザの調整終了後にユーザ操作に応じてユーザ調整後のシミュレーション画像と同様の撮影結果となるような調光情報を各光源に送信する。
 上述の比較明合成を用いることで、環境光成分と各光源からの発光成分を分離して計算することができる。環境光のみの状態での撮影画像と発光画像で対応する画素の値を比較し、画素の値が大きい方を取得することで発光成分となる。光源の発光強度と得られる反射光との関係が両対数グラフにおいて傾き1の1次関数で表されることから、発光成分の計算が可能となる。これによりシミュレーションにおける計算量が大幅に削減される。また、比較明合成の方法については、RGBの合計値で比較するカラー比較明合成を用いても良い。
 また、例えば図17に示すように、前述の比較明合成によるシミュレーション画像のユーザによる確認のためにシミュレーション画像を表示部203に表示しても良い。その際、初期状態の参照画像IM3として環境光のみで撮影した画像を表示してもよく、予め設定された所定の比較明合成によるシミュレーション画像を表示しても良い。その際、比較明合成に用いる画像情報を選択する比較明合成画像選択部601と各画像情報の輝度値に対する係数を設定する係数設定部602をIM3と同時に表示しても良い。これによりユーザは参照画像IM3を参照しながら比較明合成画像選択部601と係数設定部602を操作することで自身の構想に基づく所望のシミュレーション画像となるように調整が可能となる。更に表示部203は接続中の各光源の情報を表示する光源情報表示部603、再キャリブレーションを指示するための再キャリブレーション指示部604、調光情報を各光源に送信し、本撮影へと進むための本撮影指示部605、表示中のシミュレーション画像を完成画像として出力するシミュレーション画像出力部606を表示しても良い。
 ここで比較明合成は環境光のみの状態で撮影した画像情報及び各光源の発光パターン画像情報を比較明合成しても良いが、環境光のみの状態で撮影した画像情報と各光源の発光パターン画像情報と環境光のみで撮影した画像情報の輝度値の差分の画像情報とを比較明合成しても良い。これにより比較明合成で用いる画像情報の撮影時刻による環境光の差異による影響を軽減することが考えられる。
 上述した実施形態において、各光源、撮像装置または情報処理装置が被写体の被光線状態が変化したことを検知した際にキャリブレーション処理、構想データ生成処理、ライティングの設定及び撮影処理の一部、またはすべての処理をやり直すようにしても良い。またはユーザ操作によりキャリブレーション処理、構想データ生成処理、ライティングの設定及び撮影処理の一部、またはすべての行程をやり直すようにしても良い。ここで被写体の被光線状態とは光源の台数の増減、被写体や光源の位置の移動、被写体自体の反射率の変化、撮像装置や光源の設定値の変化、ディヒューザ等のアクセサリの脱着、天候や環境光の変化によって変化することが考えられる。各光源、撮像装置または情報処理装置はユーザ操作の検知、各種センサ、撮像画像の変化等によって被写体の被光線状態の変化を検知する。ユーザ操作の検知、各種センサ、撮像画像の変化等によって被写体の被光線状態の変化を検知した場合は上述のように自動で各種処理の一部、またはすべての処理をやり直してもよく、ユーザに被写体の被光線状態の変化を通知するようにしても良い。
 本開示は、以下の構成も採ることができる。
(1)
 所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、前記発光部の設定を決定する制御部を有する
 情報処理装置。
(2)
 前記構想データは、被写体の領域毎に指定される明るさを示すデータである
 (1)に情報処理装置。
(3)
 前記構想データは、被写体の第1の領域に関して指定される第1の明るさを示すデータと、前記被写体の第2の領域に関して指定される第2の明るさを示すデータとを含む
 (2)に記載の情報処理装置。
(4)
 前記第1の明るさを示すデータは適正露光に対応するデータであり、前記第2の明るさを示すデータは前記適正露光に対する相対的な値である
 (3)に記載の情報処理装置。
(5)
 前記制御部は、前記発光部が所定の発光パターンで発光した場合に得られる画像の画像情報に基づいて、前記発光部の発光結果に対応する調光テーブルを生成する
 (1)~(4)の何れかに記載の情報処理装置。
(6)
 前記発光パターンは、発光部の発光強度である
 (5)に記載の情報処理装置。
(7)
 前記制御部は、所定の発光強度に対応する画像情報を使用して、前記所定の発光強度とは異なる発光強度に対応する画像情報を生成する
 (6)に記載の情報処理装置。
(8)
 前記発光パターンは、発光部の色温度である
 (5)に記載の情報処理装置。
(9)
 前記画像情報は、前記発光部の発光パターンに対応する空間的なセンサ情報である
 (5)~(8)の何れかに記載の情報処理装置。
(10)
 前記画像情報は、画素単位又は任意の大きさのブロック単位における輝度レベルである
 (9)に記載の情報処理装置。
(11)
 前記構想データを生成するための入力を受け付ける入力部を有する
 (1)~(10)の何れかに記載の情報処理装置。
(12)
 前記入力を受け付ける際に参照される参照画像を表示する表示部を有する
 (11)に記載の情報処理装置。
(13)
 前記入力に応じて当該入力に対応する構成が前記参照画像に反映される
 (12)に記載の情報処理装置。
(14)
 前記参照画像は、前記発光部の発光結果を取得する際に得られる画像、前記発光部が発光していない状態で撮影された画像及び所定の処理の結果に応じて選択されたテンプレート画像の何れかである
 (12)又は(13)に記載の情報処理装置。
(15)
 前記発光部の設定は、発光部の発光強度、発光部から発光する光の色温度、当該光の硬軟、当該光の照射範囲及び当該光の照射方向の少なくとも一つの設定に関する設定である
 (1)~(14)の何れかに記載の情報処理装置。
(16)
 前記発光部の設定を出力する出力部を有する
 (1)~(15)の何れかに記載の情報処理装置。
(17)
 所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、前記発光部の設定を決定する
 情報処理方法。
(18)
 所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、前記発光部の設定を決定する処理を
 コンピュータに実行させるプログラム。
(19)
 情報処理装置と、発光部とを有し、
 前記情報処理装置は、
 所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、前記発光部の設定を決定する制御部と、
 前記発光部に対して前記設定を出力する出力部と
を有し、
 前記発光部は、
 前記情報処理装置から出力された設定に基づく発光を制御する発光制御部を有する
 ライティングシステム。
(20)
 複数の前記発光部のうちの一部の発光部が前記撮影と同期して発光する
 (19)に記載のライティングシステム。
1・・・撮像装置、2・・・タブレットコンピュータ。3A~3C,5A~5C・・・光源、10・・・ライティングシステム、107・・・カメラ制御部、201・・・制御部、201A・・・調光テーブル生成部、201B・・・調光情報生成部、202・・・タブレット通信部、203・・・表示部、204・・・入力部、303A~303C,503~503C・・・光源通信部

Claims (20)

  1.  所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、前記発光部の設定を決定する制御部を有する
     情報処理装置。
  2.  前記構想データは、被写体の領域毎に指定される明るさを示すデータである
     請求項1に情報処理装置。
  3.  前記構想データは、被写体の第1の領域に関して指定される第1の明るさを示すデータと、前記被写体の第2の領域に関して指定される第2の明るさを示すデータとを含む
     請求項2に記載の情報処理装置。
  4.  前記第1の明るさを示すデータは適正露光に対応するデータであり、前記第2の明るさを示すデータは前記適正露光に対する相対的な値である
     請求項3に記載の情報処理装置。
  5.  前記制御部は、前記発光部が所定の発光パターンで発光した場合に得られる画像の画像情報に基づいて、前記発光部の発光結果に対応する調光テーブルを生成する
     請求項1に記載の情報処理装置。
  6.  前記発光パターンは、発光部の発光強度である
     請求項5に記載の情報処理装置。
  7.  前記制御部は、所定の発光強度に対応する画像情報を使用して、前記所定の発光強度とは異なる発光強度に対応する画像情報を生成する
     請求項6に記載の情報処理装置。
  8.  前記発光パターンは、発光部の色温度である
     請求項5に記載の情報処理装置。
  9.  前記画像情報は、前記発光部の発光パターンに対応する空間的なセンサ情報である
     請求項5に記載の情報処理装置。
  10.  前記画像情報は、画素単位又は任意の大きさのブロック単位における輝度レベルである
     請求項9に記載の情報処理装置。
  11.  前記構想データを生成するための入力を受け付ける入力部を有する
     請求項1に記載の情報処理装置。
  12.  前記入力を受け付ける際に参照される参照画像を表示する表示部を有する
     請求項11に記載の情報処理装置。
  13.  前記入力に応じて当該入力に対応する構成が前記参照画像に反映される
     請求項12に記載の情報処理装置。
  14.  前記参照画像は、前記発光部の発光結果を取得する際に得られる画像、前記発光部が発光していない状態で撮影された画像及び所定の処理の結果に応じて選択されたテンプレート画像の何れかである
     請求項12に記載の情報処理装置。
  15.  前記発光部の設定は、発光部の発光強度、発光部から発光する光の色温度、当該光の硬軟、当該光の照射範囲及び当該光の照射方向の少なくとも一つの設定に関する設定である
     請求項1に記載の情報処理装置。
  16.  前記発光部の設定を出力する出力部を有する
     請求項1に記載の情報処理装置。
  17.  所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、前記発光部の設定を決定する
     情報処理方法。
  18.  所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、前記発光部の設定を決定する処理を
     コンピュータに実行させるプログラム。
  19.  情報処理装置と、発光部とを有し、
     前記情報処理装置は、
     所望する画像の特徴を表す構想データと、発光部の発光結果とに応じて、前記発光部の設定を決定する制御部と、
     前記発光部に対して前記設定を出力する出力部と
    を有し、
     前記発光部は、
     前記情報処理装置から出力された設定に基づく発光を制御する発光制御部を有する
     ライティングシステム。
  20.  複数の前記発光部のうちの一部の発光部が前記撮影と同期して発光する
     請求項19に記載のライティングシステム。
PCT/JP2018/033837 2017-09-12 2018-09-12 情報処理装置、情報処理方法、プログラム及びライティングシステム WO2019054415A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/644,858 US11272117B2 (en) 2017-09-12 2018-09-12 Information processing apparatus, information processing method, program, and lighting system
JP2019542268A JPWO2019054415A1 (ja) 2017-09-12 2018-09-12 情報処理装置、情報処理方法、プログラム及びライティングシステム
CN201880057514.7A CN111095097B (zh) 2017-09-12 2018-09-12 信息处理设备、信息处理方法、程序和照明系统
DE112018005061.0T DE112018005061T5 (de) 2017-09-12 2018-09-12 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und beleuchtungssystem

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-174517 2017-09-12
JP2017174517 2017-09-12

Publications (1)

Publication Number Publication Date
WO2019054415A1 true WO2019054415A1 (ja) 2019-03-21

Family

ID=65722845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033837 WO2019054415A1 (ja) 2017-09-12 2018-09-12 情報処理装置、情報処理方法、プログラム及びライティングシステム

Country Status (5)

Country Link
US (1) US11272117B2 (ja)
JP (1) JPWO2019054415A1 (ja)
CN (1) CN111095097B (ja)
DE (1) DE112018005061T5 (ja)
WO (1) WO2019054415A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11509875B1 (en) * 2021-08-06 2022-11-22 Ford Global Technologies, Llc Enhanced color consistency for imaging

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027316A (ja) * 2000-07-12 2002-01-25 Nikon Corp 電子カメラシステム、および照明シミュレーションプログラムを記録した記録媒体
JP2003207827A (ja) * 2002-01-16 2003-07-25 Tocad Energy Co Ltd ストロボ装置
US20040114043A1 (en) * 2002-12-13 2004-06-17 Belliveau Richard S. Image projection lighting devices with projection field light intensity uniformity adjustment
JP2008046410A (ja) * 2006-08-17 2008-02-28 Nakano Studio Kk 撮影用照明装置
JP2012037803A (ja) * 2010-08-10 2012-02-23 Ricoh Co Ltd ストロボ発光装置およびカメラ
JP2012069423A (ja) * 2010-09-24 2012-04-05 Panasonic Corp 調光制御装置、調光制御方法、及び調光制御プログラム
US20130230305A1 (en) * 2010-07-20 2013-09-05 Profoto Ab Flash apparatus and method for controlling the colour temperature of light in a flash
WO2017134933A1 (ja) * 2016-02-04 2017-08-10 富士フイルム株式会社 撮影支援装置及びその作動方法並びに作動プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4396372B2 (ja) 2004-04-14 2010-01-13 株式会社ニコン 撮影シミュレーションサービスの提供方法、撮影シミュレーション用プログラム、撮影シミュレーション装置およびサーバ装置
JP2008298941A (ja) * 2007-05-30 2008-12-11 Konica Minolta Opto Inc 撮像装置
TWI389560B (zh) * 2010-05-14 2013-03-11 Ability Entpr Co Ltd 數位相機的閃光控制方法
JP6460631B2 (ja) * 2014-02-19 2019-01-30 オリンパス株式会社 撮像装置、内視鏡装置及び顕微鏡装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027316A (ja) * 2000-07-12 2002-01-25 Nikon Corp 電子カメラシステム、および照明シミュレーションプログラムを記録した記録媒体
JP2003207827A (ja) * 2002-01-16 2003-07-25 Tocad Energy Co Ltd ストロボ装置
US20040114043A1 (en) * 2002-12-13 2004-06-17 Belliveau Richard S. Image projection lighting devices with projection field light intensity uniformity adjustment
JP2008046410A (ja) * 2006-08-17 2008-02-28 Nakano Studio Kk 撮影用照明装置
US20130230305A1 (en) * 2010-07-20 2013-09-05 Profoto Ab Flash apparatus and method for controlling the colour temperature of light in a flash
JP2012037803A (ja) * 2010-08-10 2012-02-23 Ricoh Co Ltd ストロボ発光装置およびカメラ
JP2012069423A (ja) * 2010-09-24 2012-04-05 Panasonic Corp 調光制御装置、調光制御方法、及び調光制御プログラム
WO2017134933A1 (ja) * 2016-02-04 2017-08-10 富士フイルム株式会社 撮影支援装置及びその作動方法並びに作動プログラム

Also Published As

Publication number Publication date
JPWO2019054415A1 (ja) 2020-08-27
CN111095097A (zh) 2020-05-01
CN111095097B (zh) 2022-04-15
DE112018005061T5 (de) 2020-06-18
US20200288053A1 (en) 2020-09-10
US11272117B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
KR101595254B1 (ko) 화이트 밸런스 조정 방법, 상기 방법을 기록한 기록 매체, 화이트 밸런스 조정 장치
US7212234B2 (en) Image device having a selectively adapted white balance control
JP4823970B2 (ja) 画像編集装置
US8817171B2 (en) Imaging apparatus with automatic exposure adjusting function
US9684988B2 (en) Imaging device, image processing method, and recording medium
JP2006237803A (ja) 撮像システム、写真撮影スタジオ、撮像システムの制御方法
CN109639959B (zh) 图像处理装置、图像处理方法以及记录介质
JP5804856B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6108680B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN111095097B (zh) 信息处理设备、信息处理方法、程序和照明系统
JP2016015017A (ja) 撮像装置、投光装置、および画像処理方法、ビームライト制御方法、並びにプログラム
JP2005277957A (ja) 撮像装置
JP7272266B2 (ja) 情報処理装置、情報処理方法、プログラム及びライティングシステム
JP4475118B2 (ja) カメラ装置、ホワイトバランスブラケティング撮影方法
JP2003309854A (ja) デジタルカメラ
JP2012050121A (ja) 撮像装置、撮像方法および撮像プログラム
KR101589493B1 (ko) 플래시를 이용한 화이트 밸런스 조정 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP5117271B2 (ja) 画像記録装置及び画像記録方法
JP2019033470A (ja) 画像処理システム、撮像装置、画像処理装置、制御方法およびプログラム
JP4757828B2 (ja) 画像合成装置、撮影装置、画像合成方法及び画像合成プログラム
JP2006208537A (ja) 撮像システム、写真撮影スタジオ、撮像システムの制御方法
JP6039726B2 (ja) 撮像装置及びその制御方法
JP2024011915A (ja) 撮像装置、及び撮像装置の制御方法
JP2020068444A (ja) 照明制御・撮影装置、合成映像生成装置、及びプログラム
JP5968097B2 (ja) 撮像装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18856070

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019542268

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18856070

Country of ref document: EP

Kind code of ref document: A1