JPWO2016199328A1 - 照明装置、撮像システムおよび照明方法 - Google Patents

照明装置、撮像システムおよび照明方法 Download PDF

Info

Publication number
JPWO2016199328A1
JPWO2016199328A1 JP2016557668A JP2016557668A JPWO2016199328A1 JP WO2016199328 A1 JPWO2016199328 A1 JP WO2016199328A1 JP 2016557668 A JP2016557668 A JP 2016557668A JP 2016557668 A JP2016557668 A JP 2016557668A JP WO2016199328 A1 JPWO2016199328 A1 JP WO2016199328A1
Authority
JP
Japan
Prior art keywords
imaging
illumination
range
control unit
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016557668A
Other languages
English (en)
Other versions
JP6064151B1 (ja
Inventor
今川　太郎
太郎 今川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Application granted granted Critical
Publication of JP6064151B1 publication Critical patent/JP6064151B1/ja
Publication of JPWO2016199328A1 publication Critical patent/JPWO2016199328A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

照明装置（１００）の制御部（１０１）は、撮像装置（２００）より走査タイミングを含む撮像情報を取得し、走査タイミング毎の撮像装置の撮像範囲を算出し、撮像範囲内に存在する被写体から撮像装置までの距離と撮像装置と自装置の位置関係を用いて、走査タイミング毎の照明範囲を決定し、走査タイミングに同期して、決定した照明範囲に照明光を照射するよう制御する。

Description

本開示は、撮像対象に照明光を照射する照明装置、撮像システムおよび照明方法に関する。
非特許文献１は、画像処理により映像に含まれるヘイズ（霧・もや等）による散乱光を除去する方法を開示する。この方法は、被写体までの距離によって変わる散乱光の影響をＤａｒｋ Ｃｈａｎｎｅｌ Ｐｒｉｏｒを用いて推定することにより散乱光を除去した画像を得ることができる。
He, Kaiming, Jian Sun, and Xiaoou Tang. "Single image haze removal using dark channel prior." Pattern Analysis and Machine Intelligence, IEEE Transactions on 33.12 (2011): 2341-2353
本開示は、空気中や水中において照明を用いた撮像を行う際に、散乱媒体（霧や水中の濁りなど）による照明光の散乱の影響を低減して撮像するために有効な照明装置を提供する。
本開示における照明装置は、撮像領域を所定の撮像単位毎に撮像する撮像装置によって撮像される被写体に、照明光を照射する照明装置である。照明装置は、撮像装置より走査タイミングを含む撮像情報を取得し、走査タイミング毎の撮像装置の撮像範囲を算出し、撮像範囲内に存在する被写体から撮像装置までの距離と撮像装置と自装置の位置関係を用いて、走査タイミング毎の照明範囲を決定し、走査タイミングに同期して、決定した照明範囲に照明光を照射するよう制御する制御部を備える。
本開示における撮像システムは、撮像領域を所定の撮像単位毎に撮像する撮像装置と、撮像装置によって撮像される被写体に照明光を照射する少なくとも１つの照明装置とを備える。照明装置は、撮像装置より走査タイミングを含む撮像情報を取得し、走査タイミング毎の撮像装置の撮像範囲を算出し、撮像範囲内に存在する被写体から撮像装置までの距離と撮像装置と自装置の位置関係を用いて、走査タイミング毎の照明範囲を決定し、走査タイミングに同期して、決定した照明範囲に照明光を照射するよう制御する制御部を備える。
本開示における照明方法は、撮像領域を所定の撮像単位毎に撮像する撮像装置によって撮像される被写体に照明装置から照明光を照射する照明方法である。照明方法は、撮像装置より走査タイミングを含む撮像情報を取得し、走査タイミング毎の撮像装置の撮像範囲を算出し、撮像範囲内に存在する被写体から撮像装置までの距離と撮像装置と照明装置の位置関係を用いて、走査タイミング毎の照明範囲を決定し、走査タイミングに同期して、決定した照明範囲に照明光を照射する。
本開示によれば、空気中や水中における撮像時において、散乱媒体による散乱光の影響を軽減することができる。
実施の形態１に係る撮像システムを示す概略図である。 実施の形態１に係る撮像システムの機能構成を示すブロック図である。 距離分布の一例を示す図である。 距離分布の一例（詳細）を示す図である。 撮像装置の走査タイミングを説明する図である。 撮像装置の動作を説明する図である。 撮像部が撮像する撮像範囲を説明する図である。 実施の形態１に係る通常照明の動作を説明する図である。 実施の形態１に係る局所照明の動作を説明する図である。 実施の形態１に係る照明装置の動作を説明するフローチャートである。 実施の形態１に係る撮像システムの効果（通常照明）を説明する図である。 実施の形態１に係る撮像システムの効果（局所照明）を説明する図である。 実施の形態１に係る通常照明による撮像画像を説明する図である。 実施の形態１に係る局所照明による撮像画像を説明する図である。 実施の形態２に係る撮像システムを示す概略図である。 実施の形態２に係る撮像システムの機能構成を示すブロック図である。 実施の形態２に係る照明選択方法を説明するフローチャートである。 実施の形態２に係る照明範囲を説明する図である。 実施の形態２に係る照明選択方法を説明する図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
（実施の形態１）
以下、図１〜図９を用いて、実施の形態１を説明する。
［１−１．構成］
［１−１−１．概要］
図１は、実施の形態１に係る撮像システム１０を示す概略図である。図１に示すように、撮像システム１０は、照明装置１００と撮像装置２００とを備える。照明装置１００は、撮像装置２００によって撮像される被写体３００に照明光を照射する。撮像装置２００は、照明装置１００により照明光が照射された被写体３００を、所定の撮像単位毎に撮像することにより、撮像画像を生成する。被写体３００は、例えば本開示においては建造物の外壁である。また、本実施の形態では、図１に示すように、撮像装置２００が被写体３００の撮像領域３０１を撮像する場合を例に取って説明し、撮像領域３０１には、傷（亀裂など）や汚れなどの欠陥部３０２が存在する。
以下、照明装置１００、撮像装置２００の詳細な構成について、図２を用いて説明する。図２は、本実施の形態に係る撮像システム１０の機能構成を示すブロック図である。
［１−１−２．撮像装置］
撮像装置２００は、例えば、デジタルビデオカメラ、車載カメラなどである。本実施の形態では、撮像装置２００は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラである。撮像装置２００は、図２に示すように、制御部２０１と、撮像部２０２と、測距部２０３とを備える。
制御部２０１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部２０１は、撮像部２０２が行う撮像を、撮像情報を用いて制御する。撮像情報は、走査タイミングや露光時間等、撮像に関する情報を含む。
また、制御部２０１は、測距部２０３に被写体３００から撮像部２０２までの距離を検出させる。制御部２０１は、撮像部２０２を制御するための撮像情報と測距部２０３が検出した距離情報を照明装置１００に送信する。
撮像部２０２は、イメージセンサ及びレンズなどの光学系を有する。本実施の形態では、撮像部２０２のイメージセンサは、走査型ＣＭＯＳイメージセンサである。撮像部２０２は、照明光が照射された被写体３００を撮像することで、撮像画像を生成する。撮像部２０２は、撮像領域３０１が所定の撮像範囲毎に分割して撮像し、分割された複数の撮像範囲を走査することにより撮像領域３０１全体を撮像する。
測距部２０３は、ＴＯＦ方式を用いて、撮像装置２００から被写体３００の撮像領域３０１までの距離を測定し、距離分布を生成する。距離分布は、撮像装置２００もしくは照明装置１００から見た被写体３００までの画素ごとの距離の分布である。距離分布は、デプスマップ（Ｄｅｐｔｈ Ｍａｐ）とも呼ばれる。測距部２０３は距離分布を距離情報として制御部２０１に出力する。
図３Ａ及び図３Ｂは、距離分布の一例を示す図である。例えば、図１の撮像システム１０において、撮像装置２００によって撮像される被写体３００の撮像領域３０１に対する距離分布は、図３Ａのようになる。図３Ａは、撮像領域３０１内の被写体３００が、撮像装置２００から１．２ｍの距離離れた位置にあることを示している。
また、図３Ｂは、同じ配置で距離をより詳細に検出した場合の距離分布を示す。図３Ｂは、撮像領域３０１内の被写体３００は、撮像装置２００から１．１〜１．４ｍの距離に離れた位置にあることを示している。なお、被写体３００は必ずしも平面形状であるとは限らない。本開示においては、いずれの距離分布を用いても、本開示の効果を得ることが出来る。
［１−１−３．照明装置］
図２に示すように、照明装置１００は、制御部１０１と照明部１０２とを備える。
照明装置１００は、撮像装置２００の走査方向軸上付近に撮像装置２００から一定距離隔離して配置することが望ましい。例えば、照明装置１００は、撮像装置２００が上下方向に走査する場合、撮像装置２００の上下のどちらかに配置することが望ましい。これにより本実施の形態の効果を得やすくなる。
本開示では、撮像装置２００は上下方向に走査するとし、照明装置１００は図１に示すように、撮像装置２００の上方に設置される。なお、照明装置１００には、撮像システム１０の設置時に、撮像装置２００と照明装置１００の位置関係が予め設定されるとする。
制御部１０１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部１０１は、撮像装置２００より撮像情報と距離情報を取得する。制御部１０１は、撮像情報および距離情報に基づき、予め設定しておいた撮像装置２００と照明装置１００との位置関係を用いて、照明部１０２が照射する照明光の照明範囲と照明期間を決定し、照明部１０２を制御する。
照明部１０２は、制御部１０１が決定した照明範囲と照明期間に基づいて、被写体３００に照射光を照射する。
［１−２．撮像動作］
図４は、撮像装置２００の走査タイミングを説明する図である。図４は、撮像部２０２が有するＣＭＯＳイメージセンサの走査順序を示す。撮像装置２００の制御部２０１は、撮像部２０２が撮像面４０１上をライン１からラインＮ（Ｎ＞０の整数）まで、ライン単位に上から下へ順次走査するように制御する。図５は、撮像装置２００の動作を説明する図である。図５は、撮像部２０２の走査タイミングと露光タイミングの関係を示す。図５において、矢印の長さは撮像部２０２の露光時間を示す。
制御部２０１は、撮像部２０２が図４で示す走査タイミングで順次走査するよう制御する。同時に、制御部２０１は、撮像部２０２が走査している間、走査しているラインを露光するよう制御する。制御部２０１は、撮像部２０２に、露光が終了した時点でライン上の画素値を読み出させる。例えば、撮像部２０２はライン１の露光が終了した時刻ｔ２で、ライン１の１ライン分の画素値Ｌ−１を読み出す。図５に示すように、ラインＮの撮像が終了すると、１フレームの撮像画像ａが得られる。
撮像部２０２は、制御部２０１の制御に従って、最後のラインＮの撮像が終了すると、次のフレームの撮像を開始する。撮像部２０２は、次のフレームにおいても、ライン１からラインＮまで、走査タイミングに応じて、走査、露光、画素値読み出しの動作を繰り返す。
ここで、撮像画像ａの画素値は、撮像部２０２が露光時間中に受光した光量に応じて決まる。このとき、隣接ラインの走査タイミングの時間差よりも露光時間が長いと、隣接ラインが同時に露光中となる期間が生じる。図５においては、時刻ｔ１〜時刻ｔ２の期間は、ライン１とライン２が同時に露光中となる。このように、各ラインの露光時間が長くなると、同時に露光中となる隣接ライン数が増加することとなる。
図６は、撮像部２０２の撮像範囲６０３を説明する図である。撮像部２０２は走査タイミングに応じて、撮像領域３０１を所定の撮像範囲６０３毎に分けて撮像する。図６は、図５の時刻ｔ１〜時刻ｔ２の区間における１フレームの撮像領域３０１において、撮像部２０２が露光中の撮像範囲６０３を示す。図６に示すように撮像範囲６０３は、図４のライン１に対応する走査領域６０１と、ライン２に対応する走査領域６０２で構成される。なお、図６は、撮像部２０２のイメージセンサ上では像が倒立して結像することから、図４のライン１、ライン２の上下左右が反転していることを示している。
［１−３．照明モード］
本開示の照明装置１００は通常照明と局所照明の２つの照明モードを有する。
［１−３−１．通常照明］
図７は、本実施の形態に係る通常照明の動作を説明する図である。図７は、外壁である被写体３００を側面（図１の点Ａ側）から見た図である。
図７は、撮像装置２００が、視点位置Ｐから、撮像領域３０１を撮像範囲６０３単位で撮像することを示す。図７における撮像範囲６０３は、図４の撮像面４０１上のライン１に対応する走査領域６０１と、ライン２に対応する走査領域６０２で構成される。また、図７は、照明装置１００が、照明位置Ｑから被写体３００上の照明範囲７０５に照明光を照射することを示す。図７に示すように、通常照明における照明範囲７０５は、撮像領域３０１を包含する範囲となる。
すなわち、照明装置１００が照明範囲７０５を照明している状態で、撮像装置２００は走査タイミングに応じて、撮像範囲６０３毎に順次撮像し、撮像領域３０１を撮像する。
［１−３−２．局所照明］
図８は、本実施の形態に係る局所照明の動作を説明する図である。図８は、外壁である被写体３００を側面（図１の点Ａ側）から見た図である。
図８は、撮像装置２００が、視点位置Ｐから、撮像領域３０１を撮像範囲６０３単位で撮像することを示す。図８に示す撮像範囲６０３は、図４の撮像面４０１上のライン１に対応する走査領域６０１と、ライン２に対応する走査領域６０２で構成される。また、図８は、照明装置１００が、照明位置Ｑから被写体３００上の撮像範囲６０３に照明光を照射することを示す。すなわち、局所照明においては、照明装置１００の照明範囲８０５は撮像装置２００の撮像範囲６０３と実質的に一致する。
［１−４．照明動作］
図９は、本実施の形態に係る照明装置１００の動作（照明方法）を説明するフローチャートである。図９は、１フレーム分の撮像画像を撮像する場合のフローチャートである。照明装置１００は、必要なフレーム数分、この処理を繰り返す。
まず、照明装置１００の制御部１０１は、予め設定されている照明装置１００に対する撮像装置２００の姿勢情報を取得する。姿勢情報は、照明装置１００と撮像装置２００の３次元的な相対関係を示す位置情報と方向情報を含む（ステップＳ９０１）。ここで、位置情報は、ｘ軸、ｙ軸、ｚ軸の３次元座標系で示される。また、方向情報は、ヨー軸、ピッチ軸、ロール軸の３つの回転軸で示される。
次に、制御部１０１は、撮像装置２００より撮像部２０２の撮像情報を取得する（ステップＳ９０２）。撮像情報は、走査タイミング、露光時間、撮像領域の情報を含む。次に、制御部１０１は、撮像装置２００より被写体の距離情報を取得する（ステップＳ９０３）。距離情報は、撮像領域３０１内の被写体から撮像装置２００までの距離分布である。なお、ステップＳ９０１〜Ｓ９０３は同時に行っても、これ以外の順序で行っても構わない。
制御部１０１は、局所照明を行うかどうかを所定の条件を用いて判断する（ステップＳ９０４）。ここで、所定の条件について説明する。
制御部１０１は、例えば、所定の条件として、散乱媒体による散乱の影響（散乱光の散乱強度）を用いてもよい。制御部１０１は、散乱の影響が少ない場合、すなわち散乱強度が所定の値より小さい場合、通常照明に切り替えても良い。本実施の形態は、一般的な走査型ＣＭＯＳイメージセンサを用いたカメラの特性を利用しているため、照明を通常照明に切り替えることで、通常の撮像への切り替えは速やかに行える。このように散乱強度に応じて通常照明に切り替えることで、距離計測や照明範囲の決定等の演算を削減することが出来る。
また、制御部１０１は、照射光の位置ずれを検出し、位置ずれが起きていると判断した場合は、通常照明を選択してもよい。制御部１０１は、制御部１０１が決定した照明範囲８０５と照明部１０２により実際に照明された照明光の位置ずれの大きさを検出し、位置ずれの大きさが所定の大きさより大きくなった場合に、通常照明に切り替える。
また、制御部１０１は、撮像装置２００から取得した距離情報が正しくない場合、若しくは、撮像装置２００から距離情報を取得できなかった場合、距離が所定の範囲外の値であると判断し、通常照明に切り替える。
なお、散乱強度や照明範囲の位置ずれの検出方法は、本開示の本質ではないので、説明は割愛するが、散乱強度および照明範囲の位置ずれの検出ができれば、どのような方法でも利用可能である。
制御部１０１は、局所照明を行わないと判断した場合（ステップＳ９０４でＮｏ）、図７に示すように、撮像領域３０１を包含する範囲を照明範囲７０５として決定する（ステップＳ９０８）。また、制御部１０１は、撮像装置２００が１フレーム分の撮像を終了する期間を照明期間とする。照明部１０２は、制御部１０１が決定した照明範囲７０５に、決定された照明期間、照明光を照射する（ステップＳ９０９）。なお、制御部１０１は撮像部２０２の走査タイミング毎に、撮像領域３０１を包含する範囲を照明してもよい。
制御部１０１は、局所照明を行うと判断した場合（ステップＳ９０４でＹｅｓの場合）、撮像部２０２の走査タイミング毎に、取得した姿勢情報、撮像情報、および距離情報を用いて照明範囲８０５を決定する（ステップＳ９０５）。制御部１０１は、図８において、照明装置１００の照明位置Ｑに対する撮像装置２００の視点位置Ｐ、姿勢情報および距離情報が既知であれば、撮像部２０２の露光中の撮像範囲６０３に対する照明位置Ｑから見た照明範囲８０５を幾何学的に求めることができる。この手順は一般的なステレオ視の考え方と同じであるので詳細な説明は省略する。また、制御部１０１は、撮像部２０２の露光時間を照明期間とする。
なお、イメージセンサ上のライン領域が実際に撮像する実空間の領域形状は、撮像装置２００のレンズ歪みの影響を受ける。従って、レンズ歪みの影響が無視できない場合、イメージセンサ上のライン領域に対応した撮像範囲６０３に照明範囲８０５を実質的に一致させる。レンズ歪による形状補正は、ステレオカメラのカメラキャリブレーション技術や一般のデジタルカメラの歪曲歪補正で用いられる。このように、レンズ歪の影響を考慮することで、より正確に撮像範囲６０３に照明範囲８０５を一致させることが可能になる。
制御部１０１は、撮像部２０２の走査タイミングおよび露光時間に同期して、照明部１０２に、ステップＳ９０５で決定された照明範囲８０５に照明光を照射させるよう制御する（ステップＳ９０６）。制御部１０１は、撮像領域３０１の中に未撮像領域があるかを判断する（ステップＳ９０７）。制御部１０１は、撮像領域３０１内に未撮像領域が有ると判断した場合（ステップＳ９０７のＹｅｓの場合）はステップＳ９０５に戻る。
撮像部２０２は、ライン１の撮像が終了すると、ライン２の撮像に移行する。この場合、露光中の領域である撮像範囲はライン２、ライン３となる。制御部１０１は、ライン１、ライン２の場合と同様に、ライン２、ライン３に対応する撮像範囲を照明位置Ｑから見た方向を求め、照明範囲８０５を決定する。照明部１０２は、撮像装置２００のライン２、ライン３の露光期間に同期して、被写体３００の撮像範囲を照明する。以降の走査に対しても同様に撮像範囲に合わせて照明範囲８０５を順次シフトし、最終ライン（ラインＮ）の走査が終わると、処理を終了し、次のフレームに対する照明動作として、ライン１から同様の動作を繰り返す。ここで、被写体３００が動いている場合のように、撮像領域３０１の距離分布が時間とともに変化する場合、同じラインの撮像に対する照明範囲８０５も変化することとなる。
制御部１０１は、撮像領域３０１の撮像が完了したと判断した場合は（ステップＳ９０７のＮｏの場合）、撮像を終了する。
［１−５．効果等］
以上のように、本実施の形態の照明装置１００の制御部１０１は、まず、撮像装置２００より走査タイミングを含む撮像情報を取得し、走査タイミング毎の撮像装置２００の撮像範囲６０３を算出する。次に、制御部１０１は、撮像範囲内に存在する被写体３００から撮像装置２００までの距離と、撮像装置２００と照明装置１００との位置関係を用いて、走査タイミング毎の照明範囲を決定する。次に、制御部１０１は、走査タイミングに同期して、決定した照明範囲に照明光を照射するよう制御する。
これにより、被写体３００と撮像装置２００の間に散乱媒体が存在する場合、照明光による散乱を低減させることができる。
従って、撮像装置２００は、コントラストの高い映像を撮像することが可能となる。
以下、本実施の形態の効果について、詳細に説明する。
図１０Ａ及び図１１Ｂは、実施の形態１に係る撮像システム１０の照明効果を説明する図である。図１０Ａは、図７の通常照明において、被写体３００と撮像装置２００の間に散乱媒体４００が存在する場合の照明状態を示す。また、図１０Ｂは、図８の局所照明において、被写体３００と撮像装置２００の間に散乱媒体４００が存在する場合の照明状態を示す。
図１０Ａに示すように、通常照明の場合、照明装置１００は、撮像領域３０１を包含する範囲を照明範囲７０５として設定する。この時、照明装置１００の照明位置Ｑと照明範囲７０５とによって囲まれる空間と、撮像装置２００の視点位置Ｐと撮像範囲６０３とによって囲まれる空間とが重複する重複空間７０６（図１０Ａの斜線部）が生じる。重複空間７０６は、照明装置１００からの照明範囲７０５を照明する照明光の光路と、撮像範囲６０３からの撮像装置２００を露光する反射光の光路とが重なる空間である。重複空間７０６を通過する光線が散乱媒体４００により散乱することよって生じる散乱光は、撮像範囲６０３の画像に上乗せされる。図１０Ａの状態は、他の撮像範囲でも同様であるので、説明を省略する。これにより撮像画像の輝度が増し、コントラストの低い撮像画像が得られる。
一方、図１０Ｂに示すように、局所照明の場合、照明部１０２は、露光中の撮像範囲６０３のみを照明する。この時、照明装置１００の照明位置Ｑと照明範囲８０５（撮像範囲６０３）とによって囲まれる空間と、撮像装置２００の視点位置Ｐと撮像範囲６０３とによって囲まれる空間とが重なる重複空間８０６（図１０Ｂの斜線部）が生じる。重複空間８０６は、照明装置１００からの照明範囲８０５（撮像範囲６０３）を照明する照明光の光路と、撮像範囲６０３からの撮像装置２００を露光する反射光の光路とが重なる空間である。この場合も、散乱媒体４００による散乱光が重複空間８０６で生じ、撮像範囲６０３の映像に上乗せされる。図１０Ｂの状態は、他の撮像範囲でも同様であるので、説明を省略する。図１０Ａ、図１０Ｂから分かるように、通常照明の重複空間７０６に比べて局所照明の重複空間８０６は小さいため、散乱光が撮像画像に与える影響が低減される。従って、撮像画像のコントラスト低下を低減させることが可能になる。
図１１Ａ及び図１１Ｂは、実施の形態１に係る撮像画像の一例を示す図である。図１１Ａは、通常照明で撮像された撮像画像、図１１Ｂは局所照明で撮像された撮像画像を示す。
図１１Ａの撮像画像は、被写体３００内の欠陥部３０２は散乱光の影響で、周辺の明るさと明るさが近くなり、欠陥部３０２が視認し辛い、コントラストの低い画像となっている。これに対して、図１１Ｂの撮像画像は、局所照明により散乱光が抑えられた結果、被写体３００のコントラストを維持し、欠陥部３０２を視認しやすい画像となる。
以上の効果は、イメージセンサが瞬時には局所的に撮像していることに基づき、これに合わせた局所照明を用いることで、撮像画像に影響を与える散乱光の発生を減らすことで得られる。このため、露出時間を短くし、瞬時的な撮像領域を狭くすると本開示の効果を得やすい。
また、照明装置１００と撮像装置２００の位置関係について、撮像装置２００に対して走査方向（図４の上下方向）に照明装置１００を配置することが望ましい。これは、照明装置１００からの照明光の光路と撮像装置２００の露光領域の重なり範囲を小さくできることによる。また、撮像装置２００と照明装置１００の位置が近いと、図１０Ｂに示す散乱領域８０６（散乱光が重畳される領域）が増すため、撮像装置２００から離れた位置に照明装置１００を配置し、照明方向と撮像方向に差を設けることが望ましい。
このように、本実施の形態は、一般的な走査型ＣＭＯＳイメージセンサを用いたカメラの特性を利用しながら、照明光による散乱の影響を低減できるという効果があり、静止画のみならず、動画にも適用可能である。
（実施の形態２）
以下、図１２〜１６を用いて、実施の形態２を説明する。一般的に、撮像範囲をできるだけ均一かつ充分な照度で照らすために、複数の照明を組み合わせる場合がある。実施の形態２では、複数の照明装置を用いた照明方法を説明する。
［２−１．構成］
図１２は、本実施の形態に係る撮像システム２０を示す概略図である。図１２に示すように、撮像システム２０は、２つの照明装置１１０、１２０と、撮像装置２１０と、選択装置５００とを備える。図１２において、実施の形態１と同じ要素に対しては、同符号を付与し、説明を省略する。
照明装置１１０および照明装置１２０は被写体３００に照明光を照射する。
撮像装置２１０は、照明装置１１０、１２０により照明光が照射された被写体３００を撮像することで、撮像画像を生成する。
選択装置５００は、照明装置１１０と、照明装置１２０と、撮像装置２１０と接続され、各装置から取得した情報に応じて、使用する照明装置の選択を行う。
図１２に示すように、実施の形態１と実施の形態２の違いは、照明装置が複数になったことである。各照明装置は、撮像装置２００が上下方向に走査する場合、撮像装置２１０の上下のどちらか、あるいは上下両側に配置することが望ましい。本実施の形態では、撮像装置２１０の走査方向の前後（図１２における撮像装置２１０の上下）にそれぞれ１つずつ照明装置を配置している。
以下、照明装置１１０、１２０、撮像装置２１０、選択装置５００の詳細な構成について、図１３を用いて説明する。図１３は、本実施の形態に係る撮像システム２０の機能構成を示すブロック図である。
［２−１−１．撮像装置］
撮像装置２１０は、例えば、デジタルビデオカメラ、車載カメラなどである。撮像装置２１０は、図１３に示すように、制御部２１１と、撮像部２０２とを備える。本実施の形態の撮像装置２１０は、実施の形態１で説明した測距部２０３を有していない。撮像部２０２は、実施の形態１と同様の動作を行うので、同符号を付与し、説明を省略する。
制御部２１１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部２１１は、撮像部２０２が行う撮像を、撮像情報を用いて制御する。撮像情報は、走査タイミングや露光時間等、撮像に関する情報を含む。制御部２１１は、撮像部２０２を制御するための撮像情報を照明装置１１０および照明装置１２０に送信する。また、制御部２１１は、撮像情報を選択装置５００に送信する。
撮像装置２１０の撮像動作は実施の形態１と同様であるので、説明を省略する。
［２−１−２．照明装置］
照明装置１１０と照明装置１２０は同じ構成であるため、ここでは、照明装置１１０のみ説明する。照明装置１１０は、制御部１１１、照明部１０２、測距部１１３を備える。本実施の形態の照明装置１１０は、実施の形態１と異なり、測距部１１３を有する。照明部１０２は、実施の形態１と同様の動作を行うので、同符号を付与し、説明を省略する。
制御部１１１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部１１１は、撮像装置２１０より撮像情報を取得する。制御部１１１は、測距部１１３に、取得した撮像情報を用いて、距離情報を生成させる。制御部１１１は、撮像情報および距離情報に基づき、予め設定しておいた撮像装置２１０と照明装置１１０との位置関係を用いて、照明部１０２が照射する照明光の照明範囲と照明期間を決定し、照明部１０２を制御する。制御部１１１の照明範囲の決定方法は、実施の形態１と同様であるので、説明を省略する。
照明部１０２は、制御部１１１が決定した照明範囲と照明期間に基づいて、被写体３００に照射光を照射する。
測距部１１３は、制御部１１１から出力された撮像情報を用いて、例えば、ＴＯＦ方式を用いて、撮像装置２１０から被写体３００の撮像領域３０１までの距離を測定し、距離分布を生成する。測距部１１３は距離分布を距離情報として制御部１１１に出力する。
［２−１−３．選択装置］
選択装置５００は、制御部５０１を有する。制御部５０１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部５０１は、照明装置１１０、１２０より距離情報を取得する。また、制御部５０１は、撮像装置２１０より撮像情報を取得する。制御部５０１は、距離情報と、予め設定しておいた撮像装置２１０と照明装置１１０、１２０との位置関係を示す位置情報を用いて、照明装置１１０、照明装置１２０のそれぞれに対して、使用するかどうかを選択する。
［２−２．動作］
図１４は実施の形態２の選択装置５００の動作を示すフローチャートである。
まず、制御部５０１は、予め設定されている照明装置１１０および照明装置１２０に対する撮像装置２１０の姿勢情報を取得する（ステップＳ１４０１）。姿勢情報は、照明装置１００、照明装置１２０と撮像装置２１０の３次元的な相対関係を示す位置情報と方向情報を含む。
次に、制御部５０１は、撮像装置２１０より撮像部２０２の撮像情報を取得する（ステップＳ１４０２）。撮像情報は、走査タイミング、露光時間、撮像領域３０１の情報を含む。
次に、制御部５０１は、照明装置１１０と照明装置１２０の両方または、いずれか一方から撮像装置２１０から被写体３００までの距離情報を取得する（ステップＳ１４０３）。
制御部５０１は、取得した撮像情報と距離情報と位置情報を用いて、照明装置１１０と照明装置１２０のいずれを使用するかを選択する（ステップＳ１４０４）。選択された照明装置は、実施の形態１と同様の動作を行う。
以下、照明装置の選択方法について図１５、図１６を用いて説明する。図１５は、本実施の形態に係る照明装置の照明範囲を説明する図である。図１５は、外壁である被写体３００を側面から見た図である。
図１５は、撮像装置２１０が、視点位置Ｐから、撮像領域３０１を撮像範囲６０３単位で撮像することを示す。図１５における撮像範囲６０３は、図４の撮像面４０１上のライン１に対応する走査領域６０１と、ライン２に対応する走査領域６０２で構成される。また、図１５は、照明装置１１０が、照明位置Ｑ１から被写体３００上の撮像範囲６０３に照明光を照射することを示す。また、照明装置１２０が、照明位置Ｑ２から被写体３００上の撮像範囲６０３に照明光を照射することを示す。すなわち、照明装置１１０、１２０のそれぞれの照明範囲８１５、８２５は、撮像範囲６０３と実質的に重なる。
制御部５０１は、散乱媒体４００による散乱光の影響の大小または散乱光の影響の大小と光量を加味して照明装置を選択する。散乱光の影響の大小は、撮像装置２１０の視点位置Ｐと撮像範囲６０３とによって囲まれる空間と、照明位置と照明範囲とによって囲まれる空間とが重なる重複空間の大小で判断することが出来る。
図１６は、本実施の形態に係る照明装置の選択方法を説明する図である。図１６は、外壁である被写体３００を側面から見た図である。図１６において、図１５と同じ構成要素には同符号を付与し、説明を省略する。
図１６において、点Ｒ１、点Ｒ２、点Ｒ３で囲まれた重複空間８１６（図１６の縦線部と格子部）は、照明装置１１０の照明位置Ｑ１と照明範囲８１５（撮像範囲６０３）とによって囲まれる空間と、撮像装置２１０の視点位置Ｐと撮像範囲６０３とによって囲まれる空間とが重なる空間である。また、点Ｒ１、点Ｒ２、点Ｒ４で囲まれた重複空間８２６（図１６の横線部と格子部）は、照明装置１２０の照明位置Ｑ２と照明範囲８２５（撮像範囲６０３）とによって囲まれる空間と、撮像装置２１０の視点位置Ｐと撮像範囲６０３とによって囲まれる空間とが重なる空間である。図１６の場合、重複空間８２６より重複空間８１６の方が大きいことが分かる。
このため、選択装置５００の制御部５０１は、重複空間８１６の方が散乱媒体４００による散乱光の撮像画像への影響が大きいと判断できる。すなわち、制御部５０１は、照明装置１１０で照明するより、照明装置１２０で照明した方が、散乱光の影響が小さいと判断できる。
また、制御部５０１は、照明光の光量を加味する場合は、被写体３００から各照明装置までの距離情報を用いる。制御部５０１は、被写体３００との距離が小さい照明装置の方が、光量が大きいと判断する。図１６の場合、制御部５０１は、照明位置Ｑ１の方が被写体３００に近いので、照明装置１１０の光量が大きいと判断する。この場合、重複空間８１６、８２６の大きさと光量から、制御部５０１は、照明装置１２０の方が、散乱光の影響が小さいと判断し、照明装置１２０を選択する。
更に、厳密に判断するためには、散乱の方向依存性を加味して判断してもよい。ここで、散乱の方向依存性とは、照明光線の方向に対する散乱光の方向別強度を指す。方向依存性は、撮像装置と照明装置の位置関係で判断可能である。図１６の場合、制御部５０１は、視点位置Ｐと照明位置Ｑ１の距離と、視点位置Ｐと照明位置Ｑ２の距離を比較する。図１６の場合、視点位置Ｐと照明位置Ｑ１の距離が視点位置Ｐと照明位置Ｑ２の距離より小さいので、制御部５０１は、照明位置Ｑ１に位置する照明装置１１０の方が散乱の方向依存性が高いと判断し、照明装置１２０を選択する。
なお、２つの照明装置１１０、１２０間で散乱光の影響の差異が小さい場合、光量確保を優先して２つの照明装置１１０、１２０を同時に選択し、それぞれが実施の形態１で説明した照明装置の動作を行うように制御しても良い。
［２−３．効果等］
以上のように、本実施の形態の撮像システムは、撮像領域を所定の撮像単位毎に撮像する撮像装置２１０と、撮像装置２１０の被写体に照明光を照射する複数の照明装置１１０、１２０とを備える。選択装置５００の制御部５０１は、撮像範囲６０３内に存在する被写体３００から撮像装置２１０までの距離と、撮像装置２１０と複数の照明装置の位置関係を用いて、複数の照明装置の中から使用する照明装置を選択する機能を有する。
これにより、複数の照明装置を用いて均一な照明を行いながら実施の形態１と同様に照明光による散乱光の影響を低減することができる。
従って、撮像装置２１０は、コントラストの高い映像を撮像することが可能となる。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
各実施の形態では、イメージセンサの走査が１方向のみの例で説明したが、撮像素子面を同時に複数領域走査する場合も、個々の露光中の領域に対して局所的に照明を行うことで同様の効果が得られる。
また、被写体までの距離検出の精度やカメラ姿勢の設定精度・走査のタイミングや露出時間の誤差などにより、正確な照明範囲が得られない場合には、誤差を含めたより広い照明範囲を設定しても、本実施例の効果が得られる。また、上記の誤差が一定以上の場合、撮像領域全体を照明する通常照明に切り替えてもよい。これにより、照明を欠くことによる撮像もれを防ぐことが出来る。
また、撮像画像において照明が一部欠けている（暗く写る領域の有無により判断）ことを判断し、照明範囲を広げることで撮像の欠損を防ぐようにしてもよい。
また、画像処理によるコントラスト強調やｈａｚｅｒｅｍｏｖａｌ処理（非特許文献１など）を併用してもよい。画像処理を併用することで散乱光の影響を更に低減させることができる。画像処理のみでは撮像素子の諧調不足による効果限界が生じるが、本実施の形態を組み合わせることで、この限界を超えて散乱光の影響を抑えることが可能となる。
また、実施の形態１においては、ＴＯＦ方式で距離検出を行ったが、これに限定されない。距離検出は、撮像装置を複数台用いたステレオ方式で実現してもよいし、パターン光投影による三角測量方式など、既存の測距方式のいずれを用いても良い。
ステレオ方式で距離検出を行う場合、ステレオカメラの照明を本開示に基づいて行うことで、映像が鮮明になり、ステレオ距離算出の精度が向上する。すなわち、ステレオ距離算出の精度が向上することで、照明範囲の算出精度も向上させることができる。このように、ステレオカメラで行うと距離検出精度と散乱光抑制の精度を相乗的に改善することができる。
また、被写体までの距離が既知あるいは固定の場合、距離を逐次検出せずに予め設定した距離に基づいて照明範囲を設定してもよい。
また、距離が時間など他の参照可能な情報と紐付けられる場合にも、距離を逐次検出せずに、算出した距離に基づいて照明範囲を設定すれば良い。
また、本開示においては、撮像部２０２は、隣接する２つのラインを同時に露光していたが、露光時間が短くなると単一のラインのみが照明対象となる場合もある。逆に、撮像部２０２の露光時間が長くなると、連続する３つのライン以上が照明対象となる。このように、照明範囲は、イメージセンサの走査タイミングのみならず、撮像部２０２の露光時間にも依存し、露光時間の長さに応じて決定される。
また、撮像部のレンズ歪み情報を用い、逆歪みを照明部の照明パターンとして加えてもよい。
また、各実施の形態において、測距部は、撮像装置か照明装置のいずれかが有していたが、別の装置が有し、その装置から距離情報を取得しても良い。
また、実施の形態１の撮像装置および照明装置を実施の形態２に適用してもよい。また、逆に、実施の形態２の撮像装置および照明装置を実施の形態１に適用してもよい。いずれの場合も、距離情報を撮像システム内のいずれかの装置から取得できればよい。
また、実施の形態２における選択装置の機能を撮像装置または照明装置が有してもよい。
また、実施の形態２においては、照明装置が２台の場合について説明したが、３台以上の照明装置を用いても構わない。
また、実施の形態２において、照明装置の選択を走査タイミング毎に行ってもよいし、フレーム単位におこなってもよい。
また、本開示では被写体は建造物の外壁としたが、撮像装置が撮像する被写体であれば、どのようなものでも構わない。
なお、各実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、撮像装置用の照明装置に適用可能である。具体的には、デジタルビデオカメラ、車載カメラ、水中カメラ、監視カメラなどの照明に、本開示は適用可能である。
１０，２０ 撮像システム
１００，１１０，１２０ 照明装置
１１３，２０３ 測距部
１０１，１１１，２０１，２１１，５０１ 制御部
１０２ 照明部
２００，２１０ 撮像装置
２０２ 撮像部
３００ 被写体（外壁）
３０１ 撮像領域
３０２ 欠陥部
４００ 散乱媒体
４０１ 撮像面
５００ 選択装置
６０１，６０２ 走査領域
６０３ 撮像範囲
７０５，８０５，８１５，８２５ 照明範囲
７０６，８０６，８１６，８２６ 重複空間
本開示は、撮像対象に照明光を照射する照明装置、撮像システムおよび照明方法に関する。
非特許文献１は、画像処理により映像に含まれるヘイズ（霧・もや等）による散乱光を除去する方法を開示する。この方法は、被写体までの距離によって変わる散乱光の影響をＤａｒｋ Ｃｈａｎｎｅｌ Ｐｒｉｏｒを用いて推定することにより散乱光を除去した画像を得ることができる。
He, Kaiming, Jian Sun, and Xiaoou Tang. "Single image haze removal using dark channel prior." Pattern Analysis and Machine Intelligence, IEEE Transactions on 33.12 (2011): 2341-2353
本開示は、空気中や水中において照明を用いた撮像を行う際に、散乱媒体（霧や水中の濁りなど）による照明光の散乱の影響を低減して撮像するために有効な照明装置を提供する。
本開示における照明装置は、撮像領域を所定の撮像単位毎に撮像する撮像装置によって撮像される被写体に、照明光を照射する照明装置である。照明装置は、撮像装置より走査タイミングを含む撮像情報を取得し、走査タイミング毎の撮像装置の撮像範囲を算出し、撮像範囲内に存在する被写体から撮像装置までの距離と撮像装置と自装置の位置関係を用いて、走査タイミング毎の照明範囲を決定し、走査タイミングに同期して、決定した照明範囲に照明光を照射するよう制御する制御部を備える。
本開示における撮像システムは、撮像領域を所定の撮像単位毎に撮像する撮像装置と、撮像装置によって撮像される被写体に照明光を照射する少なくとも１つの照明装置とを備える。照明装置は、撮像装置より走査タイミングを含む撮像情報を取得し、走査タイミング毎の撮像装置の撮像範囲を算出し、撮像範囲内に存在する被写体から撮像装置までの距離と撮像装置と自装置の位置関係を用いて、走査タイミング毎の照明範囲を決定し、走査タイミングに同期して、決定した照明範囲に照明光を照射するよう制御する制御部を備える。
本開示における照明方法は、撮像領域を所定の撮像単位毎に撮像する撮像装置によって撮像される被写体に照明装置から照明光を照射する照明方法である。照明方法は、撮像装置より走査タイミングを含む撮像情報を取得し、走査タイミング毎の撮像装置の撮像範囲を算出し、撮像範囲内に存在する被写体から撮像装置までの距離と撮像装置と照明装置の位置関係を用いて、走査タイミング毎の照明範囲を決定し、走査タイミングに同期して、決定した照明範囲に照明光を照射する。
本開示によれば、空気中や水中における撮像時において、散乱媒体による散乱光の影響を軽減することができる。
実施の形態１に係る撮像システムを示す概略図である。 実施の形態１に係る撮像システムの機能構成を示すブロック図である。 距離分布の一例を示す図である。 距離分布の一例（詳細）を示す図である。 撮像装置の走査タイミングを説明する図である。 撮像装置の動作を説明する図である。 撮像部が撮像する撮像範囲を説明する図である。 実施の形態１に係る通常照明の動作を説明する図である。 実施の形態１に係る局所照明の動作を説明する図である。 実施の形態１に係る照明装置の動作を説明するフローチャートである。 実施の形態１に係る撮像システムの効果（通常照明）を説明する図である。 実施の形態１に係る撮像システムの効果（局所照明）を説明する図である。 実施の形態１に係る通常照明による撮像画像を説明する図である。 実施の形態１に係る局所照明による撮像画像を説明する図である。 実施の形態２に係る撮像システムを示す概略図である。 実施の形態２に係る撮像システムの機能構成を示すブロック図である。 実施の形態２に係る照明選択方法を説明するフローチャートである。 実施の形態２に係る照明範囲を説明する図である。 実施の形態２に係る照明選択方法を説明する図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
（実施の形態１）
以下、図１〜図９を用いて、実施の形態１を説明する。
［１−１．構成］
［１−１−１．概要］
図１は、実施の形態１に係る撮像システム１０を示す概略図である。図１に示すように、撮像システム１０は、照明装置１００と撮像装置２００とを備える。照明装置１００は、撮像装置２００によって撮像される被写体３００に照明光を照射する。撮像装置２００は、照明装置１００により照明光が照射された被写体３００を、所定の撮像単位毎に撮像することにより、撮像画像を生成する。被写体３００は、例えば本開示においては建造物の外壁である。また、本実施の形態では、図１に示すように、撮像装置２００が被写体３００の撮像領域３０１を撮像する場合を例に取って説明し、撮像領域３０１には、傷（亀裂など）や汚れなどの欠陥部３０２が存在する。
以下、照明装置１００、撮像装置２００の詳細な構成について、図２を用いて説明する。図２は、本実施の形態に係る撮像システム１０の機能構成を示すブロック図である。
［１−１−２．撮像装置］
撮像装置２００は、例えば、デジタルビデオカメラ、車載カメラなどである。本実施の形態では、撮像装置２００は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラである。撮像装置２００は、図２に示すように、制御部２０１と、撮像部２０２と、測距部２０３とを備える。
制御部２０１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部２０１は、撮像部２０２が行う撮像を、撮像情報を用いて制御する。撮像情報は、走査タイミングや露光時間等、撮像に関する情報を含む。
また、制御部２０１は、測距部２０３に被写体３００から撮像部２０２までの距離を検出させる。制御部２０１は、撮像部２０２を制御するための撮像情報と測距部２０３が検出した距離情報を照明装置１００に送信する。
撮像部２０２は、イメージセンサ及びレンズなどの光学系を有する。本実施の形態では、撮像部２０２のイメージセンサは、走査型ＣＭＯＳイメージセンサである。撮像部２０２は、照明光が照射された被写体３００を撮像することで、撮像画像を生成する。撮像部２０２は、撮像領域３０１が所定の撮像範囲毎に分割して撮像し、分割された複数の撮像範囲を走査することにより撮像領域３０１全体を撮像する。
測距部２０３は、ＴＯＦ方式を用いて、撮像装置２００から被写体３００の撮像領域３０１までの距離を測定し、距離分布を生成する。距離分布は、撮像装置２００もしくは照明装置１００から見た被写体３００までの画素ごとの距離の分布である。距離分布は、デプスマップ（Ｄｅｐｔｈ Ｍａｐ）とも呼ばれる。測距部２０３は距離分布を距離情報として制御部２０１に出力する。
図３Ａ及び図３Ｂは、距離分布の一例を示す図である。例えば、図１の撮像システム１０において、撮像装置２００によって撮像される被写体３００の撮像領域３０１に対する距離分布は、図３Ａのようになる。図３Ａは、撮像領域３０１内の被写体３００が、撮像装置２００から１．２ｍの距離離れた位置にあることを示している。
また、図３Ｂは、同じ配置で距離をより詳細に検出した場合の距離分布を示す。図３Ｂは、撮像領域３０１内の被写体３００は、撮像装置２００から１．１〜１．４ｍの距離に離れた位置にあることを示している。なお、被写体３００は必ずしも平面形状であるとは限らない。本開示においては、いずれの距離分布を用いても、本開示の効果を得ることが出来る。
［１−１−３．照明装置］
図２に示すように、照明装置１００は、制御部１０１と照明部１０２とを備える。
照明装置１００は、撮像装置２００の走査方向軸上付近に撮像装置２００から一定距離隔離して配置することが望ましい。例えば、照明装置１００は、撮像装置２００が上下方向に走査する場合、撮像装置２００の上下のどちらかに配置することが望ましい。これにより本実施の形態の効果を得やすくなる。
本開示では、撮像装置２００は上下方向に走査するとし、照明装置１００は図１に示すように、撮像装置２００の上方に設置される。なお、照明装置１００には、撮像システム１０の設置時に、撮像装置２００と照明装置１００の位置関係が予め設定されるとする。
制御部１０１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部１０１は、撮像装置２００より撮像情報と距離情報を取得する。制御部１０１は、撮像情報および距離情報に基づき、予め設定しておいた撮像装置２００と照明装置１００との位置関係を用いて、照明部１０２が照射する照明光の照明範囲と照明期間を決定し、照明部１０２を制御する。
照明部１０２は、制御部１０１が決定した照明範囲と照明期間に基づいて、被写体３００に照射光を照射する。
［１−２．撮像動作］
図４は、撮像装置２００の走査タイミングを説明する図である。図４は、撮像部２０２が有するＣＭＯＳイメージセンサの走査順序を示す。撮像装置２００の制御部２０１は、撮像部２０２が撮像面４０１上をライン１からラインＮ（Ｎ＞０の整数）まで、ライン単位に上から下へ順次走査するように制御する。図５は、撮像装置２００の動作を説明する図である。図５は、撮像部２０２の走査タイミングと露光タイミングの関係を示す。図５において、矢印の長さは撮像部２０２の露光時間を示す。
制御部２０１は、撮像部２０２が図４で示す走査タイミングで順次走査するよう制御する。同時に、制御部２０１は、撮像部２０２が走査している間、走査しているラインを露光するよう制御する。制御部２０１は、撮像部２０２に、露光が終了した時点でライン上の画素値を読み出させる。例えば、撮像部２０２はライン１の露光が終了した時刻ｔ２で、ライン１の１ライン分の画素値Ｌ−１を読み出す。図５に示すように、ラインＮの撮像が終了すると、１フレームの撮像画像ａが得られる。
撮像部２０２は、制御部２０１の制御に従って、最後のラインＮの撮像が終了すると、次のフレームの撮像を開始する。撮像部２０２は、次のフレームにおいても、ライン１からラインＮまで、走査タイミングに応じて、走査、露光、画素値読み出しの動作を繰り返す。
ここで、撮像画像ａの画素値は、撮像部２０２が露光時間中に受光した光量に応じて決まる。このとき、隣接ラインの走査タイミングの時間差よりも露光時間が長いと、隣接ラインが同時に露光中となる期間が生じる。図５においては、時刻ｔ１〜時刻ｔ２の期間は、ライン１とライン２が同時に露光中となる。このように、各ラインの露光時間が長くなると、同時に露光中となる隣接ライン数が増加することとなる。
図６は、撮像部２０２の撮像範囲６０３を説明する図である。撮像部２０２は走査タイミングに応じて、撮像領域３０１を所定の撮像範囲６０３毎に分けて撮像する。図６は、図５の時刻ｔ１〜時刻ｔ２の区間における１フレームの撮像領域３０１において、撮像部２０２が露光中の撮像範囲６０３を示す。図６に示すように撮像範囲６０３は、図４のライン１に対応する走査領域６０１と、ライン２に対応する走査領域６０２で構成される。なお、図６は、撮像部２０２のイメージセンサ上では像が倒立して結像することから、図４のライン１、ライン２の上下左右が反転していることを示している。
［１−３．照明モード］
本開示の照明装置１００は通常照明と局所照明の２つの照明モードを有する。
［１−３−１．通常照明］
図７は、本実施の形態に係る通常照明の動作を説明する図である。図７は、外壁である被写体３００を側面（図１の点Ａ側）から見た図である。
図７は、撮像装置２００が、視点位置Ｐから、撮像領域３０１を撮像範囲６０３単位で撮像することを示す。図７における撮像範囲６０３は、図４の撮像面４０１上のライン１に対応する走査領域６０１と、ライン２に対応する走査領域６０２で構成される。また、図７は、照明装置１００が、照明位置Ｑから被写体３００上の照明範囲７０５に照明光を照射することを示す。図７に示すように、通常照明における照明範囲７０５は、撮像領域３０１を包含する範囲となる。
すなわち、照明装置１００が照明範囲７０５を照明している状態で、撮像装置２００は走査タイミングに応じて、撮像範囲６０３毎に順次撮像し、撮像領域３０１を撮像する。
［１−３−２．局所照明］
図８は、本実施の形態に係る局所照明の動作を説明する図である。図８は、外壁である被写体３００を側面（図１の点Ａ側）から見た図である。
図８は、撮像装置２００が、視点位置Ｐから、撮像領域３０１を撮像範囲６０３単位で撮像することを示す。図８に示す撮像範囲６０３は、図４の撮像面４０１上のライン１に対応する走査領域６０１と、ライン２に対応する走査領域６０２で構成される。また、図８は、照明装置１００が、照明位置Ｑから被写体３００上の撮像範囲６０３に照明光を照射することを示す。すなわち、局所照明においては、照明装置１００の照明範囲８０５は撮像装置２００の撮像範囲６０３と実質的に一致する。
［１−４．照明動作］
図９は、本実施の形態に係る照明装置１００の動作（照明方法）を説明するフローチャートである。図９は、１フレーム分の撮像画像を撮像する場合のフローチャートである。照明装置１００は、必要なフレーム数分、この処理を繰り返す。
まず、照明装置１００の制御部１０１は、予め設定されている照明装置１００に対する撮像装置２００の姿勢情報を取得する。姿勢情報は、照明装置１００と撮像装置２００の３次元的な相対関係を示す位置情報と方向情報を含む（ステップＳ９０１）。ここで、位置情報は、ｘ軸、ｙ軸、ｚ軸の３次元座標系で示される。また、方向情報は、ヨー軸、ピッチ軸、ロール軸の３つの回転軸で示される。
次に、制御部１０１は、撮像装置２００より撮像部２０２の撮像情報を取得する（ステップＳ９０２）。撮像情報は、走査タイミング、露光時間、撮像領域の情報を含む。次に、制御部１０１は、撮像装置２００より被写体の距離情報を取得する（ステップＳ９０３）。距離情報は、撮像領域３０１内の被写体から撮像装置２００までの距離分布である。なお、ステップＳ９０１〜Ｓ９０３は同時に行っても、これ以外の順序で行っても構わない。
制御部１０１は、局所照明を行うかどうかを所定の条件を用いて判断する（ステップＳ９０４）。ここで、所定の条件について説明する。
制御部１０１は、例えば、所定の条件として、散乱媒体による散乱の影響（散乱光の散乱強度）を用いてもよい。制御部１０１は、散乱の影響が少ない場合、すなわち散乱強度が所定の値より小さい場合、通常照明に切り替えても良い。本実施の形態は、一般的な走査型ＣＭＯＳイメージセンサを用いたカメラの特性を利用しているため、照明を通常照明に切り替えることで、通常の撮像への切り替えは速やかに行える。このように散乱強度に応じて通常照明に切り替えることで、距離計測や照明範囲の決定等の演算を削減することが出来る。
また、制御部１０１は、照射光の位置ずれを検出し、位置ずれが起きていると判断した場合は、通常照明を選択してもよい。制御部１０１は、制御部１０１が決定した照明範囲８０５と照明部１０２により実際に照明された照明光の位置ずれの大きさを検出し、位置ずれの大きさが所定の大きさより大きくなった場合に、通常照明に切り替える。
また、制御部１０１は、撮像装置２００から取得した距離情報が正しくない場合、若しくは、撮像装置２００から距離情報を取得できなかった場合、距離が所定の範囲外の値であると判断し、通常照明に切り替える。
なお、散乱強度や照明範囲の位置ずれの検出方法は、本開示の本質ではないので、説明は割愛するが、散乱強度および照明範囲の位置ずれの検出ができれば、どのような方法でも利用可能である。
制御部１０１は、局所照明を行わないと判断した場合（ステップＳ９０４でＮｏ）、図７に示すように、撮像領域３０１を包含する範囲を照明範囲７０５として決定する（ステップＳ９０８）。また、制御部１０１は、撮像装置２００が１フレーム分の撮像を終了する期間を照明期間とする。照明部１０２は、制御部１０１が決定した照明範囲７０５に、決定された照明期間、照明光を照射する（ステップＳ９０９）。なお、制御部１０１は撮像部２０２の走査タイミング毎に、撮像領域３０１を包含する範囲を照明してもよい。
制御部１０１は、局所照明を行うと判断した場合（ステップＳ９０４でＹｅｓの場合）、撮像部２０２の走査タイミング毎に、取得した姿勢情報、撮像情報、および距離情報を用いて照明範囲８０５を決定する（ステップＳ９０５）。制御部１０１は、図８において、照明装置１００の照明位置Ｑに対する撮像装置２００の視点位置Ｐ、姿勢情報および距離情報が既知であれば、撮像部２０２の露光中の撮像範囲６０３に対する照明位置Ｑから見た照明範囲８０５を幾何学的に求めることができる。この手順は一般的なステレオ視の考え方と同じであるので詳細な説明は省略する。また、制御部１０１は、撮像部２０２の露光時間を照明期間とする。
なお、イメージセンサ上のライン領域が実際に撮像する実空間の領域形状は、撮像装置２００のレンズ歪みの影響を受ける。従って、レンズ歪みの影響が無視できない場合、イメージセンサ上のライン領域に対応した撮像範囲６０３に照明範囲８０５を実質的に一致させる。レンズ歪による形状補正は、ステレオカメラのカメラキャリブレーション技術や一般のデジタルカメラの歪曲歪補正で用いられる。このように、レンズ歪の影響を考慮することで、より正確に撮像範囲６０３に照明範囲８０５を一致させることが可能になる。
制御部１０１は、撮像部２０２の走査タイミングおよび露光時間に同期して、照明部１０２に、ステップＳ９０５で決定された照明範囲８０５に照明光を照射させるよう制御する（ステップＳ９０６）。制御部１０１は、撮像領域３０１の中に未撮像領域があるかを判断する（ステップＳ９０７）。制御部１０１は、撮像領域３０１内に未撮像領域が有ると判断した場合（ステップＳ９０７のＹｅｓの場合）はステップＳ９０５に戻る。
撮像部２０２は、ライン１の撮像が終了すると、ライン２の撮像に移行する。この場合、露光中の領域である撮像範囲はライン２、ライン３となる。制御部１０１は、ライン１、ライン２の場合と同様に、ライン２、ライン３に対応する撮像範囲を照明位置Ｑから見た方向を求め、照明範囲８０５を決定する。照明部１０２は、撮像装置２００のライン２、ライン３の露光期間に同期して、被写体３００の撮像範囲を照明する。以降の走査に対しても同様に撮像範囲に合わせて照明範囲８０５を順次シフトし、最終ライン（ラインＮ）の走査が終わると、処理を終了し、次のフレームに対する照明動作として、ライン１から同様の動作を繰り返す。ここで、被写体３００が動いている場合のように、撮像領域３０１の距離分布が時間とともに変化する場合、同じラインの撮像に対する照明範囲８０５も変化することとなる。
制御部１０１は、撮像領域３０１の撮像が完了したと判断した場合は（ステップＳ９０７のＮｏの場合）、撮像を終了する。
［１−５．効果等］
以上のように、本実施の形態の照明装置１００の制御部１０１は、まず、撮像装置２００より走査タイミングを含む撮像情報を取得し、走査タイミング毎の撮像装置２００の撮像範囲６０３を算出する。次に、制御部１０１は、撮像範囲内に存在する被写体３００から撮像装置２００までの距離と、撮像装置２００と照明装置１００との位置関係を用いて、走査タイミング毎の照明範囲を決定する。次に、制御部１０１は、走査タイミングに同期して、決定した照明範囲に照明光を照射するよう制御する。
これにより、被写体３００と撮像装置２００の間に散乱媒体が存在する場合、照明光による散乱を低減させることができる。
従って、撮像装置２００は、コントラストの高い映像を撮像することが可能となる。
以下、本実施の形態の効果について、詳細に説明する。
図１０Ａ及び図１０Ｂは、実施の形態１に係る撮像システム１０の照明効果を説明する図である。図１０Ａは、図７の通常照明において、被写体３００と撮像装置２００の間に散乱媒体４００が存在する場合の照明状態を示す。また、図１０Ｂは、図８の局所照明において、被写体３００と撮像装置２００の間に散乱媒体４００が存在する場合の照明状態を示す。
図１０Ａに示すように、通常照明の場合、照明装置１００は、撮像領域３０１を包含する範囲を照明範囲７０５として設定する。この時、照明装置１００の照明位置Ｑと照明範囲７０５とによって囲まれる空間と、撮像装置２００の視点位置Ｐと撮像範囲６０３とによって囲まれる空間とが重複する重複空間７０６（図１０Ａの斜線部）が生じる。重複空間７０６は、照明装置１００からの照明範囲７０５を照明する照明光の光路と、撮像範囲６０３からの撮像装置２００を露光する反射光の光路とが重なる空間である。重複空間７０６を通過する光線が散乱媒体４００により散乱することよって生じる散乱光は、撮像範囲６０３の画像に上乗せされる。図１０Ａの状態は、他の撮像範囲でも同様であるので、説明を省略する。これにより撮像画像の輝度が増し、コントラストの低い撮像画像が得られる。
一方、図１０Ｂに示すように、局所照明の場合、照明部１０２は、露光中の撮像範囲６０３のみを照明する。この時、照明装置１００の照明位置Ｑと照明範囲８０５（撮像範囲６０３）とによって囲まれる空間と、撮像装置２００の視点位置Ｐと撮像範囲６０３とによって囲まれる空間とが重なる重複空間８０６（図１０Ｂの斜線部）が生じる。重複空間８０６は、照明装置１００からの照明範囲８０５（撮像範囲６０３）を照明する照明光の光路と、撮像範囲６０３からの撮像装置２００を露光する反射光の光路とが重なる空間である。この場合も、散乱媒体４００による散乱光が重複空間８０６で生じ、撮像範囲６０３の映像に上乗せされる。図１０Ｂの状態は、他の撮像範囲でも同様であるので、説明を省略する。図１０Ａ、図１０Ｂから分かるように、通常照明の重複空間７０６に比べて局所照明の重複空間８０６は小さいため、散乱光が撮像画像に与える影響が低減される。従って、撮像画像のコントラスト低下を低減させることが可能になる。
図１１Ａ及び図１１Ｂは、実施の形態１に係る撮像画像の一例を示す図である。図１１Ａは、通常照明で撮像された撮像画像、図１１Ｂは局所照明で撮像された撮像画像を示す。
図１１Ａの撮像画像は、被写体３００内の欠陥部３０２は散乱光の影響で、周辺の明るさと明るさが近くなり、欠陥部３０２が視認し辛い、コントラストの低い画像となっている。これに対して、図１１Ｂの撮像画像は、局所照明により散乱光が抑えられた結果、被写体３００のコントラストを維持し、欠陥部３０２を視認しやすい画像となる。
以上の効果は、イメージセンサが瞬時には局所的に撮像していることに基づき、これに合わせた局所照明を用いることで、撮像画像に影響を与える散乱光の発生を減らすことで得られる。このため、露出時間を短くし、瞬時的な撮像領域を狭くすると本開示の効果を得やすい。
また、照明装置１００と撮像装置２００の位置関係について、撮像装置２００に対して走査方向（図４の上下方向）に照明装置１００を配置することが望ましい。これは、照明装置１００からの照明光の光路と撮像装置２００の露光領域の重なり範囲を小さくできることによる。また、撮像装置２００と照明装置１００の位置が近いと、図１０Ｂに示す散乱領域８０６（散乱光が重畳される領域）が増すため、撮像装置２００から離れた位置に照明装置１００を配置し、照明方向と撮像方向に差を設けることが望ましい。
このように、本実施の形態は、一般的な走査型ＣＭＯＳイメージセンサを用いたカメラの特性を利用しながら、照明光による散乱の影響を低減できるという効果があり、静止画のみならず、動画にも適用可能である。
（実施の形態２）
以下、図１２〜１６を用いて、実施の形態２を説明する。一般的に、撮像範囲をできるだけ均一かつ充分な照度で照らすために、複数の照明を組み合わせる場合がある。実施の形態２では、複数の照明装置を用いた照明方法を説明する。
［２−１．構成］
図１２は、本実施の形態に係る撮像システム２０を示す概略図である。図１２に示すように、撮像システム２０は、２つの照明装置１１０、１２０と、撮像装置２１０と、選択装置５００とを備える。図１２において、実施の形態１と同じ要素に対しては、同符号を付与し、説明を省略する。
照明装置１１０および照明装置１２０は被写体３００に照明光を照射する。
撮像装置２１０は、照明装置１１０、１２０により照明光が照射された被写体３００を撮像することで、撮像画像を生成する。
選択装置５００は、照明装置１１０と、照明装置１２０と、撮像装置２１０と接続され、各装置から取得した情報に応じて、使用する照明装置の選択を行う。
図１２に示すように、実施の形態１と実施の形態２の違いは、照明装置が複数になったことである。各照明装置は、撮像装置２１０が上下方向に走査する場合、撮像装置２１０の上下のどちらか、あるいは上下両側に配置することが望ましい。本実施の形態では、撮像装置２１０の走査方向の前後（図１２における撮像装置２１０の上下）にそれぞれ１つずつ照明装置を配置している。
以下、照明装置１１０、１２０、撮像装置２１０、選択装置５００の詳細な構成について、図１３を用いて説明する。図１３は、本実施の形態に係る撮像システム２０の機能構成を示すブロック図である。
［２−１−１．撮像装置］
撮像装置２１０は、例えば、デジタルビデオカメラ、車載カメラなどである。撮像装置２１０は、図１３に示すように、制御部２１１と、撮像部２０２とを備える。本実施の形態の撮像装置２１０は、実施の形態１で説明した測距部２０３を有していない。撮像部２０２は、実施の形態１と同様の動作を行うので、同符号を付与し、説明を省略する。
制御部２１１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部２１１は、撮像部２０２が行う撮像を、撮像情報を用いて制御する。撮像情報は、走査タイミングや露光時間等、撮像に関する情報を含む。制御部２１１は、撮像部２０２を制御するための撮像情報を照明装置１１０および照明装置１２０に送信する。また、制御部２１１は、撮像情報を選択装置５００に送信する。
撮像装置２１０の撮像動作は実施の形態１と同様であるので、説明を省略する。
［２−１−２．照明装置］
照明装置１１０と照明装置１２０は同じ構成であるため、ここでは、照明装置１１０のみ説明する。照明装置１１０は、制御部１１１、照明部１０２、測距部１１３を備える。本実施の形態の照明装置１１０は、実施の形態１と異なり、測距部１１３を有する。照明部１０２は、実施の形態１と同様の動作を行うので、同符号を付与し、説明を省略する。
制御部１１１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部１１１は、撮像装置２１０より撮像情報を取得する。制御部１１１は、測距部１１３に、取得した撮像情報を用いて、距離情報を生成させる。制御部１１１は、撮像情報および距離情報に基づき、予め設定しておいた撮像装置２１０と照明装置１１０との位置関係を用いて、照明部１０２が照射する照明光の照明範囲と照明期間を決定し、照明部１０２を制御する。制御部１１１の照明範囲の決定方法は、実施の形態１と同様であるので、説明を省略する。
照明部１０２は、制御部１１１が決定した照明範囲と照明期間に基づいて、被写体３００に照射光を照射する。
測距部１１３は、制御部１１１から出力された撮像情報を用いて、例えば、ＴＯＦ方式を用いて、撮像装置２１０から被写体３００の撮像領域３０１までの距離を測定し、距離分布を生成する。測距部１１３は距離分布を距離情報として制御部１１１に出力する。
［２−１−３．選択装置］
選択装置５００は、制御部５０１を有する。制御部５０１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部５０１は、照明装置１１０、１２０より距離情報を取得する。また、制御部５０１は、撮像装置２１０より撮像情報を取得する。制御部５０１は、距離情報と、予め設定しておいた撮像装置２１０と照明装置１１０、１２０との位置関係を示す位置情報を用いて、照明装置１１０、照明装置１２０のそれぞれに対して、使用するかどうかを選択する。
［２−２．動作］
図１４は実施の形態２の選択装置５００の動作を示すフローチャートである。
まず、制御部５０１は、予め設定されている照明装置１１０および照明装置１２０に対する撮像装置２１０の姿勢情報を取得する（ステップＳ１４０１）。姿勢情報は、照明装置１００、照明装置１２０と撮像装置２１０の３次元的な相対関係を示す位置情報と方向情報を含む。
次に、制御部５０１は、撮像装置２１０より撮像部２０２の撮像情報を取得する（ステップＳ１４０２）。撮像情報は、走査タイミング、露光時間、撮像領域３０１の情報を含む。
次に、制御部５０１は、照明装置１１０と照明装置１２０の両方または、いずれか一方から撮像装置２１０から被写体３００までの距離情報を取得する（ステップＳ１４０３）。
制御部５０１は、取得した撮像情報と距離情報と位置情報を用いて、照明装置１１０と照明装置１２０のいずれを使用するかを選択する（ステップＳ１４０４）。選択された照明装置は、実施の形態１と同様の動作を行う。
以下、照明装置の選択方法について図１５、図１６を用いて説明する。図１５は、本実施の形態に係る照明装置の照明範囲を説明する図である。図１５は、外壁である被写体３００を側面から見た図である。
図１５は、撮像装置２１０が、視点位置Ｐから、撮像領域３０１を撮像範囲６０３単位で撮像することを示す。図１５における撮像範囲６０３は、図４の撮像面４０１上のライン１に対応する走査領域６０１と、ライン２に対応する走査領域６０２で構成される。また、図１５は、照明装置１１０が、照明位置Ｑ１から被写体３００上の撮像範囲６０３に照明光を照射することを示す。また、照明装置１２０が、照明位置Ｑ２から被写体３００上の撮像範囲６０３に照明光を照射することを示す。すなわち、照明装置１１０、１２０のそれぞれの照明範囲８１５、８２５は、撮像範囲６０３と実質的に重なる。
制御部５０１は、散乱媒体４００による散乱光の影響の大小または散乱光の影響の大小と光量を加味して照明装置を選択する。散乱光の影響の大小は、撮像装置２１０の視点位置Ｐと撮像範囲６０３とによって囲まれる空間と、照明位置と照明範囲とによって囲まれる空間とが重なる重複空間の大小で判断することが出来る。
図１６は、本実施の形態に係る照明装置の選択方法を説明する図である。図１６は、外壁である被写体３００を側面から見た図である。図１６において、図１５と同じ構成要素には同符号を付与し、説明を省略する。
図１６において、点Ｒ１、点Ｒ２、点Ｒ３で囲まれた重複空間８１６（図１６の縦線部と格子部）は、照明装置１１０の照明位置Ｑ１と照明範囲８１５（撮像範囲６０３）とによって囲まれる空間と、撮像装置２１０の視点位置Ｐと撮像範囲６０３とによって囲まれる空間とが重なる空間である。また、点Ｒ１、点Ｒ２、点Ｒ４で囲まれた重複空間８２６（図１６の横線部と格子部）は、照明装置１２０の照明位置Ｑ２と照明範囲８２５（撮像範囲６０３）とによって囲まれる空間と、撮像装置２１０の視点位置Ｐと撮像範囲６０３とによって囲まれる空間とが重なる空間である。図１６の場合、重複空間８２６より重複空間８１６の方が大きいことが分かる。
このため、選択装置５００の制御部５０１は、重複空間８１６の方が散乱媒体４００による散乱光の撮像画像への影響が大きいと判断できる。すなわち、制御部５０１は、照明装置１１０で照明するより、照明装置１２０で照明した方が、散乱光の影響が小さいと判断できる。
また、制御部５０１は、照明光の光量を加味する場合は、被写体３００から各照明装置までの距離情報を用いる。制御部５０１は、被写体３００との距離が小さい照明装置の方が、光量が大きいと判断する。図１６の場合、制御部５０１は、照明位置Ｑ１の方が被写体３００に近いので、照明装置１１０の光量が大きいと判断する。この場合、重複空間８１６、８２６の大きさと光量から、制御部５０１は、照明装置１２０の方が、散乱光の影響が小さいと判断し、照明装置１２０を選択する。
更に、厳密に判断するためには、散乱の方向依存性を加味して判断してもよい。ここで、散乱の方向依存性とは、照明光線の方向に対する散乱光の方向別強度を指す。方向依存性は、撮像装置と照明装置の位置関係で判断可能である。図１６の場合、制御部５０１は、視点位置Ｐと照明位置Ｑ１の距離と、視点位置Ｐと照明位置Ｑ２の距離を比較する。図１６の場合、視点位置Ｐと照明位置Ｑ１の距離が視点位置Ｐと照明位置Ｑ２の距離より小さいので、制御部５０１は、照明位置Ｑ１に位置する照明装置１１０の方が散乱の方向依存性が高いと判断し、照明装置１２０を選択する。
なお、２つの照明装置１１０、１２０間で散乱光の影響の差異が小さい場合、光量確保を優先して２つの照明装置１１０、１２０を同時に選択し、それぞれが実施の形態１で説明した照明装置の動作を行うように制御しても良い。
［２−３．効果等］
以上のように、本実施の形態の撮像システムは、撮像領域を所定の撮像単位毎に撮像する撮像装置２１０と、撮像装置２１０の被写体に照明光を照射する複数の照明装置１１０、１２０とを備える。選択装置５００の制御部５０１は、撮像範囲６０３内に存在する被写体３００から撮像装置２１０までの距離と、撮像装置２１０と複数の照明装置の位置関係を用いて、複数の照明装置の中から使用する照明装置を選択する機能を有する。
これにより、複数の照明装置を用いて均一な照明を行いながら実施の形態１と同様に照明光による散乱光の影響を低減することができる。
従って、撮像装置２１０は、コントラストの高い映像を撮像することが可能となる。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
各実施の形態では、イメージセンサの走査が１方向のみの例で説明したが、撮像素子面を同時に複数領域走査する場合も、個々の露光中の領域に対して局所的に照明を行うことで同様の効果が得られる。
また、被写体までの距離検出の精度やカメラ姿勢の設定精度・走査のタイミングや露出時間の誤差などにより、正確な照明範囲が得られない場合には、誤差を含めたより広い照明範囲を設定しても、本実施例の効果が得られる。また、上記の誤差が一定以上の場合、撮像領域全体を照明する通常照明に切り替えてもよい。これにより、照明を欠くことによる撮像もれを防ぐことが出来る。
また、撮像画像において照明が一部欠けている（暗く写る領域の有無により判断）ことを判断し、照明範囲を広げることで撮像の欠損を防ぐようにしてもよい。
また、画像処理によるコントラスト強調やｈａｚｅｒｅｍｏｖａｌ処理（非特許文献１など）を併用してもよい。画像処理を併用することで散乱光の影響を更に低減させることができる。画像処理のみでは撮像素子の諧調不足による効果限界が生じるが、本実施の形態を組み合わせることで、この限界を超えて散乱光の影響を抑えることが可能となる。
また、実施の形態１においては、ＴＯＦ方式で距離検出を行ったが、これに限定されない。距離検出は、撮像装置を複数台用いたステレオ方式で実現してもよいし、パターン光投影による三角測量方式など、既存の測距方式のいずれを用いても良い。
ステレオ方式で距離検出を行う場合、ステレオカメラの照明を本開示に基づいて行うことで、映像が鮮明になり、ステレオ距離算出の精度が向上する。すなわち、ステレオ距離算出の精度が向上することで、照明範囲の算出精度も向上させることができる。このように、ステレオカメラで行うと距離検出精度と散乱光抑制の精度を相乗的に改善することができる。
また、被写体までの距離が既知あるいは固定の場合、距離を逐次検出せずに予め設定した距離に基づいて照明範囲を設定してもよい。
また、距離が時間など他の参照可能な情報と紐付けられる場合にも、距離を逐次検出せずに、算出した距離に基づいて照明範囲を設定すれば良い。
また、本開示においては、撮像部２０２は、隣接する２つのラインを同時に露光していたが、露光時間が短くなると単一のラインのみが照明対象となる場合もある。逆に、撮像部２０２の露光時間が長くなると、連続する３つのライン以上が照明対象となる。このように、照明範囲は、イメージセンサの走査タイミングのみならず、撮像部２０２の露光時間にも依存し、露光時間の長さに応じて決定される。
また、撮像部のレンズ歪み情報を用い、逆歪みを照明部の照明パターンとして加えてもよい。
また、各実施の形態において、測距部は、撮像装置か照明装置のいずれかが有していたが、別の装置が有し、その装置から距離情報を取得しても良い。
また、実施の形態１の撮像装置および照明装置を実施の形態２に適用してもよい。また、逆に、実施の形態２の撮像装置および照明装置を実施の形態１に適用してもよい。いずれの場合も、距離情報を撮像システム内のいずれかの装置から取得できればよい。
また、実施の形態２における選択装置の機能を撮像装置または照明装置が有してもよい。
また、実施の形態２においては、照明装置が２台の場合について説明したが、３台以上の照明装置を用いても構わない。
また、実施の形態２において、照明装置の選択を走査タイミング毎に行ってもよいし、フレーム単位におこなってもよい。
また、本開示では被写体は建造物の外壁としたが、撮像装置が撮像する被写体であれば、どのようなものでも構わない。
なお、各実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、撮像装置用の照明装置に適用可能である。具体的には、デジタルビデオカメラ、車載カメラ、水中カメラ、監視カメラなどの照明に、本開示は適用可能である。
１０，２０ 撮像システム
１００，１１０，１２０ 照明装置
１１３，２０３ 測距部
１０１，１１１，２０１，２１１，５０１ 制御部
１０２ 照明部
２００，２１０ 撮像装置
２０２ 撮像部
３００ 被写体（外壁）
３０１ 撮像領域
３０２ 欠陥部
４００ 散乱媒体
４０１ 撮像面
５００ 選択装置
６０１，６０２ 走査領域
６０３ 撮像範囲
７０５，８０５，８１５，８２５ 照明範囲
７０６，８０６，８１６，８２６ 重複空間

Claims (10)

  1. 撮像領域を所定の撮像単位毎に撮像する撮像装置によって撮像される被写体に、照明光を照射する照明装置であって、
    前記撮像装置より走査タイミングを含む撮像情報を取得し、前記走査タイミング毎の前記撮像装置の撮像範囲を算出し、
    前記撮像範囲内に存在する前記被写体から前記撮像装置までの距離と前記撮像装置と自装置の位置関係を用いて、前記走査タイミング毎の照明範囲を決定し、
    前記走査タイミングに同期して、前記決定した照明範囲に前記照明光を照射するよう制御する、制御部を備える照明装置。
  2. 前記制御部は、所定の条件を用いて、前記照明範囲を、前記撮像領域を包含する範囲に切り替える、請求項１記載の照明装置。
  3. 前記制御部は、前記照明光による散乱光の散乱強度が所定の値より小さい場合に、前記照明範囲を、前記撮像領域を包含する範囲に切り替える、請求項１記載の照明装置。
  4. 前記制御部は、決定した前記照明範囲と実際に照射された前記照明光の位置ずれが所定の大きさより大きくなった場合に、前記照明範囲を、前記撮像領域を包含する範囲に切り替える、請求項１記載の照明装置。
  5. 前記制御部は、前記距離が所定の範囲外の値である場合に、前記照明範囲を、前記撮像領域を包含する範囲に切り替える、請求項１記載の照明装置。
  6. 前記撮像情報は、露光時間を含み、
    前記制御部は、前記露光時間の長さに応じて、前記照明範囲を決定する、請求項１記載の照明装置。
  7. 前記被写体から自装置までの距離を算出する測距部を備え、
    前記制御部は、前記測距部が算出した距離を用いて、前記照明範囲を決定する、請求項１記載の照明装置。
  8. 撮像領域を所定の撮像単位毎に撮像する撮像装置と、
    前記撮像装置により撮像される被写体に照明光を照射する少なくとも１つの照明装置と、を備え、
    前記照明装置は、
    前記撮像装置より走査タイミングを含む撮像情報を取得し、前記走査タイミング毎の前記撮像装置の撮像範囲を算出し、
    前記撮像範囲内に存在する前記被写体から前記撮像装置までの距離と前記撮像装置と自装置の位置関係を用いて、前記走査タイミング毎の照明範囲を決定し、
    前記走査タイミングに同期して、前記決定した照明範囲に前記照明光を照射するよう制御する、制御部を備える撮像システム。
  9. 前記制御部は、前記照明装置が複数ある場合、前記距離と、前記撮像装置と前記複数の照明装置の位置関係を用いて、前記複数の照明装置の中から使用する照明装置を選択する、
    請求項８記載の撮像システム。
  10. 撮像領域を所定の撮像単位毎に撮像する撮像装置により撮像される被写体に、照明装置から照明光を照射する照明方法であって、
    前記撮像装置より走査タイミングを含む撮像情報を取得し、前記走査タイミング毎の前記撮像装置の撮像範囲を算出し、
    前記撮像範囲内に存在する前記被写体から前記撮像装置までの距離と、前記撮像装置と前記照明装置との位置関係とを用いて、前記走査タイミング毎の照明範囲を決定し、
    前記走査タイミングに同期して、前記決定した照明範囲に前記照明光を照射する照明方法。
JP2016557668A 2015-06-12 2016-03-09 照明装置、撮像システムおよび照明方法 Active JP6064151B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015118820 2015-06-12
JP2015118820 2015-06-12
PCT/JP2016/001287 WO2016199328A1 (ja) 2015-06-12 2016-03-09 照明装置、撮像システムおよび照明方法

Publications (2)

Publication Number Publication Date
JP6064151B1 JP6064151B1 (ja) 2017-01-25
JPWO2016199328A1 true JPWO2016199328A1 (ja) 2017-06-22

Family

ID=57503812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016557668A Active JP6064151B1 (ja) 2015-06-12 2016-03-09 照明装置、撮像システムおよび照明方法

Country Status (3)

Country Link
US (1) US10091404B2 (ja)
JP (1) JP6064151B1 (ja)
WO (1) WO2016199328A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713781A (zh) * 2017-01-23 2017-05-24 深圳市金立通信设备有限公司 一种图像处理的方法及终端
JP7191597B2 (ja) * 2018-08-30 2022-12-19 キヤノン株式会社 撮像装置及びそれを備える監視システム、制御方法並びにプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086120A (ja) 1994-06-15 1996-01-12 Canon Inc カメラ及びストロボ装置
DE10305010B4 (de) 2003-02-07 2012-06-28 Robert Bosch Gmbh Vorrichtung und Verfahren zur Bilderzeugung
JP2005236513A (ja) 2004-02-18 2005-09-02 Fujinon Corp 撮像装置
US20080205075A1 (en) 2005-07-08 2008-08-28 Koninklijke Philips Electronics, N.V. Light Module For Producing Light With a Scattering Pattern That is Electrically Variable and Use Thereof as a Multiple Purpose Light
JP2009500803A (ja) 2005-07-08 2009-01-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 対象を照明する照明装置
EP1904786A1 (en) 2005-07-08 2008-04-02 Koninklijke Philips Electronics N.V. A light module for producing light with a scattering pattern that is electrically variable and use thereof as multiple purpose light
JP2007264196A (ja) * 2006-03-28 2007-10-11 Fujifilm Corp ストロボ制御装置及び方法
JP5004816B2 (ja) * 2007-02-08 2012-08-22 キヤノン株式会社 撮像装置および制御方法
JP5219268B2 (ja) * 2008-09-30 2013-06-26 富士フイルム株式会社 撮像装置およびフラッシュの制御方法
JP2013068761A (ja) 2011-09-22 2013-04-18 Sony Corp 撮像装置、および、撮像装置の制御方法
JP2013118429A (ja) * 2011-12-01 2013-06-13 Samsung Yokohama Research Institute Co Ltd 撮像装置、及び撮像方法
WO2013121267A1 (en) * 2012-02-15 2013-08-22 Mesa Imaging Ag Time of flight camera with stripe illumination
US8736710B2 (en) * 2012-05-24 2014-05-27 International Business Machines Corporation Automatic exposure control for flash photography
JP5639670B2 (ja) 2013-02-01 2014-12-10 浜松ホトニクス株式会社 画像取得装置及び撮像装置
US8761594B1 (en) * 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems

Also Published As

Publication number Publication date
US10091404B2 (en) 2018-10-02
US20170064171A1 (en) 2017-03-02
WO2016199328A1 (ja) 2016-12-15
JP6064151B1 (ja) 2017-01-25

Similar Documents

Publication Publication Date Title
JP6363863B2 (ja) 情報処理装置および情報処理方法
JP6316068B2 (ja) 検査システムおよび検査方法
JP5882631B2 (ja) 三次元位置計測装置、三次元位置計測方法、及びコンピュータプログラム
JP6512912B2 (ja) 被計測物の形状を計測する計測装置
KR102368453B1 (ko) 이미지 분석에 의한 신의 3차원 재구성 디바이스 및 방법
JP6335011B2 (ja) 計測装置およびその方法
JP2015078935A (ja) 三次元画像処理装置、三次元画像処理方法、三次元画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2009020000A (ja) 検査装置および方法
TW201337212A (zh) 形狀測定裝置、構造物製造系統、形狀測定方法、構造物製造方法、形狀測定程式
JP6418884B2 (ja) 三次元計測装置、三次元計測方法及びプログラム
JP2009216453A (ja) 内面測定装置
JP2007327836A (ja) 外観検査装置及び方法
JP2014115108A (ja) 距離計測装置
JP6064151B1 (ja) 照明装置、撮像システムおよび照明方法
JP2006023178A (ja) ３次元計測方法及び装置
KR102122275B1 (ko) 배광 특성 측정 장치 및 배광 특성 측정 방법
JP2011053025A (ja) 距離計測装置および距離計測方法
JP6580390B2 (ja) 画像検査システム
JP6420131B2 (ja) 検査システム、及び検査方法
CN111033566B (zh) 用于对航空零件进行无损检查的方法及其系统
JP5978866B2 (ja) 撮影装置及び撮影装置の画像処理方法
JP2010117182A (ja) 形状計測装置及び欠陥検査方法
JP6508763B2 (ja) 表面検査装置
JP5968370B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
JPWO2013035847A1 (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、形状測定プログラム、コンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161114

R151 Written notification of patent or utility model registration

Ref document number: 6064151

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151