JP6834907B2

JP6834907B2 - 撮像方法

Info

Publication number: JP6834907B2
Application number: JP2017206185A
Authority: JP
Inventors: 一浩座間; 太輔野見山
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-10-25
Filing date: 2017-10-25
Publication date: 2021-02-24
Anticipated expiration: 2037-10-25
Also published as: JP2019080192A; US20190124259A1; US20200244876A1; US11159718B2; CN109714542A; US10674073B2; CN109714542B

Description

本発明は、明暗差の激しい被写体の撮像方法に関する。

明暗差の激しい被写体を限られたダイナミックレンジの撮像素子で撮像する場合に、明るい被写体領域に露出を合わせて一度撮像を行い、暗い被写体領域に露出を合わせてもう一度撮像を行って、二枚の撮像画像を合成するＨＤＲ（ハイダイナミックレンジ）合成技術が知られている（例えば、特許文献１参照）。

特開２０１６−４９１２４号公報

急激に変化する被写体に強力な光を照射して撮像を行うような場合には、被写体領域間に激しい明暗差が生じるが、２回の撮像動作によって得られる２枚の画像を合成するのでは、単位時間あたりに取得される画像数が減ってしまう。

本発明は、このような問題を解決するためになされたものであり、明暗差の激しい被写体に対して、白飛びおよび黒つぶれの発生をできる限り抑制して、単位時間あたりの取得画像数を増やすものである。

本発明の第１の態様における撮像方法は、撮像装置の撮像素子を構成する複数の画素のそれぞれに配置された光学フィルタのうち、第１の透過波長特性を有する第１フィルタに対応する第１波長帯域の強度よりも、第１の透過波長特性とは異なる第２の透過波長特性を有する第２フィルタに対応する第２波長帯域の強度が大きくなるように設定された混合光を被写体に照射する照射ステップと、混合光に照射された被写体を、撮像素子で撮像する撮像ステップと、撮像素子が出力した被写体の画像データのうち、第１フィルタが配置された画素の出力信号に基づいて生成した第１レイヤ画像データと、第２フィルタが配置された画素の出力信号に基づいて生成した第２レイヤ画像データとをＨＤＲ合成して画像データを生成する生成ステップとを有する。

このような撮像方法によれば、一度の撮像動作によって、相対的に明るい被写体領域の階調を良好に再現する第１レイヤ画像データと、相対的に暗い被写体領域の階調を良好に再現する第２レイヤ画像データが得られる。これらをＨＤＲ合成すれば、白飛びおよび黒つぶれが軽減された画像データが得られる。また、一度の撮像動作によって一枚の画像データが得られるので、単位時間あたりの取得画像数を増大させることができる。

本発明の第２の態様における撮像方法は、撮像装置の撮像素子を構成する複数の画素のそれぞれに配置された光学フィルタのうち、第１の透過波長特性を有する第１フィルタに対応する第１波長帯域の透過率よりも、第１の透過波長特性とは異なる第２の透過波長特性を有する第２フィルタに対応する第２波長帯域の透過率が大きくなるように設定された仲介フィルタを光源と被写体の間に配置する配置ステップと、仲介フィルタを透過した光源からの照射光に照射された被写体を、撮像素子で撮像する撮像ステップと、撮像素子が出力した被写体の画像データのうち、第１フィルタが配置された画素の出力信号に基づいて生成した第１レイヤ画像データと、第２フィルタが配置された画素の出力信号に基づいて生成した第２レイヤ画像データとをＨＤＲ合成して画像データを生成する生成ステップとを有する。

このような撮像方法であっても、第１の態様と同様に、一度の撮像動作によって、相対的に明るい被写体領域の階調を良好に再現する第１レイヤ画像データと、相対的に暗い被写体領域の階調を良好に再現する第２レイヤ画像データが得られる。これらをＨＤＲ合成すれば、白飛びおよび黒つぶれが軽減された画像データが得られる。また、一度の撮像動作によって一枚の画像データが得られるので、単位時間あたりの取得画像数を増大させることができる。

また、上記第１の態様および第２の態様のそれぞれの撮像方法において、第１フィルタは、ＲＧＢフィルタのうちの１つであり、第２フィルタは、ＲＧＢフィルタのうち第１フィルタとは異なる１つであって、生成ステップは、画像データをグレースケール画像データとして生成するようにしても良い。撮像ユニットに備え付けられた撮像素子のそれぞれの画素には、一般的にはＲＧＢフィルタのいずれかが配されているので、その透過波長特性の違いを利用すれば、汎用的に利用されている撮像ユニットを流用することができる。この場合、第１フィルタは、ＧフィルタまたはＢフィルタに対応させ、第２フィルタはＲフィルタに対応させると良い。このような対応付けは、ミー散乱が観察される微粒子を撮像する場合において好ましい。

また、特に、被写体が内燃機関の燃料噴霧である場合には、このような撮像方法が有効である。噴霧された燃料は、光が照射されるとミー散乱を生じてそもそもグレーの濃淡として観察されるので、撮像素子の画素に配置された光学フィルタを特定波長帯域の光を透過させる光量調節機構として用いても、生成される合成画像に違和感を生じさせない。

本発明により、明暗差の激しい被写体に対して、白飛びおよび黒つぶれの発生をできる限り抑制しつつ、単位時間あたりの取得画像数を増やすことができる。

本実施形態における撮像システムの全体構成を示す概略図である。システム構成を示すブロック図である。撮像素子の画素配列を説明する図である。光学フィルタの透過波長特性を説明する図である。照射光の波長帯域と強度の関係を説明する図である。一例に係る被写体の様子と、２つのレイヤ画像の関係を説明する図である。ＬラインにおけるＨＤＲ合成の結果を示す図である。一連の撮像工程を示すフロー図である。他の実施形態における撮像システムの全体構成を示す概略図である。仲介フィルタの透過波長特性を説明する図である。他の実施形態における一連の撮像工程を示すフロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態における撮像システム１００の全体構成を示す概略図である。本実施形態において撮像システム１００は、内燃機関９００の内部において、バルブ９１０から導入される燃料が噴霧化し、点火プラグ９２０によって点火されて爆発する様子を、シリンダの一部をくり抜いて強化ガラスで覆った観察窓９３０を介して撮像する。なお、観察窓９３０の表面は、薄膜コーティング等による反射防止処理が施されていることが好ましい。

撮像システム１００は、主に、撮像ユニット２００、フラッシュ３００、制御用ＰＣ４００およびモニタ５００によって構成される。撮像ユニット２００は、被写体像を光電変換して画像データを出力する装置である。撮像ユニット２００は、三脚８１０によって立設され、撮像ユニット２００を構成するレンズ２１０は、観察窓９３０へ向けられている。すなわち、撮像ユニット２００は、内燃機関９００の内部を撮像できるように配置されている。

フラッシュ３００は、被写体を照射するためのフラッシュ光を発生させる装置である。フラッシュ３００は、三脚８２０によって立設され、照射光が出射する照射窓３１０は、観察窓９３０へ向けられている。すなわち、フラッシュ３００は、内燃機関９００の内部を照射するように配置されている。

制御用ＰＣ４００は、例えばＵＳＢケーブルであるケーブル６１０を介して、撮像ユニット２００の撮像処理を制御すると共に撮像ユニット２００が出力する画像データを取得する。なお、撮像ユニット２００と制御用ＰＣ４００の接続は、ケーブル６１０による有線接続でなく、無線ＬＡＮなどを利用した無線接続であっても構わないし、ネットワークを介した遠隔地接続であっても良い。また、制御用ＰＣ４００は、例えばＵＳＢケーブルであるケーブル６２０を介して、フラッシュ３００の発光タイミングおよび発光強度を制御する。なお、フラッシュ３００と制御用ＰＣ４００の接続は、ケーブル６２０による有線接続でなく、無線ＬＡＮなどを利用した無線接続であっても構わないし、ネットワークを介した遠隔地接続であっても良い。また、制御用ＰＣ４００は、取得した画像データを加工して後述する合成画像データを生成する。詳しくは後述する。

モニタ５００は、例えば液晶パネルを有する表示装置であり、ケーブル６３０を介して制御用ＰＣ４００から送られてくる表示信号を受信し、当該表示信号を可視画像に変換して表示する。例えば、図示するように、撮像ユニット２００が撮像した画像データを可視化して表示画像５１０として表示する。なお、モニタ５００と制御用ＰＣ４００の接続は、ケーブル６３０による有線接続でなく、無線ＬＡＮなどを利用した無線接続であっても構わないし、ネットワークを介した遠隔地接続であっても良い。

図２は、撮像システム１００のシステム構成を示すブロック図である。撮像ユニット２００は、レンズ２１０の他に、主に、撮像素子２２０、画像処理部２３０、撮像制御部２４０および入出力ＩＦ２５０を備える。レンズ２１０は、被写体からの光束を撮像素子２２０の受光面に結像させる。レンズ２１０は、複数枚で構成されていても良い。

撮像素子２２０は、例えばＣＭＯＳ画像センサであり、受光面に結像した光学像を光電変換して画素信号を出力する。撮像素子２２０が出力した画素信号は、画像処理部２３０に引き渡される。画像処理部２３０は、画素信号をＡＤ変換して所定の処理を施し、画像データを生成する。

撮像素子２２０のリセットタイミングや電荷蓄積時間は、撮像制御部２４０によって制御される。また、画像処理部２３０による画像データ生成や、生成された画像データの出力も、撮像制御部２４０によって制御される。入出力ＩＦ２５０は、制御用ＰＣ４００からの制御信号を受信し、制御用ＰＣ４００へ画像データや応答信号を送信するための入出力インタフェースである。入出力ＩＦ２５０は、例えばＵＳＢインタフェースである。画像処理部２３０で生成された画像データは、撮像制御部２４０の制御に従って、入出力ＩＦ２５０から制御用ＰＣ４００へ出力される。

フラッシュ３００は、照射窓３１０の他に、主に、光源３２０、光源制御部３３０および入出力ＩＦ３４０を備える。照射窓３１０は、光源３２０が発する照射光を透過させる光学パネルである。照射窓３１０は、照射光を拡散または集光させる光学機能を有していても良い。

光源３２０は、赤色光を発生させるＲ光源３２１、緑色光を発生させるＧ光源３２２、および青色光を発生させるＢ光源３２３を含む。それぞれの光源は、例えば高輝度ＬＥＤによって構成される。それぞれの光源は、複数のＬＥＤによって構成されても良く、その場合は、各色の光源が互い違いに面配列されたものであっても良い。それぞれの光源から発せられる照射光の強度は、光源制御部３３０によって制御される。光源制御部３３０は、入力ＩＦ３４０を介して制御用ＰＣ４００から送信されてくる制御信号に従って、各色の照射光の強度を制御する。

制御用ＰＣ４００は、主に、ＣＰＵである制御演算部４１０と、例えばＵＳＢインタフェースである入出力ＩＦ４２０によって構成される。制御演算部４１０は、撮像システム１００を統括的に制御すると共に、撮像ユニット２００から取得した画像データを処理して合成画像データを生成する。具体的には、制御演算部４１０は、機能演算部として、レイヤ分離部４１１およびＨＤＲ合成部４１２として機能する。レイヤ分離部４１１は、撮像ユニット２００から取得した画像データを、光学フィルタに対応したレイヤ画像データごとに分離する。ＨＤＲ合成部４１２は、レイヤ分離部４１１が分離したレイヤ画像データに補間処理および合成処理を施して、一枚のグレースケール画像を表す合成画像データを生成する。具体的な処理については後述する。

制御演算部４１０は、撮像ユニット２００から取得した画像データや、生成した合成画像データ等を、表示信号に変換して、入出力ＩＦ４２０を介してモニタ５００へ送信する。また、制御演算部４１０は、撮像ユニット２００から取得した画像データや、生成した合成画像データ等を、入出力ＩＦ４２０を介して記憶装置６００へ記憶する。記憶装置６００は、不揮発性記憶媒体であり、例えばＨＤＤである。記憶装置６００は、ネットワークに接続されているデータセンターの類であっても良い。

図３は、撮像素子２２０の画素配列を説明する図である。撮像素子２２０は、光電変換素子であるＰＤを主な構成要素とする画素が、二次元的に多数配列された構造を有する。各画素には、ＰＤを覆うようにＲＧＢのいずれかに着色された光学フィルタが配置されている。例えば、図において拡大部分として示すように、４画素を一組とする繰り返し構造において、左上画素にはＲ（赤色）フィルタを、右下画素にはＢ（青色）フィルタを、残りの２画素にはＧ（緑色）フィルタが配置される、いわゆるベイヤー配列が採用される。

図４は、撮像素子２２０の光学フィルタの透過波長特性を説明する図である。図は、横軸に波長（ｎｍ）を表し、縦軸に透過率を表す。ＲＧＢフィルタは、それぞれ異なる透過波長特性を有する。

Ｂフィルタは、実線で示すように、主に４００ｎｍから５００ｎｍの波長を透過させ、その他の波長を概ね遮断する透過波長特性を有する。Ｇフィルタは、一点鎖線で示すように、主に５００ｎｍから６００ｎｍの波長を透過させ、その他の波長を概ね遮断する透過波長特性を有する。Ｒフィルタは、点線で示すように、主に６００ｎｍから７００ｎｍの波長を透過させ、その他の波長を概ね遮断する透過波長特性を有する。本実施形態においては、Ｂフィルタが主に透過させる４００ｎｍから５００ｎｍの波長帯域を第１波長帯域とし、Ｒフィルタが主に透過させる６００ｎｍから７００ｎｍの波長帯域を第２波長帯域とする。すなわち、第１波長帯域はＢフィルタの透過波長特性に対応し、第２波長帯域はＲフィルタの透過波長特性に対応する。

図５は、光源制御部３３０によって調整された光源３２０の照射光の波長帯域と強度の関係を説明する図である。図は、横軸に波長（ｎｍ）を表し、縦軸に強度を表す。

実線で示す照射光Ｂは、Ｂ光源３２３から発せられる照射光の波長帯域と強度の関係を示す。照射光Ｂは、第１波長帯域に対応する光であり、約４５０ｎｍにピーク強度を有する。一点鎖線で示す照射光Ｇは、Ｇ光源３２２から発せられる照射光の波長帯域と強度の関係を示す。照射光Ｇは、約５５０ｎｍにピーク強度を有する。点線で示す照射光Ｒは、Ｒ光源３２１から発せられる照射光の波長帯域と強度の関係を示す。照射光Ｒは、第２波長帯域に対応する光であり、約６５０ｎｍにピーク強度を有する。

照射窓３１０から出射される照射光は、これら３つの光源から発せられる光の混合光である。光源制御部３３０は、図示するように、第１波長帯域の強度よりも、第２波長帯域の強度の方が大きくなるように光源３２０の出力を調整する。図の例においては、第１波長帯域における約４５０ｎｍのピーク強度よりも、第２波長帯域における約６５０ｎｍのピーク強度の方が大きい。なお、それぞれの波長帯域間の強度の比較は、それぞれの波長帯域におけるピーク強度を基準としても良いし、それぞれの波長帯域に含まれる積分値を基準としても良い。

図６は、観察窓９３０を通して観察された一例に係る被写体の様子と、２つのレイヤ画像の関係を説明する図である。図６の上図は、一例に係る被写体の様子であり、具体的には、バルブ９１０から燃料が導入されて噴霧化している様子を示している。なお、この様子は、白色均一光を照射して通常の撮像によって取得される仮想的な画像と等しいものである。

一般的に内燃機関の噴霧滴の直径は数〜数十μｍ程度であり、白色の照射光を照射するとミー散乱を生じ、その様子はグレーの濃淡として観察される。しかし、観察される噴霧の明暗差は非常に大きいので、限られたダイナミックレンジの撮像素子で従来の撮像処理を行うと、白飛びや黒つぶれが発生し、画像としては一部の領域でしか階調を確認できなかった。レンズの絞りや電荷蓄積時間を異ならせて連続的に撮像し、露出オーバーの画像と露出アンダーの画像を得て重ね合わせるＨＤＲ合成処理を行うこともできるが、高速に変化する噴霧形状に対しては、異なるタイミングで取得された画像間にズレが必ず生じてしまう。しかも、単位時間あたりに取得される画像データ数が半分以下になってしまい、燃料噴霧の変化を解析する目的にはそぐわない。

そこで、本実施形態においては、図５のように調整された照射光を照射して撮像を行う。図６の下図は、図５のように調整された照射光を照射した場合における、図６上図に示すラインＬに対応する撮像素子２２０のＲ画素の出力値とＢ画素の出力値を示す。図は、横軸にラインＬに対応する画素位置を表し、縦軸に画素値を表す。なお、ここではそれぞれの画素の蓄積電荷量が８ｂｉｔで出力されるものとする。

実線で示すＢ画素出力は、図３で示すベイヤー配列のうちＢフィルタが配置された画素（Ｂ画素）の画素値をその画素位置に応じてプロットしたものである。Ｂフィルタは、図４に示す通り、およそ第１波長帯域の光を通過させその他の帯域を遮断するので、Ｂ画素は、Ｂ光源３２３から発せられた照射光Ｂの反射光を主に受光する。照射光Ｂの強度は上述のように小さく調整されているので、噴霧密度の小さい領域においては電荷が蓄積されずに黒つぶれ（画素値が０）を起こしているものの、通常の撮像処理では白飛びする噴霧密度の大きい領域でも白飛びすることなく適切な階調が得られていることがわかる。

点線で示すＲ画素出力は、図３で示すベイヤー配列のうちＲフィルタが配置された画素（Ｒ画素）の画素値をその画素位置に応じてプロットしたものである。Ｒフィルタは、図４に示す通り、およそ第２波長帯域の光を通過させその他の帯域を遮断するので、Ｒ画素は、Ｒ光源３２１から発せられた照射光Ｒの反射光を主に受光する。照射光Ｒの強度は上述のように大きく調整されているので、噴霧密度の大きい領域においては電荷が飽和して白飛び（画素値が２５５）を起こしているものの、通常の撮像処理では黒つぶれしている左右の領域にそれぞれ噴霧密度の小さい像を捉えていることがわかる。

本実施形態においては、カメラユニット１１０が出力した画像データから、Ｂ画素の出力を分離して寄せ集めた第１レイヤ画像データと、Ｒ画素の出力を分離して寄せ集めた第２レイヤ画像データをそれぞれ生成する。なお、Ｂ画素の出力を寄せ集めた場合にはＧ画素とＲ画素の位置に対応する画素値が、Ｒ画素の出力を寄せ集めた場合にはＧ画素とＢ画素の位置に対応する画素値がそれぞれ欠落するが、欠落位置に対応する画素値は周辺の画素値を用いて補間すれば良い。

通常のカラー画像であれば、このようにして表現されるＢレイヤ、Ｇレイヤ、Ｒレイヤのそれぞれの画素値は三原色の配分値として用いられるが、本実施形態においては、ＢレイヤとＲレイヤを、それぞれがグレースケール画像を表現するものとして扱う。すなわち、第１レイヤ画像データも第２レイヤ画像データも、輝度画像データとして扱う。すると、第１レイヤ画像データは、露出アンダーで撮像された画像データとして、第２レイヤ画像データは、露出オーバーで撮像された画像データとして扱うことができる。つまり、これら２つの画像データをＨＤＲ合成すれば、時間ズレのない、高輝度領域も低輝度領域も階調を豊かに残した画像が得られる。

図７は、図６のラインＬにおけるＨＤＲ合成の結果を示す図である。図７は、図６下図と同様に、横軸にラインＬに対応する画素位置を表し、縦軸に画素値を表す。ＨＤＲ合成の手法は、さまざまな手法が既に知られているので具体的な処理については省略するが、低輝度領域においては露出アンダーの画素情報が重点的に利用され、高輝度領域においては露出オーバーの画素情報が重点的に利用される。図７の例では、噴霧濃度が大きい領域では第１レイヤ画像データの画素値が重点的に利用され、噴霧濃度が小さい領域では第２レイヤ画像データの画素値が重点的に利用されている。その結果、白飛びも黒つぶれも抑制された画像となっている。

このようなＨＤＲ合成処理によりカラー情報は失われるが、本実施形態においては燃料噴霧を被写体としているので、そもそもカラー情報は重要ではない。したがって、本実施形態におけるＨＤＲ合成処理は、カラー情報よりも濃淡情報が有用である被写体に適していると言える。

図８は、一連の撮像工程を示すフロー図である。フローは、予め調整されたプログラムを制御用ＰＣ４００の制御演算部４１０が順次実行することにより進められる。

制御演算部４１０は、ステップＳ１０１で、光源３２０の強度を調整する制御信号と照射開始の制御信号を光源制御部３３０へ送信する。具体的には、Ｂ光源３２３から発せられる照射光Ｂの強度よりも、Ｒ光源３２１から発せられる照射光Ｒの強度の方が大きくなるように制御信号を送信する。その差は、環境光の程度、被写体自体の明るさ、光電変換素子の性質等に応じて変更しても良い。

光源３２０の照射を開始したら、制御演算部４１０は、ステップＳ１０２へ進み、撮像を開始する制御信号を撮像制御部２４０へ送信する。撮像制御部２４０は、撮像を開始する制御信号を受信したら、撮像素子２２０に撮像処理を実行させ、画像処理部２３０に画像処理を実行させて、生成された画像データを制御用ＰＣ４００へ出力する。制御用ＰＣ４００は、カメラユニット１１０から画像データを取得する。なお、撮像開始のトリガは、使用者が開始ボタン等を操作することにより発生させても良い。

制御演算部４１０のレイヤ分離部４１１は、ステップＳ１０３で、カメラユニット１１０から取得した画像データをレイヤ分離する。具体的には、上述のように第１レイヤ画像データとしてＢ画素の出力を分離して寄せ集め、第２画像データとしてＲ画素の出力を分離して寄せ集める。制御演算部４１０のＨＤＲ合成部４１２は、ステップＳ１０４で、第１レイヤ画像データと第２レイヤ画像データをＨＤＲ合成する。具体的には、上述のように第１レイヤ画像データを露出アンダーで撮像された画像データとして、第２レイヤ画像データを露出オーバーで撮像された画像データとして利用して合成する。

制御演算部４１０は、ステップＳ１０５で、生成した合成画像データを記憶装置６００へ記憶し、モニタ５００に視認できるように表示する。なお、生成される合成画像データは、グレースケールの画像データであり、例えばＪＰＥＧ画像データとして記憶装置６００に記憶される。また、モニタ５００には、グレースケール画像として表示される。継続して撮像が行われる場合にはこれらの処理を繰り返し、撮像を終了する場合にはフラッシュ３００による照射を停止して、一連の処理を終了する。

次に、本実施形態の変形例として他の実施形態を説明する。図９は、他の実施形態における撮像システム１００’の全体構成を示す概略図である。撮像システム１００’は、撮像システム１００に対して、仲介フィルタ７００が追加的に設置される点と、フラッシュ３００に代えてフラッシュ３００’が用いられる点が異なる。他の構成は撮像システム１００と同様であるので、同じ符番を付してその説明を省略する。また、全体のシステム構成や撮像素子の構造などは、特に言及しない限りほぼ同様であるので、説明を省略する。

フラッシュ３００’は、フラッシュ３００に対してＲＧＢ各色の強度を独立して調整する機能が省かれた、白色均一光を照射する装置である。したがって、光源制御部３３０は、制御演算部４１０からの指示に従って、光源３２０に対して白色光としての強度と照射の開始および停止を制御する。

仲介フィルタ７００は、フラッシュ３００’の照射窓３１０と内燃機関９００の観察窓９３０の間に、三脚８３０によって立設されている。仲介フィルタ７００は、波長に対する透過率が調整された光学フィルタであり、入射された照射光の波長特性を変換して出射する。

図１０は、仲介フィルタ７００の透過波長特性を説明する図である。図は、横軸に波長（ｎｍ）を表し、縦軸に透過率を表す。図示するように、仲介フィルタ７００は、撮像素子２２０のＢフィルタが主に透過させる４００ｎｍから５００ｎｍの波長帯域である第１波長帯域において、比較的小さい透過率を有し、同じくＲフィルタが主に透過させる６００ｎｍから７００ｎｍの波長帯域である第２波長帯域において、比較的大きい透過率を有する。すなわち、仲介フィルタ７００は、第１波長帯域の透過率よりも第２波長帯域の透過率が大きくなるように設定されている。

白色光である照射光をこのように設定された仲介フィルタ７００を介して被写体を照射すれば、撮像システム１００において光源３２０のＲＧＢの強度を調整して照射する場合と同等の効果が得られる。なお、仲介フィルタ７００は、三脚８３０を用いて立設する場合に限らず、観察窓９３０の前に設置したり、観察窓９３０自体をこのような特性を有する光学素材で形成したりしても良い。

図１１は、撮像システム１００’を用いた一連の撮像工程を示すフロー図である。使用者等は、ステップＳ１００において、仲介フィルタ７００を、フラッシュ３００’と内燃機関９００の間に設置する。使用者等は、操作部材を操作することにより設置完了の旨を制御演算部４１０へ知らせる。制御演算部４１０は、ステップＳ１０１で、光源３２０の白色均一光としての強度を調整する制御信号と照射開始の制御信号を光源制御部３３０へ送信する。ステップＳ１０２以降の処理については図８に示すフローの処理と同様であるので説明を省略する。

以上説明した実施形態においては、ＲレイヤとＢレイヤの２つのレイヤをＨＤＲ合成したが、Ｇレイヤも用いてＨＤＲ合成しても構わない。Ｇレイヤも合成対象とすれば、より豊かな階調表現が可能となる場合もある。また、Ｂフィルタが主に透過させる４００ｎｍから５００ｎｍの波長帯域を第１波長帯域に対応させ、Ｒフィルタが主に透過させる６００ｎｍから７００ｎｍの波長帯域を第２波長帯域に対応させたが、組合せは、被写体の性質等によって異ならせても良い。例えば、Ｂフィルタが主に透過させる４００ｎｍから５００ｎｍの波長帯域を第２波長帯域に対応させて、青色帯域の照射光が強く被写体に照射されるようにしても良い。また、以上説明した実施形態においては、第１波長帯域と第２波長帯域は、互いに重なる波長がないように設定したが、部分的に重なるように設定しても良い。

また、以上説明した実施形態においては、一般的に利用される撮像素子としてＲＧＢフィルタが画素ごとに配列されている例を説明した。しかし、ＲＧＢ以外の光学フィルタが画素に配列されている場合には、配列されている光学フィルタの透過波長特性に応じて照射光の各色の強度、または仲介フィルタの透過波長特性を設定すれば良い。

また、以上説明した実施形態においては、撮像システム１００と制御用ＰＣ４００、フラッシュ３００（フラッシュ３００’）と制御用ＰＣ４００をそれぞれ接続して、制御用ＰＣ４００がシステム全体を制御する構成を説明した。しかし、それぞれが独立したものであっても構わない。例えば、フラッシュ３００が各色の照射強度を調整する調整つまみと照射開始ボタンを備えるのであれば、使用者は一連の作業を開始するにあたり、調整つまみと照射開始ボタンを操作して、被写体を照射すれば良い。撮像ユニット２００が単独で画像データを生成するまでの処理を実行するのであれば、使用者は撮影開始指示を撮像ユニット２００に与え、また、生成された画像データを例えばメモリカードを介して制御用ＰＣ４００へ移せば良い。

また、以上説明した実施形態においては、静止画像データを生成する場合を説明したが、逐次取得される画像データに対してＨＤＲ合成処理を実行して動画像データを生成しても構わない。本実施形態によれば、静止画像データを生成する場合は、単位時間あたりに取得される画像データ数を増大させることができるが、動画像データを生成する場合は、フレームレートを増大させることができる。

また、以上説明した実施形態においては、従来技術に比較してより大きな効果が得られる一例として内燃機関の燃料噴霧を被写体としたが、被写体はこれに限らない。本実施形態に係る撮像方法は、明暗差の激しい被写体に対して有効である。

１００、１００’ 撮像システム、２００撮像ユニット、２１０レンズ、２２０撮像素子、２２１画素、２３０画像処理部、２４０撮像制御部、２５０入出力ＩＦ、３００、３００’ フラッシュ、３１０照射窓、３２０光源、３２１Ｒ光源、３２２Ｇ光源、３２３Ｂ光源、３３０光源制御部、３４０入出力ＩＦ、４００制御用ＰＣ、４１０制御演算部、４１１レイヤ分離部、４１２ＨＤＲ合成部、４２０入出力ＩＦ、５００モニタ、５１０表示画像、６００記憶装置、６１０、６２０、６３０ケーブル、７００仲介フィルタ、８１０、８２０、８３０三脚、９００内燃機関、９１０バルブ、９２０点火プラグ、９３０観察窓

Claims

撮像装置の撮像素子を構成する複数の画素のそれぞれに配置された光学フィルタのうち、第１の透過波長特性を有する第１フィルタに対応する第１波長帯域の強度よりも、前記第１の透過波長特性とは異なる第２の透過波長特性を有する第２フィルタに対応する第２波長帯域の強度が大きくなるように設定された混合光を被写体に照射する照射ステップと、
前記混合光に照射された前記被写体を、前記撮像素子で撮像する撮像ステップと、
前記撮像素子が出力した前記被写体の画像データのうち、前記第１フィルタが配置された画素の出力信号に基づいて生成した第１レイヤ画像データと、前記第２フィルタが配置された画素の出力信号に基づいて生成した第２レイヤ画像データとをＨＤＲ合成して画像データを生成する生成ステップと
を有し、
前記第１フィルタは、ＧフィルタまたはＢフィルタであり、前記第２フィルタはＲフィルタである撮像方法。
撮像装置の撮像素子を構成する複数の画素のそれぞれに配置された光学フィルタのうち、第１の透過波長特性を有する第１フィルタに対応する第１波長帯域の透過率よりも、前記第１の透過波長特性とは異なる第２の透過波長特性を有する第２フィルタに対応する第２波長帯域の透過率が大きくなるように設定された仲介フィルタを光源と被写体の間に配置する配置ステップと、
前記仲介フィルタを透過した前記光源からの照射光に照射された前記被写体を、前記撮像素子で撮像する撮像ステップと、
前記撮像素子が出力した前記被写体の画像データのうち、前記第１フィルタが配置された画素の出力信号に基づいて生成した第１レイヤ画像データと、前記第２フィルタが配置された画素の出力信号に基づいて生成した第２レイヤ画像データとをＨＤＲ合成して画像データを生成する生成ステップと
を有し、
前記第１フィルタは、ＧフィルタまたはＢフィルタであり、前記第２フィルタはＲフィルタである撮像方法。
撮像装置の撮像素子を構成する複数の画素のそれぞれに配置された光学フィルタのうち、第１の透過波長特性を有する第１フィルタに対応する第１波長帯域の強度よりも、前記第１の透過波長特性とは異なる第２の透過波長特性を有する第２フィルタに対応する第２波長帯域の強度が大きくなるように設定された混合光を被写体に照射する照射ステップと、
前記混合光に照射された前記被写体を、前記撮像素子で撮像する撮像ステップと、
前記撮像素子が出力した前記被写体の画像データのうち、前記第１フィルタが配置された画素の出力信号に基づいて生成した第１レイヤ画像データと、前記第２フィルタが配置された画素の出力信号に基づいて生成した第２レイヤ画像データとをＨＤＲ合成して画像データを生成する生成ステップと
を有し、
前記被写体は、内燃機関の燃料噴霧である撮像方法。
撮像装置の撮像素子を構成する複数の画素のそれぞれに配置された光学フィルタのうち、第１の透過波長特性を有する第１フィルタに対応する第１波長帯域の透過率よりも、前記第１の透過波長特性とは異なる第２の透過波長特性を有する第２フィルタに対応する第２波長帯域の透過率が大きくなるように設定された仲介フィルタを光源と被写体の間に配置する配置ステップと、
前記仲介フィルタを透過した前記光源からの照射光に照射された前記被写体を、前記撮像素子で撮像する撮像ステップと、
前記撮像素子が出力した前記被写体の画像データのうち、前記第１フィルタが配置された画素の出力信号に基づいて生成した第１レイヤ画像データと、前記第２フィルタが配置された画素の出力信号に基づいて生成した第２レイヤ画像データとをＨＤＲ合成して画像データを生成する生成ステップと
を有し、
前記被写体は、内燃機関の燃料噴霧である撮像方法。