JP5161751B2 - 撮像装置並びに撮像システム - Google Patents

Description

本発明は、撮像装置並びに撮像システムに関するものである。

従来、事務所や店舗などに侵入する人物（侵入者）や、料金を支払わずに高速道路などの有料道路のインターチェンジ（料金所）を通過する自動車（不正通行車両）などを撮像することを目的として、事務所や店舗などの出入口やインターチェンジの料金所などに撮像装置が設置されている（例えば、特許文献１又は特許文献２参照）。

ここで、従来の撮像装置においては、事務所や店舗の出入口に設けられているガラス扉や自動車のフロントガラスを通して被写体（人物、運転者）を撮像する場合に、ガラス扉やフロントガラスに周囲の景色が映り込んでしまうために被写体の顔が正常に写らない虞があった。

これに対して本出願人は、発光ダイオードが発する赤外光を対象領域に照射し、ＣＣＤからなる撮像素子で受光する当該赤外光の反射光成分と周囲光の反射光成分とを区別して赤外光だけの反射光成分を画素値とする画像（差分画像）を生成する撮像装置を既に提案している（特許文献３参照）。そして、ガラス扉やフロントガラスへの映り込みは周囲光によるものであるから、特許文献３に記載されている撮像装置であれば、映り込みの影響を受けずに被写体を撮像することができる。
特開２００８−１９７７３８号公報 特開２００８−２５０６７７号公報 特開２００６−１２１６１７号公報

ところで、周囲光として最も影響の大きいものは太陽光であるから、夜間に撮像する際は敢えて差分画像を撮像する必要性に乏しい。特に、特許文献１や特許文献２に記載されている監視カメラの用途においては１日２４時間連続して撮像するため、周囲光（太陽光）が存在する昼間には差分画像を撮像して周囲光の影響を抑制することが望ましいが、周囲光（太陽光）が存在しない夜間には照明光（例えば、赤外光）の下で通常の画像を撮像することが望ましい。

さらに、動きの速い被写体（例えば、自動車の運転者）を撮像して差分画像を生成する際、被写体像のぶれを抑えるためには光を照射する周期並びに光を照射する照射時間を短くすることが望ましい。その一方、通常の画像を撮像する際は、受光光量の不足を避けるために光を照射する周期並びに光を照射する照射時間を長くすることが望ましい。

本発明は上記事情に鑑みて為されたものであり、その目的は、周囲光の影響を受けずに被写体を撮像しつつ環境に応じた適切な画像を撮像することができる撮像装置並びに撮像システムを提供することにある。

請求項１の発明は、上記目的を達成するために、光を照射する周期並びに照射時間が可変である光照射手段と、照射時間に同期して取得した第１の画像と照射時間以外で取得した第２の画像の差分画像を生成する差分画像生成手段と、光照射手段が光を照射していないときの被写体輝度が所定のしきい値を超えているか否かを評価する被写体輝度評価手段と、被写体輝度評価手段により被写体輝度がしきい値を超えていると評価された場合に前記周期並びに照射時間が第１の周期並びに第１の照射時間となるように光照射手段を制御し且つ被写体輝度がしきい値を超えていないと評価された場合に前記周期並びに照射時間が第２の周期並びに第２の照射時間となるように光照射手段を制御する制御手段とを備え、制御手段は、第１の周期並びに第１の照射時間が各々第２の周期並びに第２の照射時間よりも短い周期及び時間となるように光照射手段を制御し、差分画像生成手段は、被写体輝度評価手段により被写体輝度がしきい値を超えていると評価された場合にのみ前記差分画像を生成することを特徴とする。

請求項１の発明によれば、例えば、昼間の屋外のように被写体輝度が所定のしきい値を超えていれば、差分画像生成手段が生成する差分画像によって周囲光の影響を受けずに被写体を撮像することができ、一方、夜間の屋外のように被写体輝度が所定のしきい値を超えていなければ、光照射手段が光を照射する周期（第２の周期）並びに照射時間（第２の照射時間）を相対的に長くすることで、例えば、第１の画像における光量の不足を避けることができ、さらに、差分画像を生成する際に光照射手段が光を照射する周期（第１の周期）並びに照射時間（第１の照射時間）を相対的に短くすることで動きの速い被写体画像のぶれを抑制することができる。

請求項２の発明は、請求項１の発明において、被写体輝度評価手段は、光照射手段が光を照射しているときの被写体輝度が上昇するにつれて前記しきい値を上昇させることを特徴とする。

請求項２の発明によれば、被写体までの距離が近くなるにつれて被写体輝度における周囲光の寄与度が低下し、光が照射されているときの画像（第１の画像）における周囲光の影響が抑制されると考えられるので、光が照射されているときの被写体輝度が上昇するにつれて被写体輝度評価手段による評価のためのしきい値を上昇させることによって適切な画像を得ることができる。

請求項３の発明は、上記目的を達成するために、請求項１又は２の撮像装置からなる第１の撮像装置と、第１の撮像装置とは別の第２の撮像装置とを有し、第２の撮像装置は、照明が必要な場合に同調信号を出力し、第１の撮像装置の光照射手段は、前記同調信号に同調して光を照射することを特徴とする。

請求項３の発明によれば、第２の撮像装置で撮像する際に必要な照明を光照射手段から照射する光で得ることができるから、別途、第２の撮像装置のために照明設備を設ける必要が無いからシステム構成の簡略化と省エネルギ化が図れる。

請求項４の発明は、請求項３の発明において、第１の撮像装置の差分画像生成手段は、第２の撮像装置から同調信号が出力されているときは差分画像を生成しないことを特徴とする。

請求項４の発明によれば、第２の撮像装置で被写体を撮像しているときに差分画像生成手段が差分画像を生成しないことで省エネルギ化が図れる。

請求項５の発明は、上記目的を達成するために、請求項１又は２の撮像装置からなる第１の撮像装置と、第１の撮像装置とは別の第２の撮像装置とを有し、第２の撮像装置は、撮像タイミングに一致した同調信号を出力し、第１の撮像装置の差分画像生成手段が差分画像を生成する場合、光照射手段は、前記同調信号に同期して第２の撮像装置の非撮像時に光を照射することを特徴とする。

請求項５の発明によれば、第２の撮像装置に照明が不要な場合、第２の撮像装置が撮像している撮像タイミングでは第１の撮像装置の光照射手段が光を照射しないため、第２の撮像装置で撮像する画像に光照射手段から照射される光が影響しない。

請求項６の発明は、請求項５の発明において、第１の撮像装置の差分画像生成手段が差分画像を生成しない場合、光照射手段は、前記同調信号に同期して光を照射することを特徴とする。

本発明によれば、周囲光の影響を受けずに被写体を撮像しつつ環境に応じた適切な画像を撮像することができる。

以下、図面を参照して本発明に係る撮像装置並びに撮像システムの実施形態を詳細に説明する。本実施形態の撮像装置並びに撮像システムは、例えば、高速道路などの有料道路の料金所を通過する自動車の車体や運転者を撮像したり、あるいは事務所や店舗などの出入口を通過する人物をガラス扉越しに撮像する監視カメラや監視カメラシステムとして用いられる。但し、本実施形態の撮像装置並びに撮像システムは監視カメラの用途に限定されるものではない。

本実施形態の撮像システムは、図１に示すように従来技術（特許文献３参照）で説明した差分画像を撮像する第１の撮像装置１と、差分画像でない通常の画像（以下、「通常画像」と呼ぶ。）を撮像する第２の撮像装置２とを有している。これら２台の撮像装置１，２は、例えば、有料道路の料金所を通過する自動車を撮像可能な場所に設置される。

第１の撮像装置１は、光源となる赤外発光ダイオードや赤外発光ダイオードを発光させるＬＥＤ駆動回路（何れも図示せず）などを具備する光照射部１０と、２次元のＣＣＤイメージセンサや当該イメージセンサの受光面に光を集光するレンズ（何れも図示せず）などを具備する撮像部１１と、撮像部１１で撮像される第１の画像と第２の画像の差分画像を生成する差分処理部１２と、光照射部１０，撮像部１１，差分処理部１２を制御する制御部１３とを備えている。

制御部１３はマイクロコンピュータを主構成要素とし、図２（ａ）に示すように撮像部１１のフレームレートＦＲよりも十分に短い撮像期間内において光を照射する期間（第１の照射時間）Ｔon1と光を照射しない期間（第１の非照射時間）Ｔoff1が所定の短い周期（第１の周期）Ｔｃ１（＝Ｔon1+Ｔoff1）で繰り返されるように光照射部１０を制御する。さらに制御部１３は、第１の照射時間Ｔon1に同期して撮像部１１に撮像させた画像（第１の画像）と、第１の非照射時間Ｔoff1に同期して撮像部１１に撮像させた画像（第２の画像）との差分画像を生成する処理を差分処理部１２に実行させる。而して、差分処理部１２で生成される差分画像においては、周囲光（特に太陽光）による画素情報（画素値）が差分処理によって相殺されるため、周囲光の影響が抑制された画像（被写体像）が得られる。

一方、第２の撮像装置２は２次元ＣＣＤイメージセンサ又は２次元ＣＭＯＳイメージセンサからなる撮像素子やレンズ、画像処理回路などを具備する一般的な撮像装置であるから、詳細な構成についての図示並びに説明は省略する。

ここで、一般的な撮像装置である第２の撮像装置２によって昼間の屋外で自動車を撮像した場合、当該自動車のフロントガラスに周囲の景色が映り込むことで運転者（被写体）の顔が正常に写らない虞がある。しかしながら、フロントガラスへの映り込みは周囲光（太陽光）によって生じるものであるから、第１の撮像装置１で撮像される差分画像においては、周囲光によるフロントガラスの映り込みが除去され、自動車のフロントガラスを通して運転者を撮像することができる。

しかしながら、差分画像は光照射部１０から照射される赤外光の反射光成分の濃淡画像として生成され、且つ動きの速い被写体（走行中の自動車など）をぶれのないように撮像するためには第１の画像を撮像する第１の周期Ｔｃ１並びに第１の照射時間Ｔon1を短くする必要がある。一方、周囲光として最も影響の大きいものは太陽光であるから、夜間に撮像する際は敢えて差分画像を撮像する必要性に乏しい。

そこで、制御部１３において、撮像部１１が撮像した第２の画像から被写体輝度を演算するとともに当該被写体輝度が所定のしきい値を超えているか否かを評価し、被写体輝度がしきい値を超えていると評価した場合、周囲光の影響が大きい昼間であると考えられることから、差分画像を撮像するために光照射部１０から第１の周期Ｔｃ１並びに第１の照射時間Ｔon1で赤外光を照射させるとともに撮像部１１に第１の画像と第２の画像を撮像させる（図２（ａ）（ｂ）参照）。尚、被写体輝度の演算方法は、例えば、第２の画像を構成する全画素の画素値を平均する方法や中央部の画素の画素値を平均する方法などがある。

一方、前記被写体輝度がしきい値を超えていないと評価した場合、周囲光の影響が小さい夜間であるから差分画像の生成が不要と考えられるため、制御部１３は、差分処理部１２に対して差分画像の生成処理を中止させるとともに、光照射部１０からは第１の周期Ｔｃ１並びに第１の照射時間Ｔon1よりもそれぞれ十分に長い時間に設定されている第２の周期Ｔｃ２並びに第２の照射時間Ｔon2で赤外光を照射させる（図２（ｃ）参照）。ここで、周囲光の影響が小さい夜間にも光照射部１０から赤外光を照射する目的は、差分画像の代わりに光照射部１０から赤外光を照射したときに撮像部１１で撮像する第１の画像を取得することと、第２の撮像装置２で通常画像を撮像する際の照明光として前記赤外光を利用することである（図２（ｄ）参照）。つまり、第２の撮像装置２で通常画像を撮像する際に必要な照明を、第１の撮像装置１の光照射部１０から照射する光で得ることができるので、別途、第２の撮像装置２のために照明設備を設ける必要が無いためにシステム構成の簡略化と省エネルギ化が図れるという利点がある。

而して本実施形態によれば、例えば、昼間の屋外のように被写体輝度がしきい値を超えていれば、差分処理部１２が生成する差分画像によって周囲光の影響を受けずに被写体を撮像することができ、一方、夜間の屋外のように被写体輝度がしきい値を超えていなければ、光照射部１０が光を照射する周期（第２の周期Ｔｃ２）並びに照射時間（第２の照射時間Ｔon2）を相対的に長くすることで、第１の撮像装置１で撮像する第１の画像における光量の不足を避けることができる。さらに、差分画像を生成する際に光照射部１０が光を照射する周期（第１の周期Ｔｃ１）並びに照射時間（第１の照射時間Ｔon1）を相対的に短くすることで動きの速い被写体画像のぶれを抑制することができる。

ところで、光照射部１０から照射される赤外光の光量が一定であっても、第１の撮像装置１から被写体までの距離が短くなれば被写体輝度に対する赤外光の割合が増大し、周囲光の影響が相対的に抑制されることになる。そこで、被写体輝度評価手段たる制御部１３において光照射部１０から赤外光が照射されているときの被写体輝度を評価し、当該被写体輝度が上昇するにつれて前記しきい値を上昇させることが望ましい。つまり、図３（ａ）に示すように周囲光（斜線部分）と赤外光（白い部分）を合わせた輝度値（被写体輝度）が相対的に低いときのしきい値Ｔh1に対して、図３（ｂ），（ｃ）に示すように輝度値（被写体輝度）が上昇するにつれてしきい値をＴh2（＞Ｔh1），Ｔh3（＞Ｔh2）と上昇させるのである。このようにすれば、図３（ｂ）に示すように赤外光の割合が相対的に小さいときは周囲光のレベルがしきい値Ｔh2を超えて差分画像が生成されるが、第１の撮像装置１と被写体との距離が短くなり、図３（ｃ）に示すように赤外光の割合が相対的に大きくなったときは、例え周囲光の絶対値が同じであっても周囲光のレベルがしきい値Ｔh3を超えないから差分画像が生成されない。故に、被写体輝度が上昇するにつれて被写体輝度を評価するためのしきい値を上昇させることによって、差分画像を適切に生成することができる。

ところで、第２の撮像装置２は自己の撮像タイミングに一致した同調信号を常に外部（第１の撮像装置１）に出力している（図４（ａ）参照）。そして、既に説明したように、第２の撮像装置２で通常画像を撮像する際に必要な照明を第１の撮像装置１の光照射部１０から照射する赤外光で得ているので、第１の撮像装置１の制御部１３は、夜間等の照明が必要な状況では同調信号に同期して光照射部１０から赤外光を照射させている（図４（ｂ）参照）。尚、夜間は周囲光の影響が殆ど無いので、第１の撮像装置１において差分画像を生成する必要性はなく、むしろ同調信号が入力されているとき、つまり、第２の撮像装置２が通常画像を撮像しているときは第１の撮像装置１が差分画像を生成しないことで省エネルギ化を図ることが望ましい。

また、周囲光の影響が大きい昼間に第１の撮像装置１が差分画像を撮像し且つ第２の撮像装置２が通常画像を撮像している場合、第１の撮像装置１の光照射部１０から照射される赤外光が、第２の撮像装置２で撮像される通常画像に対してノイズとなる虞がある。そこで、第１の撮像装置１の制御部１３は、第２の撮像装置２から出力される同調信号に同期して第２の撮像装置２の非撮像時に光照射部１０から光を照射させるとともに撮像部１１に第１の画像を撮像させている（図５（ａ）〜（ｃ）参照）。これにより、第２の撮像装置２が撮像している撮像タイミングでは第１の撮像装置１の光照射部１０が赤外光を照射しないため、第２の撮像装置２で撮像する通常画像に光照射部１０から照射される赤外光が影響しなくなる。

図６は本実施形態の撮像装置（第１の撮像装置１）の動作を説明するためのフローチャートである。

まず、制御部１３は撮像部１１で撮像した第１の画像の輝度値（被写体輝度）に基づいてしきい値を決定し（ステップＳ１）、撮像部１１で撮像した第２の画像の輝度値（被写体輝度）が前記しきい値を越えているか否かを評価する（ステップＳ２）。第２の画像の輝度値（被写体輝度）がしきい値を超えていない場合、制御部１３は、同調信号の有無（すなわち、第２の撮像装置２の有無）を判断し（ステップＳ３）、同調信号が入力されていれば光照射部１０を制御して第２周期Ｔｃ２並びに第２照射時間Ｔon2で赤外光を照射させるとともに、差分処理部１２には差分処理を中止させる（ステップＳ４）。一方、第２の撮像装置２から同調信号が入力されていなければ（すなわち、第２の撮像装置２によって通常画像が撮像されていなければ）光照射部１０を制御して第２周期Ｔｃ２並びに第２照射時間Ｔon2で赤外光を照射させるとともに、差分処理部１２には差分処理を中止させて第１の画像のみを出力する（ステップＳ５）。

また、第２の画像の輝度値（被写体輝度）がしきい値を超えている場合（しきい値以上の場合）、制御部１３は、同調信号の有無を判断し（ステップＳ６）、同調信号が入力されていなければ、光照射部１０を制御することで第１周期Ｔｃ１並びに第１照射時間Ｔon1で赤外光を照射させるとともに差分処理部１２に差分処理を実行させて差分画像を生成させる（ステップＳ７）。一方、同調信号が入力されていれば、光照射部１０を制御することで当該同調信号に同期して第１周期Ｔｃ１並びに第１照射時間Ｔon1で赤外光を照射させるとともに差分処理部１２に差分処理を実行させて差分画像を生成させる（ステップＳ８）。

そして、第１の撮像装置１の制御部１３に対して、操作スイッチの操作や外部からの信号入力によって動作終了の指令が与えられれば、第１の撮像装置１が動作を終了し、当該指令が与えられなければ、引き続きステップＳ１に戻って動作を継続する（ステップＳ９）。

本発明の実施形態を示すブロック図である。 同上の動作説明用のタイムチャートである。 同上の動作説明図である。 同上の動作説明用のタイムチャートである。 同上の動作説明用のタイムチャートである。 同上の動作説明用のフローチャートである。

符号の説明

１ 第１の撮像装置
２ 第２の撮像装置
１０ 光照射部（光照射手段）
１１ 撮像部
１２ 差分処理部（差分画像生成手段）
１３ 制御部（制御手段）

Claims (6)

1. 光を照射する周期並びに照射時間が可変である光照射手段と、照射時間に同期して取得した第１の画像と照射時間以外で取得した第２の画像の差分画像を生成する差分画像生成手段と、光照射手段が光を照射していないときの被写体輝度が所定のしきい値を超えているか否かを評価する被写体輝度評価手段と、被写体輝度評価手段により被写体輝度がしきい値を超えていると評価された場合に前記周期並びに照射時間が第１の周期並びに第１の照射時間となるように光照射手段を制御し且つ被写体輝度がしきい値を超えていないと評価された場合に前記周期並びに照射時間が第２の周期並びに第２の照射時間となるように光照射手段を制御する制御手段とを備え、
   制御手段は、第１の周期並びに第１の照射時間が各々第２の周期並びに第２の照射時間よりも短い周期及び時間となるように光照射手段を制御し、
   差分画像生成手段は、被写体輝度評価手段により被写体輝度がしきい値を超えていると評価された場合にのみ前記差分画像を生成することを特徴とする撮像装置。
2. 被写体輝度評価手段は、光照射手段が光を照射しているときの被写体輝度が上昇するにつれて前記しきい値を上昇させることを特徴とする請求項１記載の撮像装置。
3. 請求項１又は２の撮像装置からなる第１の撮像装置と、第１の撮像装置とは別の第２の撮像装置とを有し、
   第２の撮像装置は、照明が必要な場合に同調信号を出力し、
   第１の撮像装置の光照射手段は、前記同調信号に同調して光を照射することを特徴とする撮像システム。
4. 第１の撮像装置の差分画像生成手段は、第２の撮像装置から同調信号が出力されているときは差分画像を生成しないことを特徴とする請求項３記載の撮像システム。
5. 請求項１又は２の撮像装置からなる第１の撮像装置と、第１の撮像装置とは別の第２の撮像装置とを有し、
   第２の撮像装置は、撮像タイミングに一致した同調信号を出力し、
   第１の撮像装置の差分画像生成手段が差分画像を生成する場合、光照射手段は、前記同調信号に同期して第２の撮像装置の非撮像時に光を照射することを特徴とする撮像システム。
6. 第１の撮像装置の差分画像生成手段が差分画像を生成しない場合、光照射手段は、前記同調信号に同期して光を照射することを特徴とする請求項５記載の撮像システム。

Images